明确规划问题
先确定评估需要支持的决策：选择路线规划工具包、复现单步预测工作流，还是准备反应数据。这些任务各不相同，不应混用一个不加区分的排行榜进行评估。
明确目标结构、允许使用的起始原料、化学领域边界以及输出的预期用途。记录是否提供反应类别、立体化学是否重要，以及哪些情况属于不受支持的情形。生成的前体集合并不等于完整路线；看似完整的路线也不是经过实验验证的操作规程。
在运行任何内容之前，先定义独立的验收标准。输出是否可解释？路线是否以配置的库存中的原料为终点？在记录的设置下，结果是否可复现？哪些问题需要由合格化学家判断，而不能只依赖自动评分？
将每项资源与其文档说明的用途对应起来
提供的资源资料描述了四种不同用途：
- AiZynthFinder 是一个逆合成规划工具包。其默认方法采用蒙特卡洛树搜索，并使用基于反应模板的神经网络扩展策略。搜索以配置库存中的前体为目标。文档还介绍了其他搜索算法和扩展策略。
- LocalRetro 提供一种基于数据集、使用局部反应模板的逆合成研究工作流。其阶段包括模板提取、数据标注、模型训练、测试预测，以及将结果解码为候选反应物。
- RetroXpert 将产物键断裂预测与反应物生成分开。其文档所述流程根据预测的断键生成合成子，并采用基于 OpenNMT 的第二阶段。
- RxnMapper 为给定的反应 SMILES 指定原子对应关系。它不会根据反应物预测产物，也不会搜索合成路线。
应分别评估每种用途。将这些资源连接起来属于拟议的集成方案，并不能证明它们的表示、依赖项或输出已经可以互操作。
制定输入/输出约定
在安装或运行模型之前，为每个评估轨道编写简明规范：
| 轨道 | 资料所述输入 | 资料所述输出 | 评估问题 |
|---|---|---|---|
| AiZynthFinder 规划 | 目标 SMILES、配置、库存和扩展策略；可选过滤策略 | 候选逆合成路线 | 在选定的搜索设置下，路线是否能到达配置库存中的原料？ |
| LocalRetro 复现 | 反应数据集和提取的局部模板 | 检查点、原始测试预测和解码后的反应物 | 预处理和评分约定是否得到一致复现？ |
| RetroXpert 复现 | 经处理并转换为标签和图的反应数据，随后进行合成子准备 | 断键预测和生成的反应物 | 哪个阶段导致了观察到的失败？ |
| RxnMapper 数据准备 | 有效的反应 SMILES | 原子映射反应和置信度值 | 映射是否可用？是否能检测到无效输出？ |
提供的 LocalRetro 资料描述的是数据集训练和测试，而不是已确立的自定义目标接口。不要悄然将该工作流改造成交互式服务。同样，对完整反应进行映射需要一些信息，而仅提供目标分子时并不具备这些信息。
检查数据和预处理
记录反应数据的来源、标识符、预处理决策，以及适用于各项资源的条款。在权限记录中，将代码、权重、库存和数据集分开处理；仅有仓库许可证并不能确定每项资源都允许如何使用。
检查原子映射、反应类别、立体化学处理方式和数据集划分构建方法。确认评估是否符合预期的化学领域，并检查仅在参考反应中才有的信息是否可能影响预测。
RetroXpert 需要进行一项专门的预处理检查：提供的资料指出，制备合成子时可能会因原子顺序和映射编号而发生信息泄漏，并建议采用修订后的产物规范化和映射重新分配。应记录实际使用的实现，而不是假设已完成公告中的更新。
对于 LocalRetro，应说明评分是否考虑立体化学。对于 RxnMapper 批处理，应将 >> 或空字典视为失败输出，而不是成功映射。此处没有证据表明其数值置信度经过校准、可视为正确性的概率。
制定一个假设性评估计划
**假设示例：**某团队希望评估路线建议能否帮助专家对一份小型内部目标清单进行优先级筛选。团队选择 12 个目标，覆盖三个相关化学类别，并在任何运行开始前冻结起始原料库存。这些数字是计划选择，并非已报告的结果。
- 保留原始目标，并记录任何表示方式的变更。
- 为 AiZynthFinder 配置一个命名库存和扩展策略，然后记录搜索设置及可用输出。
- 使用各自文档所述的数据集工作流，在范围受限的参考反应子集上分别评估 LocalRetro 和 RetroXpert。不要将它们按完整路线规划工具评分。
- 如果拟将 RxnMapper 用于准备参考数据，则保留原始反应和映射后的反应，并标记映射失败。不要将参考反应物输入仅针对目标分子的规划任务。
- 请合格的审查人员将建议归类为需要进一步评估、不受支持或无法解释，并说明理由。
这项决策是要不要继续扩大评估，而不是判断任何建议路线是否已可用于实验室操作。报告可解释案例的同时，也应报告缺失输出和失败运行。
区分运行情况与科学质量
维护两份记录。运行记录涵盖环境详情、依赖项解析、模型与数据访问、配置、输入文件和输出产物。科学记录涵盖前体的合理性、路线假设、评分约定和审查人员的顾虑。
工作流详情请参阅 AiZynthFinder 文档、LocalRetro README、RetroXpert README 和 RxnMapper README。文档中描述的环境是起点，并不能证明当前兼容性。成功运行既不能证明化学可行性，也不能证明比较准确性。
通过人工审查解读路线
明确标示库存成员资格、排序、深度限制及其他搜索假设。排名较高的路线可能依赖不恰当的可得性假设，或者遗漏评估某种转化所需的条件。与参考反应物集合一致，也不能证明收率、选择性或安全性。
提供的证据无法证明比较性能、置信度校准或实验室验证情况。任何实验决策之前，都应由专家独立评估危害、材料和操作规程。模型、数据集、库存或选择规则发生变化时，应重新评估。
清单与进一步探索
- 明确任务并固定评估输入。
- 记录资源、预处理和评分约定。
- 将映射、单步预测和路线规划区分开来。
- 记录无效输出、失败情况和未解决的假设。
- 将运行成功与化学评估分开。
- 在进一步使用前，要求作出有记录的人为判断。