計画上の課題を定義する
まず、評価によって支援する意思決定を定めます。経路計画ツールキットの選定、単段階予測ワークフローの再現、あるいは反応データの準備のいずれでしょうか。これらは異なる課題であり、区別のない単一のリーダーボードで評価すべきではありません。
対象構造、使用可能な出発物質、化学領域の境界、出力の想定用途を明確にします。反応カテゴリが利用できるか、立体化学が重要か、何を非対応ケースとみなすかを記録します。生成された前駆体の集合は完全な経路ではなく、完全に見える経路も実験で検証された手順ではありません。
実行前に、個別の受け入れ基準を定義します。出力は解釈可能でしょうか。経路は設定済み在庫の原料に到達するでしょうか。記録された設定で結果を再現できるでしょうか。どの問いには自動スコアではなく、資格を持つ化学者の判断が必要でしょうか。
各リソースを文書化された役割に対応付ける
提供されたリソース資料では、異なる4つの役割が説明されています。
- AiZynthFinder は逆合成計画ツールキットです。デフォルトの手法では、モンテカルロ木探索と反応テンプレートに基づくニューラルネットワーク拡張ポリシーを使用します。探索では、設定された在庫に含まれる前駆体を目指します。別の探索アルゴリズムや拡張ポリシーも文書化されています。
- LocalRetro は、局所反応テンプレートを用いる、データセットベースの逆合成研究ワークフローを提供します。段階には、テンプレート抽出、データラベリング、モデル学習、テスト予測、候補反応物へのデコードが含まれます。
- RetroXpert は、生成物の結合切断予測と反応物生成を分離します。文書化されたパイプラインでは、予測された切断箇所からシントンを生成し、第2段階では OpenNMT ベースの処理を行います。
- RxnMapper は、与えられた反応 SMILES に原子対応関係を割り当てます。反応物から生成物を予測したり、合成経路を探索したりするものではありません。
それぞれの役割を個別に評価します。これらのリソースを接続することは提案段階の統合であり、各リソースの表現、依存関係、出力がすでに相互運用可能である証拠ではありません。
入出力の契約を定める
インストールやモデル実行の前に、評価トラックごとの簡潔な仕様を作成します。
| トラック | 資料に記載された入力 | 資料に記載された出力 | 評価上の問い |
|---|---|---|---|
| AiZynthFinder の計画 | 対象 SMILES、設定、在庫、拡張ポリシー、任意のフィルターポリシー | 候補となる逆合成経路 | 選択した探索設定で、経路は設定済み在庫に到達するか？ |
| LocalRetro の再現 | 反応データセットと抽出された局所テンプレート | チェックポイント、生のテスト予測、デコードされた反応物 | 前処理と採点の規則は一貫して再現されているか？ |
| RetroXpert の再現 | ラベルとグラフに処理され、その後シントン準備が行われた反応データ | 切断予測と生成された反応物 | 観察された失敗にはどの段階が寄与しているか？ |
| RxnMapper によるデータ準備 | 有効な反応 SMILES | 原子マッピング済み反応と信頼度値 | マッピングは利用可能か。また、無効な出力を検出できるか？ |
提供された LocalRetro の資料が説明しているのは、データセットの学習とテストであり、確立されたカスタムターゲット用インターフェースではありません。このワークフローを、暗黙のうちに対話型サービスへ変えてはなりません。同様に、完全な反応のマッピングには、対象分子だけが与えられる場合には利用できない情報が必要です。
データと前処理を確認する
反応データの出典、識別子、前処理の決定事項、各アセットに適用される条件を記録します。権利関係の記録では、コード、重み、在庫、データセットを分けて扱います。リポジトリのライセンスだけでは、各アセットの許可された利用方法はすべて定まりません。
原子マッピング、反応クラス、立体化学の処理、データ分割の構成を確認します。評価が想定する化学領域に近いか、また参照反応でしか得られない情報が予測に影響する可能性があるかを検討します。
RetroXpert では、前処理を特に確認する必要があります。提供資料によると、シントン準備中の原子順序とマッピング番号が情報漏洩を引き起こす可能性があり、生成物の正準化の修正とマッピングの再割り当てが推奨されています。告知された更新が完了したと仮定せず、実際に使用した実装を記録してください。
LocalRetro については、採点が立体化学を考慮するかどうかを明記します。RxnMapper のバッチ処理では、>> または空の辞書を、成功したマッピングではなく失敗出力として扱います。ここでは、数値の信頼度が正しさの確率として較正されているとは確認できません。
仮想的な評価計画を立てる
**仮想例：**あるチームが、小規模な社内ターゲットリストの優先順位付けを専門家が行う際に、経路提案が役立つか評価したいとします。関連する3つの化学グループにまたがる12個のターゲットを選び、実行前に出発物質の在庫を固定します。これらの数字は計画上の選択であり、報告された結果ではありません。
- 元のターゲットを保持し、表現を変更した場合はその内容を記録します。
- AiZynthFinder に名前付きの在庫と拡張ポリシーを設定し、探索設定と利用可能な出力を記録します。
- 各ツールの文書化されたデータセットワークフローを用い、範囲を限定した参照反応サブセットで LocalRetro と RetroXpert を個別に評価します。完全な経路計画ツールとして採点してはなりません。
- RxnMapper を参照データの準備に使う提案がある場合は、元の反応とマッピング済み反応の両方を保持し、マッピング失敗にフラグを付けます。参照反応物を対象分子のみを扱う計画タスクに入力してはなりません。
- 資格を持つレビュー担当者に、提案を「追加評価が必要」「非対応」「解釈不能」に分類してもらい、その理由を記録します。
ここでの判断は、より大規模な評価を続けるかどうかであり、提案された経路が実験室での実施に適しているかどうかではありません。解釈可能なケースに加え、出力欠落や実行失敗も報告します。
実行と科学的品質を分ける
2種類の記録を維持します。実行記録には、環境の詳細、依存関係の解決、モデルとデータへのアクセス、設定、入力ファイル、出力成果物を記載します。科学的記録には、前駆体の妥当性、経路の前提、採点規則、レビュー担当者の懸念を記載します。
ワークフローの詳細は、AiZynthFinder のドキュメント、LocalRetro README、RetroXpert README、RxnMapper READMEを参照してください。文書化された環境は出発点であり、現在の互換性を示す証拠ではありません。実行に成功しても、化学的な実現可能性や比較精度が確立されるわけではありません。
人のレビューによって経路を解釈する
在庫への収載状況、順位付け、深さ制限、その他の探索上の前提を明示します。上位にランクされた経路でも、適切でない入手可能性の前提に依存していたり、変換を評価するのに必要な条件が欠けていたりすることがあります。参照反応物の集合との一致も、収率、選択性、安全性を裏付けるものではありません。
参照資料からは、比較性能、信頼度の較正、実験室での検証は確認できません。実験に関する判断の前に、危険性、材料、手順を専門家が独立して検討する必要があります。モデル、データセット、在庫、選択規則が変わったら、評価を見直してください。
チェックリストと関連情報
- 課題を定義し、評価入力を固定する。
- アセット、前処理、採点規則を記録する。
- マッピング、単段階予測、経路計画を区別する。
- 無効な出力、失敗、未解決の前提を記録する。
- 実行の成功と化学的評価を分ける。
- さらに利用する前に、記録された人による判断を求める。
関連する選択肢と出典リンクを見つけるには、リソースを参照し、科学タスクを参照してください。このガイドは評価プロセスを提案するものであり、性能、互換性、実験実施への準備を認証するものではありません。