概要
DECIMER Image Transformerは、描かれた化学構造を機械可読な分子表現に変換する、化学構造の光学認識を目的としています。プロジェクトのREADMEでは、EfficientNet-V2画像特徴抽出器とtransformerを組み合わせ、SMILESを予測する仕組みが説明されています。画像から構造へのワークフローにおける認識段階を担うものであり、汎用化学ツールキットや分子特性予測器ではありません。
説明されているPythonインターフェースは、predict_SMILESに画像ファイルのパスを渡し、予測されたSMILES文字列を返します。個別の化学構造画像をすでに用意しているワークフローにとって、具体的な統合ポイントとなります。READMEでは出版物におけるDECIMERの識別、セグメンテーション、認識に関する幅広い研究に触れていますが、提供された使用例からは、このリポジトリに文書セグメンテーション用インターフェースがあるとは確認できません。また、プロジェクトは手描き構造モデルを案内し、その個別の記録にリンクしています。
学習についてREADMEでは、TFRecordファイル、Google Cloud Buckets、TensorFlowデータパイプライン、TPU戦略が説明されています。これらは実装構成要素についての記述であり、スループットや認識精度の測定結果を示すものではありません。出典の抜粋では、例にあるJPGパス以外の対応画像形式、入力制限の詳細、信頼度出力、定量的な評価結果は明示されていません。そのため、下流の分子検索やデータ抽出に予測を利用する場合は、既知の構造と照合して評価してください。リポジトリのコードにはMITライセンスが適用されていますが、この情報だけではモデルの重み、データセット、リンク先のウェブサービスの条件は確定できません。
主な機能
- EfficientNet-V2を使用して化学構造画像から特徴を抽出します。
- transformerモデルを用いてSMILES表現を予測します。
- 画像パスを受け取り、予測SMILES文字列を返すPython関数 predict_SMILES を提供します。
- TFRecordファイル、Google Cloud Buckets、TensorFlowデータパイプライン、TPU戦略を使用する学習ワークフローを記載しています。
- 手描き化学構造認識モデルについて説明し、個別のDOIレコードにリンクしています。
用途
- 評価案：個別の化学構造図をSMILESに変換し、整理された分子コレクションに適用します。採用前に予測を参照構造と比較します。
- 評価案：すでに切り出された化学構造画像を入力する抽出ワークフローに、画像からSMILESへの予測を組み込みます。
- 評価案：教育または研究コレクションを代表する注釈付きスケッチを使い、別途紹介されている手描きモデルを評価します。
使い方
- リポジトリのREADMEを読み、標準的な画像認識ワークフロー、別途リンクされている手描きモデル、より広範なDECIMERプラットフォームを区別します。
- リンク先のドキュメントを参照してください。READMEにある環境およびパッケージのインストール例に従います。記載された環境は一例であり、他の構成との互換性を示すものではありません。
- 個別の化学構造画像を用意し、そのファイルパスを確認します。提供された例ではJPGパスが使われています。抜粋には対応形式の全一覧がないため、その他の形式は別途評価してください。
- DECIMERから predict_SMILES をインポートし、画像パスを渡すという、記載されたPythonインターフェースを使用します。返されたSMILESは、検証済みの分子転記ではなく予測として記録してください。
- 下流で使用する前に、出力を既知の参照構造と比較します。スケッチについては手描きモデルの記録を参照してください。READMEには、その呼び出し方法の詳細や比較結果は記載されていません。