概要
Matbench Discovery は、無機結晶の発見および原子シミュレーションにおける機械学習モデルを評価するためのベンチマーク兼インタラクティブなリーダーボードです。文書に記載された対象範囲は安定性予測にとどまらず、構造最適化、フォノンと熱伝導率、分子動力学、二原子のポテンシャルエネルギー曲線にも及びます。単一の予測モデルや汎用材料データベースとしてではなく、モデルの比較を支援するものです。
リーダーボードには、グラフニューラルネットワークの原子間ポテンシャル、グラフニューラルネットワークの一回予測モデル、反復ベイズ最適化器、浅層学習の構造フィンガープリントを使うランダムフォレストが含まれます。研究ワークフローでは、静的シミュレーションや有限温度シミュレーションでさらに評価する価値のある手法を絞り込む際に参考になります。このベンチマークでは、熱力学的安定性、熱伝導率、原子位置など、予測された材料特性を各タスク固有の参照データと比較します。出力にはモデルの順位と、精度、頑健性、計算コストの比較が含まれますが、出典の抜粋には完全な入力スキーマや提出物の形式は記載されていません。
解釈上の重要な制約として、結晶安定性はモデルの予測エネルギーではなく、DFT 参照エネルギーから構築した凸包を用いて評価されます。結果の解釈や他のベンチマークとの比較では、この選択を考慮する必要があります。またプロジェクトは、リーダーボード上の順位だけではモデルが材料研究を進展させる能力を十分に示せず、Materials Project による推奨を意味するものでもないと注意を促しています。コントリビューションガイドには新しいモデルを提出するための文書化された手順が示され、リポジトリには Python パッケージの設定も含まれています。
主な機能
- 結晶安定性、構造最適化、フォノンと熱伝導率、分子動力学、二原子のポテンシャルエネルギー曲線に関する各タスクでモデルを順位付けするインタラクティブなリーダーボード。
- GNN 原子間ポテンシャル、GNN 一回予測モデル、反復ベイズ最適化器、フィンガープリントベースのランダムフォレストなど、複数のモデルファミリーを対象とします。
- タスクごとの比較により、精度、頑健性、計算コストのトレードオフを把握できます。
- 安定性は、モデル予測ではなく DFT 参照エネルギーから構築した凸包に基づいて評価されます。
- リンク付きのガイドと、ブランチごとのプルリクエスト手順を含むモデル投稿ワークフロー。
用途
- 評価案：結晶安定性のスクリーニングに使うモデルを絞り込み、想定する発見ワークフローへの適合性を評価する。
- 評価案：関連するリーダーボードのタスクを用いて、構造最適化や有限温度シミュレーション向けの候補原子間ポテンシャルを比較する。
- 評価案：対象材料系での独立検証を計画する前に、フォノンと熱伝導率の結果を確認する。
- 評価案：コントリビューションガイドに従って新しいモデルの提出を準備し、ベンチマークの参照データの枠組みの中で比較する。
使い方
- インタラクティブなリーダーボードを開き、結晶安定性、構造最適化、熱伝導率など、作業に関連するタスクを特定します。
- 発見タスクの順位を解釈する前に、安定性ベンチマークの説明を確認します。評価に用いる凸包はモデル予測ではなく DFT 参照エネルギーに基づいている点に留意してください。
- 関連するモデルファミリーと、利用可能な精度、頑健性、計算コストの情報を比較します。これは今後の評価に向けた候補リストとして扱い、特定の材料やシミュレーション条件への適合性を証明するものとはみなさないでください。
- ローカルでベンチマーク作業を行う場合は、宣言された依存関係と Python 要件についてリポジトリ設定を確認します。タスク固有の入力や手順はプロジェクトのドキュメントで確認してください。出典の抜粋には実行手順が記載されていません。
- 新しいモデルを提出する場合は、ブランチごとの指示を含め、コントリビューションガイドに従います。サポートに関する質問はGitHub Discussionsを利用してください。