概要
Matbench は、厳選された 13 件の機械学習タスクからなる材料科学ベンチマーク資源です。明示されている目的はベンチマークと性能評価であり、引用論文では材料物性予測の文脈に位置づけられています。独自の物性推定値を出力する予測モデルや材料探索アプリケーションではなく、予測手法を評価するためのタスクスイートとして捉えるのが適切です。
このプロジェクトは、pip でインストール可能なパッケージと、リーダーボード、タスク別リーダーボード、ベンチマークデータ一式、MatbenchBenchmark のコードリファレンスを提供するウェブサイトを結びつけています。これらの資源は、タスクの選択、ベンチマーク情報の確認、パッケージのインターフェースの調査を始める際に利用できます。提案する評価ワークフローでは、研究者はベンチマークタスクと関連データを使って予測手法を評価し、その後、比較の参考情報としてリーダーボードを参照します。
プロジェクトの README には、個々のタスクの入力、予測対象の物性、データセットの規模、出力スキーマ、指標、評価用データ分割についての説明がありません。そのため、実験を設計する前に、リンク先のドキュメントとベンチマークページでこれらの詳細を確認する必要があります。README では Python 3.8+ のサポートが示されていますが、出典の抜粋からは、互換性が独立にテスト済みであることやモデルの性能は確認できません。リポジトリのコードには MIT ライセンスが適用されていますが、この情報だけでは、プロジェクトからリンクされているすべてのデータセットや外部サービスの利用条件が別途確立されているとはいえません。
主な機能
- ベンチマークと性能評価に使用できる、厳選された材料科学の機械学習タスク 13 件のスイート。
- 総合リーダーボードとタスク別リーダーボードへのリンクを掲載したウェブサイト。
- ベンチマーク情報の確認に利用できる、リンク先のベンチマークデータ一式。
- pip でインストール可能な matbench パッケージ。README では Python 3.8+ のサポートが示されています。
- インストールドキュメントと MatbenchBenchmark のコードリファレンス。
- ヘルプやサポートを受けられる、リンク先の材料科学ディスカッションフォーラム。
用途
- 推奨される評価：選択した Matbench タスクの入力、予測対象、評価ルールを確認したうえで、材料物性予測手法を評価する。
- 推奨される評価：プロジェクトの総合リーダーボードとタスク別リーダーボードを参照し、予測手法間の違いを調べる。
- 推奨される評価：リンク先のベンチマークデータとコードリファレンスを利用し、材料の機械学習研究における再現可能な比較ワークフローを計画する。
使い方
- リポジトリから始め、ベンチマークの範囲を確認して公式リソースを探します。すぐに利用できる予測モデルではなく、評価スイートとして扱ってください。
- インストールドキュメントを参照します。README には
pip install matbenchと記載され、Python 3.8+ のサポートが示されています。追加のセットアップ手順についてはドキュメントを確認してください。 - ベンチマークデータ一式を確認します。タスクを選択する前に、入力表現、予測対象、データの利用条件、評価要件を確かめてください。
- MatbenchBenchmark コードリファレンスを読み、評価ワークフローにパッケージをどう組み込むかを判断します。README からインターフェースを推測せず、ドキュメントに記載された入出力を確認してください。
- 比較の参考情報として、リーダーボードとリンク先のタスク別結果を参照します。Matbench を使用した論文を発表する場合は、引用論文と指定された引用方法を確認してください。