Matbench

概览

Matbench 是一项材料科学基准资源，包含 13 项经过整理的机器学习任务。其声明的用途是进行基准测试和性能评估；引用论文将其置于材料性质预测的背景下。它适合作为评估预测方法的任务套件，而不是能够自行提供性质估算结果的预测模型或材料发现应用。

该项目将可通过 pip 安装的软件包与网站资源相结合，网站提供排行榜、各任务排行榜、完整基准数据，以及 MatbenchBenchmark 的代码参考。这些资源可作为选择任务、查看基准信息和了解软件包接口的起点。在建议的评估工作流中，研究人员可使用基准任务及相关数据评估预测方法，再参考排行榜资源了解比较背景。

项目 README 未说明各任务的输入、目标性质、数据集规模、输出架构、指标或评估划分。因此，在设计实验之前，必须查阅链接文档和基准页面以核实这些细节。README 声明支持 Python 3.8+，但来源摘录不能证明已独立测试过兼容性，也不能证明模型性能。仓库代码采用 MIT 许可；这些证据并未单独确立项目所链接的每个数据集或外部服务的条款。

主要功能

• 包含 13 项经过整理的材料科学机器学习任务套件，用于基准测试和性能评估。
• 提供带有总排行榜和各任务排行榜链接的网站。
• 提供链接指向的完整基准数据资源，供用户查看基准信息。
• 提供可通过 pip 安装的 matbench 软件包；README 声明支持 Python 3.8+。
• 提供安装文档和 MatbenchBenchmark 代码参考。
• 提供链接指向的材料科学讨论论坛，以获取帮助和支持。

使用场景

• 建议的评估：核实所选 Matbench 任务的输入、目标和评估规则后，评估材料性质预测方法。
• 建议的评估：利用项目的总排行榜和各任务排行榜资源，分析不同预测方法之间的差异。
• 建议的评估：使用链接指向的基准数据和代码参考，为材料机器学习研究规划可重复的比较工作流。

使用方式

1. 从仓库开始，确认基准的范围并查找其官方资源。将其视为评估套件，而不是现成的预测模型。
2. 查阅安装文档。README 提供了 pip install matbench 命令，并声明支持 Python 3.8+；请查阅文档了解其他设置细节。
3. 查看完整基准数据资源。选择任务之前，请核实其输入表示、目标、数据条款和评估要求。
4. 阅读 MatbenchBenchmark 代码参考，以确定该软件包如何融入你的评估工作流。请核实文档所述的输入和输出，不要仅凭 README 臆测接口。
5. 查阅排行榜及链接的各任务结果，以了解比较背景。若在出版物中使用 Matbench，请查阅引用论文及其要求的引用格式。