概览
Matbench Discovery 是一项基准评估和交互式排行榜，用于评估机器学习模型在无机晶体发现和原子模拟中的表现。其文档所述范围不止于稳定性预测，还包括几何优化、声子与热导率、分子动力学以及双原子势能曲线。它支持模型比较，而不是单一的预测模型或通用材料数据库。
排行榜收录了图神经网络原子间势、图神经网络单次预测模型、迭代贝叶斯优化器，以及使用浅层学习结构指纹的随机森林。在研究工作流程中，它可以帮助判断哪些方法值得在静态或有限温度模拟中进一步评估。该基准将预测的材料性质（包括热力学稳定性、热导率和原子位置）与各任务对应的参考数据进行比较。其输出包括模型排名，以及准确性、稳健性和计算成本方面的比较；来源摘录未说明完整的输入模式或提交产物格式。
一项重要的解读限制是：晶体稳定性评估采用由 DFT 参考能量构建的凸包，而非模型预测的能量。用户在解读结果或与其他基准进行比较时应考虑这一选择。项目还提醒，排行榜位置不能全面体现模型推动材料研究进展的能力，也不代表 Materials Project 的背书。贡献指南说明了提交新模型的文档化流程，仓库还包含 Python 包配置。
主要功能
- 交互式排行榜，对晶体稳定性、几何优化、声子与热导率、分子动力学以及双原子势能曲线相关任务中的模型进行排名。
- 涵盖多种模型类别，包括 GNN 原子间势、GNN 单次预测模型、迭代贝叶斯优化器，以及基于指纹的随机森林。
- 按任务进行比较，以呈现准确性、稳健性和计算成本之间的权衡。
- 稳定性评估依据由 DFT 参考能量而非模型预测构建的凸包。
- 提供模型贡献流程，并附有指南链接和针对特定分支的拉取请求说明。
使用场景
- 建议的评估方式：筛选晶体稳定性模型，再评估其是否适用于预期的发现工作流程。
- 建议的评估方式：利用相关排行榜任务，比较适用于几何优化或有限温度模拟的候选原子间势。
- 建议的评估方式：在规划针对目标材料体系的独立验证前，查看声子和热导率结果。
- 建议的评估方式：按照贡献指南准备新模型提交，以便在该基准的参考数据框架内进行比较。
使用方式
- 打开交互式排行榜，并确定与你的工作相关的任务，例如晶体稳定性、几何优化或热导率。
- 解读发现任务的排名前，查阅稳定性基准说明。请注意，评估所用凸包基于 DFT 参考能量，而非模型预测。
- 比较相关模型类别，以及现有的准确性、稳健性和计算成本信息。将其视为后续评估的候选清单，而非模型适用于你的材料或模拟条件的证明。
- 如果要在本地开展基准工作，请检查仓库配置中声明的依赖项和 Python 要求。请在项目文档中确认特定任务的输入和流程；来源摘录未给出执行步骤。
- 如需提交新模型，请遵循贡献指南，包括其中针对特定分支的说明。支持问题可在GitHub 讨论区提出。