当手头已有 SMILES 和带标签的分子性质数据时,ChemBERTa 可以作为待评估的文本表征模型。本指南面向了解 Python、分子解析与监督学习的研究者,重点是建立一次可追溯的检查点评价。预训练读取了大量分子字符串,并不等于性质预测已经得到实验确认。
先确定模型身份,再讨论能力
站内 ChemBERTa 条目追溯到原始 bert-loves-chemistry 仓库。原始工作、ChemBERTa-2 与后续 ChemBERTa-3 框架 不是一份可互换权重。论文中的模型家族、软件类和具体 checkpoint 应分别记录。
以 DeepChem/ChemBERTa-77M-MLM 为例,其配置 声明 RobertaForMaskedLM,目标是掩码语言建模。它不是已经针对你的溶解度或毒性终点训练好的预测器。当前 Hub 缺少实质性模型卡,API 元数据也未声明权重许可证;必须保留这一缺口,不能用 DeepChem 软件的许可替代权重授权。名称中的 77M 不能直接当作实测参数量;ChemBERTa-2 研究的预训练数据规模最高为 7700 万个化合物。
记录仓库 ID、固定 revision、分词器文件、预训练目标、下游输出头和语料来源。DeepChem 的实现 有自己的任务与配置接口,调用类本身不代表已获得针对指定性质的微调模型。
把分子规范化与分词写成输入契约
保留原始字符串与记录 ID,再决定盐、多个组分、同位素、互变异构与立体化学如何处理。规范 SMILES 是表示选择,不能消除测量条件差异;标签缺失和重复测量冲突要另列标志。
使用所选 checkpoint 配套的 tokenizer。字符长度不等于 token 数;应包含特殊 token 统计长度,并核对分词器与架构的实际限制。静默截断可能删除闭环或关键结构信息。同一分子的不同 SMILES 必须先分到同一集合;如采用随机化 SMILES 增强,只在已固定的训练集内生成。这是本文建议的评价协议,并非所有实现的默认行为。
最小输入审计示例
下面固定本次查得的 Hub revision,仅下载配置和分词器,以公开示意字符串检查输入。不加载性质头、不训练,也不输出性质数值。Code status: not executed(未运行)。实际执行前,另行审核 RDKit 与 Transformers 的安装版本并保存环境锁。
from rdkit import Chem
from transformers import AutoConfig, AutoTokenizer
model_id = "DeepChem/ChemBERTa-77M-MLM"
revision = "ed8a5374f2024ec8da53760af91a33fb8f6a15ff"
raw_smiles = "CCO"
mol = Chem.MolFromSmiles(raw_smiles)
if mol is None:
raise ValueError("SMILES parse failed")
prepared = Chem.MolToSmiles(mol, isomericSmiles=True)
config = AutoConfig.from_pretrained(model_id, revision=revision)
tokenizer = AutoTokenizer.from_pretrained(model_id, revision=revision)
encoded = tokenizer(prepared, add_special_tokens=True, truncation=False)
print({"raw": raw_smiles, "prepared": prepared,
"token_count": len(encoded["input_ids"]),
"tokenizer_limit": tokenizer.model_max_length,
"position_table_size": config.max_position_embeddings,
"architectures": config.architectures})
验收时应能保留分子身份,并在不截断的情况下报告 token 长度。它不能证明训练域覆盖、预测精度或权重使用权。非法输入应保留在失败表中,不能悄悄从分母删除。
先冻结分子划分,再拟合模型
先定义性质、单位与测量条件,按明确规则处理身份重复,保存训练、验证、测试记录 ID 及哈希。随机划分适合回答部分同分布问题;骨架划分检查结构家族间迁移,时间划分可能更接近后续采集场景。DeepChem 划分源码 可核对具体机制。骨架划分本身并不保证前瞻泛化。
标签缩放、可学习的特征变换、调参和早停只使用训练/验证数据。多任务保留缺失标签掩码。在同一终点、相同记录上比较已训练的输出头、可选的编码器微调及合适的指纹或描述符基线。新初始化的回归头必须训练,加载成功不赋予其输出科学含义。
预训练语料重合与有监督标签泄漏应分开核查。分子出现在无标签语料中不自动等同标签泄漏,但未知重合会限制“完全未见化学空间”的表述。只报告实际能查明的范围。
按终点报告指标,保留失败样本
回归报告原始目标尺度上的 MAE 或 RMSE,并说明反变换。类别不平衡时,可结合精确率–召回率与 ROC 指标,并报告各类别数量;某些指标在单类别测试子集中没有定义。分类阈值只能在验证集确定。保留逐记录预测、失败数量、各集合大小、种子和多次训练波动。
检查超长字符串、少见元素、立体异构对及大残差。语言模型分数或嵌入不是经过校准的置信区间。相同划分上优于基线,只支持该实验的结论。本指南不提供性能排名。
可复现记录与验收边界
评价包应确保原始 ID 与预测一一对应、划分固定、预处理和分词可追溯,并能辨认最终下游权重。保存软件与硬件版本、配置和文件哈希、种子、停止条件及授权证据。输入检查通过、训练完成、科学结论成立是不同层次。
通用性质与 QM9 指南负责终点设计;本文补足 ChemBERTa 的文本输入和检查点决策。未来可以把审计与评价记录整理为 Recipe,但本轮没有创建 Recipe,也没有实现 CARS 执行适配。
站内资源、指南与工作流
评估分子性质预测模型 · QM9 分子性质预测:如何正确评估 · 如何在 Chemprop 和 DeepChem 之间选择 · 分子图学习工具:PyG、e3nn 与 DGL-LifeSci
来源与证据状态
来源查阅日期:2026-10-18。官方资料支持能力与 API 陈述;审计与验收流程属于编辑建议,不代表科学验证或实测性能。