OpenAI 介绍 MedChemBench:用药物化学问题评估 AI 推理
北京时间11月21日凌晨,OpenAI 介绍药物化学评测 MedChemBench,用已发表研究中的问题考察人工智能模型能否结合分子结构和实验结果作出推理。该评测关注药物早期发现过程,不等同于新药研发或临床试验。
评测涉及哪些任务
OpenAI 表示,MedChemBench 包含99道问题,资料来自117篇论文和专利,覆盖761个不同分子结构。问题通常提供一个研究项目中的生物学背景、已研究的化合物以及部分实验数据,要求模型重建分子结构、解释证据、选择候选化合物或预测其性质。
药物化学中的一个难点是平衡多种性质:化合物对目标蛋白作用更强,并不必然意味着它更容易通过细胞屏障或在体内保持稳定。评测通过回顾已有研究,把后续实验得到的结果作为参考,检查模型能否根据当时已有的信息进行判断。
成绩与局限
根据 OpenAI 公布的测试,在 xhigh 推理设置下,GPT-6.2 Astra 获得可得分数的84.5%。这属于发布方在特定题集与评分设置下的结果;该数字不是临床成功率,也不能直接推断实际药物研发的成功概率。
OpenAI 还表示,GPT-6 Astra 在分子结构重建方面得分较高,但在候选物选择和数值性质预测方面仍面临明显困难。不同部分使用的题目和评分规则不同,不能简单地把各部分百分比当作同一类准确率比较。
这是一项基于历史资料的回顾性评测。OpenAI 指出,不能排除模型此前接触过公开资料的可能;测试中的回答也没有通过新实验或工具反馈来验证。因此,评测尚不能证明模型能够独立发现药物,或改善实验室中的实际决策。
扫描二维码手机访问。
版权声明:本文由皓维工作室发布,如需转载请注明出处。
本站大部分资源收集于网络,只做学习和交流使用,版权归原作者所有。
若您需要使用非免费的软件或服务,请购买正版授权并合法使用!
本站发布的内容若侵犯到您的权益,请联系站长删除,我们将及时处理!


