FrontierChallenge:评估科学工作流完成度
FrontierChallenge: Evaluating Scientific Workflow Completion
来自 Apodex
摘要
科学智能体日益广泛地用于分析数据、执行代码并生成研究产物,然而大多数基准测试仍侧重于最终答案、孤立程序或单一领域。我们提出FrontierChallenge,这是一个跨领域基准测试,包含300个端到端科学工作流。在本文中,我们发布并评估了其中97个任务,涵盖量子化学、分子动力学、材料表征、分析化学、生命科学以及电化学/环境科学。每个任务提供固定输入,并指定一组必需的科学交付物。我们使用三种智能体脚手架评估了十二个前沿模型。通过率(Pass Rate)衡量满足完全完成标准的任务比例,而平均得分(Avg. Score)则捕捉部分进展。每个表现最佳的配置仅完成了97个已发布任务中的20个,通过率为20.6%。部分进展在分析化学和电化学/环境科学领域尤其难以转化为完整交付:平均得分分别达到87.6和94.9,但最高通过率仅为4%和0%。在未通过的Claude Code轨迹中,75.5%仍以声称完成的语言结束。这些发现表明,无论是高部分得分还是自信的完成声明,都不能可靠地指示科学任务已完全交付,凸显了同时评估端到端工作流执行和科学交付物完整性的必要性。
译自 Hugging Face · Daily Papers · arXiv:2608.24979 · 录于 二〇二六年八月二十七日