HarnessDev：LLM能否创建并进化自己的Agent Harness？

随着智能体从研究原型走向部署工具，其能力日益依赖于模型外部的执行基础设施，通常称为智能体框架（agent harness）。在保持模型权重不变的情况下，更换这一框架可以显著改变任务性能。当前的智能体评估通常在选定框架下报告下游性能，而模型自身开发框架的能力则相对未被充分探索。我们引入了HarnessDev，一个将评估单元从任务输出转向可运行基础设施的基准。HarnessDev涵盖两个阶段。在创建阶段，智能体从最小种子和少量案例出发，构建完整的执行系统。在进化阶段，它从自身创建的框架开始，利用下游执行反馈进行迭代修订，目标是提升基准性能。随后，我们评估每个构建框架的能力（在保留基准上的任务成功率）和效率（执行令牌成本）。报告的创建结果涵盖六个创建者大语言模型、四个领域和五个下游基准，总计2,207个独特下游实例，其中隐藏评估任务未参与开发。我们发现，生成的框架在代码以及搜索和研究任务上仍明显落后于成熟的人工工程参考实现，而在写作和机器学习实验任务上则达到或超过所选参考，但执行成本差异较大。进化带来了一些性能提升，但这些提升不稳定，且仅部分迁移到保留任务。使用固定运行时模型的实验进一步表明，这些提升强烈依赖于执行框架的模型，显示出跨模型的迁移能力有限。