Agent Seer：从规范理解中合成场景
Agent Seer: Synthesizing Scenarios from Specification Understanding
摘要
Agent Seer 提出一种基于工具规范合成评估场景的方法，利用函数名、自然语言描述和类型化参数模式生成逼真测试环境，无需人工策划或实时工具执行。该方法支持多轮对话与工具组合迭代，可跨工具生态系统扩展，并适应 API 演变。相关技术术语包括 agent、benchmark 等。
评估使用外部工具的AI代理，需要构建逼真的测试场景，以捕捉实践者如何组合工具并在多轮对话中迭代。手工构建此类场景需要深厚的领域专业知识，难以跨工具生态系统扩展，且生成的静态基准无法追踪不断演变的API。我们观察到，工具规范——函数名、自然语言描述和类型化参数模式——已编码了足够的语义信息，无需人工策划或实时工具执行即可合成逼真的评估场景。Agent Seer…
译自 Apple · ML Research · 录于 二〇二六年八月二十九日