Agentic Abstention：智能体知道何时停止而非行动吗？

LLM 智能体（agent）需要能够在多轮交互中行动，利用搜索、浏览界面和终端工具来完成用户目标。然而，并非所有目标在可用环境中都定义明确或可以实现。在这种情况下，一个可靠的智能体应当认识到进一步的交互不太可能有所帮助，并停止调用额外工具。我们定义了"智能体式弃权"（Agentic Abstention）问题，即决定智能体何时应在不确定状态下停止行动。与通常作为单轮"回答或弃权"决策进行评估的标准 LLM 弃权不同，智能体式弃权是一个序列决策问题：智能体在每一轮可以选择回答、弃权或收集更多信息，而弃权的必要性可能只有在与环境交互之后才变得清晰。我们在网络购物、终端环境和问答三个场景中研究了这一问题，评估了 13 个 LLM 智能体系统和 2 个智能体脚手架（agent scaffold）在超过 28,000 个任务上的表现。结果表明，主要挑战不仅在于智能体能否弃权，更在于它们何时弃权。有些智能体在应该弃权时从未弃权，而另一些则在进行了许多不必要的交互之后才弃权。这种差距在那些指令看似可行、但环境最终揭示其不可行（例如，没有有效结果匹配指令）的任务上尤为显著。我们进一步发现，模型规模、推理能力和智能体脚手架以不同方式影响弃权行为，有时更大或能力更强的模型在及时弃权方面表现更差。最后，我们提出了 CONVOLVE，一种通过将完整交互轨迹蒸馏为可复用的停止规则来改善智能体式弃权的上下文工程方法。在 WebShop 上，CONVOLVE 在不更新模型参数的情况下显著提升了及时弃权率，将 Llama-3.3-70B 的及时召回率从 26.7 提高到 57.4。我们的数据集和代码可在 https://lhannnn.github.io/agentic-abstention 获取。