FAMA:面向交互式工具使用环境中开源 LLM 的失败感知 Meta-Agentic 框架
FAMA: Failure-Aware Meta-Agentic Framework for Open-Source LLMs in Interactive Tool Use Environments
Large Language Models 正越来越多地被部署为 autonomous agents 的决策核心,使其能够对外部环境产生影响。然而,在模拟真实世界以客户为中心的问题解决场景的 conversational benchmarks 中,这些 agents 经常因错误决策的级联效应而失败。这些挑战在参数规模较小、context window 有限、inference budget 受限的 open-source LLMs 中尤为明显,因为这些因素会导致 agentic 场景中的错误累积加剧。
为应对这些挑战,我们提出 Failure-Aware Meta-Agentic(FAMA)框架。FAMA 分两个阶段运行:首先,它分析 baseline agents 的失败轨迹,以识别最常见的错误;其次,它采用一种 orchestration 机制,激活最小子集的 specialized agents,这些 agents 专门针对这些失败进行处理,并在决策步骤之前为 tool-use agent 注入有针对性的 context。
在多个 open-source LLMs 上的实验表明,相较于标准 baselines,FAMA 在不同评估模式下的性能提升最高可达 27%。这些结果表明,通过 specialized agents 对 context 进行有针对性的整理,以应对常见失败,是构建可靠的多轮 tool-use LLM agents 的一项有价值的设计原则,可用于模拟真实世界的对话场景。