Role-Agent: 通过双角色演化引导LLM智能体

尽管大语言模型（LLM）智能体在复杂任务上展现出强劲性能，但其学习过程常受限于低效的交互反馈和静态的训练环境，这阻碍了更广泛的泛化能力。为解决这些局限，本文提出Role-Agent框架，该框架利用单一LLM同时扮演智能体和环境的角色，实现自举式协同进化。Role-Agent包含两个协同组件：世界在智能体（WIA）和智能体在世界（AIW）。在WIA中，LLM作为智能体，在每次动作后预测未来状态；预测状态与实际状态的对齐程度被用作过程奖励，从而鼓励环境感知推理。在AIW中，LLM从失败轨迹中分析失败模式，并检索具有相似失败模式的任务，进而重塑训练数据分布以实现针对性练习。在多个基准测试上的实验表明，Role-Agent能持续提升性能，在强基线基础上平均提升超过4%。