PORTool：用于多工具集成推理的奖励树重要性感知 Policy Optimization

Multi-tool-integrated reasoning 使由 LLM 赋能的 tool-use agent 能够通过交替进行自然语言 reasoning 与调用外部 tool 来解决复杂任务。然而，仅使用 outcome-only reward 训练这类 agent 会受到 credit-assignment 模糊性的影响，难以判断哪些中间步骤（或 tool-use decision）导致成功或失败。本文提出 PORTool，一种 importance-aware policy-optimization algorithm，它在使用 outcome-level supervision 的同时，在 step level 分配 reward，从而强化 agent 的 tool-use competence。具体而言，PORTool 会生成一个带 reward 的……