EvoLib：将经验转化为进化知识
EvoLib: Turning experience into evolving knowledge
EvoLib 是一个将大语言模型原始经验转化为可复用技能与反思性见解的框架，通过整合与动态加权机制持续精炼知识，无需更新底层模型即可应用于任何 API 部署的黑盒系统。在数学推理、代码编写和长周期决策等任务中，EvoLib 优于基于检索的记忆方法，token 使用效率更高，且对随机任务顺序具有鲁棒性。代码与结果已在 GitHub 公开，由 Microsoft Research 发布。
概览
自监督。 EvoLib 使大语言模型能够在推理过程中从自身经验中学习，无需真实标签或外部反馈。
从经验到知识。 EvoLib 将过去的尝试转化为可复用的技能和反思性见解，这些技能和见解可应用于未来的任务。
不断进化的知识。 有用的技能和见解被持续精炼、整合并重新加权，使针对特定实例的观察随时间推移逐渐转化为越来越通用的知识。
跨任务迁移的学习。 通过将经验转化为可复用的知识，EvoLib 帮助 AI 模型从过去的成功与失败中学习，并进化出对提升未来性能最具潜力的知识。
专为当今 AI 模型设计。 由于 EvoLib 不需要更新模型，它可以应用于任何通过 API 部署的黑盒语言模型和 AI 系统。
记忆已成为 AI 智能体的重要能力：存储和检索过去经验的能力。但仅有记忆并不等于学习。大量过去的对话、推理轨迹或行动历史会迅速膨胀成一个庞大的经验档案，使得为新任务识别最相关的知识变得困难——更不用说精炼和进化这些知识以随时间提升性能了。
人类的学习方式不同。我们不会记住过去经历的每一个细节。相反，我们记住的是重要的东西：有效的策略、应避免的错误以及能跨情境迁移的技能。随着时间的推移，这些经验教训被精炼成越来越通用和可复用的知识。这种将经验转化为可迁移、可进化知识的能力，是人类学习的基础之一。
在我们最近的论文《Test-Time Learning with an Evolving Library》中，我们探讨了 AI 系统如何以类似方式从经验中学习。我们引入了 EvoLib，一个将原始经验转化为不断进化的知识库的框架。EvoLib 不是将记忆视为不断增长的经验档案，而是从这些经验中提取可复用的知识，并在新经验到来时持续精炼它。通过知识库的进化，技能变得更加通用，见解变得更加准确，下游性能也随时间持续提升。这样，AI 智能体无需更新底层模型，就能从积累的经验中持续学习。
EvoLib 的工作原理
与将原始经验存储为静态信息的传统 AI 记忆系统不同，EvoLib 围绕进化知识的理念构建。在 EvoLib 中，一个知识单元可以是从成功解决方案中提炼出的可复用技能，也可以是从错误中学到的反思性见解。EvoLib 不是简单地随时间积累更多记忆，而是在新经验到来时持续精炼、整合和重新加权现有知识。
具体来说，我们围绕知识进化设计了以下机制：
- 整合。 当从最近的经验中提取新知识时，EvoLib 会从知识库中检索相似的知识，并尝试将其与新知识整合成更通用、更可复用的形式。这使得知识能够超越单个经验，适用于跨任务场景。
- 加权机制。 EvoLib 持续更新每个知识单元的重要性，不仅基于其对当前任务的即时效用，还基于它对未来任务生成有用知识的贡献程度。随着时间的推移，具有最大长期影响的知识自然会在知识库中变得更加突出。
图 1. EvoLib 将原始经验转化为可复用的技能和见解，然后通过整合和动态加权持续进化它们。
主要结果
为了评估 EvoLib，我们在多种具有不同类型经验和学习需求的挑战性任务上进行了测试：
- 解决数学推理问题
- 在效率约束下编写代码执行给定任务
- 做出决策以探索环境并与环境交互，完成长周期任务
在这些任务中，EvoLib 始终优于基于检索的顶级记忆方法和其他抽象记忆机制，且 token 使用效率更高。我们还评估了 EvoLib 如何通过持续进化的知识，将测试时计算有效转化为性能提升。
图 2 将 EvoLib 与两种方法进行了比较：一种是独立执行每个任务的计算扩展方法，另一种是基于强记忆的学习方法。每条曲线显示了随着测试时计算量增加，性能如何提升。在所有三个基准测试中，EvoLib 在大部分计算范围内都取得了更高的性能，并且随着计算量的增加，性能提升更快。这些结果表明，更好学习的关键可能不仅仅是存储更多记忆或投入更多计算，而是将经验转化为可复用、可持续精炼并跨任务应用的知识。
图 2. 在所有任务中，EvoLib 比现有方法更有效地将测试时计算转化为性能提升。
对随机任务顺序的鲁棒性
一个自然的问题是，这种学习是否高度依赖于任务出现的顺序。在现实世界中，AI 系统可能以任意顺序面对不同类型的任务，一个有用的学习框架应对任务顺序的随机性具有鲁棒性。为了评估这一点，我们在同一组异构任务上测量了任务性能，但采用了不同的任务顺序。我们发现，EvoLib 始终优于现有的基于记忆的学习方法，并在不同顺序下保持稳定的性能。这表明 EvoLib 即使在任务交错的情况下也能持续从多样化任务中学习，这凸显了其在现实场景中的实际优势——智能体必须处理并从混合的异构用户请求流中学习，而无需依赖结构化的课程安排。
随着 AI 系统承担更长期、更复杂的任务，从经验中学习将变得越来越重要。AI 的未来可能不仅依赖于更大的模型和更多的计算，还依赖于允许系统持续积累、精炼和复用知识的机制。EvoLib 是朝着这一愿景迈出的一步。通过将经验转化为进化的知识，它使 AI 系统能够在部署后持续改进和适应。未来的 AI 系统或许不必每次都从头开始，而是能够在一个不断进化的可复用技能和见解知识库上构建，就像人类一样。
代码和实验结果已在 GitHub（在新标签页中打开）上公开，以支持未来关于 AI 系统中记忆和知识进化的研究。
在新标签页中打开
本文《EvoLib: Turning experience into evolving knowledge》最初发表于 Microsoft Research。