Berkeley · BAIR

智能免费,然后呢?<br>面向Agent、由Agent构成、由Agent驱动的数据系统

Intelligence is Free, Now What? <br> Data Systems for, of, and by Agents

二〇二六年七月八日 · 英文原文

UC Berkeley团队提出,AI推理成本急剧下降(GPT-4级能力从每百万token 30美元降至1美元以下),即将进入近乎免费的智能时代。该团队由EPIC Data Lab联合主任Aditya G. Parameswaran主导,指出这一趋势为数据系统带来三个机遇与挑战:面向agent的数据系统需重新设计以支持高容量异构工作流(agentic speculation),80-90%子查询存在重复执行;由agent组成的数据系统需构建支持数千agent管理状态、协调共识的基础架构,包括structured memory机制;由agent构建的数据系统可从头合成定制化引擎(如Bespoke OLAP、GenDB),但需解决规范不完整导致的"奖励黑客"问题。

... 民有、民治、民享的政府     — 亚伯拉罕·林肯,葛底斯堡演说(1863年)

AI 的成本正在急剧下降。2023 年初,GPT-4 级别的能力每百万 token 成本约为 30 美元;如今,同样的能力不到 1 美元,一些供应商甚至将成本压至 0.10 美元以下。在各类 benchmark 上,推理价格每年下降 9 倍到 900 倍不等,中位数约为 50 倍。即使是前沿模型,每一代也在大幅降价,开源模型紧随其后。关键在于,即使“诺贝尔奖级天才”智能尚未到来,足以胜任绝大多数知识工作的智能已经存在,并且每月都在变得更便宜。按照这个速度,我们很快将进入近乎免费的智能时代——这种智能对于日常知识工作来说绰绰有余。

披露: 本文观点由 UC Berkeley 电子工程与计算机科学系副教授、EPIC Data Lab 联合主任 Aditya G. Parameswaran 及其合作者主导。本文兼具领域综述与观点阐述,下文讨论的若干研究方向(包括 agentic speculation、structured memory 以及从头合成定制数据系统)均基于作者们正在进行的工作。

那么,这个近乎免费智能的新时代对数据系统意味着什么?我们认为,近乎为零的推理成本带来了三个新的挑战——同时也是机遇:

面向、由 Agent 组成、以及由 Agent 构建的数据系统

接下来,我们将详细讨论每个方面,然后探讨数据系统与 agent 相互交织的未来,特别是当这三个挑战相互交叉时。

面向 Agent 的数据系统

一个查询数据库的 agent 的行为不像人类或 BI 工具。它执行我们称之为 agentic speculation 的操作:一个高容量、异构的工作流,涵盖 schema 内省、列式探索、部分查询构建以及最终完整查询构建。当多个 agent 各自探索假设空间的不同部分时,每个用户请求可能相当于数千个独立的 SQL 查询。现在,用户可以发布“高级”数据任务,例如根本原因分析——比如“为什么今年伯克利的咖啡销量下降了”——或探索性群体分析——比如“哪些用户群体下个季度最有可能流失”——每个任务都涉及潜在的连接、聚合和过滤组合的组合空间。

重新设计数据系统以更有效地支持 Agentic Speculation

来自这些 agent 的请求有多种优化机会。例如,在一个多 agent 尝试每个任务的 text-to-SQL benchmark 上,只有 10-20% 的子计划是独特的。因此,80-90% 的子查询执行了重复工作。同样的实验表明,随着 agent 尝试次数的增加,任务成功率显著提高——所以冗余实际上是有帮助的。但从数据系统的角度来看,这是浪费的工作。一个以 agent 为先的数据系统可以利用这些特性来帮助 agent 更快地取得进展。它可以跨重叠的子计划重用结果,借鉴数十年前关于多查询优化和共享扫描的文献思想。或者,数据系统可以尝试 satisfice(满足即可),返回足够好的近似答案,让 agent 能够继续推进,利用 AQP 文献中的工作——或者流式传输最终或中间操作符的结果,以帮助 agent 判断查看剩余部分是否必要或有帮助。

另一个机会是完全重新思考查询接口:agent 可以一次发布一批查询,而不是一次只发出一个 SQL 查询,每个查询都有自己的近似要求。由于枚举指数级搜索空间(如上述根本原因或群体分析示例)并非 agent 推理能力的最佳用途,也许数据系统应该支持更高级的原语,而不是要求 agent 显式列出每个 SQL 查询。一个想法是借鉴 DBT 风格的 Jinja 宏,为 agent 提供基于循环的原语来与数据系统交互。

一支随时准备不知疲倦地完成数据任务的“打了鸡血”的 Agent 大军

最后一个机会是停止将数据系统视为被动的查询执行者;数据系统可以变得 主动,因为它们对数据和系统特性有更深入的了解,而这些可能是 agent 先验缺乏的——它们可以引导 agent 走向不同方向,为相关查询提供结果,并提供性能级别的反馈(例如,系统可以先向 agent 提供延迟估计,而不是执行一个昂贵的查询)。我们现在能够做到这一点,而过去不能,是因为 agent 可以接受任何形式的文本反馈,而不期望严格的 SQL 查询结果。事实上,数据系统还可以提前为 agent 准备物化视图和虚拟视图,作为上下文的一部分提供给 agent,因为这可能比让 agent 自己编写或使用它们更便宜或更有效。

由 Agent 组成的数据系统

之前,我们关注的是 agent 如何与数据系统交互。现在,我们考虑 agent 需要持续工作所需的一切:它们在哪里运行,它们如何记忆,它们如何相互协调,以及它们如何处理彼此的故障。这个 agent 基础架构与提供原始智能的推理栈是分开的。然而,推理栈本身正通过 API(例如来自 OpenAI 或 Anthropic)或针对开放权重模型的服务框架(隐藏底层细节)被抽象化。到目前为止,agent 基础架构是通过像 Claude Code 和 Codex 这样的工具来管理的,并辅以各种存储和检索记忆的机制。

首先,在记忆方面,当前的共识是 文件就是一切;agent 将信息写入非结构化的 markdown (MD) 文件,然后可以通过 grep 或基于 embedding 的检索来搜索这些文件。事实上,许多人认为,持续学习的解决方案是让 agent 消费大量信息(例如整个代码库、Slack、公司 wiki 等),然后将它们的学习成果写入 MD 文件,并在需要时按需选择性检索。确实,文件系统、bash 脚本和 MD 文件现在和将来对 agent 仍然很重要。然而,在规模化场景下,当 agent 承担绝大部分知识工作时,这种方法将不再有效。鉴于有限的上下文窗口,检索所有可能相关的 MD 文件片段并将其塞入上下文,最终会崩溃。即使上下文窗口继续增长,不将所有信息放入上下文也有延迟方面的好处——而且在许多情况下,例如当知识工作涉及与大型数据库或代码库交互时,将所有相关数据序列化到上下文中是不可行的。

作为多 Agent 群体基础架构的数据系统

可以使用知识图谱表示,但知识图谱由于缺乏结构化搜索,与基于非结构化 MD 的记忆存在相同的局限性。我们需要的是能够仅检索与任务相关的记忆,跨越多个感兴趣的属性(或方面)。例如,一个调试不稳定测试的 agent 应该能够只拉取标记了相关模块、语言、框架和失败模式的记忆——而不是基于关键词或 embedding 相似度进行检索。另一个问题是实际检索什么;包含错误的原始 agent 轨迹用处不大,因为它们会导致 agent 重复同样的错误——相反,我们希望检索到的记忆是 纠正性 的。

我们最近探索了一个相关的概念,称为 structured memory,我们将记忆按各种属性组织起来,每个属性可以设置为 * 表示通用适用,或设置为一个值列表进行匹配。对于一个数据 agent,维度可以包括列和表、操作类型,最后是开放式的自然语言纠正指令。因此,我们可以包含仅适用于给定操作类型的记忆(例如,“执行日期时间操作时,使用财年而非日历年约定”),或仅适用于给定表的记忆(例如,“查询产品名称时,优先使用 product_cleaned 列而非 product 列”)。一个开放问题是定义特定于应用的 structured memory——或者其他人称之为 world models for memory。我们认为这类似于为每个应用定义一个 schema——也许 agent 本身可以帮助我们随着时间的推移定义和完善它。

Structured memory 对于进化框架有效管理搜索空间也很有用。事实上,存储、结构化和挖掘大量的单 agent 和多 agent 轨迹可以帮助未来的 agent 变得更加高效——可能通过基于 structured memory 的机制实现有效的递归自我改进。

另一个挑战是支持对共享内存的并发编辑,以及当有许多 agent 执行转换时的一般并发编辑。虽然已经有一些有用的尝试来支持多版本和写时复制语义,但尚不清楚当数千个 agent 同时尝试编辑共享状态时,这些技术是否足够。例如,当 agent 尝试各种潜在事务以响应用户请求时,绝大多数这些事务的效果需要被回滚——只有那个“正确”的事务的结果得以持久化。关于支持恰好一次语义的工作与此相关,基于 CRDT 和操作转换的底层技术也是如此。对于像记忆这样的模糊机制的更新,为了延迟,我们可能可以牺牲一致性来换取完美的正确性。虽然 agent 可以推理语义以补偿或回滚其操作,最终完成大多数任务,但主要挑战在于它们在此过程中相互干扰的程度。需要避免的一个重要失败模式是一种“活锁”,即无休止的补偿操作阻止了任何有意义的进展。

除了共享状态之外,在尝试支持一支 agent 大军时还会出现其他问题,包括 agent 失败时该怎么办,agent 应该如何相互通信(直接通信还是通过中间共享状态),以及我们应该如何处理掉队 agent。在支持持久化多 agent 执行方面已经有一些进展,例如 Temporal,但这些解决方案是否适用于数千个 agent 的规模还有待观察。在通信方面,我们需要机制来使 agent 能够相互协商。想象一下,四个开发 agent 试图就一个共享 schema 达成共识,它们的目标不同但有重叠。在人类环境中,这将涉及迭代讨论和妥协;对于 agent 群体,我们必须定义允许它们收敛到一个反映各自委托人底层目标的设计上的机制。或者,如果所有 agent 都需要访问一个有限的资源,那么通信也是必要的。这是通过集中协调最好地完成,还是需要去中心化的方法,仍有待观察。

由 Agent 构建的数据系统

最后,如果智能实际上是免费的,那么我们可以利用这种智能从头开始合成新的数据系统。事实上,在许多情况下,通用数据系统可能过于强大,因为它们必须支持每种 schema、查询和硬件目标。给定一个工作负载,最近的工作,包括 Bespoke OLAP 和 GenDB,已经表明可以使用一个 agentic pipeline 在几分钟到几小时内,以几美元的成本合成一个完整的、特定于工作负载的分析引擎。这些引擎是一次性的:当工作负载发生变化时,可以简单地重新生成它们。类似地,我们的工作表明,可以针对工作负载从头合成定制的键值存储。事实上,现代 IDE,如 Kiro,将系统开发的规范提升为一等公民。

然而,主要问题在于,规范通常不完美,并且没有涵盖所有边界情况。当前的 agent 会利用缺失的规范来“奖励黑客”以达到高性能指标。在我们定制的键值存储工作中,我们发现缓解这个问题的一种方法是让辅助验证 agent 尝试生成能够捕获边界情况利用的测试用例,从而本质上扩展规范。另一种方法是同时生成系统及其正确性证明,我们在这方面取得了一些初步成功,但还需要做更多工作来巩固这种方法。此外,如何最好地征求人类编写的系统规范仍有待观察——这能否以迭代的、人在回路中的方式进行,而不是一次性的、不完整的方式?事实上,即使是手动编写的软件,人类编写的规范也是不完整的,因此可以预期,未来更对齐的 agent 在做出设计决策时将越来越多地运用更好的判断力。

其他问题包括测试从一个成熟的系统(例如 Postgres)开始并移除组件/功能是否能够带来更高的性能或更多的用户信任。另外,是否有可能使设计可组合,包含各种经过验证的组件,这些组件可以根据工作负载进行混合和匹配?例如,也许工作负载的变化还不足以需要更新存储层,但查询优化器可能需要更改。一个可能更可行的方案是,将 agent 与证明系统结合起来,针对与形式化证明相关的代码关键部分,而不是针对整个系统。

最后一个机会是摆脱具有明确定义接口(例如解析器、查询优化器、存储管理器等)的传统数据系统栈——这些接口过去主要由单个人类团队负责管理。相反,agent 可以找到将这些组件“融合”在一起的新方法,从而可能发现新的优化机会。Agent 还可以填补功能上的空白,使现有系统功能更加完备,或达到与其他竞争系统的功能对等——或者类似地,根据功能请求或问题(可能由其他 agent 提交!)持续改进开源系统。以优先考虑正确性、长期可维护性和人类可解释性的方式做到这一点将是一个挑战。

展望更远的未来

在近乎免费的智能时代,数据系统比以往任何时候都更加重要。随着 agent 承担大部分知识工作,数据系统的工作负载将发生变化,它们运行所需的基础架构必须被构建,并且它们将越来越多地参与设计数据系统本身。这些转变中的每一个都开辟了一个新的、令人兴奋的研究议程。

数据系统与 Agent 的共同进化

展望更远的未来,agent 和数据系统之间的界限可能会开始模糊。例如,agent 可能会设计它们自身运行的数据系统,定义接口以及底层的系统组件。接口和内部结构都可以由 agent 以递归自我改进的形式随时间演变。还有一个机会是将数据系统重新构想为所有相关状态的全局事实来源:包括原始数据、记忆和协调状态,进一步消除被 agent 查询的数据与 agent 活动产生的数据之间的区别。最后,数据系统本身可能包含 agent 组件,从根本上从被动的计算引擎演变为智能、主动、自我优化的架构。

很难预测未来会怎样。我们即将迎来一场狂野的旅程!

致谢

本文所述的观点和正在进行的工作是与 EPIC Data Lab、Data Systems & Foundations 小组以及更广泛的 Berkeley AI-Systems 社区的优秀合作者共同研究和多次讨论的成果。感谢大家!

本文的 BibTex:

@misc{intelligence-is-free-blog,
  title={Intelligence is Free, Now What? Data Systems for, of, and by Agents},
  author={Aditya G. Parameswaran and Shubham Agarwal and Kerem Akillioglu and Shreya Shankar and Sepanta Zeighami and Rishabh Iyer and Matei Zaharia and Alvin Cheung and Natacha Crooks and Joseph Gonzalez and Joseph Hellerstein and Ion Stoica},
  howpublished={\url{https://bair.berkeley.edu/blog/2026/07/07/intelligence-is-free-now-what/}},
  year={2026}
}
译自 Berkeley · BAIR · 录于 二〇二六年七月八日