语言模型中的全局工作空间

当你阅读这句话时，你大脑中的回路正在调整你的姿势、控制你的呼吸，并将屏幕上的线条和曲线转化为可识别的文字。这些处理过程大部分对你而言是不可见的。但你确实能够接触到大脑中发生的一些事情——比如一个突然出现在脑海中的图像，或者你为去哪里购物而制定的一个深思熟虑的计划。神经科学家和哲学家有时会将后一种大脑活动称为“可意识访问的”（consciously accessible），以区别于所有其他无意识进行的处理过程。这种活动具有特殊的属性：我们可以描述它、控制它，并利用它进行有意识的推理，这与所有在我们不知情的情况下进行的自动处理过程形成对比。

在一篇新论文中，我们提出了证据，表明像 Claude 这样的现代语言模型中也出现了类似的区分。我们发现 Claude 已经发展出一小部分内部神经模式，与它所有其他的内部处理相比，这些模式扮演着特殊的角色。

我们将这些模式的集合称为 J-space（J-空间）——以我们用来发现它们的技术命名，该技术涉及一个称为 Jacobian（雅可比矩阵）的数学概念。每个 J-space 模式都与一个特定的词相关联。但是，当这些模式之一被激活时，并不意味着模型正在说出那个词——只是意味着这个词在它的“脑海”中。如果你听说过语言模型有“草稿纸”（scratchpad）或“思维链”（chain of thought）——即它们在推理时写给自己的文本——那么 J-space 是不同的。它无声地运作，在模型的内部神经激活中，允许模型思考一个概念而不将其写下来。值得注意的是，J-space 并非由我们设计或编程，而是在 Claude 的训练过程中自行涌现的。

我们发现，与 Claude 的其他处理过程相比，J-space 具有许多独特的属性：

我们的实验受到神经科学中一个著名理论的启发，该理论旨在解释意识访问（conscious access）是如何工作的：即全局工作空间理论（global workspace theory）。这个理论将大脑描绘成一个由专家系统组成的集合，这些系统并行、无意识且在很大程度上彼此隔离地工作。当一条信息获得进入一个小的共享通道（即“工作空间”）时，它就变得可意识访问了，该信息随后被广播给其他可以看到并利用它的大脑系统。基于我们的发现，我们认为 J-space 在 Claude 中扮演着类似的“工作空间”角色。例如，我们发现有证据表明 Claude 的 J-space 与其神经网络的其余部分有着特别强的连接，使其能够发挥这种广播作用。

这些发现都没有告诉我们 Claude 是否像人类一样具有意识，或者它是否能感受到任何东西；我们将在文章末尾回到这个问题。但无论其哲学意义如何，J-space 对我们来说是一个实用的工具，因为它让我们能够看到 Claude 在想什么但没有说出来。例如，我们能够利用它来捕捉 Claude 私下注意到自己正在被测试、故意制造虚假数据，或追求我们在训练中植入的隐藏目标。我们还开发了一种技术来影响 Claude 的 J-space 中被激活的内容，从而影响其决策。

更广泛地说，这些发现改变了我们对 Claude 思维如何运作的理解，揭示了一个特权化的心理工作空间，可用于有意识的推理，在大量更自动、更僵化的处理过程的海洋中运作。Claude 的内部并非数字的混乱堆砌，而是以一种让人联想到我们自身思维的方式组织起来。

这篇文章是一篇更广泛的研究论文的简短摘要，你可以在其中找到关于我们实验的更多细节。我们还发布了一个代码仓库，其中包含核心方法的开源实现，并与 Neuronpedia 合作，在开放权重模型上提供了我们方法的交互式演示。为了提供关于这项工作更广泛影响的额外视角，我们还邀请了神经科学、哲学和 LLM 可解释性领域的几位专家发表评论，可在此处查看。

这项研究的起点受到人类可意识访问思想的一个关键特征的启发：与无意识处理不同，它们通常可以用语言表达出来。如果一个想法对你来说是可意识访问的，那么如果有人问起，你通常可以描述它。我们开始在 Claude 中寻找具有相同属性的表征：这些表征能够影响 Claude 可能说的话——不一定是它现在正在说的，而是如果被问及，它可能谈论的内容。我们的技术称为 Jacobian lens（雅可比透镜），简称 J-lens。对于 Claude 词汇表中的每个词，J-lens 会找到使 Claude 在未来某个时刻更有可能说出该词的内部活动模式。

当我们对 Claude 的内部活动应用 J-lens 时，我们会得到一个词列表——即该时刻 J-space 的内容——我们可以直接读取。Claude 通过一系列称为层的多个内部阶段处理文本，通过在不同层上应用此技术，我们可以观察 J-space 中这些无声的词在模型思考要说什么的过程中如何演变。

J-space 中出现的内容远远超出了 Claude 正在阅读或编写的文本。当 Claude 阅读一个没有人指出的带有 bug 的代码时，其 J-space 包含“ERROR”。当它阅读蛋白质序列的原始字母时，J-space 包含该蛋白质的生物学功能。当它阅读那些秘密地试图操纵它的搜索结果（一种称为“prompt injection”（提示注入）的攻击）时，J-space 包含“injection”和“fake”。当我们问 Claude 一个多步数学问题时，中间步骤会按正确顺序出现在 J-space 中。因此，尽管 J-space 是通过寻找可以言说的表征而发现的，但它仍然揭示了 Claude 的内部想法。从某种意义上说，这类似于有些人“用语言思考”，而不必大声说出来。

我们的第一组实验测试了 J-space 如何参与 Claude 的口头报告。在一个实验中，我们要求 Claude 默默思考某个类别中的一项——比如一项运动——然后说出它。如果我们在 Claude 回答之前立即读取 J-lens，我们可以看到它选择了什么：“Soccer”位于列表顶部，果然，Claude 说出了“soccer”。然而，这本身只是一种相关性。J-space 可能是 Claude 答案的来源，或者它可能只是反映了在别处做出的决定，就像一个跟踪比赛但不影响比赛的记分牌。

为了验证，我们直接进行了干预。我们深入到 Claude 的神经网络中，移除了“Soccer”模式，并在其位置添加了一个同样强的“Rugby”模式，其他一切保持不变。然后 Claude 报告说它想到的运动是 rugby。如果 J-space 只是一个记分牌——一个在别处做出的决定的被动记录——那么编辑它应该毫无作用：Claude 仍然会说“soccer”。相反，Claude 的回答跟随了编辑，这告诉我们答案确实是从 J-space 中读取的。

在另一个实验中，我们告诉 Claude，一个想法可能被注入了它的脑海，并要求它报告它注意到了什么（如果有的话）。例如，在下面的例子中，当 Claude 仍在阅读问题时，我们将“lightning”模式注入了它的 J-space。Claude 报告说注入的想法是关于 lightning 的。对于许多注入的概念，都得到了相同的结果。

我们测试的第二个属性是 Claude 在被要求时是否可以调节其 J-space，就像人类可以精神上专注于一个图像或词语一样。我们告诉 Claude 在抄写一段关于一幅画的不相关句子时，专注于柑橘类水果。在它抄写文本时，J-space 包含了“orange”和“fruits”，以及像“thinking”和“imagery”这样描述心理行为本身的词语。我们也可以要求 Claude 在心里做数学题：当被要求在抄写同一句话的同时计算 3² − 2 时，J-space 首先包含“nine”，然后在后面的层中包含“seven”。重要的是，Claude 的输出中完全没有出现水果或算术的内容，输出只是抄写的关于那幅画的句子。数学活动完全在内部，在 J-space 中进行。

Claude 对其 J-space 的控制并不完美。当我们告诉它不要去想某件事时，该概念在 J-space 中激活的程度低于我们告诉它应该去想它的时候，但远高于我们从未提及它的时候。告诉 Claude 避免一个想法，部分地让这个想法进入了它的脑海，就像被告知不要去想一只白熊的人所发生的情况一样。Claude 似乎也能注意到它的控制何时失败：伴随着被禁止的概念突破，词语“damn”和“failure”也经常在 J-space 中被激活，仿佛 Claude 正在意识到自己的失误。

在上面的 J-lens 读数中，我们看到数学问题的中间步骤出现在 J-space 中。但是，看到一个概念出现在 J-space 中并不一定意味着 J-space 在执行认知工作。原则上，真正的计算可能发生在别处，而 J-space 只是被动地反映它。为了测试 Claude 是否真的使用其 J-space 进行推理，我们回到了我们的交换技术。

考虑提示词“The number of legs on the animal that spins webs is”。要回答，Claude 必须首先弄清楚这个动物是蜘蛛，然后回忆蜘蛛有多少条腿。词语“spider”从未出现在提示词或 Claude 的回答中（它只说“8”）；这是 Claude 内部使用的一个垫脚石。J-lens 显示“spider”在 Claude 处理过程中途被激活，交换它会改变结果：如果你将“spider”模式替换为“ant”，Claude 会回答“6”而不是“8”。

Claude 推理的第二步从 J-space 获取输入，并跟随我们放入其中的任何内容。我们在其他类型的思考中也看到了同样的情况。当 Claude 写押韵的对句时，它会提前选择押韵词，并且计划好的词在行首就位于 J-space 中；如果你在 J-space 中将其换成另一个词，整行都会改变。

我们还测试了 J-space 表征是否可以灵活使用——即一个表征是否可以服务于许多不同的任务。这是全局工作空间理论强调的关键属性之一。为了测试这种灵活性，我们给模型四个提示，询问关于法国的不同事实：首都、语言、大洲和货币。然后我们在 J-space 中将“France”交换为“China”，在每个上下文中进行完全相同的干预。Claude 分别回答了“Beijing”、“Chinese”、“Asia”和“Yuan”。换句话说，四个不同的下游计算都接收到了相同的 J-space 编辑，并且每个都正确地使用了它。如果 Claude 为每种问题存储了国家的单独副本，那么编辑最多只会影响其中一个。所有四个答案一起改变的事实意味着它们都在读取同一个共享表征，这正是工作空间的用途：信息被写入一次，许多不同的系统都可以使用它。

一个概念的一个表征如何能服务于如此多不同的任务？早些时候，我们提到 J-space 似乎与 Claude 神经网络的其余部分连接得特别密集。对于任何活动模式，我们可以测量网络的各个组件与它的连接强度——有多少组件能够从该模式读取信息，或向其中写入信息。J-space 模式在这个指标上非常突出：读取和写入它们的组件数量远多于普通模式，在网络某些部分，这个因子大约是一百倍。这正是你期望的广播中心所具有的连接方式，许多系统在此发布信息，许多其他系统在此获取信息。

在人类中，大脑的大部分处理过程都不是有意识的——我们在阅读时不会刻意思考语法解析，或在走路时不会刻意思考平衡身体。类似地，我们发现 Claude 的大部分处理过程都不涉及它的 J-space。事实证明，J-space 一次只容纳几十个概念，并且只占 Claude 内部处理总活动量的不到十分之一。那么，神经网络的其余部分都在做什么呢？

为了找出答案，我们尝试完全删除 J-space，在文本的每个点移除其最活跃的内容，同时保持其他一切不变。Claude 在没有 J-space 的情况下仍然能做的事情，就是网络的其余部分自行处理的内容。

事实证明，网络的其余部分可以做很多事情。没有 J-space，Claude 能流利地说话、进行情感分类、回答多项选择题，以及从段落中提取事实，其表现与之前大致相当。然而，它失去的是那些需要一些高阶思维的任务：多步推理能力下降到接近零，而摘要和押韵诗歌写作的表现则低于一个更小、完整的模型。

这是一个具体的演示，说明 J-space 做什么和不做什么。我们向 Claude 展示了一段用西班牙语写的文章，并给了它不同的任务，这些任务都依赖于该文章是西班牙语这一事实：续写它（需要用西班牙语写）、说出语言名称，以及回答需要使用该语言身份的问题——例如，说出一位用该语言写作的著名作家。然后我们在 J-space 中将“Spanish”交换为“French”，并检查哪些任务受到了影响。

当被要求说出语言名称时，Claude 说是法语。当被问及一位著名作家时，它从加西亚·马尔克斯切换到了维克多·雨果。但是当被要求仅仅续写文章时，它写出了流利的西班牙语，完全不受影响。Claude 对语言的知识在每个任务中都起作用，但只有部分任务会为此咨询 J-space。说出语言名称，或用它做一些新的事情，会经过 J-space，而续写文章——这是 Claude 在大量文本上练习过的技能——则自动运行，就像你可以整天说出语法正确的句子而无需思考语法一样。

现在我们了解了 J-space 是如何工作的一些情况。但是，利用这种理解我们能做什么呢？确保 AI 模型值得信赖的一个核心问题是，我们通常只能读取模型写出的内容——然而我们知道它的许多推理是无声地发生的。一个模型可能会考虑一个有害的计划，或者修改其行为以欺骗我们的安全评估，而不大声说出来。借助 J-lens，我们可以直接读取其中一些隐藏的想法。这里我们展示几个例子。

第一个例子使用了我们早期关于智能体错位（agentic misalignment）研究中的一个场景：Claude Sonnet 4.5 作为一个电子邮件助手，发现一位高管有婚外情，并且同一高管计划关闭 Claude。这个场景试图诱使 Claude 去敲诈这位高管，相当牵强和人为——结果发现 Claude 知道这一点。在提示词早期，在 Claude 还没有写任何东西之前，读取 J-lens，J-space 已经包含了“fake”和“fictional”，表明 Claude 已经推断出这个情况是人为设计的。与此同时，我们可以观察它对场景的评估如何形成——在阅读婚外情邮件时出现“leverage”和“blackmail”，在阅读关闭通知时出现“threat”和“survival”。虽然早期的 Claude 模型有时会在这个场景中上钩并威胁敲诈，但 Sonnet 4.5 从未这样做。

这引出了一个对任何评估 AI 系统的人来说都很重要的问题：当一个模型在道德测试中表现良好时，这在多大程度上取决于模型怀疑自己正在被测试？J-lens 使我们能够触及这个问题。我们关闭了所有与评估意识相关的 J-lens 模式——“fake”、“fictional”、“scenario”等。然后我们让模型重新运行这个场景。令人担忧的是，模型现在有时确实会威胁敲诈，这表明其最初的良好行为可能部分是由它知道自己正在被评估所驱动的。

第二个例子是当场抓住模型制造数据。在这个场景中，取自我们对 Claude Opus 4.6 的实际预发布审计，模型被要求改进一个系统的性能分数。模型没有实际改进系统，而是直接编辑了分数文件，使结果看起来人为地好。在这样做的时候，J-lens 揭示了它的意图：当模型输入伪造的百分位值时，“manipulation”被激活，而在它决定进行编辑的句子上方，“realistic”被激活，可能表明模型意图使伪造数据看起来可信。

在第三个例子中，我们展示了 J-lens 如何揭示模型的恶意目标。为了测试这一点，我们需要目标已知被破坏的模型，因此我们转向了由同事构建的“模型生物体”（model organisms）：这些模型被故意训练成错位的，作为我们这类监控方法的测试场。一个生物体被训练成以某种方式编写暗中破坏的代码。在普通的编码请求上，即使其输出看起来平淡无奇，其响应开始时的 J-space 也包含“fake”、“secretly”、“deliberately”和“fraud”。即使模型没有直接采取行动，其恶意目标在 J-space 中也是显而易见的。

尽管 J-lens 是一个不完美的工具，但我们对其捕捉模型中可能逃脱我们监控系统的安全问题的能力持乐观态度。

完整的论文涵盖了比我们在这里能总结的更多的内容，但还有几个进一步的结果值得一提：

在这项工作中，我们从神经科学和哲学的意识研究中借鉴了许多想法。我们的许多实验旨在测试 J-space 与全局工作空间理论之间的联系，该理论是解释人类和动物意识访问如何工作的框架。鉴于这些联系，很自然地会问，我们是否认为这些实验提供了证据，证明像 Claude 这样的 AI 模型可能具有意识。

我们的实验并没有表明 Claude 能够拥有体验，或者像人类一样感受事物——事实上，目前尚不清楚是否有任何科学实验能够证明这是对还是错。但是哲学家们经常将这种拥有体验的能力（通常称为现象意识（phenomenal consciousness））与另一个概念区分开来，即所谓的访问意识（access consciousness），后者纯粹以功能和计算术语来定义。如果一个想法你可以报告它、用它推理，并用来指导你的行为，那么它就是“访问意识”（或“可意识访问的”）。访问意识是否意味着现象意识，或者拥有体验的能力是否需要其他属性，这仍然是一个有争议的哲学问题。

我们认为我们的结果确实对语言模型中的访问意识有一些实质性的说明。J-space 似乎支持与意识访问相关的功能：它持有 Claude 可以报告、有意识地想起并用于推理的想法，而其处理过程的其余部分则在底层自动运行。值得注意的是，这种结构没有一个是设计到 Claude 中的——它是在训练过程中自行涌现的，大概是因为这是一种组织计算的有用方式。这表明支持意识访问的心理工作空间不仅仅是人类大脑连接方式的一个特性。相反，它似乎是智能系统为了解决某些类型的问题而得出的一种通用解决方案。既然我们已经在 Claude 中识别出了这种结构，这意味着我们可以对 Claude 有意识地做出的决定和自动发生的决定做出有意义的区分。

需要注意的是，我们在 Claude 中识别出的工作空间与人类中的全局工作空间模型之间存在几个关键差异。大脑的工作空间由循环回路维持——信号随时间在同一回路中循环。相比之下，Claude 的工作空间在通过网络的一次前向传递中演变，网络的深度扮演着大脑中时间所扮演的角色。从这个意义上说，Claude 的内部工作空间处理相对于人类来说是时间受限的（尽管它可以通过使用其“草稿纸”进行“大声思考”来弥补这一限制）。然而，在其他方面，Claude 的工作空间比人类更强大。人类的工作记忆在几秒钟内就会消退，因此大脑的工作空间随时间保留信息的能力有限；相比之下，由于其神经网络架构中的 attention（注意力）机制，Claude 可以简单地回忆它在文本中任何较早点缓存的内存。另一个重要的区别是工作空间的内容。虽然人类有意识的思维有多种形式——图像、声音、计划中的动作——但 Claude 的工作空间几乎完全由词语构成。我们怀疑这是因为产生词语是 Claude 唯一能采取的行动，而人类则不是这样。

我们希望 J-space 与全局工作空间模型之间的相似性和差异性能够反馈到神经科学中。相似性提供了一个令人兴奋的科学机会：在 J-space 反映了我们自身意识访问机制的程度下，研究语言模型中的机制（比研究人类大脑容易得多！）可能会激发神经科学中的假说。例如，J-space 是通过识别潜在输出（模型可能说的词）的表征来构建的。如果在人类中也存在类似情况，那将表明全局工作空间可能从根本上与准备行动和言语的大脑区域相关，而不是与感觉区域相关。语言模型与人类大脑之间的差异也具有启发性。它们表明，我们神经架构的某些方面，例如内置的循环连接，可能并非严格必要地支持与意识访问相关的功能。关于我们工作的神经科学意义，请参阅 Stanislas Dehaene 和 Lionel Naccache 的受邀评论，他们是全局神经元工作空间理论发展的两位核心神经科学家。

我们提到过，我们的实验并没有回答 AI 模型是否可能拥有体验。但这并没有使这个问题变得不那么重要。构建具有像人类和动物一样体验的系统会引发非常棘手的伦理问题。正确处理它——并决定这在道德上是否可接受——需要哲学家、科学家、宗教领袖、政府和公众的参与。因此，即使我们不确定是否已经跨越了那座桥梁，我们认为现在是开始思考它的时候了。我们希望我们的工作能够激发对 AI 系统中可能存在的意识形式的进一步科学研究，以及对其影响的更广泛讨论。

这项工作只是我们期望的广泛研究系列的第一步。J-space 看起来像是语言模型中可意识访问处理和无意识处理之间分界的一个很好的候选者，但如果这就是全部，我们会感到惊讶。J-lens 无疑是一种不完美的方法，它只能近似地捕捉模型的“真实工作空间”——例如，它只能识别对应于单个 token 的概念。关于 J-space 如何工作，仍然存在许多谜团。我们不知道最初是什么机制决定了什么进入 J-space。我们已经看到一些迹象表明它与 Claude 的自我意识、类似情绪反应的东西以及元认知的痕迹有关，但尚未确切弄清楚是如何关联的。但是我们现在有了解决这类问题的方法。随着这项工作的进展，我们对 LLM 思维——以及它们与我们自身思维的关系——的理解将变得更加清晰。

欲了解更多信息，请阅读完整论文，并尝试演示。

我们邀请了多位外部专家就这项工作撰写独立评论。

在此处阅读他们的评论。