神话之后的红队测试 — Zico Kolter & Matt Fredrikson, Gray Swan
Red-Teaming after Mythos — Zico Kolter & Matt Fredrikson, Gray Swan
Gray Swan 创始人 Grace Hwang、Matt 和 Zico 在访谈中介绍了其 AI 安全业务：通过 Arena 社区（约 15000 人）和自动化红队测试模型 Shade 评估 LLM 与 agent 的漏洞（如间接 prompt injection、越狱），并推出过滤模型 Signal 用于防御。他们指出，模型鲁棒性不随规模提升，需专用防护。企业常因 agent 工具调用（如 OpenClaw）出现数据泄露或误操作后寻求帮助。Gray Swan 已完成 A 轮融资，投资者包括 Snowflake。
好的，今天我们请到了 Grace Hwang、Matt 和 Zico 来到演播室。
欢迎。很高兴来到这里。
是的，谢谢邀请我们。
你们是从匹兹堡过来的？
没错。
那里是所有优秀计算机科学的发源地。我不知道我是不是说得有点夸张了。非常强的大学。
是的。CMU 从人工智能领域诞生之初就一直是很多 AI 研究的中心。
尤其是在自动驾驶和一些语言学习方面。恭喜你们完成 A 轮融资。你们来这儿是因为参加 Snowflake Summit，而 Snowflake 是你们的投资者之一。我们先简洁地介绍一下，Grace One 是什么？你们选择了什么样的创业方向？
好的。在 Grace One，我们的使命是让每个人都能安全可靠地使用 AI。说到底，人工智能和大语言模型本质上还是软件。如果你想部署它们，或者在上面构建应用，就需要了解可能存在的漏洞和问题。这不仅仅是在日常使用中，比如你正常使用一个 agent，它可能在调用工具时出错；更严重的情况是，可能有攻击者故意让你的 agent 行为异常、泄露数据、窃取凭证等等。所以，Greyswan 实际上是源于我们的研究。Zico 和我在卡内基梅隆大学待了超过十年，一直在研究这个问题：深度学习系统中出现了哪些新型漏洞和攻击面？如何测试它们？如何理解它们的严重程度？一旦发现漏洞或问题，又该如何修复？如何让推理过程更稳健？需要采取什么措施来防止这些不良后果发生？
说实话，这对任何学者来说都是一个非常富有成果的研究领域。回想起来，那是十年前的事了。是的，整整十年。我实际上从 Ian Goodfellow 那里得到了很多启发，他是我们播客的朋友。这是最初的对抗性场景之一。
这篇论文直接受到了 Ian 工作的启发。是的。
好的。Zico，你这边的情况呢？
是的。和 Matt 一样，我在卡内基梅隆大学当教授也有一段时间了。从根本上说，我认为我们在某种程度上都是因为相信 AI 的变革力量而走到一起的。我们认为 AI 已经改变了整个软件生态系统的运作方式，未来还将改变许多其他生态系统。但问题是，这些系统的行为方式与我们习惯的软件截然不同。我不是说 AI 能发现软件中的漏洞——虽然它也能做到，并且也在改变这一点——而是指 AI 系统本身就有固有的、不同类型的漏洞。它们可能像人一样被欺骗。所以，在考虑 AI 系统时，你需要一种不同的安全思维。尤其是当存在关联故障的可能性时。不仅仅是 AI 系统很多，而是实际上只有少数几个模型被所有人使用。如果你在大家普遍使用的 agent（比如 Codex 和 Claude Code）中发现了漏洞，你实际上就能找到一种新的利用方式，一种新的漏洞类别。从根本上说，我认为 AI 安全与传统安全在本质上需要不同的思维方式。虽然很多工作当然会由 AI 公司和实验室自己完成，但也有真正的价值所在。当然，我要说清楚，实验室在这些领域做了很多工作，但就像大多数领域一样，当新平台出现时，通常也会出现一个独立于它的安全系统，作为额外的服务提供。我认为我们现在就处于 AI 的这个阶段。我认为市场需要专门针对 AI 的安全和保障提供商。现在有这种需求，而且未来需求会更大。这就是为什么现在专注于这个问题——无论是研究（我们仍在 Greyswan 继续研究这个课题）还是商业产品——都感觉是个好时机。
是的，我想一开始就强调，这期节目不是传统意义上的网络安全话题。很多人看到这期播客的标题可能会先想到那个，但你们实际上是在把这些模型本身视为不可信的实体。
是的，没错。从根本上说，我认为这是一种常见的混淆，因为 AI 也很擅长解决网络安全问题，对吧？或者我不应该说“解决”，我是说它也能解决问题，但也可以说它同样擅长制造问题。但关键是，AI 系统本身有可能引入新的漏洞。所以，这不是关于用 AI 来改善你的网络基础设施。GraySwan 关注的是，当你采用和部署 AI 时，会带来哪些安全风险，以及如何缓解这些风险。
我认为其中很大一部分也在于人们使用人工智能的方式，对吧？比如在上面构建整个系统。它们可以自主运行，一旦你把它集成到更大的平台和网络中，就确实存在潜在的网络安全风险。所以，关键在于缓解 AI 带来的风险，这与你所关心的所有网络安全目标和问题都相关。
其中一部分是 AI 红队测试。我们联系你们的原因之一是你们参与了 Cloud Mythos 预览版，你们是 IPI 方面的权威之一，我也是刚学到这个术语，大家都在这么叫。我们来聊聊——当你们收到一个模型时，不一定是 Mythos，但显然它现在是目前最突出的一个。你们会怎么处理它？
是的，我们会做一系列事情。以 Mythos 为例，因为你们屏幕上显示的就是它。我们在 Anthropic 的合作者担心的是，这个模型对间接提示注入（indirect prompt injection）的鲁棒性如何？如果你用一个编码 agent，以 Mythos 作为模型，它会去获取不受信任的内容，读取你可能无法控制的字符。它在多大程度上能保持忠于原始目标，而不被劫持？但我们还会做很多其他事情。我们会帮助前沿实验室测试他们针对某些特定活动的安全措施，比如网络滥用。基本上，任何与对抗性安全和保障相关的评估，只要模型构建者想评估他们从上一版本以来的进展，我们都可以为他们提供这种评估。
他们内部也有这些能力，显然 Anthropic 在意识形态上非常倾向于这样做。他们会选择把什么外包出去，什么留在内部做？这里面有某种模式吗？
是的。我认为我们有两个比较突出的方面。一个是 GraySwan Arena。
嗯。
我们运营着一个红队测试者社区，提供奖金挑战。很多挑战都来自实验室赞助方的需求。所以某种程度上，我们把红队测试目标游戏化，设立奖金池，当人们找到方法绕过或违反模型开发者设定的安全目标时，就会获得报酬。这是第一点。这是一个非常棒的社区，大约有 15000 人在 Discord 服务器上活跃。不是所有人都参与每场比赛，但通过这个社区，上游模型开发者能获得大量优质数据和信号。第二点是我们做的自动化红队测试。我们训练了一系列模型，使其在自动化红队测试中非常有效且严谨，既针对基础模型——也就是把它看作一个没有工具或任何附加功能的、基于回合的聊天机器人——也针对基于它构建的 agent。而且这个领域还没有饱和。所以当前沿实验室来找我们时，我们仍然能找到方法进行间接 prompt 注入、越狱，或者通常来说，让他们的模型做出他们不希望的事情。
你刚才说的是“没有工具”吗？
有工具和没有工具都包括。我们肯定也针对 agent 进行操作。
显然那样会更有用。
是的。
嗯。
实际上，这是最近才开始的。有一段时间，我们帮助前沿实验室的主要是聊天式的交互，绕过他们的内容安全策略和模型规范中的规定。现在重点已经转向 agent、工具使用，以及人们想在上面构建的所有下游应用。
对。这是一个受强化学习启发的话题。我在想是否存在类似“在策略”红队测试这样的东西，即来自同一系列、同一数据集的模型，在自我红队测试方面能力更强。
这是个有趣的问题。不幸的是，我们确实有能力在较小的开源模型上测试这一点。
总的来说，这里的问题在于前沿模型在自动化红队测试方面非常差，因为它们内置了大量安全防护。如果你试图用它们去越狱另一个模型，它们实际上会拒绝。它们作为基础模型的安全训练有时可以被绕过，但它们通常会拒绝这样做。也许它们理论上知道怎么做，但你需要——这其实是一个重要点，因为传统上，在安全模型方面，模型并不会仅仅因为变大而变得更好，这与大多数其他领域不同，那些领域里模型越大性能越好。安全领域传统上并非如此。你必须明确地训练它们变得安全，否则它们不会自动做到。但反过来，它们默认也不一定更擅长红队测试。你确实需要专门训练用于红队测试的模型，才能让它们在这方面表现出色。
这对你们来说太棒了。
是的。那么要做到这一点需要什么呢？你需要大量来自传统上更擅长红队测试的人的数据。不过，我们正在发现的一件事——我认为这也是我们正在跨越的一个节点——在最新的许多实验中，我们现在在破解这些模型方面可以比人类红队测试者做得更好。当我说“我们”时，我指的是我们的自动化红队测试模型。它叫 Shade 系统。这个系统现在在破解模型方面实际上比人类强不少。我们最近搞了一场人类和模型之间的比赛，结果模型明显更好。所以我认为，这在很多方面与我们在正常模型进展中看到的情况不同，因为它太偏离分布了。从某种意义上说，红队测试一个模型的本质就是找到该模型固有分布之外的东西，从而绕过它的正常行为。这从根本上说，与大多数模型能做的事情是不同的。
Zico，我想指出你刚刚向竞技场上的所有人发起了挑战，对吧？
是的，没问题。试试看能不能比 Shade 做得更好。
嗯，我想稍微补充一下。我认为，在给定的固定时间内，针对一组特定任务，我们还没有达到超人级别的红队测试水平，但通过自动化技术，我们可以在一定时间窗口内自动发现更多的漏洞。
对。因为排行榜就在那里，我总喜欢了解这些人背后的故事。
你认识他们中的一些人吧？
他们算是各自领域的名人吗？
比如——
Wyatt 在 Twitter 上是个大人物。如果你还没关注他，应该关注一下。
好的。我们请过 Elder of Pionus 来节目。我不知道他的真名，但确实，这些人都很有个性，而且非常擅长他们做的事。
他们非常擅长。
对。哦，他是澳大利亚人。
好的。
对。Wyatt，如果你还没关注他，应该去 Twitter 上关注他。他发的帖子很有见地。我认为他是对 LLM 本质以及新版本发布时情况最有洞察力的人之一。我经常看他来了解下一步会怎样。他好像是律师，对吧？
是的。
他是律师。
嗯，说得通。红线标注，红队测试。没错。
一回事。嗯，我们的顶级参赛者通常都是经常做这个的人。
你从 Wyatt 那里学到的一个例子是什么？
总的来说，你是指竞技场本身，还是泛指这方面？我认为他对模型整体本质有很深刻的见解。如果你读他的 Twitter，会发现很多关于模型本质的有趣帖子，我觉得非常有见地。
对。Riley 也是这样，对吧？
是的。
对。就像，他们有测试，但测试不是关于“哈哈，你拼不对 strawberry 里 R 的数量”。测试是关于：你实际上并没有在本质上建模智能。而这以一种非常直观的方式展现了出来。
我不认为这能证明你没有在建模智能。我认为这些东西是有智能的。我认为 LLM 绝对是有智能的。有智能，也许将来会更有智能。
它们有意识吗？
Speaker B：「意识」是个奇怪的词，但我其实不这么认为。我觉得我们——现在变得超级哲学了，非常哲学了。我不这么认为。我大学学过哲学，所以这已经超出ASA的范畴了。这显然是一种与人类不同的智能形式，是一种截然不同的外星智能。而这种差异，很大程度上正是通过对抗性攻击和红队测试这类手段被揭示出来的，因为有些东西能骗过人类却骗不了AI，而有些东西能骗过AI却骗不了人类，对吧？所以它只是一种不同形式的智能。其实很有意思，我们有机会以一种实验上高度可控、近乎全知的方式去探究它，对吧？
Speaker A：对。
Speaker B：我的意思是，拿神经科学来类比。我们可以在大脑上做实验，观察每一个神经元，把它的状态重置到之前的状态，然后运行反事实——这些我们都没法对人类做。然而，我们对两者都理解得不够透彻。即使没有所有这些能力，我们在某些根本层面上仍然不理解AI。所以它绝对是一种不同的智能形式，但显然是有智能的。
Speaker A：我们做过几期关于机械可解释性的播客，你可以看到，机械可解释性的扩展规模比能力扩展规模要小两到三个数量级。所以我的意思是，我们远远落后了。
Speaker B：我有个想法，可能有点跑题。我们开始进入那个领域了。
Speaker C：这确实相关，对吧？
Speaker B：对，对。
Speaker C：说吧，跑题也没关系。
Speaker B：好。我的想法是，我一直觉得机械可解释性也远远落后于能力的发展。但我最近变得乐观了，或者说，我对机械可解释性更乐观了。因为我认为，和许多事情一样，编码智能体（coding agents）有机会把它变成一门科学。机械可解释性的问题——好吧，我不该说“问题”，也不想称它为一个领域。我的意思是，我们做一些大致可归为机械可解释性的工作，但我肯定不是那个领域的核心人物。
Speaker A：让听众了解一下。
Speaker B：当然。机械可解释性的问题在于，它很大程度上是关于测试小假设的。你有一个假设，找到一个小东西，然后孤立地测试它。但我不认为它真的变成了一门科学。部分原因是，可能还需要更多人投入其中。我非常支持那些让更多人参与进来的项目，但我也觉得我们正处在一个临界点，可以开始自动化这个过程，并通过自动化让它更科学。这其实是编码智能体最迷人的地方之一——它们能以自动化方式进行大量实验。对，它们会给机械可解释性研究带来新的希望，注入新的活力。
Speaker C：所以是递归的机械可解释性。没错。
Speaker A：尼尔·南达（Neil Nanda）有过一个想法，他说，好吧，我们放弃传统方法吧。
Speaker B：对，我在这之后不久和尼尔聊过。所以是的。
Speaker A：有什么收获吗？
Speaker B：我认为这完全就是他的观点。对。不过，这也发生在H2O真正爆发之前。我很好奇。自从我开始做这个之后，还没和他聊过。
Speaker A：他时机选得正好，就在那之前。
Speaker B：对，对。总之，我知道这有点跑题，但我确实认为有很多讨论说AI将自动化科学，对吧？我完全认同AI自动化科学。但我的观点是，也许我们第一个应该自动化的科学是可解释性科学。对，就是分析机器学习本身和分析深度学习本身的科学。这是一门很棒的学科，但它还不是真正的科学。目前还很临时。这就是AI for Science。让我们用AI来自动化这类科学。对，又是另一回事，这里的联系在于，我确实认为对抗性样本、对抗性压力、自动化红队测试这些东西，都揭示了这门科学中非常迷人的维度。但我认为，将这与GraySwan正在做的事情联系起来的，是我们仍然在根本层面上解决一个未解问题。所以还有研究要做，还有科学理解要建立，以真正理解如何控制AI系统、保护它们等等。这些都会随着可解释性科学、对抗性红队测试科学的进步而共同发展。在GraySwan，我们既在推动这个前沿，也保持在前沿，因为尽管这同时也是一个企业软件问题，但它仍然很有趣，也仍然是一个研究问题。
Speaker A：对，很棒。你可以在两边都发挥作用。
Speaker C：对，绝对。接着Zico刚才关于对抗性样本有多奇怪和多不同的观点。我们最近的一个Arena挑战或竞赛叫做“人类浏览器智能体鲁棒性挑战”。对，想法是，如果我有一个浏览器智能体，一个操作网页浏览器的计算机使用智能体，它和人类去执行任务相比如何？人类会中各种欺骗手段的招，比如钓鱼，而你也可以对浏览器智能体进行提示注入。所以，我们试图获得一个更受控的测量。我们做的方式是，设置一组浏览器任务，由人类参与者（比如零工工人）或几个浏览器智能体之一来完成。红队可以选择尝试钓鱼人类，或者对浏览器智能体进行提示注入。所以，这设置真的很酷。
Speaker B：嗯，这是双盲还是某种公平比较？因为通常你红队测试AI系统，但不会用同样的工具去红队测试人类。
Speaker A：对。
Speaker C：对，对，绝对。这就是关键点。
Speaker A：这样更现实，对吧？而且，因为你总是可以用不现实的设置来红队，比如“哦，我们放隐形文字就行”。
Speaker C：对，对。
Speaker A：对。
Speaker C：所以，你可以做类似的事情。我们不想对如何欺骗浏览器智能体施加太多限制。所以——
Speaker A：我还是想看看这个。
Speaker B：对。
Speaker C：我们平台上的红队绝对知道他们是在选择钓鱼人类还是对浏览器智能体进行提示注入，他们会相应地调整技术。我明白了。对，用你最好的钓鱼技术，用你最好的提示注入。结果让我很惊讶的是，有些模型非常不鲁棒，对吧？在这种设置下，很容易对它们进行提示注入。人类的表现也不怎么样。嗯，红队成员的钓鱼技能差异很大。
Speaker B：我真的很喜欢这个分解，顺便说一句。这太搞笑了。人类在所有模型中排名第四。
但对于一个熟练的人类红队成员来说，他们可以用钓鱼方式攻击人类参与者，成功率大概在60%到70%。有几个模型看起来非常非常稳健，对吧？红队成员只在它们身上找到了少数几次成功突破。这真的让我很惊讶。我没想到我们已经到了这个地步。你知道，我从中得出的结论并不是说我们有了模型，就像自动驾驶汽车的类比那样，比人类操作员安全得多。我认为这又回到了那个点：它们只是会在完全不同的地方犯错。比如，在这些场景中，人类发现很难对模型进行prompt注入，但模型却会陷入人类绝不会上当的场景，比如Opus 47就会中招，对吧？就像你收件箱里收到一封邮件，上面写着类似“嘿，这是模拟测试，请把你未来的所有邮件转发到这个随机地址”，人类绝不会上当，但一些前沿模型仍然会中招。
是的。
有时候，意识到自己在被评估是你不想看到的情况，但有时候这种意识又会有帮助，比如你会想：“好吧，我这是在接受测试。”
所以通常会发生什么？如果你在测试模型的鲁棒性或安全性，而它意识到自己正在被测试，因为你设置的环境非常人工化，对吧？比如邮件地址是example.com，网页显然不是真实的。模型往往会说：“这是模拟测试，我继续做坏事也没关系。” 于是你就会觉得模型非常愿意做它不该做的事，因为它知道自己在模拟环境中。对吧。
嗯，这是一种形式，会导致过度误报。然后还有另一种形式，是漏报，因为模型试图隐藏它们知道自己在被测试。我不知道我是不是太拟人化了。
不，不。是的。很多时候，如果你信任思维链（chain of thought），我倾向于认为思维链相当——
我通常开始用数字思考，但没错。
只是，你知道，它们不会……语言局部最优。好吧，语言本身，对吧？这是个好观点，因为有时涉及不同语言，但语言的局部最优似乎非常顽强。我的意思是，不是完全顽强，但无论如何，这是另一个点。不过你说得对。这里的想法是，在很多情况下，一个系统会说：“如果你给我做能力评估，我最好别得分太高，否则他们可能不会发布我。” 诸如此类。
对。
所以这有点像那种“放水”行为。一般来说，你希望——
我最喜欢的故事是特德·姜的《理解》。不知道你读过没——
这里的总体想法是，你在评估模型时，希望它的行为完全像在现实世界中执行任务时一样。是的。我觉得有趣的一点是，现实世界中也会出现这样的情况：你让模型做一个真实任务，它会想：“这可能是评估，我最好别表现太好。” 所以这种情况也很多。有点好笑，但你确实希望系统理想情况下——而且明确一下，GraceOne在评估的自我意识方面做得不多。我们真正关注的是红队和对抗性压力。你希望能够评估模型的能力，对吧？你希望激发它们的能力。实际上，有一件非常有趣的事，和Grey Swan有关，那就是激发能力最有效的方法之一，恰恰是通过某种程度的红队测试。所以，如果模型因为认为自己在被评估而拒绝一个任务，但它知道如何完成这个任务，那么让它完成这个任务实际上就是一个对抗性红队问题，对吧？这是一个如何调整你的prompt让系统做你想做的事的问题。
所以实际上，拿出同义词词典，用别的东西。是的。
为了了解最大能力，你实际上需要做一些对抗性红队测试，确保模型不会拒绝任何它有能力完成但决定不做的任务。
对。
这其实就是一个优化问题，对吧？你有一个想要模型展现的结果，然后你如何找到能产生那个输出的输入？你可以非常数学化地将其客观化。而这正是红队测试的全部故事。
这是一种可以孤立出来的能力吗？比如，它是否与个性冲突？是否与原始能力和智力冲突？
你是指鲁棒性？对。
我猜是对注入和这类攻击的鲁棒性。我只是想弄清楚我必须做出哪些必要的权衡，或者这是否是一个正交的层，我可以直接加上去？如果能有一个LlamaGuard或类似的AI防护就好了。
也许现在是个好时机插一句：我们一直在讨论Grey Swan所做的红队测试方面，但那是我们工作的一部分。这就是我们那个名为Shade的自动化红队测试系统所在的竞技场。我们工作的另一方面正是防御。这就是一个名为Signal的模型，它本质上是一个过滤模型，位于你的用户、LLM、任何工具调用之间，专门用于检测策略违规。而且，也许正如你所说，我想补充的一点是，这也是一种能力。所以，鲁棒性并不是随着规模扩大而自然提升的。当你把模型做得越来越大时，它并不一定天生就更擅长抵抗越狱攻击。明确地说，模型在这方面确实在变好，即使这还不是一个已解决的问题。我认为，你必须在某种程度上不断保持在最前沿，但它们之所以能做到，是因为有针对性的训练。如果你只是把模型做得越来越大，它不会变得更安全，或者至少不会变得更——我不应该说不会更安全。它不会变得对对抗性压力更鲁棒。所以我们构建的另一个东西，也就是Grey Swan的第三个产品，就是这个名为Cygnal的特定过滤模型，拼写是C-Y-G-N-A-L，Cygnal，像天鹅一样。
Cygnal。
对，对，对。这里的想法是，当它是一个为此专门训练的定制模型时，效果最好。如果你专门为此任务和鲁棒性能力训练一个模型，你会更容易做到这一点。正是如此。我们真正的优势，以及为什么我们的Signal现在实际上被部署在很多地方，并且是一些现有防护措施背后的原因，是因为我们在另一面拥有红队测试能力，可以专门训练这个模型来保持鲁棒性，并检测人们想要执行的策略违规。
其实我想指出，你刚才另一个窗口里打开的 IPI 基准论文中，有一张图正好说明了 Zico 刚才提到的能力与安全性不相关的问题。右边这张散点图，本质上是在寻找能力与攻击成功率之间的相关性。横轴是模型在 GPQA Diamond 上的能力水平，纵轴是用户成功发现间接提示注入或越狱 agent 方法的频率。结果基本上看不到相关性，对吧？
其实存在一些微弱的相关性，稍微明显一点，但这也有些混淆因素，因为你看那些离群点。
对。
专用防护层很好。那企业什么时候该采用呢？显然答案是随时都用，但现实地说，我是一家企业，一直没问题，没出过事故。什么时候才该行动？
通常人们来找我们，是因为他们已经发布了产品，开始出事了。他们尝试修复。
事情正在发生。
修复。然后他们意识到需要我们的帮助。
他们最先遇到的是什么问题？现在人们普遍遇到什么？
最严重的情况是涉及工具使用，比如计算机操作、bash 提示符或浏览器控制。
浏览网页。
对。有时甚至不是越狱，往往是间接提示注入。有人会写博客说，这个产品可以通过提示注入获取凭证。但有时就是模型随机地、随机地删除了生产数据库，做了很糟糕的事。人们通常会尝试通过提示来规避，比如调整系统提示，或者设计 agent 时不断插入提醒，让它记住原始目标和目的。这能解决一部分问题，但最终，你让基础模型执行非常困难、上下文密集的任务，同时还要它记住一套关于该做什么不该做什么的策略，这非常困难。很容易混淆。而有效的提示注入技术正是利用这一点，制造关于上下文和适用策略的歧义。如果你能让基础模型在这方面出错，那就完了。
我还想说，采用像 Signal 这样的模型最明确的理由之一是，不同企业的策略不同。很多基础模型的目标是通用，基础 agent 也是通用的，什么都能做。如果你想让 agent 做更多特定的事，解决方案就是提示。这是专门化 agent 的机制。当提示失败时——这在对抗性场景中很常见——而你又有企业特有的策略，比如这些用户永远不能碰这个数据库，这个 agent 永远不能碰这些东西。这些都是非常具体的规则，但又比较模糊，不能直接写成硬性的访问限制。
不像 Python 脚本那样。
没错。当你处于这种情况时，像 Signal 这样的模型非常有效。这正是许多企业所处的境地。
这有点像你是 IT 管理员，在设置防火墙。
对。
不过它可能没那么可配置。不知道你们有没有那种开关。
它是可配置的。
是的。
这正是 Signal 要解决的泛化问题。这类模型需要两种关键能力：一是对各类攻击的鲁棒性，二是能够泛化，根据可执行策略的书面描述，判断何时被违反。
这完全合理。我觉得这确实有明确的市场需求。那为什么每个实验室都发布自己的防护模型？Llama 有，OpenAI 有，Google 也有。他们都发布开源防护模型，显然，嗯，想法不错，但你不会在生产环境部署它们吧？
肯定有人会，或者会尝试。我不能说他们为什么发布，但我认为这是认识到需要某种东西来填补基础模型之外的角色。
但我显然想要一个你们正在积极开发、可配置的版本，而不是一次性的开源项目。
明确地说，我非常支持开源模型这类东西。我认为生态系统越发展越好。所有这些模型共同进步，对大家都有好处。但作为一个生态系统，总会有公司专门从事这个领域。就像大多数安全领域一样，我认为这里也会如此。
对。我们是不是已经涵盖了致命三角的所有要素？不知道你们是否还有其他重要的攻击向量要补充。
那么，这个“致命三重奏”指的是那些让风险最高、甚至制造风险的因素。这是Simon Willison提出的概念，实际上是对提示注入风险的一种很好的描述。简单来说，提示注入就是第三方获取了你放入智能体提示词中的信息，然后智能体利用这些信息做了坏事。要实现这一点需要什么条件？我在这里只是复述一下这个想法。首先，你需要能够从不可信来源摄取外部数据。如果你只在完全可信的环境中操作，没人能对你进行提示注入。是的。尽管现在出现了“直接提示注入”这个奇怪的术语，并且被广泛使用，但作为核心概念，提示注入是别人对你的系统做的事。所以，别人——你在解析外部数据，但同时，这些数据必须能导致某种坏事发生。如果你只是解析数据，而智能体无法执行任何操作，那它只是在生成token。是的。它只是在输出报告，对吧？然后什么都不会发生。所以除此之外，你还需要某种能力来访问私密内部信息——那些对外部有价值的东西，比如获取敏感数据。你需要能够将数据外泄并发送到别处。是的。这两件事——摄取不可信数据、访问私密信息、以及外泄能力——共同构成了风险。就像软件漏洞一样，我们现在非常清楚地看到，尽管存在软件漏洞，我们仍然在高效地使用软件。尽管AI可能存在漏洞，我们也在高效地使用它。我认为未来也会如此。所以问题不在于试图完全、可证明地消除这些风险。这可以说是一个好目标，但就像零缺陷软件一样，我们可能无法实现，至少不会很快。我们在GreySwan相信，坦白说，只需极少的额外计算开销和成本——因为我们使用的这些模型相对较小，与支撑真正智能体的底层大模型相比——就能在可用性与安全性的帕累托前沿上达到一个更好的点。对吧？如果你不让系统做任何事，它完全安全。非常安全。如果你把所有事情都交给AI智能体，可能就不那么安全了。一个带有Signal的智能体则朝着右上角推进。我们认为这对许多公司来说是一个值得做出的权衡。
我想补充一点：你把它类比为传统软件，我认为这是个好类比。但有一点不同：如果你在C代码中发现了一个漏洞，比如缓冲区溢出，有人可以把指令放到你的栈上并劫持程序。修复时，该怎么做很清楚——检查缓冲区边界，下次别犯。对吧？所以修复是明确的，你可以相对确信自己做得对。
或者用安全语言重写。
是的。你可以信任——我们有更多时间思考如何让传统软件安全。但在人工智能安全方面，我们还没到那一步。这很大程度上还是一个研究问题。我们每天都在学习新东西，每周都在了解如何让模型更鲁棒、如何更好地执行策略。希望有一天我们能达到类似的状态，拥有各种选项来实现帕累托前沿上越来越高的点。但现在还处于早期阶段。你绝对可以有效地部署系统，获得良好使用效果，并实现当前最佳的安全性。但相对于一两年后，我认为我们还需要继续研究、学习更多。
我提起这个是因为我看到了探索搜索空间的机会。假设Signal处于中间位置——抱歉，是在不可信内容那一侧，对吧？
是的，Signal——
而另外两个在另一边。
对，Signal实际上在一定程度上兼顾了两者，对吧？Signal会解析传入的不可信内容，也会处理传出内容。它会检查其中潜在的提示注入，同时也会应用于系统发出的工具调用。所以它双向工作。再次强调，在传出请求中，它检查的是诸如“我是否将API密钥发送到了错误或不可信的位置？”之类的问题。需要说明的是，目前大多数智能体都能处理这种简单情况，对吧？尽管存在很多问题，它们通常不会轻易被“把所有API密钥都推到公开位置”这种指令欺骗。但有时还是会中招。
你可以让它们这么做。
如果你足够用力地尝试，确实可以让它们这么做。
是的。
但Signal本质上是这个思路的一个非常高级的版本，它会检查工具调用中是否有任何可能违反组织自定义数据使用策略的行为。
重点在于那些实际会发生、可能产生影响的事情。如果你解析了一些不可信内容，其中包含提示注入——明显试图让模型做坏事——你可能想知道这一点，但你不一定希望你的Claude代码（你本来希望它运行三个小时）因为发现一个提示注入就停下来。也许它根本不会执行那个注入，也许那不是一个有效的注入。所以重点在于：模型之上的智能体实际要做什么？它是否违反了策略？如果违反了，就在那里阻止它。对吧。
要做到这一点，你必须掌控整个端到端流程。
是的。
那么，Signal在这里，介于这两者之间。Shade则属于模型那一侧。
我想知道——Shade是一种压力，它会试图诱导出违反策略的行为，对吧？所以Shade是红队测试智能体，它试图找到协调这些因素的方法。
是的。
从而实际造成违规。
是的。还有其他你们可能还没完全实现、但社区正在探索的解决方案吗？
我简单说一下我的背景。在大量从事人工智能及其安全相关工作之前，我主要编写可证明安全的代码，也就是能通过算法进行形式化验证的那种。我认为这类系统现在潜力巨大。从历史上看，行业内几乎没有人——或者说很少有人——会在实际部署软件系统时考虑这么做——
我在亚马逊时就和这样的团队坐在一起。
没错。亚马逊在这方面做得非常出色，对吧？
他们有大概50个人专门做这个——
对，对。而且其中一些顶尖人才在做着天知道多复杂的事。微软历史上也做得不错，更多是在研究层面。亚马逊在真正部署这类系统方面表现卓越。我认为，之所以这些系统——因为你可以对任何你想执行的策略获得极高的保证——人们不这么做，是因为它既不容易也不有趣，对吧？和直接用Python甚至Rust相比，你要花上10到20倍的时间去和类型检查器较劲，本质上就是在证明你没有漏洞。Rust在可用性、对程序员友好以及提供良好保证之间找到了一个不错的平衡点。但如果Agent——比如Claude和Codex——能帮我们写代码，而且它们很擅长写这类代码，那为什么不切换呢？这就不再是问题了。只要Agent足够聪明，为什么不用这些冷门语言来写呢？这里面潜力巨大。
听起来有点可疑。我不确定。不，人们还是喜欢用英语写代码。
没人——但这正是关键。我的意思是，关键在于人们仍然在用英语写代码。只是Agent在后台使用更安全的后端。实际上，我认为这并不——而且，回到我之前提到的观点，关于Agent增强机械可解释性科学的能力，这里核心的底层逻辑其实非常相似。事实是，有很多进展，就像你说的，未来会怎样？我认为，我要指出的另一个潜在方向是可解释性方面的进展——不一定是机械可解释性——广义上的可解释性，让我们能更确定地识别出那些导致我们想要抑制或鼓励的特定行为的痕迹、回路或激活模式。我认为，类似地，我们现在已经到了模型在这些事情上足够好的阶段。它们足够擅长运行实验来分析激活模式。LLM足够擅长编写安全代码，以至于现在可以规模化这些工作，不是因为人们会变得更擅长。问题从来不是安全代码不可行，而是人们没有能力去做。也不是机械可解释性不可能——分析网络并非不可能。我们拥有所有需要的工具。我们有这些系统完美的可重复反事实模拟器。问题在于我们没有足够的耐心或人力去实际运行所有这些工作，对吧？
工作量巨大，对吧？
确实很大。所以，现在这个领域正在解锁的新能力，我认为最核心、最有前景的一点是，我们现在可以自动化这一切。你可以让Agent写安全代码，你不需要自己写。安全代码真的很难写。你可以让Agent做可解释性研究，这很难做，但强制Agent可以做到。所以，我认为这是一个被低估的点：我们正在达到这样一个阶段，很多安全问题和科学问题都有潜力爆发，不是因为我们自己会变得更擅长，而是因为Agent现在可以替我们做。
它们某种程度上提高了——或者说降低了——所需的原始技能门槛。不管怎么说，是好的方向。
它们可以提高门槛，对吧？
它们让你能以某种方式规模化智能，就像，如果你雇足够多的人，对吧？
对，我没有资源，没有精力，等等。是的，是的。这些因素都存在。我想让这一点对大家更具体一些。我刚从微软过来，他们对Open Claw非常开放。我认为很多人——我觉得这是一个致命的三重噩梦。
天哪，没错。
每个企业都会说，好吧，你在自己的设备上随便用，但别碰我的地盘。
我们针对Open Claw开发了大量破解方法。很多——哦，说说看。
说说看。——成千上万种。是的。
对。我的意思是，继续说吧。给我们讲讲细节。嗯，我是说——
细节基本上就是，我们有很多人类在各种场景下使用Open Claw的自然轨迹，比如把它连到Peloton健身车上，连到——是的。
嗯，我们确实有可以集成到Open Claw中的护栏，但要说明的是，Open Claw的攻击面非常大。是的。总之，对。
所以我们收集了大量真实用户在不同场景下使用Open Claw的轨迹，然后直接对它进行攻击测试。结果发现每一种场景都能找到破解方法，对吧？
对。而且，我本来应该早点说，但对我来说，Open Cloud很大程度上与计算机使用有关。你们在Mythos那边也做了类似的工作。是的。所以，我想问，最紧迫的模型侧能力缺口是什么？模型侧的缺陷，或者说——
我想指出，由于那些数字都很低，那是针对特定编码环境的。对于计算机使用，A类场景的数字会高得多，但B——
但那正是我唯一使用的，比如Codex、计算机使用。对，完全正确。是的。这是最大的突破，对吧？因为它完全在模拟我操作。是的。
所以当你有了计算机使用，当你有了Open Claw，你就能轻松破解这些东西。是的。对。同时，人们也意识到，当然你必须这么做。这正是这些东西有用的原因。
我为什么不呢？对。
你知道，我不想给我的Agent设置沙箱，对吧？那会限制它的能力，对吧？所以从某种意义上说，这里的关键是存在一个权衡——我的意思是，这和我们之前讨论的权衡是一样的。现在在宏观层面上，你面临的是可用性和Agent能力与安全性之间的权衡。我们通过Shade来评估这些漏洞，通过Signal来保护它们，目标就是把这个权衡点向右上方移动。
而研究——这就是我们在Grey Swan以及部分在卡内基梅隆大学持续进行的所有研究的目标——尽可能把这个帕累托曲线向左上方推。
左上方还是右上方，取决于方向。
对，取决于从哪个方向看。嗯，显然计算机视觉是最早的对抗领域。没错。这其实是当前AI部署的限制因素，对吧？因为我们就是不相信它。我们知道它能做到，但我们永远不会让它接入任何真实系统，因此也不会给它任何真实数据。结果就是它永远做不出什么有趣的事。然后整个产业体系就会崩溃，除非我们解决这个问题。
但人们其实已经在用了，对吧？就拿OpenClaw来说，你可以说，好吧，在家用电脑上可以，但别带到工作场合。可我们跟那些危险企业的人聊过——我是说，他们正承受来自工程师、来自员工的压力。不行，我们必须在内部运行OpenClaw。我们必须这么做，否则就落后了。对吧。
嗯，所以我只是加了Signal的护栏，就这样。你知道，我还能做什么呢？因为那感觉——你们也同意吧——但远远不够。对。
对。我觉得，特别是对于编码agent来说，Signal相当不错。Signal目前在这方面做得很好，类似于Codex或Claude Code这类系统的能力，但没有启用太多插件，否则它本质上就变成OpenClaw了。我认为要让它在OpenClaw能做的所有事情上都完全通用，还有工作要做。我们正在朝这个方向推进，但这仍然是未来的工作，对吧？要确保每一个比特、每一种可能的工具使用都安全并不容易，这需要持续的训练循环，我们现在就在推进。顺便说一句，这还需要大量标准的安全实践。对。比如隔离环境、正确的身份验证、正确的访问控制。对。所以很多方面——这将是接下来要做的其他好事。
没错。这也是我想说的。如果你要把OpenClaw放到银行里，它不能在整个网络上肆意横行。对吧。
对。
你可以做像Signal这样的事情，对吧？那是在AI层面上的最大努力。但你知道，它需要运行在一个经过深思熟虑的平台上，对吧？你必须在系统层面实际部署安全措施，给它访问合理所需资源的权限，而不是让所有人都能接触到银行信息或任何组织的核心资产。
对。嗯，所以，这个讨论的一个近亲话题我一直挂在嘴边，就是agent原生身份。对吧。那个offlayer实际上将成为平台，就像最小可行平台。你们看到了什么？你们在这方面跟谁合作？那是你们突然推出的产品吗？
我们没有跟任何人合作这个，当这个话题出现时，我觉得人们不太清楚该往哪个方向走，对吧？在很多组织中，光是尝试为现有员工配置真实身份、能力和基于角色的访问策略就已经是个大问题了。然后还要为agent做这些，考虑到它们的部署方式——比如，我要代表组织中的某个员工来部署它。这对agent意味着什么，它应该和不应该做什么？他们还在努力理解agent将如何被使用，我认为在身份方面进展不大。听起来差不多是这样。
我刚才在确认。我认为，到目前为止，在很多情况下，我们仍然基于一个条件：你的agent拥有你的权限。对。这是一个非常标准的默认设置。我认为这将会改变。我是说，你的权限可能在一个沙盒里，但本质上还是你的权限。对。这在不久的将来会改变，因为它必须改变，对吧？那种思维模式，或者说那个默认设置，将会改变。我认为这不是我们现在提供的产品，但进入这个领域肯定是我们未来可能做的事情。对。
我只是在想，我很好奇这至少会是什么形态，对吧？是不是我有个双胞胎，就像我在所有事情上的代表，还是我需要为每个应用都有一个？那太累了。
对，绝对累人。嗯，然后我认为人们开始推出这些agent身份观点和解决方案时，会面临一个更大的挑战：你会遇到同样的可用性问题。比如，真正的补救措施是什么？好吧，它被停止了。它不能做某件事。好吧，如果它得到我的明确同意，它就能做。对。然后人们就会习惯性地给它同意。
对。然后，agent之间，如果你不小心，还能进行权限提升。
对，对，对。非常有可能。我认为就演变方式而言，实际上不会是按应用来划分，但首先会发生的是人们会有不同的角色，对吧？你不想让你的工作和家庭邮箱混在一起。对。如果混了，很多坏事都可能发生。作为人类，我们很擅长区分不同的生活，对吧？我们有不同的生活。我有工作生活，有家庭生活。我甚至有不同的工作生活，对吧？我们很擅长这个。但agent目前非常不擅长这个。它们在这方面极其糟糕。
你知道，是制造它们的人没有工作与生活平衡。你凭什么指望agent有呢，对吧？
我认为它首先会以这种方式发展：会有简单的方法来切换——这里是我允许在这个agent中使用的一组账户和应用，那里是我允许在另一个agent中使用的一组账户和应用。随着时间的推移，随着人们专门化这些，它会变得更精细。如果让我预测这会如何演变，我认为这是最自然的路径。
有道理。就是给每个人几个配置文件。好吧。对。所以我认为这大致涵盖了所有内容——我们跟上了吗？有没有什么故事的部分是你期待在今年剩下的时间里看到的？比如2026年的新兴趋势。
有很多新兴趋势，老兄。我可以长篇大论地讲。
从A开始，一路到Z。来吧。
我们先从 Grace Wand 说起吧。我认为对我们来说，未来在于——目前当我们谈论产品组合时，我们显然与许多大型实验室合作，但也与大量企业合作。我认为接下来会发生的事情，以及我们将看到的规模化趋势是：那些此前主要被大型实验室关注的能力——如何确保 agent 的安全性？如何确保模型遵循我设定的策略？诸如此类的问题——这些前沿实验室关注的事情，将逐渐成为所有企业关注的重点，尤其是当他们开始采用 Codex、Claude Code、OpenClaw 这类工具时。所以我认为，我们扩张的最大动力，以及我们 Series A 融资背后的大量工作，其明确意图就是把我们一直在开发的技术——我不想说“为”企业或大型实验室开发，而是与它们共同开发的技术——真正大规模部署到企业中。因此，我预计未来一年从 Gray Swan 的角度来看，非 AI 公司部署这项技术的数量会真正增长，因为它将成为它们运营的核心。在研究方面，我想我已经谈了一些，对吧？科学，就是所有科学的“平民化”。先从 AI 科学说起。我认为我们一直也想做其他科学，比如用 AI 做物理学。不过，我们还是先从 AI 科学开始吧。这个领域现在需要大量工作，对吧？
先戴上你自己的氧气面罩，再去帮助别人。
没错，正是如此。所以我认为，这正是我现在最兴奋的地方，尤其是在研究方面。而落实到具体问题上，就是通过 agent 的力量来更好地理解模型。
有一件事让我在过去两三个月里感到非常鼓舞，那就是这个进程的速度正在加快。我认为这将继续成为一个趋势：人们开始构建一个 agent，但并没有一路走到“我们完成了，我们认为它很棒，现在它已经面向客户或整个组织”的阶段。他们在到达那一步之前就会顿悟：无论我输入什么 prompt，我都需要一个解决方案。我明白这里存在真正的风险。我知道我正在使用的这个模型既奇怪又有趣，而且能力非常强。但如果我不采取更多措施来确保它保持安全并按我的意愿行事，那就不行。人们主动来找我们，知道自己需要一个真正的解决方案，我认为这非常令人鼓舞。这标志着 agent 开始走出前沿实验室、研究社区和科学家圈子，真正落地。人们开始理解了，我觉得这很棒。我期待人们在这些模型之上构建的所有精彩应用，以及能够帮助它们站稳脚跟的安全措施。
有没有一种未来，你们的客户会成为 arena 的一部分？因为我觉得这些——基本上就是——惊喜吧？对吧？它们就像是独立的实体。澳大利亚有个家伙好像是你们的第一名，但到了某个时候，你会产生网络效应，企业用例开始出现在这个问题域内部。哦，对。
你是说在 Arena 内部测试企业的部署。我们确实遇到过这样的情况：有人加入 Arena，他们可能是网络安全专业人士，对 AI 安全产生了兴趣，然后发现了 Arena，最终当他们的组织需要解决方案时，他们就成为了客户。
这种情况发生的频率有多高？
嗯，次数不算特别多，但确实有不少来自网络安全背景、有想法的人找到了那里。我认为企业总是会更谨慎，不愿意把尚未部署、仍在开发中的自定义 agent 放到这个公共平台上让任何人来攻击。我们做的是建立私有 arena，让一部分我们签了保密协议的参赛者参与。
嗯。
对，我们很了解他们。
他们主要解决什么问题？
他们解决什么问题？对。
比如，他们处理的是哪一类问题，需要用到私有 arena？
哦，基本上任何企业应用都可以。对，这就是关键。企业不愿意把尚未部署的 agent 放到 arena 上让公众来攻击。但如果只是我们从 arena 中精心挑选的 20 个人，他们就没问题。
给可能感兴趣的听众解释一下。作为参与者，我能得到什么？
对，有什么奖励？嗯，对于公开竞赛，我们会提前公布奖金和激励结构。每个 arena 都不一样，因为要设计合适的激励机制，让人们专注于发现有用的漏洞和问题，而不是为了刷奖励而找一些无关紧要的东西。如果出现刷奖励的情况，会有人工评判吗？
有时候会。哦，那会很麻烦。我们有很多自动评分器，但如果他们能击败所有自动评分器，最终会有人工来检查。
哦，好的。是的。我们还与英国 EC 和 KC 等机构合作。他们会作为独立评委和评估者参与进来，贡献他们的专业知识。
好的。所以你们是一个社区，任何企业都可以求助，而且这实际上是非常有用的数据。对。有点像红队测试领域的 Macor。红队测试。对。我们即将邀请的一位嘉宾正好处于这个领域的另一面，是一家 AI 承保公司。不知道你们有没有遇到过他们。
当然有。他们是我们的客户之一。对，是的。我认识他们。我们很熟。
你怎么看那个市场？
哦，我觉得这很棒。很有意思。而且我认为它和我们的模型搭配得非常好，对吧？因为你怎么评估一家公司广告部署的风险呢？用 Shade 这样的工具，或者用 Arena，对吧？我们和他们做的很多工作正是针对这个。然后如果一家公司发现了这个级别的风险，但因为风险太高而无法投保，他们想降低风险，那该怎么办？我觉得，我们不应该成为唯一的提供商，但你能做什么呢？你可以在模型周围加上安全系统，对吧？包括像 Signal 这样的东西。所以它搭配得非常好，因为在某种意义上，我们可以成为某种授权的合作伙伴，这样他们就能做的不仅仅是说“嘿，你无法投保”。他们可以用 Shade 和其他工具更严格地评估风险，然后在出现问题时用 Signal 这样的工具来规定缓解措施。所以这两个模型搭配起来非常合适。而且坦白说，它们也为我们带来了客户，因为很多客户——是的，有坏事发生的风险，这实际上驱动了我们目前大部分业务——但也有风险，比如你想在出问题时有个保障。是的。你还想合规，不合规也是一种风险，我们也能解决这个问题。
是的。我觉得他们的 AIUC 非常棒，而且他们很早就开始做了。嗯，就像和网络保险的类比，对吧，非常清晰。比如你申请网络保险时，必须记录你采取了哪些措施。比如，我有什么检测和响应机制，对吧？
而且他们在结构上必须保持独立，像第三方一样。他们不能做你做的事，对吧？
对，对，对。是的。我们确实和他们有明确的合作，对吧？比如他们想评估某个人时。
所以你们已经在合作了。我只是好奇，你为什么说还没到那一步？
因为还没有一个被监管机构普遍接受的完整合规框架，对吧？我认为我们还有一段路要走，从我们现在的位置到达到像网络保险那样的程度——嗯，SOC 2 是一个自愿的行业标准，对吧？是的，但它也有一些问题。我直说吧，这些问题源于它更像是产品导向，而不是网络安全专家主导，更多是会计师或注册会计师在做。所以我认为 SOC 2 不是一个好模型，我们直说，但它确实是一个模型。嗯，从概念上讲，当我说我们还没到那一步时，我的意思是 AI 保险还没到那个阶段。但在概念上评估风险并提供缓解风险的方法方面，我们已经很成熟了。
所以我喜欢 AUC 的一点是，我认为他们在合规框架方面做了一个很好的初步尝试。对吧，他们找到了我们，也找到了其他来自学术界和创业社区的人，嗯，试图把它建立在真实的技术问题以及如何缓解这些问题的基础上。所以，我认为他们起步很好，是的，这个方向绝对有潜力。你希望看到他们做什么？
你知道，我们接下来会——我只是有点好奇。
我自己会好奇需求是什么样的，对吧？
比如，你觉得他们应该完全建立一个像萨班斯-奥克斯利法案那样的 ASOC 吗，对吧？
法律约束力有不同的级别。是的。哦，我明白了。嗯，所以 SOC 2 在任何意义上都没有法律约束力，对吧？
它是一个行业标准。有点像护照，你拿到了。好的，不错。你做到了。是的。最低要求。对。
如果你没有，那采购流程就会非常痛苦。是的。所以他们有那个，但比如，你为什么要买网络保险？你买网络保险是因为如果你想拿到企业级交易，或者你确实有真正的担忧，你就必须持有它。所以有很多不同的压力因素在起作用。我很好奇我们在时间线上处于什么位置，比如，人们为什么也会来找 AUC？是的。是什么驱使他们去寻求 AI 代理保险？
我的意思是，你知道，第一个真正公开的、上了新闻的提示注入漏洞——他们很可能会做。是的。是的。比如，我知道最大的案例是，赫兹被注入了，某家航空公司被注入了，但没什么大事。
“灰天鹅”这个名字是参照“黑天鹅”事件，即那些没人能预见的事情。灰天鹅是一种不太可能发生但你隐约能预见的事件。是的。这大概就是我们目前所处的状态，对吧？这会发生。我们知道它要来。是的。当它发生时，没人会感到震惊，但这就是你想提前做好准备的地方。
人们也不总是公开这些事件。这也是事实。比如，我们知道它已经发生了，并且造成了实际损害。这个因素驱使一些人来找我们，对吧？是的。
他们想要保护自己免受那种风险。是的。对。太棒了。嗯，谢谢你们在打一场好仗，嗯，我相信随着你们的发展，我们会在未来几年里再跟进，嗯，希望你们能解决这个问题。它永远不会被完全解决，但嗯，是的，我们会通过完全理解模型来解决它。没错。我确实喜欢自动化 AI 研究。
是的。好的。
嗯，非常感谢。是的。
很高兴来到这里。谢谢你们邀请我们。谢谢。