🔬BioAI 阶段转变 - Matthew McPartlon & Neil Patil, Chai Discovery

这看起来更像 Autodesk、SolidWorks 或 Figma，而不是 ChatGPT。如果你用过那些工具，就能像加载分子一样，有一个类似 Photoshop 的设计套件。你有相当于画笔工具的东西来绘制你的表位，有相当于内容感知填充工具的东西来从 CHAI 生成你的结合剂。我想补充一点，对，这种靶点发现、先导物发现和优化的概念，每一步都有门槛，需要几个月到几年的时间，这是一种非常瀑布式的模型，对吧，早期尝试和获取东西的成本非常高昂。但我想，正如 Matt 所说，如果你开始进入一个模型能给你真正有希望的候选物的阶段，你就可以开始让它看起来更像一个循环，对吧？这类似于软件开发中变得更敏捷。但现在下一个问题是激动剂，对吧？比如如何可靠地一次性命中细胞上的开关？或者双特异性抗体或 ADC，对吧？我认为，随着模型变得更好，我们将不得不随着产品攀登这些抽象层次。如果你有这些非常好的结构预测、结合和设计的基本单元，并且可以组合它们，那么你就可以开始进入科学的外层循环。

是的，非常感谢你们的邀请。我们非常兴奋今天能谈论 Chai。我是 Matt McPartland，Chai 的联合创始人之一。我的背景与 AI 生物学相关，我的博士研究实际上始于理论计算机科学，后来转向了这个领域。是的，我从事这方面工作已经大约 8 年了，我进入这个领域时正值一个有趣的时期，蛋白质结构预测刚刚开始显示出生命力。那是 AlphaFold 1 的时代，我在 AlphaFold 2 期间也在该领域，见证了许多有趣的发展。所以，我一直对将这些东西应用到现实世界很感兴趣，这正是一个完美的机会。

我是 Neil Patel，在 Chai 负责平台和产品。所以很多关于训练模型的基础设施、服务模型，以及产品化部分，也就是让你使用模型的设计套件，都是我负责的。我的路径比较曲折。大约 15 年前我开始编程，在 App Store 做应用，对那种多巴胺刺激上瘾，然后被机器人技术吸引，做了一段时间。2018、2019 年做自动驾驶汽车，变得非常厌倦，心想我暂时不想碰硬件了。后来转行加入了一家叫 Vanta 的 SaaS 公司，成为最早期的员工之一，并随公司成长。之后自己创办了一家安全公司，做了几年后，我想，原子其实挺酷的。我想做一些更有意义的事情。所以大约一年前，在 Chai 2 发布后不久，我加入了 Chai，帮助处理平台和商业化方面的工作。

是的。

我们处于接受阶段。

是的。我们非常幸运，首先与礼来合作，然后与辉瑞、诺华和 Argenx 合作。我认为这是一段非常有趣的旅程。而且我们的商业模式对很多人来说也很有吸引力。我们真的很关心合作伙伴的成功。Chai 作为一家公司，很大程度上取决于合作伙伴的成功。我想 Neil 可能对我们实际提供的东西以及为什么这么有吸引力有一些有趣的见解。所以我把话交给他。

是的，如你们所知，药物发现是一个非常漫长的过程，对吧？很多制药公司花费大量时间，年复一年，投入数十亿美元，试图找到最初的治疗候选物。所以在 Chai，我们训练模型来帮助加速这个过程，找到那些最初的结合剂，甚至更多。你知道，有很多生物公司，AI 生物公司，在开发自己的药物。我们真的不这么看自己，对吧？我们几乎把自己看作一个中立的软件工厂，用于制造药物。所以，这让我们能够与所有这些其他制药公司合作，支持他们的药物发现之旅。所以，是的，这些资本只是另一个证明点，表明我们可以开始真正加速这个软件工厂，对吧？攻克更难的模态，训练更大的模型，最终构建我们的合作伙伴和客户要求我们构建的东西。

Chai 的核心理念一直是成为软件和建模层，我认为这在当时是非常有争议的。

是的，这确实挺疯狂的。比如，人们尝试这种方法已经有一段时间了，我觉得模型当时真的还没成熟。甚至对我们来说，一开始也是在冒险。我们基本上是押注模型会进步。我曾在工作中看到一些早期迹象，而我们的CEO Josh，他之前是Meta那个团队里ESM论文的原始作者之一，他也看到了相当早期的迹象，比如，你知道，这里可能存在规模定律。他们觉得，我认为我们真的能开始设计东西了。结构预测变得非常好。比如，一个疯狂的想法是，直到2021年我们才有了多聚体结构预测模型。那是五年前，我们才开始用深度学习真正预测两个蛋白质同时的形状。就像——AlphaFold 1是那样的，AlphaFold 2是个巨大的突破。但后来AlphaFold 2 multimer大约一年后就出来了。所以你真的需要那个来首先解锁设计。我们甚至没在尝试同时预测多个蛋白质。然后大约在那时，逆折叠开始起作用了，就像，哦，蛋白质MTNN，这在实验室里真的有效。这要归功于Baker实验室做了所有那些优秀的实验室验证和他们的模型。但我认为我们开始看到它们做有趣的事情，并真正在现实世界的实验中发挥作用。现在可能是开始押注这个的时候了。我觉得在那之前，也许你可以从针对某个你关心的靶点的活动中获取一些实验数据，然后可能在那上面取得一些进展，并在那个非常具体的情况下继续爬山。那时候通用模型还不存在。所以我觉得，是的，我们认真对待了这个赌注，决定尽可能努力推进，并真正追求我们方法的通用性。然后当CHAI-2发布时，这是我们继CHAI-1之后的第二篇论文，我们向世界展示了这实际上是可能的，而且可以在大规模上实现。我们不是只针对一两个靶点展示的。它确实有效。我们就想，干脆全力以赴。我记得Josh喜欢说，我们设定了全公司范围内的挑战，要设计针对50个靶点的抗体。实际上我们看到了一些生命迹象。我们就说，好吧，让我们用真实统计数据来做，看看这是否真的有效。选择这些靶点的过程也挺有意思的。我们想，好吧，我们要选什么靶点，应该选一些有趣的靶点之类的。那时我们正在与CRO合作，摸索我们的湿实验室流程是什么样的。在尝试了一些东西，比如许多蛋白质之类的之后，我们决定，这些是有趣的靶点，这是我们应该关注的。但有一半时间靶点就是不太行。我们还在学习，无所谓。我们就想，好吧，也许我们应该直接用CRO已经验证过的靶点。所以让我们拿CRO的目录，看看他们做过什么，然后限制在一个有趣的集合里。从那里，我们选了50个靶点，设计了针对它们的抗体，有一半得到了命中。那时，我觉得制药行业开始意识到，好吧，这里确实有生命迹象，这可能真的能在我们的一些项目中起作用。

是的。

大家常用的类比是锁和钥匙的问题，你的靶点，你想结合的蛋白质，可能是某种疾病蛋白，就像你的锁。然后你想设计一把能插进去的钥匙。在我们的情况下，就是让它粘在那里。抗体的有趣之处在于，它们是那种非常灵活通用的蛋白质，在很多方面它们非常通用。在很多方面它们其实相当统一，但至少它们如何结合靶点是非常通用的。所以你在设计这种结合界面时有很多选择。抗体的结构预测问题，比如预测这个抗体如何实际结合靶点，钥匙如何插入锁中，这是一个出了名的难题。好的一面是，我们在结构预测上取得了很大进展，整个领域在让结构预测达到现在水平方面走了很长的路。但在设计场景中，你可以对你想做的设计类型和你实际想关注的结构类型更加挑剔。在某些情况下，设计一个抗体作为蛋白质结合剂可能实际上比预测它如何一般性地结合靶点更容易。所以就像，如果你有选择的自由，你可以只挑简单的案例，如果你明白我的意思。

这是从一个非生物学家嘴里说出来的，但我认为大家都知道，它们是那种Y形蛋白质，看起来像手指比出的和平手势。每个手指就像抗体的一只臂。实际上只有指尖，也就是抗体的尖端，参与结合。所以这使得那个特定区域成为很好的治疗设计靶点。好的一面是，除了尖端之外的部分实际上相对恒定。这被称为抗体的框架区。然后设计问题，你通常只需要设计最尖端，而且你基本上可以选择那些你的免疫系统已经识别的框架区。所以抗体就像那种Y形蛋白质，你的免疫系统非常熟悉和识别它们。它就像你身体的一道防线，对抗病原体和其他类型的疾病。

对，它们就像是一个非常通用的框架，两端是CDR环，你可以设计它们去结合任意目标。比如一端结合癌细胞，另一端结合毒性分子，这样就能精准地把毒性分子送到癌细胞那里，对吧？或者你也可以让两端分别结合不同目标，通过诱导邻近效应在体内产生某种作用。另外，历史上很多药物其实本质上就是阻断某些东西，比如拮抗剂行为。但也许你可以实现激动剂行为，真正精准地按下一个开关。比如GPCR蛋白，这些是细胞膜上的“门铃”蛋白。你可以设计一种抗体，非常精准地以特定方式去触碰它，引发下游的连锁反应。我觉得，随着这些模型的发展，最令人兴奋的一点是，我们开始能够做到这种精准度，对吧？我们可以真正靶向一个非常特定的表位，也就是结合位点，一组非常特定的原子，让抗体去攻击。而历史上，很多药物开发都是蛮力尝试，制造大量抗体，看看哪个能起作用。但那样可能只是得到一个能结合目标分子某个位点的抗体，却无法精准设计你到底要触碰哪里。

对，我们的CEO Josh喜欢说，我们最大的竞争对手是老鼠，或者说某种程度上是自然。所以传统上，这类药物样分子要么是通过免疫接种项目发现的。比如你直接让老鼠感染一种疾病，看它产生什么抗体来对抗。其他方法包括超大规模的酵母展示等等。所以你可能一开始想，我喜欢这个框架，怎么设计正确的环来结合这个目标？我就尽可能多地尝试，像大海捞针一样去搜索。这通常意味着至少数十亿个潜在分子去筛选这一个目标。在这种情况下，你可能最终得到1到十几个潜在的命中分子。你对这些命中分子了解不多，只知道它们能粘住目标。你不一定知道它们结合在哪里，甚至不确定它们是否具有药物样特性。我觉得Chai的一个重大区别，也是我们的合作伙伴喜欢看到的，就是你可以非常有意图地进行设计过程。你可以说，我想在这个特定区域结合这个目标。你甚至可以在设计之后回去验证，比如我们验证了我们的设计。所以你可以回去检查，说这个抗体是否以我预期的方式与目标结合？我认为它真的会产生我追求的治疗效果吗？

有，建模方面和产品方面都融合了一些不错的想法来处理选择性和交叉反应性。在某些情况下，你希望分子结合一个目标而避开另一个。比如你可能有一个蛋白质的健康变体和疾病变体，你想避开疾病变体；或者你可能有一些类似但不 harmful 的蛋白质，你不想人为阻断它。所以建模方面，我们确实想出了办法。但我觉得产品方面更有趣，就是如何让客户或合作伙伴能够真正有意地设计这些特性。

也许可以退一步定义一下交叉反应性。比如，当你开发一种药物时，你不一定直接注射到人体里，对吧？你可能想先在猴子身上测试。猴子可能有大致相似但略有不同的变体。所以你的药物不仅需要结合人类变体，还要结合猴子变体。因此，我们在建模和产品设计上试图让你能处理这些非常普遍的情况，比如你说，我想设计一个能同时结合这两者的东西，这样我才能真正去开发药物。让我识别出保守区域——保守意味着两者之间变化不大——然后靶向那个精确区域。同样，对于选择性，你可能想——人体内有一个非常相似的蛋白质，如果你不小心结合了它，那会很糟糕。你只想结合目标蛋白。这也是很多药物失败、有毒或产生严重副作用的原因。所以这有点像组合优化问题：只结合这些，避开那些。我觉得最近进展中特别令人兴奋的是，我们在这些模型能达到的特异性水平上做了很多改进。

完全正确。

我们正在接近那个点，在某些情况下——当然这很微妙——但某些情况下你确实可以尝试这样做。

是的，我更倾向于说，框架是你非常明确地知道你想结合什么、想避开什么。但我觉得，比如我们现在筹集的很多资金，会让我们训练更大的模型，可能更通用，能同时考虑更多因素。

对。

我们大约在两年半前创办了Chai。最初几个月，我们想着，好吧，我们要做蛋白质设计，我们正在搞这个。我们取得了一些进展，然后觉得，哦，这挺有意思的。我们有一些想法和模型，而就在那时AlphaFold3发布了，我们之前一直在讨论，天哪，我们真的需要一个MSA流程。我们需要所有这些基础设施。MSA就是多序列比对流程。

如果你想预测蛋白质的结构，看一堆非常相似的蛋白质序列可能会非常有用。这些高度相似的蛋白质序列告诉你的是，哪些位置——也就是哪些氨基酸在这个蛋白质的多个变体中最终被保守下来。如果你看到高水平的保守性，或者高水平的突变，比如相关突变，这通常表明这些氨基酸在三维空间上距离很近。所以你就有了这种蛋白质的二维视角，可以用来帮助预测三维结构。

完全正确。是的，没错。说实话，这能行得通真是相当了不起。这是我最喜欢的生物学事实之一。所以，我们当时在想，天哪，有大量基础设施就好了。然后AlphaFold3发布了，我们说，嘿，我们应该开源这个模型。我们应该埋头苦干，构建我们需要的所有基础设施。我觉得从长远来看这肯定会有回报，它就像一个推动力，让我们走到现在的位置，同时也是对整个社区的贡献。

是的，完全正确。我在博士期间也构建过很多类似的基础设施，但不是公司级别的生产水平。所以那时候，我们大概有5个人。Chai就我们5个人，我们说，好吧，这就是我们的推动力。我们有一个清晰的目标去努力。非常直接。让我们把这个搞起来，看看我们能多快完成。

我们确实坐在OpenAI的办公室里。是的，在Mission区。

我们的另外两位联合创始人Josh和Jack，和OpenAI的一些人有关系。实际上，OpenAI共同领投了我们的种子轮。所以我们当时在想，好吧，我们只有5个人，要不要找个办公室？结果发现那个办公室大部分是空着的。所以我们就得以在OpenAI的办公室里待了一段时间。

所以在那之后，我们真正把目光锁定在蛋白质设计上。

值得指出的是，Chai-1是一个结构预测模型，对吧？所以你有序列。它折叠成的结构是什么？然后就这样了。是的，就这样。

是的，Chai 1，Chai 1完成了。那里还有一个疯狂的故事。看看我们能不能分享这个，但这真的很好笑。我们当时说，天哪，我们真的想成为第一个发布这个的。然后我们说，好吧，我们还有一周时间，模型差不多训练完了。我们问，要不要建一个网页服务器？然后我们说，哦，也许不用。但最后我们还是搞了一个完整的网页服务器，这样人们可以直接使用，而不是去下载Git仓库。那挺麻烦的，尤其是对生物学家来说。我们真的希望人们能用到这个。所以让我们搞个网页服务器，把技术报告发出去，所有这些。结果我们连续48小时没睡，就为了把论文搞定，把网页服务器上最后的事情做完。然后Josh那天早上要接受Bloomberg TV的采访，我们已经连续48小时没睡了。所以Josh冲进一个房间去做那个Bloomberg TV的采访，我记得大概是早上7点。大家都在办公室里，我们不想被看到什么的。然后采访者说，哦，有趣的公司。看起来这里好像没有员工。但确实，那段时间真的很有意思。我觉得早期创业的日子就是超级好玩。所以在那之后，我们把目光转向了设计，我们真正想的是，我们一直把抗体放在心上。我们认为这是最可行的问题。蛋白质的好处在于你有这种漂亮的序列表示。已经有很多研究在做，比如如何自回归地生成序列？如何——序列生成问题已经被研究得很透彻了。所以我们在想，在生物领域，哪里是应用序列生成的好地方？很自然的就是做氨基酸的线性序列。所以我们开始做设计。Chai的一个独特之处在于，我们不是只设计抗体，我们不是一家抗体公司。我们不会把自己局限在一个治疗领域。所以我们试图非常通用地解决这个问题。我们在想，我们能设计多种蛋白质吗？我们能设计抗体吗？我们能搭建常规复合物的支架吗？所以真的是从整体视角来看，如何一般性地设计蛋白质？这最终催生了CHAI-2模型。那是我们的第一个旗舰设计模型。那就是CHAI-2论文和我们那个大胆的靶点发现项目所在。我们为那篇论文设计了针对50个靶点的抗体，大约一半拿到了结合物，平均结合命中率大概在20%左右。然后之后我们开始做CHAI-3。那是我们最新的模型系列。但我先说到这里。

我们来看看CHAI-1。Chai-1大致有一个分词器、一个变换器、一个看起来像语言模型的东西，然后还有一个看起来像图像扩散模型的东西。它们都是拼接在一起的。分词器不是那种典型的Word2Vec风格的分词器。这个更像是，我有一堆分子里的原子，现在我想把它们拉进我那个类似LLM的主干网络所谓的token里。然后这条件化一个大的扩散模型，它会输出图像，也就是某个三维结构。

这也是个有趣的问题。我们有各种不同的输入轨道。生物学的一个特点是，数据本质上具有多模态性。你有这种类似 token 序列的表示。每个 token 都挂着一组原子，然后你还有不同原子的各种属性，比如一个原子可能带不同的电荷，可能有不同的元素类型，就像元素周期表那样。这些信息会聚合到 token 里。一旦完成 token 化，你就可以用非常标准的方式处理它，但最终你还是要回到三维坐标。所以为了预测结构——那本质上是个三维对象——要输出这个对象，你需要经过一个类似图像扩散模型的过程，从 token 回到原子表示。

完全正确。

那是 CHAI-1。对，CHAI-1 折叠模型。所有这些生物学的东西听起来有点吓人，原子、token、氨基酸。但归根结底，我个人的背景是理论计算机科学，我早年都在做这个，到博士后期才转过来。但我认为你需要的背景跟其他机器学习领域需要的背景非常相似。确实有很多领域特定的知识要学。但我喜欢打的一个比方是，人们觉得不做生物学家就不能做 AI 生物，但这就像说你不是导演就不能做视频模型一样。确实有很多高度领域特定的东西，比如要理解视频里的光照什么的。但归根结底，这些都是机器学习问题，解决方式是一样的。

对，我们披露的 CHAI-2 是一个全原子扩散模型。我们仍然试图预测三维空间中的原子，但方式上模型有能力设计原子、放置原子、决定哪些原子应该存在。比如表示一个氨基酸——一个蛋白质 token——的一种方式就是看哪些原子存在。在 CHAI-2 的情况下，我们就是让模型自己选择要保留哪些原子，然后再映射回对应的氨基酸。

是设计能力，对吧？CHAI-1 让你说，嘿，我知道氨基酸序列，就是那个文本字符串。我也知道从基因组能得到的结构，或者——

对，没错。

CHAI-2 则说，好的，我有一个目标结构，我想设计一个结合剂去结合它。CHAI-2 会生成候选分子、候选药物来结合那个靶点。所以这本质上是一个设计模型或设计模型家族。我认为这才是真正跨越了实用性门槛的地方。CHAI-1 和 AlphaFold 很有用，因为你可以直观地理解和推理结构，看到你面对的是什么。但最终目标是设计药物，设计新分子。我认为 CHAI-2 在一年前就真正跨越了抗体设计性能的门槛。

这里可以打个比方，回到图像领域。CHAI-1 就像说，这张图里有一只猫。谢谢，CHAI-1。而 CHAI-2 就像，我给你一个背景，也许我给你一些图像信息作为 prompt，比如"嘿，在田野里放一只猫"。CHAI-2 会真的给你一张田野里有猫的图像。然后你看，这张图好看或不好看。你可能还有别的模型来给图像打分，但本质上这是生成问题。

一种思考方式是回到经典做法。我们来说说两者。在结构预测中，我知道序列，可以大致推断出三维形状。然后还有所谓的逆折叠问题，就是给定一个三维形状，返回一个能折叠成这个形状的序列。现在你要同时做这两件事。但我认为类似的原理适用。你可以让模型先想想这个结构应该是什么样，然后让模型的另一部分思考什么序列能支撑这个结构。扩散模型的一个好处是你可以很慢、很迭代地做这件事，给模型很多时间思考：如果我这样改变结构，序列应该怎么变？你可以来回反复地调整，最终收敛到一个自洽的结果。

对，没错。

或者说传统上是怎么做的。当协同设计和蛋白质结构设计开始成为一件事的时候，我们在指标上很迷茫——你怎么知道你设计的序列和结构是靠谱的？我可以随便说它什么都行。

完全正确。

是的，作为人类，你可以看着这个东西想，嗯，我觉得没问题。就连生物学家也会说，我完全不知道这东西到底能不能折叠。也许有些部分看起来是对的。顺便说一句，连我们的生物学家都对一些最终确实有效的设计感到惊讶。当时我们做的是，提出了一系列指标，而AlphaFold确实是实现这一切的关键。所以你会把你预测的序列，通过一个完全不同的、独立的结构预测方法跑一遍。这完全独立于你的模型，然后你说，如果一个独立模型认为这个序列折叠成类似的结构，那么它正确的可能性就比之前的先验概率更高。这样你就可以拿你的序列，去衡量这个结构预测方法与你对那个序列实际预测的结构之间有多一致。你现在可以把你的设计与独立模型的结构预测进行比较，这成了验证你的设计模型是否正确的一个非常好的方法。人们在一段时间内有点像在玩这些基准测试，不断推进、推进、再推进。结果发现，如果你的所有蛋白质看起来都一样，那么获得自洽的、一致的结构设计是很容易的。这会产生很多问题，但后来人们开始在这个基础上不断增加更多内容。

结构预测方法的一个好处是，通常会有一些校准，即模型对其预测有多自信。事实证明，这些模型可以给你一个相当校准良好的置信度预测。所以不只是说，这是我认为的结构，我会说，这是我认为的结构，以及这些是我不太确定的部分。你可以把它汇总成一个单一的标量。通常人们会看，好的，不仅是我有多自洽，这个独立的折叠模型有多喜欢它输出的结构？这是早期获得信心的一种方式。然后另一件人们常做的事是，他们会看生成的多样性，因为再说一次，你可能有一个完全一致的模型，给你很好的置信度预测，但每次可能都是相同的结构，每次都是相同的序列。所以你还想看看，好的，这些解决方案有多多样？我能解决多少这些新问题？在某种意义上，如果我有很多——

更多的问题是反馈循环非常慢。所以你可以这样验证几个结构，但可能需要几个月，而且这不是一个可扩展的方向。所以我认为这对整个领域来说是个问题。我觉得人们花了很多时间，尤其是在CHAI，思考如何更大规模地验证这些问题？我们如何提高验证的通量或缩短周期时间？因为如果你要等几个月才能知道，嘿，我的模型对吗？在那种研究环境中很难迭代。

好消息是这正在变得好很多，对吧？现在有一整个湿实验室网络可以合作，他们会运行这些实验，告诉你一些事情，比如，你提出的蛋白质是否很好地结合了它的靶标？所以，谢天谢地，我们不是以年为单位了，对吧？我们降到了几周，虽然不像大语言模型领域那样，你可以扩展评估，投入更多计算，几小时内就能得到结果。但足够快到你可以开始递归地自我改进。而且，我觉得我们也花了很多时间，比如，弄清楚哪些指标可以在计算机上计算，可能预测实验室的成功。但关于冷冻电镜的问题，是的，我的意思是，你也必须测量结构。而且你知道，那非常昂贵，因为你必须冷冻蛋白质，然后发射电子束，看它们如何散射。我记得有一个挺有趣的小故事，看看我能不能分享。比如，在Chai 2的论文里，我们确实做了那个。我们拿了一些模型预测的蛋白质，跑了冷冻电镜，拿到结果后我们想，等等，结果看起来不对，因为我们已经把预测叠加在电子云、点云上了，没看到任何差异。重点是，我们现在已经到了这些结构预测模型与实际验证的原子位置相差几个埃或更少的程度。

在这种情况下，误差是0.33埃，也就是原子宽度的三分之一。我们当时想，这不可能对吧。显然他们只是把错误的设计发回来了。

是的，完全正确。

呃，是的，在这种情况下，没有——所以，我们实际上特意选择了这些靶标，确保没有已知的抗体结合剂。

是的。

所以，如果我们确实得到了命中，那绝对是针对这个靶标的第一个抗体命中。

是的。我觉得这是我没意识到的生物学的一个方面，就是有多少工作真的像是在黑暗中摸索。这甚至不是比喻。你确实看不到这些东西长什么样，对吧？所以结构模型如此重要，因为现在你可以——好的，你实际上可以在原子级别预测这些东西的样子。这让你能去做像CHAI-2这样的设计模型。

是的。

是的，我觉得像CHAI-3，老实说，之前有CHAI-2、CHAI-2.5、CHAI-2.7，最后才有CHAI-3。每次我们都看到性能越来越好。我觉得CHAI-3的关键在于，我们回顾CHAI-2，看它能解决的目标。CHAI-2之后内部有很多讨论，比如，嘿，我们成功为这50个目标中的一半做出了分子和结合剂。那另外25个呢？我们能做些什么来改进它们？然后我们意见分歧了。我们在想，好吧，我们是该研究这些没搞定的目标，看看它们有没有什么特性值得关注？还是干脆押注在模型上？如果我们投入更多时间，模型会不会自己就达到目标？就像“苦涩教训”那样，全力押注模型会变得更好？我们确实选了后者。我们赌模型会进步，然后在那条路上拼尽全力。

对。

我觉得结合亲和力是重要一环。你不能只是弱结合，那样它作为工具就没用，尤其对我们的合作伙伴来说。我们需要开始产出达到或接近治疗级别的分子，这意味着它们必须结合得非常紧密。它们还得具备可开发性。它们得有所有这些良好的治疗特性。

说到可开发性，我想我们之前提过，他提到了CHI 2.5，对吧？那是在CHI 2发布几个月后推出的。我们做了一项关于分子可开发性的研究，嗯，对听众来说，显然分子得结合得好、结合得紧，但你知道，还有其他你关心的特性，用非生物学术语来说，对吧？它安全吗？稳定吗？容易生产吗？不会自聚集吧？我们很惊喜地发现，在这些方面我们能够提升和推动性能的程度。

对，你在这方面能免费得到很多好处，对吧，有了那个抗体框架。

对，没错。

是的，绝对如此。结构预测的好处是有一个可以对照的真实基准。对于设计来说，你没有那个。你就像，这里有个新的疾病分子，给我一个针对它的结合剂。然后如果你想知道这东西是否真的结合，你得把它送到实验室等上一阵子。对于结构预测，你可以说，好吧，模型没见过这个序列。它没见过任何接近的东西。它真的能折叠成正确的形状吗？我们可以把它从数据集中拿出来检查。所以我一直觉得结构预测是一个很好的快速验证想法的基准。

对，我觉得在CHAI 2之后聊这个很合适，因为我认为CHAI 2是产品视角上开始变得真正有趣的地方，对吧？我觉得从CHAI 2开始，我们跨过了实用性的门槛，在我们发布那篇论文之后，有很多制药公司和生物技术公司来找我们，说，嘿，这个模型可能能帮我们做些事，我们能用它吗？然后我们就想，天哪，我们得做个产品，对吧？我们得建个东西让你们能用那个模型。那正好是我加入的时候。然后就有了一场疯狂的搭建，既要构建产品——这个我们可以聊聊它的形态——也要去搞定算力，这样才能把那些模型提供给合作伙伴。然后，我觉得还有第三块非常有意思的，就是安全和知识产权方面，对吧？我们想做一个非常中立的平台，任何人都可以在上面设计药物。但你们知道，制药行业是出了名的对知识产权极其敏感的行业，对吧？我加入的时候，很多人跟我说这事做不成。他们不会把数据放到一个平台上，然后让所有新药都从里面生成出来。我有一点安全背景帮了忙，因为我说，不，实际上，如果你在数据隔离上非常激进，设置单租户架构，几乎是为每个客户部署一个单独的版本或账户，你其实可以构建一个平台然后交付给他们。所以，去年夏天我们开始这么做了，对吧？我们一直在和礼来合作，或者说在洽谈，他们是第一批真正和我们紧密合作的伙伴之一，一起打造了那个设计套件的V1版本，你可以用它来工程化那些分子。也许值得聊聊那个设计套件，对吧？我觉得，我们现在有了这些非常强大的模型，如果你用正确的方式给它们条件，给它们正确的上下文，比如你瞄准的结构，或者模型的约束条件，它们能做出各种疯狂的事情，对吧？比如，嘿，我想设计一个抗体，靶向这个GPCR蛋白，但不能和细胞膜碰撞，还要针对上面特定的表位。然后我们看了看，心想，也许我们可以给它套个聊天机器人界面。那对话起来会很容易。但实际上，你要构建的是某种非常视觉化的东西，对吧？有了这些结构预测模型，你终于可以构建出真正视觉化的东西了。所以如果你看看Chai的产品，它看起来不太像ChatGPT，更像Autodesk或SolidWorks或Figma，如果你用过那些工具的话，你可以加载你的分子，有一个几乎像Photoshop风格的设计套件。你有相当于画笔工具的东西来绘制你的表位。你有相当于内容感知填充工具的东西，让CHAI生成你的结合剂。当然，你还有大量的科学分析、绘图等功能来理解模型的结果。但我们一直惊讶的是，要把这些做好，复杂度其实很高，这样你在提示这些模型生成结合剂时才不会搬起石头砸自己的脚。

那是怎么运作的？

嗯，如果模型表现非常好，那会大有帮助。对吧。所以当我们拿到Chai 2和Chai 2.5的结果时，我觉得那已经足够激发动力了，药企和这些公司里的科学家会说，哦，试试看吧。要不你们就在几个靶点上跑一下模型，我们看看结果？然后我们照做，结果很好，他们就说，好吧，让我试试用那个产品，让我用一下。

不，我觉得制药行业其实非常务实。我印象很深的是，到目前为止我们合作过的每个人都这样。他们非常务实，愿意接受被证明是错的。而且说实话，我不怪他们不信任模型。我自己用过这些模型，确实，他们不信任是有道理的。我每次看到新发布的东西都挺怀疑的，一直如此。所以你真的只需要给他们看证据，他们可以给你一个他们感兴趣的靶点。或者可能是他们过去研究过的东西。他们可能不想一开始就分享知识产权，但他们可以说，嘿，我以前在这个靶点上遇到过麻烦，看看你们能做得怎么样。然后一旦你展示了证据，他们几乎都会非常愿意接受。

我来自网络安全背景，之前做过安全产品。那是非常黑暗的岁月，因为你花大量时间向那些出人意料地不太懂技术的人推销。你会以为网络安全从业者都很懂技术，但很多情况下并非如此。那是一种艰难的面向不成熟客户的企业级销售过程。我觉得我们，或者说我，一直很惊喜地发现，和我们的合作伙伴及客户合作是多么愉快。这些科学家花了五年、十年、二十年的时间研究一个靶点，对吧？很多时候就是这样，他们研究了关于它的一切。他们非常专业，非常聪明。能和他们合作简直是座金矿。我们学到了很多如何改进产品的东西。有个小故事，几个月前，我们展示了一些来自某个制药合作靶点的结果。房间里有一位科学家，她开始眼眶泛红，哭了起来。

她那样，我们就问，怎么了？她说，没什么，我真的花了十年时间想给这个东西找到一个初始结合剂，而你们帮我做到了。那种感觉真的很特别。回答你的问题，我们当然有合作的科学家和计算生物学家团队，在每个合作项目里都有。还有我们内部的人。我觉得Chai让我特别欣赏的一点是它的跨学科性。我们有像我这样偏工程、不太懂生物的人，有很棒的AI科学家或机器学习科学家，还有一群和我们合作的科学家，他们加入Chai是为了帮我们测试模型的极限，看看CHAI-2到底能做什么，能处理哪些靶点，不能处理哪些，为研究方向提供参考。

我想补充一点，在CHAI-2时代，我们一开始主要是工程师和有AI生物经验的人，没有硬核的实验室科学家。我们在这个领域最早招的人之一是Nathan Rollins，他14岁开始在Baker Lab工作，18岁从哈佛毕业，21岁左右在Mark的实验室拿到博士学位。他一开始对Chai非常怀疑。然后结果开始出来，他说，好吧，这有点意思，这也许能行。等到Chai Tea的结果出来，他说，我得把这个弄得更可靠，先别庆祝。

所以我觉得有这样的严谨性真的很好，有那些真正在实验室待过、自己设计过蛋白质的人。比如Andy，他领导过几个治疗项目，亲自把药物推进到临床。我们Chai内部有所有这些人在使用产品，真正在实战中检验它。

是的。

我们有自己内部案例的基准测试。有一组靶点，我们知道有已知的治疗药物针对它们。还有一组我们选来挑战自己的靶点。我们不断优化这个集合，往里加东西。这就是我们内部科学团队的作用，扩展这些案例，运行实验来获得初始结合剂，我们并不关心去开发那些药物。我们做这些只是为了验证和让模型更好。当然，和合作伙伴之间也有一个反馈循环。

我觉得理想情况下，我们真的希望能做到，而不是把它看作一系列阶段。我们之所以这样想，部分原因是最初的分子通常还不够好，不能直接成为药物。

确实，我们现在正处于一个转折点。我们在Chai内部已经真切地看到，模型生成的分子已经非常接近，甚至可以说几乎就是药物了。所以我们尽量不去过分区分先导化合物发现、先导化合物优化等临床前流程中的各个环节——我们的北极星目标就是直接从模型中生成类药分子。当然，这肯定很难，会有大量障碍，你需要真正能够引导模型做到这一点，需要完整的强化学习栈来学习不同的性质等等。但我认为这是完全可以实现的。

对，我想补充一点。

好。

靶点发现、先导化合物发现和优化，每个环节都有门槛，耗时从几个月到几年不等，这是一种非常瀑布式的模型，对吧？早期尝试和获取结果的成本非常高。但我觉得，正如Matt所说，一旦你进入一个模型能给出非常有前景候选分子的阶段，你就可以开始让这个过程更像一个闭环，类似于软件开发中变得更敏捷。我们内部其实有两个北极星目标。乍一听它们几乎是矛盾的，但研究方向的北极星是开始从头单次生成越来越好的药物候选分子，尽可能接近可以进入下一阶段的状态。但在产品方面，我们确实也想扩展到各种迭代工作流中，比如我得到一个结合物，从实验室拿到一些结果，然后用这些来条件化下一轮模型运行。听起来矛盾，但实际上并不矛盾，因为我认为会发生的是——研究会在特定药物类别上越来越擅长识别从头设计的候选分子，比如拮抗剂，也就是阻断类的，可能相对容易一些。我们可以达到一个状态，能够单次生成相当不错的药物。但下一个问题就是激动剂，比如如何可靠地单次命中细胞上的开关？或者双特异性抗体、ADC（抗体药物偶联物）？我认为随着模型变得更好，我们需要在产品上攀登这些抽象层级。几个月前我一度非常焦虑，因为我想，我们在产品里构建的所有这些分子可视化和相关功能，可能等Matt发布Chai 4的时候就得全部推倒重来了。但我觉得这就是现在做产品的现实，你不再把它们当作终点本身。以前你可能构建一个能用20年的软件，现在它可能只能用1年，但它是传递价值和赋能研究的桥梁，让你能到达下一个阶段。所以我猜我们可能会在越来越高的抽象层级上重写产品。比如现在我们有有点像Cursor的东西，你检查分子就像检查代码一样，因为你确实需要验证形成的化学键和你得到的分子的性质。但到了某个阶段，这些问题解决得差不多了，产品就变成帮你编排这些假设战役的工具。或者你有一个靶点，你在编排针对它的各种表位选择。然后再上一个抽象层级，你就在对一个通路中的所有靶点进行整体战役。我觉得最令人兴奋的是，如果你有非常好的结构预测、结合和设计的底层原语，而且能组合它们，那你就可以开始扩展到科学的外层循环。然后也许整个流程可以自主运行，最终得到一些非常非常好的药物。

我会从几个不同层面来想。最基本的层面是，我有一个想靶向的疾病，哪些蛋白质真正在其中起作用——先要搞清楚生物学上到底发生了什么。也就是说，药物首先应该靶向什么？因为一旦你弄清楚了这一点，那基本上就是一个结构生物学问题了。你会想，好，是这一组蛋白质在起作用，那它们之间发生了什么？这个蛋白质和另一个本不该与之互作的蛋白质发生了相互作用。传统上你会想用抗体阻断这种相互作用。但这就是这些蛋白质相互作用的地方，以及你想要破坏的相互作用类型——那通常就是表位，也就是蛋白质上你想要阻断的实际位点。这是一个极其困难的问题。我同意你的看法，这确实是更难的问题，因为你需要大量的背景信息和全局理解，才能真正弄清楚什么在相互作用以及如何相互作用。

在这种情况下，是的，你可以运行一个结构预测模型，看看模型认为这个东西会结合在哪里。如果它非常有信心，你就可以说，好，这就是我们想要阻断的位点。但总的来说，这仍然非常困难。即使结构预测已经变得非常好，很多人认为AlphaFold 2解决了结构预测问题——其实并没有。AlphaFold 2在抗体-抗原预测案例中，我记得多聚体版本的正确率大概是11%。也就是说90%的时候它是错的。

完全正确。是的。

对。

是的。所以，回到表位预测问题，我认为这仍然很困难。我觉得有很多案例可能可行，但总体而言，如果你想为新靶点发现这个，仍然是个非常棘手的问题。也许虚拟细胞是最接近当前最先进水平的东西，但那还有一段距离。

我可能要从几个方面稍微挑战一下这个前提，对吧？比如，当然，如果你只是为非常简单的靶点找抗体，也许是这样。但我认为我们最兴奋的是合作伙伴以更复杂的方式使用抗体，对吧？比如，在CHAI-2中，我们展示了GPCR激动剂活性，对吧？你可以非常精确地触发细胞上的“门铃”蛋白。如果你无法做到那么精确，用抗体做这件事非常非常难，对吧？

是的。对，我认为这更多不是“我让现有药物更快”，虽然也有那部分，对吧？而是“嘿，怎么去追求更好的靶点”，这些靶点可能更精确、更有效，对吧？

我觉得除此之外，还有通过免疫接种无法发现的药物模式。你不会去设计那种疯狂的多特异性、强力复合格式。这些确实需要从基本原理出发设计，尤其是双特异性抗体，两个臂需要分别结合不同靶点，这会在结合率上产生乘法效应。所以，如果臂1找到结合物的概率是十亿分之一，臂2也是十亿分之一，那传统方法根本行不通。

完全正确。我还想到另一点，对吧？你不仅是在帮合作伙伴开发一种药物，对吧？可能有一系列靶点——他们追求的是一个药物组合，而平台方法的好处在于，我们不是开发单个药物，而是能随着他们追求更多靶点、更宏大的目标而扩展。

没错。

是的。我们谈过交叉反应性、选择性，还有一些非常有趣的双特异性等额外模式，对吧？嗯，还有一些合作伙伴一直在要求我们做的事情，我不能深入讨论，因为那会开始暴露他们正在追求的靶点。但重点是，一旦你变得精确，就能开始开发一些真正非常酷的药物。

对。这源于公司的使命，即真正将药物发现从科学实验转变为工程学科。对吧？如何进入生物学的精密工程阶段，让你能几乎声明式地定义你想要的东西，然后让模型填补空白，给你结果。

天哪，有很多。这就是异质性的问题。对。

我都不想谈这个。头疼的事情太多了，太晚了。

好吧。所以，当你实际解析时，首先，生物学家的文件格式，他们根本不在乎。嗯，有标准化的文件格式。它们是不是最好的？我不太确定，但还有很多信息你想打包进去。我有结构。这是解决它的人。这是我用来解决它的方法。有很多东西在里头。然后，根据你用来确定这个3D结构的方法，你可能会有多个副本。部分可能没有真正解析出来。你会想，它可能在这里，也可能在那里。我就给你两个选项。所以，在工程方面，处理这类数据的实际解析问题真的很难。

它们往往不知道所有边缘情况，对吧？

这又回到了简单化的思路。LLM确实很出色，这点我完全承认。但接下来你要考虑的是，这个功能到底该有20个特例，还是应该用一种更有原则的方式来处理？我们是不是应该更有主见——对，更有主见。在处理这件事上，我们应该有多少自己的立场？我们需要一个对人类来说足够容易理解的策略。当我们阅读代码库时，真的需要知道这里发生了什么、潜在的问题是什么。有时候这只需要看看例子就行。但我想，一旦你搞定了所有基础设施的工作，以及如何把数据送入模型，接下来就是模型的扩展，然后是围绕模型的基础设施扩展，以训练越来越大版本的模型，这其中有大量工作，Neil和产品团队实际上——

对，我的答案本来也是基础设施这部分。我的意思是，老调重弹，但就是算力，对吧？获取算力并以正确的方式使用它，是个巨大的挑战，尤其是对初创公司来说。

对，对，对。

不，我的意思是，说到这一点，我们……我的意思是，他们也在加速科学，但这有点奇怪——完全同意。比如我在Chai经常帮忙的一件事就是为公司采购算力。最糟糕的工作，兄弟。我不推荐。压力非常大。但你知道，即使是去年九月，对吧？

对，对，我知道。

以错误的方式。但你知道，去年九月，我们开始真正注意到事情变得紧张了，对吧？我们很多推理是在spot市场和按需市场上做的。有时候会遇到算力紧张的日子，我们就想，好吧，也许应该开始提前为自己采购一些算力。而且，我想每个人都会这么说，但天哪，这真的很难。我觉得我之前没意识到这有多大的幂律效应，对吧？比如，全球出货的B300单元大概有一万个，对吧？超大规模云服务商和最大的AI实验室买走了其中95%以上。然后初创公司就像在抢剩下的残羹剩饭。另外我觉得特别有意思的一点是，尤其是看这些较新的算力版本，对吧？比如Vera Rubin或者B300，很多这些东西都是非常面向LLM设计的，对吧？比如这些系统有巨大的KV缓存，72个GPU通过聚合网络互相通信。显然那里有一些性能提升，对我们有帮助，对吧？但有趣的是，算力市场在多大程度上被LLM“洗脑”了。我觉得对于这类模型，可能还有一整套算力栈和推理优化需要去做。而且我认为这类模型会和LLM一样重要、一样有影响力。但几乎可以说算力市场还没意识到这一点，无论是在容量层面还是在软件栈层面。所以我们实际上花了很多时间，哪怕只是做基本的算力优化，让它们更好地适配我们拥有的模型类型。

取决于模型类型。比如我们可以回到Chaiwan这类模型。那种情况下，我们遵循的是Alfold 2/3架构，在那里你不是在普通的序列表示上做attention，而是在某种意义上松散地在pair表示上做attention。你可以把它想象成一个长度为L平方的序列，而不是通常的L。如果你在那上面做attention，批处理的方式最终会变成L立方。这时候你就处于一个相当重的算力区间。所以每个token投入的浮点运算量相当高。而内存方面，从SRAM传输到其他地方的带宽开销，在这些架构中是个真正的瓶颈。所以即使像layer norm这么简单的操作，实际上也可能花很长时间。那可能占你使用的算力的很大一部分。所以我觉得在我们这边，我们花了很多时间做优化和工程，认真对待工程，让这些操作至少变得更好。我们一直在关注新芯片相比旧版本的表现如何。有时候训练和推理的情况还不同。当然，Neil对这方面非常了解。

嗯，所以，你在单个GPU上做的事情是一回事，然后还有如何编排GPU集群的问题，对吧？你基本上是在切分计算，对吧？所以在Chai设计一个分子时，不一定是一次调用，对吧？而是很多GPU同时投入到问题上，跨很多执行单元。而且，实际上我想说，软件工程中最难做对的事情之一就是持久化执行。你们熟悉这个术语吗？我能稍微展开一下吗——

归根结底，如果你要处理大量数据，在广泛的基础设施上进行模型调用，你总会遇到这类问题，就是基础设施的某个部分不稳定，对吧？比如你获取数据的存储桶宕机了，或者数据库因为事务过多而出现波动，或者GPU出错，对吧？我在几家公司待过，很多时候你花大量时间处理这些破事，对吧？你基本上就是在加各种队列、各种重试机制，像用胶带把东西粘在一起，最后变成一团乱麻。原本应该是一个简单的分布式计算，结果你95%以上的时间都花在这些排队和重试的事情上，对吧？嗯，我们非常喜欢一家叫Temporal的公司。基本上，这个想法是，如果你只是想运行一个长时间运行的任务，最终你需要什么？你需要一个队列。你知道，你需要那个不稳定的东西从队列里取任务。你需要一些重试逻辑，如果失败就把任务放回队列。对吧。然后你还需要一个完整的编排系统来把所有队列串联起来并监控它们。Temporal真正酷的地方在于，这是一家发明了做这件事框架的技术公司。我认为我们早期做出的一个非常有帮助的技术决策，就是尽可能多地在Temporal上运行东西，对吧？无论是应用对数据库的调用，确保数据库事务不会失败，对吧。好的，让副作用放在Temporal上，这样它们就能被智能地重试，而不用我们自己写队列逻辑，对吧？或者与模型调用相关的事情，或者与编排超长数据管道相关的事情。重点是，你知道，其中一个原语就是，嘿，你需要持久执行，这样你就不会陷入重试地狱。这是一个非常深层的工程问题，除非你像我或Jack一样，被这个问题坑过很多很多次，否则你不会意识到。嗯，我觉得我们现在处于这个阶段，对吧，我们已经又融了4亿美元。呃，我得再去买一个计算集群。你知道，我们会有非常非常大规模的运行和推理及训练集。所以把这些基础打好，才是让我们能做更有野心事情的关键。回答你的问题，实际上，让生物学更像工程学的很多瓶颈，就在于有没有正确的工程原语来支撑它。

我在模型这边有一个类似的题外话。实际上，这类问题的一个好处是它们非常显性。所以至少，你知道，嘿，这个崩溃了，那个失败了。对我们来说，我们只是看到损失曲线没下降，或者看到奇怪的梯度行为之类的。我觉得很多同样的原则，比如工程优先，也适用于研究团队。我喜欢说的一句话是，复杂性和“苦涩的教训”从根本上是对立的。比如，我觉得AlphaFold 3，我可能记错数字了，但我觉得它有23个子模块。到了那个程度，这是一个非常难优化和研究的系统。你会想，好吧，如果我改了子模块30或21里的某个东西，整个系统会怎样？你总是可以想，嘿，我们可以加个模块24来改进它，但应该加吗？还是应该考虑删掉一些东西，降低复杂度？但我觉得在Chai，一个很根本的东西就是工程文化，就是极度偏向简单。

你们见过SpaceX发动机的图片吗？就是Raptor 1，它有一堆管道，然后Raptor 2。我们办公室墙上就挂着那张图，因为这是事实，对吧？怎么删、删、删更多东西？

是的。

我们是非常从第一性原理出发的人，Chai的整个研究团队，除了我和Kevin，真的，我们是仅有的有所谓生物背景的人。即便如此，我们也离得很远。所以我觉得我们试图把每个问题都当作核心机器学习问题来看。我们试图想，在其他领域有什么类比。比如，即使是图像模型，CNN就是为处理图像而构建的。所以图像应该按块来看。那就是那里的好归纳偏置。然后人们说，好吧，你可以把这个东西token化，扔进Transformer，它就能工作。它确实最终工作了，即使在相对小的数据集上。但我觉得，特别是对于蛋白质，这真的很难。结构数据不多。序列数据很多，那是ESM能成功的关键之一。呃，你可以让它直接在Transformer上运行。如果你想用实验结构数据做同样的事，祝你好运。你需要AlphaFold。

是的，是的，不，我觉得那确实是真的。这些层相当昂贵，这限制了你在架构上能做的事情。它们不仅在计算上成本高，而且在现代GPU上效率也不高。你有小的隐藏维度、大的序列维度，这恰恰与GPU设计来处理的情况相反。从三角层中得出的一个要点是，你基本上是在用参数换取计算。这是一种思考方式，我可能想投入更多计算来解决问题，用参数来交换，因为我无法存储那么多参数。我无法真正存储这些大型成对表示，同时还能进行正常的注意力机制。所以我认为你可以从AlphaFold这样的想法中抽象出一些基本的东西，但你可以调整这些，然后以你自己的方式开始构建。

是的。我认为我们在Chai构建的东西在很多方面都非常独特，但也与Core ML擅长的东西紧密相关。就像我之前说的，我们试图把每个问题都映射成Core ML问题。我们会想，如果这是LLM或类似的东西，你会怎么处理？但归根结底，我们非常重视简洁性，我们鼓励没有生物背景的人不要害怕这些东西。

我认为这也延伸到产品层面，你知道，这里有一个平衡点，对吧？在产品有多通用之间。你是构建一个交叉反应工作流、一个选择性工作流和一个双特异性工作流？还是你们说，不，让我们让模型足够通用，说我要任意结合或避免某些东西，然后你在CAD套件中有一个非常通用的筛选器，你可以说，嘿，我只想避免或结合这些不同结构的这些部分，对吧？我认为，嗯，你知道，就像机器学习团队，我没有正式的生物背景。产品和平台团队的大多数人也没有正式背景。现在，我可能会后悔我说的话，对吧？因为我确信有无数细微差别，我不想显得太鲁莽或天真。但是，你知道，我认为有时候不被所有这些细微差别所累是有帮助的。你可以下注并最大化通用性，因为这就是我们在研究中看到的。模型非常通用，这让产品也能非常通用。

我回想起我在计算机科学理论时期，我的第一位导师说，我们在研究某个问题，需要多项式时间算法。他总是告诉我，永远不要低估多项式时间的力量。基本上，你可以选择任何你想要的指数。我的第一篇论文就是针对这个问题的一个n的20次方时间算法。我说，安迪，我完全按你说的做了。

是的，但我认为，这真的能帮到你。当你觉得，好吧，我可以做任何我想做的事，然后再简化它，你会自由很多。我认为这是一种非常基本的思考方式，我们在很多地方都利用了这一点。蛋白质设计和结合剂的空间，实际上是一个相当拥挤的领域。

我认为答案是所有这些都有。可能会有某种商品化层，针对某些类型的模态或药物，对吧？同时，我们也将能够做越来越雄心勃勃的药物。这就像LLM领域发生的情况，对吧？你有开源模型，它们可能在某些方面通用且有用，但人们仍然在购买前沿模型，对吧？实际上，如果你看捕获的价值量，是闭源前沿模型。整个蛋糕在增长，但增长得太快，即使开源模型的份额在扩大，前沿模型仍然能捕获大部分价值，对吧？

那原因是什么，对吧？

第一，如果你有更多的智能，你会去处理更难的任务，对吧？我认为如果我们有更智能的生物模型，我们会去处理更疯狂的生物任务，对吧？但还有一点，我不用开源模型的原因很多是因为，你知道，我得不到Claude Code，对吧？我得不到Claude——你知道，我认为有一个产品层需要构建，它和模型层一样重要。我们从合作伙伴和大楼里的人那里学到了很多，了解他们在使用模型时真正卡住的难点，对吧？有些是最愚蠢的事情，比如，我想更好地可视化这个部分并专注于它。有些则非常复杂，我们必须为此构建相当垂直的产品。而且，也许在时间的尽头，AGI会一次性解决所有问题，那就不重要了。但我认为距离那一步还有相当长的时间，对吧？我认为产品在那之前会带来巨大的差异。这就是我的答案。你可能有一个更以模型为中心的答案。

不，我觉得，生物学本身进展缓慢，这倒是件好事。而且标记数据不多。所以你可以把公开可用的序列信息都拿来做基础模型，但你还是需要一些测量数据。这仍然相当耗时。然后你还需要在此基础上迭代。所以我认为那里甚至存在数据瓶颈。要真正实现零样本设计候选分子，开始生成几乎可以进入临床的分子，我认为这不仅仅是AGI能立刻解决的问题。肯定还有一些技术障碍。

是的，这是个好问题。

所以Tri绝对没有启动自有管线的计划。我们非常重视合作模式。而且从个人立场来说，我喜欢这种激励对齐——我们让模型更好，合作伙伴更成功，然后这就自我迭代了。所以我认为Chai比较独特的一点是：一是能与很多人合作，二是能获得产品反馈。这样你就知道这是非常真实的，这些工具在大型药企手里，他们真的在用这些做项目。所以我觉得这很有意思。我们必须以模型为先，专注模型。我们需要持续交付价值。这给研究团队和产品团队带来了很大压力，首先要服务好这些需求。研究团队总是追求更好的版本。我的想法是，如果你是一个稍微有前瞻性思维的人或公司，那么到了某个阶段，模型和数据两边都有很多工作要做。但我不认为任何一边已经耗尽。说我们不需要更多数据是愚蠢的，但说模型已经停滞、只能靠数据解决问题也是愚蠢的。所以我认为两边都有巨大的成长空间。我们两方面都在认真推进。

我也想对“没有数据护城河”的前提提出一点异议。这就好比说，所有与Anthropic合作的企业，你们不让Anthropic用你们的数据训练，所以你们没法构建擅长企业工作流的模型，对吧？我认为，第一，我们正在这方面投入，对吧？有很多方法可以把算力转化为数据，获得更多数据。我们正在做这些。但第二，你要获取的是什么样的数据？我觉得与这么多合作伙伴紧密合作并支持他们的一个酷之处在于，我们能真正了解哪些东西对研究有帮助。所以不是凭空做研究，基于假设性的酷想法，而是能做有依据的研究，基于合作伙伴自然向我们提出的求助需求。

你——

是的，很多这类合作，这些都是公开的，我们正在与他们合作，为他们训练或微调我们模型的版本。而且我认为随着时间的推移，这方面还有更多可以做的。我哥哥创办了一家公司叫Applied Compute，很棒的公司。他们正在为LLM做类似的事情，帮助企业在专业任务上理解他们语言数据的价值。我认为我们也可以为生物数据做同样的事情。

他们从实验中获得了很多科学数据，这些数据可能帮助我们的模型在他们关心的特定候选类别或靶点上表现更好。是的。

即使像这样简单的事情——他们可能有一些偏好的做事方式，不一定原生支持于Chai模型，他们可以在某种意义上向产品团队提出要求，比如“嘿，我们的设计有属性X，你能确保它们具备这些属性吗？”所以我认为即使是这样简单的事情，对他们来说也有相当大的影响。

是的，当然，我们目标是让模型非常通用。让产品非常通用。让它强大。但确实，每个客户都有集成工作。回答你的问题，这样做确实能获得一定的防御性。与这些合作伙伴建立信任关系的好处是，希望如果我们能在接下来第一年执行得很好，他们会继续与Chai合作，做更雄心勃勃、更多的药物。

希望如此。是的。

是的。

是的。也许另一个有趣的点是，如果你按token来算，我不知道还有哪个领域的下游价值能像制药这样高。是的，这说得通。你想想最终出来的药物，这些可能是数十亿美元的资产。以GLP-1为例，我认为两种GLP-1药物加起来大概是万亿美元级别的资产。

是的，直到大约三个月前，GLP-1的总收入超过了所有AI实验室的总和。我觉得人们没有意识到这一点。我自己也没意识到。这太疯狂了，对吧？

是的。

你知道吗，我之前没意识到制药业在多大程度上像风险投资生意，对吧？从某种意义上说，他们是在下非常大的赌注。嗯，我觉得有一件很酷的事情是，如果你研究硅谷的历史，对吧？显然人们想到硅谷就会想到软件，但在80年代，最大的风险投资回报之一，最早期的之一，就是基因泰克（Genentech），对吧？而且因为它就是这样一个风险投资模式，对吧？你得到一串令牌，然后可以在下游产生巨大的价值。

还有，你听说过阿姆定律（Ahrim's Law）吗？

对，摩尔定律的反向。就像计算能力，你知道，它是某种程度上的规模扩展。所以你有那种漂亮的指数扩展，计算能力的对数线性扩展，而制药恰恰相反。制药领域实际制造药物的成本几乎是指数增长的。所以每款药物投入的资金以指数速率增长，这挺有意思的。对。

完全正确。

对。

对。

对。所以把制药公司看作精明的资本配置者，对吧，他们有一组靶点组合，然后在其中进行配置。我觉得这对我来说是一个很大的认知转变。

对。

而且我觉得未来我们会看到更多这样的情况，对吧。希望他们能，在某种意义上，像风投那样承担更大风险。就像，希望制药公司未来能承担更大风险，去追求真正非常酷的药物靶点。

这个类比其实挺贴切的，那种风投式的投资模型，其实也是我们在Chai思考研究的方式。我们的研究团队相对较小，肯定比很多像Isomorphic、DeepMind这样的团队要小。我们的研究团队大概10人左右。所以我们是一个相对小的团队，但我们几乎把它看作一种投资工作，你把想法投资到算力上，从这个意义上说，你确实就是资本配置者。

对，我其实觉得这可能有点过于巧妙了，但我想说一个更宽泛的观点，那就是我觉得我们基本上把Chai的每个人都看作某种资本配置者。有一件让很多人惊讶的事情是，我们规模很小，只有30个人，这是因为我们招进研究团队或工程团队的每个人，尤其是现在他们在某种程度上被AI赋予了很大的能力，很多事情其实就是把他们的注意力分配到正确的想法上，以及分配他们的算力。

嗯，我会说既是也不是。我同意确实更像那样，对吧？但让我们回到为B2B公司构建API的例子，对吧？那个API有增量成本。你得支持它。它增加了产品的复杂性。你还得去市场推广和销售。也许你其实应该把那些资源分配到另一个赌注上，对吧？你产品路线图上的另一个应该优先考虑的事情，而不是那个。我觉得在一个构建东西变得非常便宜、越来越免费的世界里，稀缺的是你的注意力——你能投入进去的注意力，对吧，用来保持你的产品简洁易懂，以及你的客户能投入的注意力来真正理解如何使用它。我不太把它看作一个二元的事情，而更像是我们作为工程师都会变得更像注意力的配置者。

嗯，我是说，比如，有那个Satya Nadella的视频播客，对吧？他说，微软想让每个人都成为无限心智的管理者，对吧？如果你真的把这个推到极致，每个人都会成为高管。我的意思是，我每天和Claude对话的时候确实感觉自己像个高管。

对对。

这是个有趣的问题。我觉得有一件事会非常好，就是我一直处于研究状态，很难关掉。对我来说，可能就是在蛋白质设计领域的验证循环。就是能够立刻说，嘿，这个有效，这个不行。现在还是有点像在黑暗中摸索，你有一些方法，我觉得在Chai我们非常认真地对待这个问题，但可能主要就是验证假设，确切地知道事情是否有效。

未解问题。

非常有价值。

我会从一个更抽象的角度来回答这个问题，那就是人才的默默无闻。我觉得，你知道，有很多聪明人都在研究大型语言模型。也有很多人在做SaaS的软件工程师。但我认为，并没有那么多聪明人投身于生物领域。你知道，我高中时没做生物，是因为我想，哦，我可以拿起电脑编程应用，但如果我想做生物，我得去学习，在学校拿好成绩，也许还要读个博士什么的，对吧？你知道，这可能就是原因之一。另一个原因是，很多这些东西真的很晦涩，对吧？我们在这次播客里抛出了很多大词。你很难真正想象出那些东西。这是我们在Chai非常关注的事情之一，就是如何让整个事情在我们的网站和产品中变得可视化。嗯，你知道，我们在这里的部分原因是，我觉得，更多人应该意识到，你不需要有超级超级专业的生物背景，也能从计算角度为这个领域做出贡献。嗯，所以，你知道，我经常思考人才流动，以及人才在经济中的去向。90年代，所有人都涌向某个领域，2000年代以来，人们涌向科技，但大科技公司吞噬了大量人才，直到几年前，现在也许大型语言模型和大型AI实验室正在吞噬很多优秀人才，但从元层面看，如何更好地分配人才？自私地说，我希望更多人才进入生物领域。我们可能也希望更多人才进入制造业和物理世界的事情，以及美国面临的其他问题。但是，是的，我认为更好地传达这一点，如果我有机会对所有人大声疾呼，我会尝试这样做。

是的，我认为，生物学一直是一个有点晦涩难懂的领域，你像是在黑暗中摸索。你不知道你在看什么。你在实验中面对的是非确定性。你必须在很长很长的时间里进行非常漫长且迭代的试错循环。而且，在某个时刻，你正在跨越你计算能力的门槛。当你能把折叠模型做到埃米级别以内，当你能让设计模型给出超过50%的命中率，现在你可以把它们放在96孔板里，实际上得到48个有趣的结合物。你开始达到这样一个点，现在你可以声明式地精确设计你想要的东西，而不是依赖于自然或试错来达到目标。嗯，我认为，看，我们在软件领域也经历过同样的事情，你可以写代码，确定性地得到结果，或者在电气工程中，你可以把原理图放进Cadence Design Systems，在软件中完成制造，对吧？或者机械工程中的CAD，你可以精确设计你的零件，然后打印或制造出来。嗯，你知道，同样的事情正在生物领域发生。而且发生得非常快。这真的为很多有趣的人打开了大门，也许以前这个领域不那么神秘或难以接近，对吧？像我这样的软件工程师，像Matt这样的研究人员，显然我们仍然需要专家，但通才往往能真正加速这个领域的精确工程化进程。

是的，对我来说，最基本的要点是这个领域真的在起作用。而且，不仅它有商业吸引力，研究也真的显示出生命的迹象。甚至不只是显示出迹象，迹象已经被证明了。我们实际上处于一个模型有效、它们正在交付价值的阶段，而且仍然有大量非常有趣的研究问题需要解决。所以我认为这个领域的低垂果实比其它领域多得多。而且我认为你能产生的影响力，尤其是作为研究人员，在这个领域是无与伦比的。对我们来说，我们都非常有使命感，但即使你不是，这也是很多有趣的谜题可以解决。比如，有3D几何的角度。如果你喜欢扩散模型，这方面有无数问题可以解决。我们在Chai-1中有类似LLM的主干。核心机器学习的很多方面都被这些问题触及。尽管我们取得了巨大进展，但仍有很多工作要做。我认为这是最值得投入的领域之一，同时它也对人类有着最大的影响。

很好。

是的，22分钟的步行。

是的。

太好了。