🔬 最酷的扩散研究不在LLM中 — Evan Feinberg & Sergey Edunov, Genesis Molecular AI

我非常清楚地记得，大概在2017、2018年的时候，大家都在讨论GAN（生成对抗网络），说它显然是图像生成的未来。但显然，它对蛋白质或蛋白质-配体系统效果并不好，我们不得不等待合适的底层技术被创造出来。结果就是扩散模型，它被证明是这个领域更有用的基础工具。现在比较酷的一点是，对于那些真正对核心基础AI研究感兴趣的人来说，实际上一些最具创新性的扩散研究正发生在我们这个领域，也就是3D结构预测。当时没人能预料到这一点，但现在，可以说这已经是扩散模型的一个支柱了。

大家好，我是Sergey。我上学时学的是物理，那是很久以前的事了。毕业后，我碰巧从事软件工程工作，当时以为再也不需要物理了。但后来机器学习兴起并成为热门，结果发现你在机器学习中做的很多事情，其实和物理中做的非常相似。于是我就搭上了机器学习的顺风车，在Facebook的FAIR团队做了相当长一段时间的AI研究。之后我领导了Llama团队，负责Llama 2和Llama 3模型。最近我决定再次调整职业方向，重新找回一点物理的根基，于是加入了Genesis担任副总裁兼CTO。

大家好，我是Evan，Genesis Molecular AI的创始人兼CEO。和Sergey一样，我也是物理专业出身。我成长过程中和家里其他人不太一样，几乎所有人都是某种医疗专业人士，而我姐姐则成了一位出色的电视编剧、剧作家和小说家。我的热爱是物理和计算机科学。但我对成年人的认知模型是，你应该帮助别人，最好是帮助患者。所以我一直在寻找正确的方式去做这件事。在斯坦福大学Vijay Pande实验室攻读博士期间，我们在2010年代中期对机器学习在图像和语言领域取得的惊人进展感到兴奋。差不多在同一时间，Sergey在FAIR研究大型图结构，而我在斯坦福研究许多小型图结构。分子本质上是原子、化学键和空间相互作用的网络。我们恰好在正确的时间和地点，利用物理背景来改进针对分子的AI算法。我们发表了几篇图机器学习领域的论文，和Sergey类似，我当时也以为不再需要物理了，因为有了机器学习。但事实证明，我们在GPU上运行的大量蛋白质模拟，在Genesis的发展过程中也派上了大用场。过去几年，我们一直非常兴奋地探索如何为一个全新的领域构建基础模型，并让它们对患者有用。

我完全同意，Brandon。

这——

最令人惊叹的一点是，当我们最初作为斯坦福AI研究的衍生公司创立时，我们担心自己可能太晚了。你还记得吗，我们大概就是在那时候认识的，对吧？就在7年多前，正如你正确指出的，那几乎是这个领域的不同世代。当时我们只是一家小型种子公司，而该领域已有一些老牌公司，筹集的资金比我们多几个数量级。当时已经有一些令人兴奋的学术论文发表，我们不得不不断回答一个问题：在药物发现领域，是否还有空间容纳另一家做AI的公司？现在回头看，这听起来有点疯狂。事后诸葛亮，我想是这样。我们当时的主张和现在一样：有2万个蛋白质编码基因，每个都可能致病。就像AI的其他领域一样，问题不是从0到1然后突然解决。现实是，从来没有一个单一的"iPhone时刻"。即使是iPhone，也需要经过迭代开发才能成为今天的样子。人们喜欢事后谈论"ChatGPT时刻"，但最初广泛使用的ChatGPT模型远不如现在有用。我认为我们应该以同样的方式看待AI在药物发现领域的应用：随着时间推移，我们应该期待解决越来越多的问题，会有重大的顿悟式飞跃，也会有渐进式的改进，但这些改进会不断累积。这就是为什么我认为，10年前虽然非常早期，但从AI角度看，当时已经开始为药物开发创造价值。快进10年，我们的技术——我们将在这次讨论中谈到——比那时有用得多。未来10年，我们还会看到另一次指数级改进。就像你的汽车在自动驾驶方面今天能做到的事情一样。我们在旧金山录制这期节目，你往外看，看到Waymo——几年前我们会被这些技术震惊。所以我认为我们都应该这样看：每隔几个月、每一年，技术都在变得越来越有用，能够用人工智能发现新药。这种情况在未来几年还会持续。

有意思的是，稍微打破第四面墙一下，我来之前其实完全不知道这些问题，但Brandon真的很懂怎么用我喜欢的方式聊天，因为在座各位，虽然我的背景更偏向物理和计算机科学，但过去十多年我一直非常专注且充满热情地研究如何用AI制造药物。所以我跟你一样，见证了许多次重大变革。举个具体例子，我给生物学背景不太多的听众稍微解释一下背景：药物发现就像给锁找钥匙，锁通常是蛋白质，有时是核酸。药物就是钥匙，通常是小分子、多肽、抗体或其他形式，要结合那个锁——也就是那个蛋白质、受体——并改变它的某些特性。如果是酶，通常要让它停止工作；有时要激活内源性蛋白质。总之就是引入一个外源分子，改变生物通路中的某些环节。这个过程中一个必要但不充分的条件，是找到一个能很好地结合那个受体、那个蛋白质的分子。当然，这还不够。我们还需要确保它不结合某些反靶点——那些通常介导毒性的蛋白质。还需要ADME和毒性评估。通常有30多个性质需要检查，确保分子除了有效之外还安全，并能到达正确的组织。所有这些都至关重要，都是必要条件，但没有一个是充分条件。不过，针对你关于蛋白质-配体相互作用的问题，一个具体例子是：我们长期以来有一个假设，如果能预测三维结构——三维坐标，对计算机科学背景的人可以想象成点云——也就是药物和蛋白质的三维位置，并且能高精度建模，那自然就能更准确地测量结合亲和力或预测效力。这个假设以前根本无法验证，因为预测这些三维构象、复合物三维结构的模型实在太差了。

对，你的意思是还不如直接解出三维晶体结构或冷冻电镜结构，那可能要花费数万美元。而且可能需要几个月甚至几年，对吧？整个博士论文都可能耗在上面。博士后有时会24小时不停地工作，就为了解出一个三维结构。而我们的假设是，如果能把速度提升几个数量级，有时还更准确，那么借助人工智能，或者在此之前用分子动力学，我们不仅能加速药物发现，还能为之前被认为不可成药的靶点找到药物。这曾经只是一个假设。直到最近几年，我们才证明，如果系统性地提高这些预测的准确性——提高蛋白质-配体三维复合物的预测精度——我们也能更准确地预测效力。我个人感到非常欣慰的是，我们一直在展示这一点，因为几年前我们创办公司时，这还只是一个假设。现在，得益于多种不同思路的融合，我们得以实现Pearl和其他类似的基础模型，它已经成为现实。

当然。顺便说一句，Brandon，你描述的情况，在座的纯机器学习从业者应该不会感到意外，因为机器学习最初就是为模式识别而构建的。就像你打开Claude或ChatGPT或其他工具时，它在最接近训练数据时表现最好，经常进行模式匹配。所以我认为，AI与物理世界相遇时的一大紧迫感就是如何外推，如何构建可泛化的模型。这正是我们一直努力的方向。也许Sergey可以补充更多细节。

或许先退一步，讨论一下PEARL是什么。它是一个结构预测模型，基本意思是，它输入一个蛋白质序列和一个配体表示——也就是你想附着到蛋白质上的东西——然后预测这个蛋白质和配体在三维空间中会如何组合成一个结构。

是的，有几个模型。有些是开源的，有些是闭源的，但它们都在朝类似的方向努力。我们的根本区别在于，我们专注于小分子空间。有很多模型在做蛋白质-蛋白质相互作用，效果不错。但对于小分子空间，乍一看可能觉得任务更简单，因为小分子嘛，对吧？为什么会难呢？但现实是，小分子的搜索空间极其庞大。宇宙中有10^60种类药小分子。祝你好运能搜遍这个空间。而且还有各种变体，比如你可以旋转它，分子可以有不同构象。

这是一种理解方式，没错。对我来说，关键在于计算复杂度：要弄清楚哪个小分子会附着到这个蛋白质上，这个问题太庞大了，没有好的模型根本不可能解决。

就像在干草堆里找一根针，而除了你的针之外，其他所有东西都非常危险或者根本不结合。

对。或者说是在针堆里找一根干草。

对，所以我们现在可以思考如何训练这些模型。很多人使用的训练数据是所谓的PDB，这是一个公开的数据库，里面存放了所有历史上的晶体结构，而且规模并不大。大概有20万个晶体结构，很难再扩充。创建新的晶体结构需要花费大量的时间、精力和金钱。虽然有一些项目在推进这件事，但扩充速度非常缓慢。所以扩充这个数据库相当困难，但我们发现有一件事是可行的，而且与我们的分子空间非常相关：在分子空间里，你可以用物理学来建模小分子。你可以模拟它们的行为，从而生成更多数据来训练模型，这在蛋白质与蛋白质的相互作用中不一定能做到。

对，那些分子非常大，所以用物理学来建模非常困难。不是不可能，只是计算上非常非常难。

也许稍微退一步，谈谈我们的路线图。它和LLM扩展的路线图本质上没有太大区别。回想一下LLM，我们有各个阶段：预训练扩展，然后是后训练扩展，比如微调或强化学习。现在大家都在做强化学习，然后还有推理时扩展。这三个概念是相互关联的，正是它们让我们今天拥有了最先进的LLM。我们这边的情况本质上也没有不同。我们也有预训练扩展，通过生成大量合成数据来训练更好的模型。我们就是这么做的。然后我们开始做的第二件事，实际上是LLM扩展中的第三步：推理时扩展。这本质上非常相似。比如在LLM中，当我们谈论推理时扩展时，我们指的是思考令牌，LLM不会立刻给出答案，而是先思考一会儿，再给出回应。我们也在用模型做类似的事情，强迫模型去思考，只不过它不是用语言令牌来思考，而是用晶体结构来思考——不是完全实体化的晶体结构，而是某种晶体结构的表征记忆。模型会在这些表征之间来回切换。在这个过程中，我们使用基于物理的引导，把模型的输出导向正确的方向。我们发现这能大幅提升模型性能。

我们模型的一个基本模块是基于扩散的头。也就是说，人们用于图像和视频生成的扩散模型，我们也用来生成晶体结构。扩散头本质上是迭代的，需要多个步骤，不断优化预测的结构。在这个过程中，你可以把模型导向正确的方向。

对。

我很难理解这些模型底层到底在学习什么。我认为可解释性这个整体概念是一个巨大的研究挑战。是的，你可以识别出Transformer中某个神经元可能在思考什么，但这真的是一个非常非常困难的问题。所以我们有一些内部表征，但输出的是晶体结构，很难说清楚内部到底发生了什么。

我认为作为一个研究方向会很有趣。但我们目前没有在追求这个。也许将来我们可以探索一下。

谢尔盖在谈论大语言模型向航空航天领域的可迁移性时比我更有说服力。他太谦虚了，但他在Meta时曾领导Llama 2研究团队，训练出了全球使用最广泛的语言模型之一。不过，从物理可解释性角度，我能补充的是：我喜欢从输入、模型本身和输出三个层面来审视AI模型。我们发现，在尽可能多地纳入物理先验知识（当然不能偏向我们渺小人类的认知）时，确实能改善结果和你提到的可解释性。我一直认为，AI本质上是表征学习。在我看来，这与语言和视觉领域发生的事并无本质区别——我们在图像上施加了真实的人类先验。当我们开始使用卷积神经网络时，我们默认图片是像素网格，这本身就蕴含了某种内在结构，是人类构建的认知框架。我们在此基础上构建了ConvNet，而语言则被视作一维的token序列。我们先是构建了RNN，然后是Transformer，但这仍然是在数据观察方式上植入了相当强烈的先验。我们在这里的看法并无不同。就我们领域而言，从输入角度看，相比传统AI领域，我们的劣势在于没有互联网数据可用。我们不能直接下载Reddit帖子或订阅《华尔街日报》来训练模型，然后指望预训练模型就能表现良好。最接近的替代品，正如谢尔盖提到的，是RCSB蛋白质数据库，其中包含约几十万个晶体结构、冷冻电镜结构等。不过每个结构包含的token数量更多，因此蕴含的潜在信息也更丰富。所以我们必须在输入侧更聪明，如Arjay所说，尽可能利用物理原理生成更多预训练数据。在模型架构方面，我们的理念是让模型尽可能少地重新学习物理规律，从而降低过拟合风险。而在输出阶段，则要强制施加物理约束。我认为这也体现了我们公司的一个核心关注点：从一开始我们就专注于中小分子药物发现。这意味着什么？小分子通常是可以制成药片服用的药物，具有口服生物利用度，这是大多数人理解的药物形态。而中分子则包括大环化合物、多肽等，它们突破了传统的"五规则"，但仍是医学中不断发展的药物形态。尽管如此，小分子仍占FDA批准药物的65%。所以我们谈论的是市场最大的部分。从第一天起，我们就审慎地聚焦于药物发现者、药物化学家、CAD科学家需要什么来更快、更好地发现药物。我们希望从一开始就构建不仅具有可解释性，而且具备可用性和物理实用性的系统。我们希望这些模型的输出能被需要3D坐标的物理方法所使用。你提到的"力场"概念，我们希望模型输出能作为力场的有效输入。最近有几篇论文，其中一篇去年发表在《细胞》上，显示尽管AlphaFold声称能解决药物发现，但人们尝试将AlphaFold生成的蛋白质结构用于传统对接时，发现毫无价值。那些结合口袋的分辨率不够高，无法用于物理筛选方法。因此，我们希望构建的系统从一开始就能被人类使用，能被物理和计算化学领域众多相邻且强大的工具所使用，实现互操作性。这说得通。

是的。

正如你正确指出的，如果从最早期到最终阶段来看，首先我们需要确定是什么靶点导致了疾病？是什么信号级联出了问题？是什么导致了患者的表型？这并非易事，但许多疾病（当然不是全部）的病因其实非常明确。最明确的是单基因疾病。但即便在其他疾病中，通过各种检测也能清楚看出，某个过表达、过度活跃或缺失的基因或蛋白质导致了疾病。所以我们知道许多（但并非全部）疾病的病因。一旦确定了靶点，就需要为这个靶点寻找药物，理想情况下药物应具有选择性、高效性，并能到达正确的组织。有些疾病涉及多系统，有些则非常特定于某个器官或组织。你需要确保药物能到达该组织。然后是GLP（良好实验室规范）讨论和IND（研究性新药）申报流程。你还需要——

是的，我们不是——

谢谢。我们现在不讨论代谢领域。临床试验通常规模递增，一期更侧重安全性，二期和三期则不同。正如你所说，理想情况下，药物会获得FDA或EMA等监管机构的批准。我们认为，人工智能最高杠杆的应用在于药物发现和药物设计过程。原因在于，尽管所有环节都很有价值，我也为所有同行喝彩——其中许多是我认识的人，他们在技术栈的不同部分工作——但首先要明确的是，就像视觉模型与编码模型截然不同一样，它们底层可能有些相似之处，但要做好任何一个领域都需要真正的专注。从靶点识别（即生物学）到药物发现，再到准备监管申报，以及帮助临床试验患者分层，这些环节所需的模型之间存在类似甚至更大的差异。这些都是非常重要、互补但最终截然不同的问题。我常常想到，患者去看医生，被告知有明确的诊断，医生还会说，我们已经取得了突破，了解了这种疾病发生的原因，甚至测序了你的基因组或肿瘤，知道它导致了你的病情，但我们没有针对性的疗法。没有针对你病情的精准医学。患者至少知道自己的问题所在，但不知道如何治疗。我们的目标是尽可能让更多患者被告知有非常具体的病情，并且有相应的具体治疗方案。这需要降低开发、发现和研发新药的成本曲线，但更重要的是，要解决那些所谓的“不可成药靶点”或“不可成药蛋白”的问题，这些靶点对传统方法具有抗药性，甚至在某些情况下难以攻克。

是的，RJ。因为人们喜欢争论临床试验的成功率。但现实是，如果你关注那些针对与疾病有密切遗传关联的蛋白质的药物候选分子，或者至少生物学机制清晰、动物模型能很好地模拟疾病、且分子被预测具有良好的药代动力学（即患者血液或血清中的药物浓度足够高），那么这些分子的FDA批准率相当高。从一期到三期结束的成功率远高于平均水平。人们喜欢引用10%的成功率，但这实际上低估了，因为我们通常知道哪些基因、蛋白质或靶点导致了疾病。它们只是很难成药，或者我们给患者使用的分子远未达到应有的目标产品特征。如果你只看临床前数据，专注于具有良好生物学特性、预测分布良好且安全性好的靶点，那么这些分子极有可能获批，并为患者创造巨大价值。因此，我们的观点是，我认为那些开展试验的医生渴望得到这类分子，那些寻找更精准疗法的患者也在期待。所以，我们认为这是人工智能在医疗保健乃至更广泛医学领域中最高杠杆的应用。

这里有两个正交的概念。已知生物学与靶点成药的难易程度是正交的。不幸的是，有时它们似乎呈负相关，因为从验证角度来看，最有吸引力的靶点往往很难成药。

我认为，很可能许多所谓的“容易”靶点，由于各种原因，很多已经被成药了，但并非全部。

嗯。

但即使在这些情况下，人们也喜欢制造一种“容易”与“困难”靶点的虚假二分法，认为这个靶点已被成药，所以不值得关注。但Genesis的大部分工作是通过大型制药公司完成的。我们主要向吉利德等大型制药公司提供AI服务。我们最近宣布扩大与Incyte的合作，对此我们感到兴奋。我不能透露他们正在研究的具体靶点细节。但我可以说，从首创化学物质到其他类型，范围很广。首创化学物质意味着我们认为这个靶点会导致疾病，但还没有已知的分子能与之结合。我们需要找到第一个结合剂，真正的从0到1的案例。但我们研究的靶点范围很广，更多的是从1到10的案例。有时存在已获批的药物，有时只有临床前分子，但它们并非最优。如果你能改进这些临床前分子，使其成为候选药物，它们就可以进入患者体内。或者，如果你能改进现有的临床或已获批药物，就能为患者创造巨大价值。我举一个公开的例子。我们完全不研究这个靶点，但你可以看看ALK抑制剂的进展。具体来说，看看患者生存曲线。你可能会说，当第一个ALK抑制剂问世时，为什么还需要另一个？我们已经成药了ALK，任务完成了。但当你比较第一代ALK抑制剂和后续几代ALK抑制剂的患者生存曲线时，你会发现不仅是数量上的差异，更是质量上的差异——患者存活时间更长，受益人数更多。因此，我认为不仅首创药物有价值，同类最佳药物对患者也有巨大价值。这两者都是我们关注的领域，这样说你能理解吗？

我经常开玩笑说，当AlphaFold 3获得诺贝尔奖时，很多人以为药物发现已经被解决了，但事实远非如此。非常非常遥远。没错，你或许可以预测晶体结构，对吧？

在低分辨率下。

在低分辨率下。不过我认为我们正在做得更好。假设你能预测晶体结构，那意味着药物发现被解决了吗？显然不是。

没错。但如果你看看领域之外的人，比如普通大众，普遍认为这个问题已经解决了。而实际上，除了晶体结构之外——

绝对不是一个已解决的问题。

实际上，你还需要预测许多其他性质，比如我之前没提到的那些。基本上，你是在为一把锁设计一把钥匙——那个在体内与蛋白质结合的小分子。但你不希望这个小分子与体内所有东西都结合，因为那很可能引发问题。你还需要确保这个小分子是可溶的，这样你才能以药片形式服用。这些性质同样重要。你还要确保它没有其他副作用。预测所有这些性质，与预测晶体结构本身同等重要，甚至可能更重要。当然，作为一家公司，我们对此非常自豪：我们不仅构建预测晶体结构的模型，还构建预测所有这些性质的模型，从而让药物研发人员在日常工作中效率提升100倍。

我们能说的内容有限——制药公司以保密著称，这也很合理。

我可以举一个最近公开披露的例子。

我们刚刚扩大了与Incyte的合作，最初合作大约始于一年多前，这次合作在某种程度上涵盖了药物发现过程的两端。其中一个项目是一个极具挑战性的靶点，虽然已有化学物质存在，但关键的一步是获得DC（开发候选化合物）。DC是指一个分子，或者理想情况下是一组分子，它们都有可能成为一期临床试验的候选药物。我们共同开展了一些工作：利用我们的基础模型，在Insights数据上进行微调，并通过紧密合作，更快地达到DC阶段。在那个案例中，我们取得了显著进展，这也是我们很高兴扩大合作的原因之一。另一方面，另一个合作领域涉及一个与严重疾病密切相关的蛋白质，该蛋白质没有已知的化学物质——没有专利，没有论文。在这个案例中，也没有配体（小分子的另一种说法）与该蛋白质结合的共晶结构。因此，我们必须找到第一个已知的、能与该蛋白质结合的化学物质。然后我们将这些所谓的"hit"（命中化合物）——即首批与蛋白质结合的分子——推进为在生化检测中具有活性的抑制剂，生化检测比细胞检测更基于酶，这意味着在实际的活细胞模型中，你的分子也具有活性。所以，正是基于一系列具体的成果，我们才希望扩大合作。遗憾的是，除此之外，我们能说的内容非常有限。不过，Genesys的目标是创造患者渴望拥有的药物。实现这一目标的方式，就是与尽可能多的制药和生物技术合作伙伴合作，他们的比较优势在于发现、临床开发和商业化，而我们的比较优势当然在于AI。我们将这两种专长以协同而非简单叠加的方式结合起来，共同创造出原本不可能实现的药物。

所以我们追求的就是你提到的那些临床成果。我非常期待在未来几年里分享这些成果。

什么——

当我们谈论分子相互作用时，通常测量的2埃尺度太大了。你可以想象一个图像生成模型，它生成的图片是模糊的。所以整体上是对的，但你无法分辨细节，而细节在这里至关重要。在2埃精度下，你的整个芳香环可能被翻转，但它仍然是一个有效的输出。

或者更糟的是，一个杂环芳香环，那你就真的麻烦了。

在这种情况下，细节真的很重要，因为单个原子需要在这里建立连接。所以，他们追求的1埃精度水平非常重要。

是的。

我很喜欢你的这个比喻。然后就像Evan说的，在下游，你运行一堆其他模型，比如基于物理的模型，所有这些小问题可能会叠加。显然，如果你做出了根本性的错误预测，那么下游的预测也会跟着出错。

我只想说，对于你的问题，我非常欣赏你提到的2000年代中期电视剧里那种“增强法证图像”的梗。在咱们回到细节讨论之前，我想先表达一下我的欣赏。

是的，这是一种抽象，但它是一种非常有用的抽象。它帮助我们建立信心，确保某个模型输出实际上是有效的，而不是直接凭空捏造出来的。因为，最终重要的是结合亲和力或效力，你可以直接用模型预测这个数值，跳过整个后生成步骤。但那样你只有一个数字，而这个数字可能完全是幻觉出来的，你没有任何办法验证它是否合理。所以，尽管构象并不完美，它们在整个过程中仍然是非常有用的工具。

对于更广泛的AI受众，无论是从业者还是用户，可能都会产生共鸣的一点是，嗯，显然过去六个月里蓬勃发展的一个东西是智能体（agent）。我们都很喜欢智能体。

对于你那个非常深刻的问题，我的回答是，这涉及到一些必要但不充分的条件。我们都还记得去年年中左右的智能体（agent）是什么样子。可以说，既有正面价值也有负面价值，而智能体可能放大这两者。为什么呢？因为智能体的效用完全取决于它调度的底层模型。以编程为例，如果你的编码模型哪怕只产生细微但真实的错误，智能体就会放大这些问题，最终你得到的不仅是垃圾输出，甚至可能是反效用的东西——给用户提供错误信息。我们都还记得那个阶段。去年年中，很多人对基于大语言模型（LLM）的智能体工程失去了耐心。但后来情况发生了变化，显然达到了某个阈值。尽管这些模型仍不完美，但LLM在软件工程中的实用性现在已经非常明显。对我们来说，它极大地减少了编码中的繁琐工作，让我们能更专注于一些更重要的战略问题，这显然是一股强大的推动力。

你可以直接类比到我们正在做的事情。毫不意外，我们正在构建一个全天候药物发现的智能体平台。想象一下，成百上千名药物化学家和计算化学家夜以继日地为你工作，针对你的药物靶点。这个项目的代号是Sapphire。它的前提条件是，底层模型——包括姿态预测（Pose）、3D复合物预测、药效（Potency）、ADME——都必须足够好，让智能体能够全天候利用这些模型生成药物化学家真正愿意合成、而不是嗤之以鼻的分子。如果你的模型RMSD（均方根偏差）在1.8到1.9埃，那很可能就是垃圾。我直说了吧。你听到的关于3D姿态实用性的说法是双峰分布的，有人觉得它很“真实”，有人不以为然。现实是，对于一个高亲和力的配体，分子中很大一部分的3D位置几乎可以确定到半埃级别。不信的话，你可以打开PDB数据库中的电子密度图，网上都能查到。在某些情况下，你甚至能看到芳香环中间缺失的电子密度。这可不是有机化学教授在黑板上画的抽象结构——你真的能看到一个甜甜圈形状的电子密度环。然而，溶剂暴露的区域通常对结合亲和力不那么重要，但可能对分子的溶解度或其他性质很关键。这些区域有时定义不那么清晰，因为现实中它们更动态，在溶剂中摇摆。但作为预测结合自由能的上游指标，关键是要让分子中与蛋白质特异性相互作用的核心部分达到亚埃级精度。为什么这很重要？直观地说，氢键——在座各位可能都听说过——是最关键的非共价相互作用之一，它连接核酸、让配体与蛋白质结合、形成蛋白质二级结构。氢键有非常特定的角度和距离要求：从供体到受体重原子的距离是2.7到3.3埃。算一下，这是0.6埃的区间。超出这个范围，就不是氢键了。小于这个距离是冲突，大于这个距离则相互作用迅速减弱。埃，对不了解的人来说，是1/10纳米。所以药物发现化学本质上是一门关于分辨率的科学。如果精度不够，就无法用于你关心的下游任务，包括药效预测和前瞻性设计——下一步该合成哪个分子？因此，我们的观点是，初创公司的创新历史表明，做得最好的那些都专注于一个定义明确但非常重要的问题。我们认为，能够获得更高分辨率预测，源于我们明智地专注于中小型分子设计，而不是试图包罗万象。

我会给你一个极其无聊的答案。

我认为这实际上适用于整个AI领域。AI中只有三件事重要：数据、基础设施和评估。

对吧？你只能改进你衡量的东西。一旦你非常谨慎地衡量重要指标，并且团队里有非常优秀的人才，他们自然会想办法提升这个指标。从一开始，我们就专注于小于1埃的精度，这导致我们在过程中做出了一系列小决策。比如，如果你的团队从不关注这个指标，你就永远训练不出擅长它的模型。而如果你持续关注它，你就能实现它。

而且它会渗透到整个技术栈。它影响你如何看待数据——比如如何过滤数据？有些数据噪声更大，也许我们不需要看到它，或者训练后期不需要。它还会影响你的模型架构和损失函数。

我认为我们最重要的秘密之一是，我们正在与合作伙伴或内部推进真实的药物项目。当你真正做真实项目时，你会看到失败模式，看到什么有效、什么无效。从真实项目的输出中，失败模式非常明显。你会发现，1埃精度对于这些场景根本行不通。

你听说过 SWE-Bench 吗？嗯，Gemini 在 SWE-Bench 上表现不错。有时候 Gemini 会发布一些模型，在某些软件基准测试上获胜。现在，有谁在用 Gemini 写代码，而不是用那些显而易见的竞争对手？举个手看看。

没人。谁会这么做呢？实际上它明显更差。而且我想说，在这个案例中，如果你看看这件事的来龙去脉，RMSD 小于 2 这个指标最初来自——再说一次，Brandon，我在这行很久了——来自对接研究，远在 AI 模型用于后处理之前，是学术机构的基于物理的对接研究。因为通常大型专有软件制造商不愿意拿自己的方法跟其他方法做基准测试。所以学术人员得申请许可证去尝试，然后他们引入了 RMSD 小于 2。这挺让人意外的。他们是学术人员，不是用这些东西来制药，而是用来写论文。所以这个指标后来被 AI 社区重新利用了。但实际的趋势更符合我们说的方向。第一个重大创新是 Posebusters，由牛津大学的一个实验室提出，它指出 RMSD 本身是不够的，我们还需要关注物理有效性。所以 Posebuster 是——我指的是指标，不是基准测试。牛津改进了这一点。而在 OpenBind 的最新发布中，我们刚刚在 Genesis 上发布了我们的基准测试。

但如果你看他们的原始论文，默认指标用的是 RMSD、Posebuster 的有效性和 LDDT。所以显然已经有人承认 RMSD 小于 2 是不够的，这个领域正在快速演进，以承认这一点。

我想说，我们这个领域曾有过一场评估危机，现在正处于转型期。以前这个领域相对安静，但如果你每年去 NeurIPS 和 ICML，工作坊一年比一年拥挤。这些评估正在转型，因为我们意识到了之前方法的缺陷。

我得说，我写的最后一行 PyTorch 代码，比 Sergey 最近提交的那行要早得多。所以我想确保他也发表意见。我会直接回答你的问题。另外，我想回应你之前说的一件事，我觉得可能被忽略了——你问我们如何做其他事情，包括 ADME 预测。

对。

所以我想就这一点说几句。我可以花一整天时间深入讨论 Pearl 和它的演变，我们会的。但我想强调一点，它是药物发现过程中一个重要的支柱，但不是唯一重要的支柱。你提到了那篇论文中的 PotentialNet，我们很高兴看到它变得有影响力，毕竟你和我当时在这个领域工作时，那还是未来。但现在——它已经是现实了，这很棒。我们大约在同一时间发表的另一篇论文是关于 ADME 预测的神经网络。实际上我们发表了两篇。

哦，抱歉。

嗯，吸收、分布、代谢、排泄和毒性，这五个构成了 ADMET。

没错。所以我想说，大概有 30 多种检测，每一种——如果你是做神经网络的人——可以想象成一个多任务或多头网络，需要预测 30 多种性质，每一种如果不在正确范围内，你的分子就不是药物，只是工具。这些性质包括溶解度，Sergey 提到过，这对制剂很重要，比如能不能做成口服的药片。还有口服生物利用度，是否抑制某些叫做细胞色素 P450 的酶及其不同变体。还有 hERG，一个关键通道，抑制过多会导致心脏毒性。所以这些就是一堆大多数人没听过的字母缩写。

对，没错。

我想说，实际上从直接可预测的性质到——如你所说——实际上是其他信号事件的混合体，这中间有一个范围。比如是否抑制 CYP3A4，这很具体，是抑制某个特定的蛋白质。

我们在其他人之前就已经在做ADME预测的3D工作。有一系列工作最终推动了公司的成立。要知道，在那个AI还能发表在同行评审期刊上、而不只是arXiv上那些随意白皮书的年代，我们发表了MoleculeNet，它后来被引用了数千次。我们还发表了一篇论文，证明多任务图神经网络在当时对大型制药数据集进行ADME预测效果最好。那篇论文现在已经成为AI用于ADME领域被引用最多的论文之一。很多论文，你知道的，写完之后就过去了。但那两篇工作都相当有影响力。所以我们的历史从一开始就不是只解决一个问题，而是专注于药物发现，并因此有足够的精力去构建药物发现所需的所有机器学习模型，而不被所需的生物学发现过程、靶点识别或临床试验方面分心，而是真正专注于药物发现所需的所有任务，以及分子生成，对吧？这些都很重要。我想在开头说明一点，正如Brandon你正确指出的，Pearl是一个3D结构预测模型，而许多ADMET性质也可以被这样建模。因此它不仅对靶点效力预测有用，所有这些性质都很重要。我们不得不应对所有这些。

我们会在接下来一段时间内公开分享一些东西，但我觉得我们最近已经有足够多的结果消息了。我想，到目前为止，如果这么说合理的话。每次你发表东西，对团队来说其实都是很大的工作量。所以我们会在接下来一段时间内做这件事。但我们最近发表的东西显然是OpenBind的结果，那是针对一个标准的3D预测任务。

有一个经典的概念叫叙事谬误，事后回顾时一切看起来都很明显，你可以画出非常线性的过程，说明我们如何从A点走到Z点。但现实总是更有趣、更混乱、也更非线性，我认为是这样。对于Sergey和我来说，我们训练神经网络已经超过十年了，我们记得这个领域的许多不同时代。如果我们能告诉十年前的自己我们现在的技术能力，我们会非常兴奋。如果我们告诉自己是怎样走到这一步的，那可能看起来有些显而易见，但仍然有一些事情是很难预见的。举个例子，将生成式AI用于分子空间的概念并不是新概念。但将其付诸实践在十年前会非常困难。一个具体的例子是，我曾经共同主持斯坦福AI沙龙。我们在盖茨计算机科学大楼组织活动，邀请一些有趣的演讲者，大约25个人一起喝葡萄酒、吃奶酪。现在这些人很多都成了非常有名的人物，对吧？但那时AI还是一个很小的领域。我清楚地记得在2017、2018年，我们讨论GANs，以及生成对抗网络显然是图像生成的未来。当时也有很多工作试图将GANs应用于生成蛋白质构象，或者用于生成蛋白质-配体姿态。但出于和图像训练中相同的原因，这些模型很难训练，模式崩溃是最著名的问题。它们对蛋白质或蛋白质-配体系统效果不佳。我们不得不等待正确的基元被创造出来，结果就是扩散模型，它被证明是更适合这个领域的基元。有趣的是，很多图像和视频模型，有些使用扩散，但有些实际上已经转向了自回归。所以现在很酷的一点是，对于那些真正对核心基础AI研究感兴趣的人来说，一些最具创新性的扩散研究正发生在我们这个领域，发生在3D结构预测中。没有人能预料到这一点，但现在这可以说是扩散模型的一个支柱。我刚才说的这一切，在十年前都是无法预见的。与此同时，在用于化学生成任务的3D扩散模型出现之前很久，我们就在为手头的药物发现问题构建各种工具，其中一些使用基于物理的方法来预测效力，甚至帮助预测某些ME性质。分子生成也是如此，我们使用不同的技术来生成新的分子想法。正如Sergey指出的，有10^60种类药小分子。高效地搜索这个空间很困难。所以我们一直在研究这个问题。当我们想要利用当时还非常初期的共折叠领域——这个领域显然令人兴奋，但远未成熟，远未达到药物化学家在日常工作中想要使用的水平——并将其带入有用甚至在某些情况下不可替代的领域，比如明显优于非共折叠方法时，这些工具恰好已经可用。我们之前一直在构建那些其他基元，所以它们对我们来说是可用的，我们可以将它们组合起来，例如构建合成数据管道，或使用一些推理时技术。我们能够快速做到这些，是因为我们一直在用正交技术和方法来解决问题。所以这里有一些深思熟虑的成分，但就像几乎所有发现一样，比如青霉素的发现。我不是说我们做的事情在规模或对人类的好处上与青霉素相当。但总有一个要素：如果你足够长时间地专注于一个问题，并在实验室里——或者在我们这里是电脑前——花足够多的时间，在这些问题上撞墙，你就能创造运气，从而促成一些发展。

是的，正如我之前提到的，我们训练的不仅仅是结构预测模型，还有其他模型。对于这些特定模型，实验室输出结果能立即派上用场，比如效力预测，对吧？这些输出可以直接用于模型训练。但最让我兴奋的是强化学习。我认为这个方向即将在我们领域兴起，而且我们已经看到早期迹象表明它在我们模型上已经奏效了。具体来说，你最初可能会引入基于物理的反馈，通过典型的 RL 循环来改进模型，但最终你可以一路延伸到实验室环境设置中——你的模型不仅产生预测，你还基于这些预测进行合成，然后测量下游属性，再将那些预测结果反馈回模型。

让我非常自豪的一点是我们与 Insight 的合作。他们是一家非常出色的公司。他们在数据生产方面极其擅长，基本上就是负责获取化合物、生成它们、制造它们，然后测量下游属性，最后将结果反馈回来。对我们 Genesis 和 Insight 来说，这种合作简直是天作之合——我们能够训练模型、给出预测，然后迅速从 Insight 那里得到结果。

是的。

没错。而且扩散过程很慢，所以速度差不多。

我坚信公司通常只擅长一两件事，当它们能专注于这些事时表现最好。同样地，我们一直非常专注地开发用于药物发现的最佳 AI 模型，而 Insight 则同样痴迷于优化药物发现和开发。另一个人们喜欢谈论的趋势当然是生物技术领域中国的崛起。这是房间里的大象，没必要回避。它现在非常热门。许多西方公司已经越来越依赖 CRO 来完成大量实验室白活，而 Insight 在实验能力方面变得非常先进，生产力极高。正如 Sergey 所说，这对我们来说是完美的匹配，因为我们赖以生存的是模型的持续学习。所以我们希望设计-制造-测试-分析循环尽可能快，并根据实验室观察到的结果持续微调，或者在某些情况下重新训练模型。因此，这种合作是第一个（如果不是唯一的话）能够实现基于历史数据和前瞻性数据进行真正联合基础模型训练的合作。作为机器学习从业者，我们都知道数据是整个关键要素中至关重要的输入。所以这对我们来说极其令人兴奋，涵盖了我们之前讨论的各个方面——从结构、效力到各种 ADME 属性。我认为这将立即提升我们模型的强度，并对加速药物发现产生强大作用。

这取决于情况。有些化合物很容易合成，反应很成熟，常规条件就能奏效。但有时，这个偶联反应实际上不像文献说的那样顺利，我们得尝试不同条件。所以这要看情况。我这么说是为了让听众明白，尽管有很多关于机器人实验室、自动化合成的说法，但现实要复杂得多。

好的，这也是为什么正如 Sergey 所说，我们对强化学习感到兴奋的原因之一——它绕过了必须进行非常快速的设计-制造-测试-分析循环（从实验室反馈到模型）的问题。理想情况下，我们可以投入越来越多的 GPU，让模型自我训练，就像我们在 2010 年代末对棋盘游戏所做的那样，或者最近对编码所做的那样。那是我们的关键北极星。然而，在任何人告诉你数据室里会有一群天才解决药物发现之前，我们领域有些问题并不那么自然地适合 RL，需要实验干预。为了具体说明原因，我举几个例子。编码一直是我人生的北极星，但我在湿实验室里作为一位平庸的实验科学家度过了相当长的时间，直到研究生阶段才找到真正的快乐，可以整天专注于编码。现实相当混乱。要制造一个新分子，你必须合成它。这意味着不同的化学试剂、催化剂、温度和溶剂必须以正确的方式、按照正确的方案组合在一起，才能制造出你的新分子。一旦完成，你需要纯化它。如果不这样做，你的阳性或阴性检测读数可能是假象。你还需要表征它，所以要用 NMR 和其他技术如质谱来证明你小瓶里制造的东西确实是你最初想要制造的，这也不是那么简单。顺便说一句，这不仅仅是我们面临的问题。任何从事 AI 材料科学的人都会遇到同样的挑战：我制造的东西真的是我制造的吗？这其实是一个完全不简单的问题。在小分子药物发现中比在材料领域容易一些，但仍然不简单，而且需要时间。我们见过很多案例，大分子工具的筛选在纸面上听起来很棒，因为你可以一次性测试数百万、数十亿个化合物。这样你就有更多机会，而且作为额外好处，你还能为模型获得数据，对吧？你一下子就得到了数百万个数据点。

但现实是，高通量筛选（无论是 Dell DNA 编码库还是更传统的筛选）的预测结果与实际从头重新合成分子并进行低通量、高保真度实验之间的 R 平方值低得惊人。由于各种原因，假阳性率非常高。这就是为什么人们对 AI 做出这些预测如此兴奋的众多原因之一——因为理论上，AI 的预测可以比许多湿实验室工作（尤其是高通量工作）更干净，从而产生更高的富集率和更高的真阳性率。

有几个原因。第一，药物发现往往需要找到异常值。

我们这个领域特别疯狂的一点是，人们追求的分子特性常常是相互排斥的。结合力通常会随着化合物越疏水、越油腻而改善，因为蛋白质的结合口袋是油腻的。但猜怎么着？这会让你的溶解度变差。

然后你想通过给化合物增加极性来改善溶解度。突然之间，那些还记得高中生物的人会知道，细胞被脂质双层包围。你的分子可能无法穿过细胞膜，因为你把它做得太极性了。所以你想要的特性常常相互排斥，这就导致分子的多参数优化最终像打地鼠一样。你经常在寻找真正的异常值，这通常需要制造出根本新颖的分子。而目前可以自动化的化学类型相当有限，因此你广泛搜索化学空间以找到那些最顶尖的帕累托最优化合物的能力实际上非常有限。所以你在速度上获得的好处，与你能制造的分子实际质量和新颖性之间存在非常严峻的权衡。

如果运气好的话，是的，那会是——嗯，如果运气好的话。

是的，我们很希望那能实现。那对我们来说会是巨大的推动力。但这不是——

我认为，如果一个人愿意专注于一个问题，并对干扰说“不”，那么奇迹就可能发生。我认为其中一个原因是他们的人才密度非常高，而且他们愿意做现在大型或中型制药公司普遍不做的事情，那就是在内部建立大量的实验能力。我实际上认为，考虑到全球药物开发的动态已经发生了巨大变化，更多的公司有可能尝试这样做。

有可能。关于垂直整合的好处，已经争论了几百年。它伴随着所有领域的风险和挑战以及前期成本，但也有控制端到端流程的所有好处。当它奏效时，当你端到端地做事时，你可以做出惊人的事情。当然，它也伴随着更大的挑战，我认为需要有这样的意愿去做。

当我们创办公司时，公司的起源是我们在斯坦福开发的基础深度学习研究方法。

我们试图解决的目标是如何为患者带来最大的影响。当时，公司的创立纯粹是基于AI研究。那时几乎没有先例表明一个纯粹的模型公司能在制药或大多数传统行业中通过为合作伙伴创造价值而真正成功。另一个我认为的因素是，公司建立在AI研究的基础上。我们真的很想向人们展示我们对生物技术领域的认真态度。所以，我认为这是——让我们称自己为Genesis Therapeutics的部分原因。是的，这样我们在制药界那些经验丰富的人、那些根深蒂固的医药化学家和药物开发者面前会显得更认真，而我们真的很想与他们合作。所以我认为这有点尝试“名决定论”的成分，但也承认当时我认为没有人真正证明过你可以成为一家纯粹的AI模型公司。

并在这个领域真正成功。显然那是2019年。所以我们有幸成为这个领域的真正先驱和开拓者。我们的劣势是起步相当早。

当时被认为晚了，但事实证明仍然是早期阶段。随着公司的发展和演变，我们的结构实际上像双螺旋一样，我们有极其强大、专注的AI研究，并且我们很幸运能够招募到一些最有经验和成就的药物猎手，比如我们管理团队和董事会中的人，他们发现、共同发明、开发了许多FDA批准的药物。你问大多数医药化学家，大多数医药化学家——如果他们能在整个职业生涯中参与一个获得FDA批准的分子，他们会感到非常幸运。而我们真的很幸运能说服这些有成就的药物猎手在初期加入我们的管理团队和董事会，并指导方向。所以结果始终是一样的。我们讨论的一切，最终只有当我们帮助到患者及其家人时才有意义。我们从一开始就认为，大规模做到这一点的方式主要是与大型、中型制药公司和生物技术公司合作，让他们做他们最擅长的事情，即新颖的生物学和临床开发。我们做我们最擅长的事情，即AI，并将两者结合起来。除此之外，正如Sergey所说，拥有内部湿实验室数据生成有许多优势，显然包括对模型进行内部测试，从真正的医药化学家那里获得非常直接的人类反馈，了解我们需要构建什么，而且方式极其坦诚。当然，第三点是，宇宙中最有价值的东西——我喜欢开玩笑说这是厄里斯魔镜测试。如果你问人们，你最想要的一件东西是什么，如果你真的思考过，大多数人会说是为自己或家人找到一种药物。所以拥有自己的管线项目具有巨大的内在价值。当我们与制药合作伙伴互动时，他们通常喜欢我们自己也在研究分子，因为这表明我们不仅仅是一群敲键盘的人，而是我们也在实践我们所推销的梦想，并且我们自己也需要在实践中使用这些模型。所以它们以另一种方式经过了实战检验。而且我们在某种程度上被驯化了，因为我们知道这个领域真正困难的地方在哪里。

为了完成这个叙事弧线，改名只是为了反映我们实际在做的事情——我们是一家AI公司，从第一天起就是如此。

当我们用PyTorch 0.17写代码，构建第一个——当Sergey在PyTorch上扩展Transformer（变换器），他是第一个这样做的人——我们也在PyTorch上扩展图神经网络（Graph Neural Nets），也是最早这样做的人之一。所以改名反映了我们从第一天起的身份，同时也暗示了我们自己是严肃的分子制造者，是全栈的。明确地说，我们的使命是创造尽可能多的、否则不会被创造出来的药物。我认为实现这一目标的方式，是将我们的技术直接交到尽可能多的药物开发者手中——不仅是我们自己，还包括大型制药公司、中型制药公司和生物技术公司。这也是为什么我们一直在构建我们的agent（智能体），这样我们那些变得更强大的模型，可以被那些可能一生从未写过一行代码的药物化学家或CAD科学家轻松使用和编排。

好吧，让我反过来问你一个问题。你认为一个人类药物化学家或CAD科学家实际上能学会并精通多少种工具？

没错。但这真的很难，对吧？很多工具极其复杂。

嗯。

有很多参数需要你正确设置和配置。而这正是agent非常擅长的地方。它们实际上知道如何使用所有这些工具，以及如何很好地编排它们。

那么在我们的案例中，指的是AI定义的agent，即一个LLM，它能够使用我们多年来辛苦构建的所有这些工具。这是一个非常强大的概念，因为现在作为一个CAD科学家或药物化学家，你不需要深入了解所有细节和需要设置的超参数。你可以让这个东西去运行、去理解并解决问题。这就是我们之前讨论的所有问题重新变得重要的地方。Agent需要能够理解那些模型产生的结果。为什么我们在乎晶体结构？因为agent可以查看你预测的晶体结构，并基于此做出决策——我们认为这对迭代和改进至关重要。

没错。

所以这个问题肯定有多个层面。你可以从基本的图像理解开始，或者使用额外的工具来理解晶体结构中发生了什么，甚至训练一个模型，使其原生地理解晶体结构表示。图像模态（Image modality）如今是LLM的一种模态，晶体结构也可以成为LLM的一种模态。

我明白了。

对。

这是个好问题。我认为答案可以从编码工具的演变中看到，对吧？你还记得Cursor刚出现的时候吗？它就像敲敲键盘、自动补全。它当时还有用，但不像现在这么有用——我现在可以启动Cursor，它就能为我做所有事情。所以我认为我们会看到非常相似的轨迹。现在这些agent已经很有用了，但人类需要提供持续的反馈，基本上沿途引导和指导这个agent。但随着时间的推移，它们会变得更加独立。不过，我不相信完全自动化，比如取代人类。我相信人类在使用这些工具时会变得高效得多。人类将提供战略方向，告诉agent需要做什么，而agent则能够代表人类去执行。

我认为现在是有创造力的人，或者说任何人，最好的时代。因为从历史的长弧来看，从我们决定“嗯，狩猎采集？我不太确定，我想安定下来搞搞农业”开始，就开启了数千年的苦役。

从长远来看，我看到的唯一好处是：如果你是一个狩猎采集者，生病了、天生有遗传病或受了伤，那你就麻烦了，我们几乎帮不了你，因为医学根本不存在。但最终，我认为文明最伟大的成就是，社会中的病人不再被视为负担，而是我们想要帮助的人。这在动物界的历史中，包括人类在内，都不是常态。这是一个可悲的现实，但却是事实。而现在，因为医学，我们把病人视为我们想要帮助、也能够帮助的人。我们可以帮助他们，他们甚至可能成为更有生产力的社会成员。创造力也是如此，如果你在乎这一点的话。快进到现在，我认为大量的创造性工作和日常工作，如果把它看作一个饼图，时间是我们最宝贵的资源。其中很大一部分被重复性任务占据，这些任务实际上不需要太多思考或创造力。而现在，我们仿佛创造出了额外的思维空间，用于深度思考。对我们来说，解决一些技术上最具挑战性但又至关重要的问题时，我们可以利用这些工具变得极其高效和富有创造力。这适用于我们的直接用户——药物化学家、药物发现科学家、计算科学家——他们可以成为药物发现战役的宏观战略家。当数百名药物发现科学家在大型数据中心上全天候工作时，仅从发现的角度来看，产出就会更大，尤其是在由懂行的专家科学家使用时。

是的。我们也可以回到关于评估以及评估普遍存在问题的讨论。如果你看开源模型在公开基准上的表现，基本上都差不多。而OpenBio推出这个新基准时，令人惊讶的是，模型的表现差异很大。部分原因在于它只是一个单一目标，我明白。但也是因为这个目标在训练中从未被这些模型见过。所以没有人针对这个特定目标进行过优化，没有人做过爬山优化。因此，看到我们的模型在这个我们从未在训练或开发中见过的特定目标上开箱即用的表现，非常有趣。所以当它出现时，我们自然想研究一下。我们在上面运行了Pearl系统，结果让我们既惊讶又兴奋。我们的数值远高于其他公开可用的模型。对我来说，这反映了Pearl在真实药物发现项目中的实际表现，因为我们在内部项目或合作项目中见过这种数值差异，但之前无法讨论，因为很多数据要么是合作数据，要么是内部数据，不能公开。这里有一个完美的例子：这是一个外部目标，我们事先不知道，直接运行后看到了如此显著的差异。这就是让我兴奋的地方。这个目标有一些特性，比如它有一个柔性环，在配体插入正确位置时需要移动。很多方法无法处理这一点，而Pearl特别擅长找出如何移动这个环。我们基本上每个构象都是正确的，预测这个移动非常准确。是的，这就是令人兴奋的部分。

Pearl模型的训练方式是这样的：它被训练成同时预测蛋白质结构和配体。蛋白质和配体一起的结构，与单独蛋白质的结构不一定形状相同。所以整个训练过程，都在推动Pearl朝这个方向发展。

整个训练集中都存在诱导契合。

这当然有帮助。我认为Sergey提到的另一个因素是，我们并没有仅仅在同一个基准上刷分——我们显然在RunSimposes上发表了文章。去年年底我们在GTC上与NVIDIA一起发布Pearl技术报告时，公布了RunSimposes上的SOTA数值。我们使用了RunSimposes和PoseBusters。Pearl在这些基准上表现最好。我们做到了。然而，正如Sergey所说，在我们合作的那些药物靶点上，Pearl与次优模型之间的差距甚至更大。这在一定程度上反映了我们公司的目标不是刷基准，而是为通常研究PDB中不存在的困难药物靶点的生物技术和制药公司创造价值。因此，我们必须以能够外推的方式构建模型，而OpenBind挑战只是最新的一个例子。

我可以告诉你，我目前的主要瓶颈是GPU。

每个人都说，啊，是的，GPU价格一直在涨，LLM公司吸走了所有GPU产能。我坚信我们所做的事情对人类真正重要，比如为你自己和亲人发现新药。这是我们一生中某个时刻都需要的东西。所以我认为，为药物发现解除GPU瓶颈非常重要。

不。你要开始挑事了吗？

NVIDIA 一直是我们的大力支持者。他们两次投资了 Genesis，我们合作非常紧密——不仅是资金层面，我们还一起优化内核。Pearl 就是 Genesis 和 NVIDIA 共同开发的。他们还和我们一起公开了 OpenMind 的结果。对此我们非常感激。他们是一家非常、非常、非常大的公司，而我们并不是 Meta 那种规模的客户。所以，他们愿意花时间和精力在我们身上，我们很感恩。但我觉得，这背后也有他们自身的考量——显然，没人能精准把握市场时机，但在传统大语言模型领域，聊天机器人、代码生成这类方向，炒作和投资的热度到了一定程度，其回报率可能就不如预期了。我认为，无论经济如何起伏，医药的需求始终很高。无论是出于帮助人类的愿望，还是为了寻找下一个大机遇的自身利益，我都认为芯片制造商，包括 NVIDIA，会愿意在生命科学领域投入更多，因为这一领域的需求永远旺盛。而纯大语言模型领域的回报空间，已经开始变得有些不确定了。

是的，我们认为这些都是对我们有利的推动力。

哦，我的答案肯定和 Sergey 一样。如果能挥动魔法棒，我希望拥有一套巨大的 H100 200 集群，那将非常棒。

我们确实在招聘。我们正在寻找这个领域的顶尖人才。我个人就是从大语言模型领域转行到药物发现的。在加入 Genesis 之前，我从未做过药物发现。我发现这个领域非常迷人且极其有趣。在大语言模型公司，你经常看到研究科学家对架构工作充满热情，但却被迫去做一些无聊的事情。老实说，大语言模型架构相对无聊。我不知道，我可能得罪了你们一半的听众。

说到底，它就是一个 Transformer 层。论文是 2017 年发表的，现在你去任何大语言模型实验室，都会看到他们的模型中有非常相似的组件。是的，有一些 MoE 的变体，但除此之外，架构本质上与 2017 年发现的非常相似，对吧？而我们的架构和模型实际上非常不同，并且非常有趣。所以，如果有人对架构工作充满热情，那么这个领域实际上是一个非常、非常有趣的工作场所。

我们看到你们最近邀请了一位嘉宾，他是 ESMFold 的创始人之一。

是的，他们引用了我们几个月前发表并开源的模型架构论文。所以，作为 Genesis 的 AI 研究员，你有很多发表论文、开源以及影响领域的机会，而不仅仅是与那些真正制造改变人们生活的药物的顶级客户合作。这既在智力上极具吸引力，也有很多机会去影响领域并打响自己的名声。但如果你愿意，你也可以继续在大语言模型公司做一颗螺丝钉。

是的，我们很喜欢这个节目，非常感谢能有时间聊天。

是的，感谢你们的邀请。