因果模型需要因果数据 - Xaira的X-Cell药物发现模型(Bo Wang与Ci Chu,首席发现官兼首席AI科学家)
🔬Causal Models Need Causal Data - Xaira’s X-Cell model for Drug Discovery (Bo Wang & Ci Chu, Chief Discovery Officer & Chief AI Scientist)
Zera Therapeutics发布虚拟细胞模型xCELL,基于扩散语言模型和全基因组扰动数据(2500万细胞、16种细胞类型)训练,预测基因扰动响应。模型整合5种生物先验(文献、PPI、DepMap等),在未见过的细胞类型和原代T细胞上超越线性基线。Zera构建三大AI平台:蛋白质设计、虚拟细胞和患者表征,旨在加速药物发现。
真正让我震撼的是,当我看到模型做出预测时,直接打印出基因表达变化的热力图,查看原始数据,并将线性基线预测、真实结果和XL预测并排对比。从视觉上可以非常清晰地看到,XL预测与真实结果的相似度远高于线性基线。
这就是我开头提到的那个"哇"的时刻。
这是第一次有人不仅整合了一个全基因组扰动实验,而是将七个全基因组扰动实验整合在一起。我们生物学家立刻注意到的一点是,有些扰动是跨情境通用的。
大家好,我是Mirroromics的CTO RJ Haneke。这位是Atomic AI从事RNA疗法开发的Brandon Anderson。这里是Latent Space AI for Science播客。贯穿本播客的一个主题是,实验室、实验和现实世界对AI for Science或B2B SaaS这类事物是否成立,往往具有最大的影响力和最直接的相关性。今天我们非常高兴邀请到Zera Therapeutics的Bo Wang和Si Chu来到演播室。在Zera,他们与众多伙伴一起构建药物发现平台。他们利用高通量实验系统收集大规模数据集,然后训练AI模型,以预测你体内细胞对药物和疗法的反应方式。非常高兴你们的到来。我是你们工作的忠实粉丝。请两位向听众做个自我介绍吧?
大家好,我是Bo Wang。现任Zera Therapeutics生物医学AI高级副总裁兼负责人。大约8个月前加入Zera。在此之前,我是加拿大多伦多大学的副教授。
我是Zitru。我的名字除非你会说普通话,否则非常难发音。所以大家叫我Tru,就像Chewbacca或Pikachu那样——我想是你最喜欢的虚构角色。我是Zera AI赋能发现部门的高级副总裁。大约两年多前公司还在隐身模式时就加入了。在这里我领导高通量生物学团队,负责生成供AI模型使用的数据,并思考其应用。在此之前,我在AI、大数据和生物学的交叉领域工作了大约十年。之前我在In-Situo领导体外发现平台,再之前我在从Google X分拆出来的Verily工作。
好的,那么你们在Xera这家公司——它处于名字容易混淆和巨额融资的帕累托前沿。Xera大概是在几年前从隐身模式中浮现,规模庞大,仿佛凭空出现。我很好奇,你们能否解释一下Xera的使命是什么?它的核心论点是什么?Xera的独特之处在哪里?以及你们未来的发展方向?
是的,Zera是一家AI赋能的药物发现公司。我们使命的核心是利用AI平台生成更好的疗法,以改善患者护理。因此,我们将利用不同的AI能力来制造药物。我们正在构建三大AI平台。第一个是蛋白质设计,源自联合创始人David Baker博士在华盛顿大学的团队。公司里有很多当前一代的蛋白质设计专家。其思路是利用先进的AI技术,针对以往不可成药的靶点开发分子。第二个AI平台——我想我们今天会花很多时间讨论——是Bo和我长期合作、刚刚发布预印本的工作,即虚拟细胞或生物学基础模型。其目标是构建一个AI模型来预测生物学,正如你所说,预测哪些基因和药物分子会影响细胞生物学。第三个平台我们刚开始构建,是患者表征模型。其目标是让AI模型能够理解哪些患者会对哪些疗法产生反应。希望这些平台技术能帮助我们更快、以更高成功率制造更好的药物,将过去那种手工艺式的试错过程转变为越来越像工程学科。
我认为让Zera与众不同的不仅是那10亿美元的融资轮,更在于Zera是极少数从头到尾覆盖药物发现所有环节的AI原生公司——从早期的靶点识别,到蛋白质设计、小分子,再到一期、二期、三期临床试验。我们的目标是用AI加速药物发现的每一个环节,这样不仅能提高药物开发的成功率,还能大幅缩短周期,让新药不必等上10年、20年。希望我们能将周期减半,为患者提供更多有用的药物。
这非常有趣。我知道目前大家对第三件事——或许可以称为从实验室到临床的转化——非常感兴趣。瓶颈在哪里?你们有这三个模型,你们正在解决哪些瓶颈?你们是如何做的?为什么选择这种方式?
这是一家AI原生公司。在药物发现的几乎每个环节,我们都试图用AI来革新药物开发方式。在早期阶段,我们构建因果基础模型,有时称之为虚拟细胞蛋白。我们有最先进的蛋白质工程模型,还有患者表征学习模型。我认为Zera想做的不仅是开发AI模型,还要创建合适的数据集来赋能这些模型。真正让我在Zera工作感到兴奋的是,我们始终致力于将三个AI模型连接起来,而不是让它们各自为政。因此,在设计虚拟细胞模型时,我们会寻找与蛋白质工程模型的连接点——能否找到更容易应用蛋白质工程模型的靶点?同样,在设计细胞因果模型时,我们能否将其与患者表征连接起来,找到合适的患者数据来关联细胞模型,从而展示临床实用性?所以,真正让我兴奋的是,在加入Zera之前,我算是计算生物学系或计算机科学系的教授,主要是在电脑前工作,看数据、看数组等等。但来到Zera后,真正让我激动的是,我能与像Drew这样的药物猎手、经验极其丰富的药物猎手交流,真正理解他们的痛点。因此,在设计AI模型时,我们会思考那些真正让生物学家兴奋的问题。稍后我们可以谈谈,在开发Xcel之后,我收到的一个最有价值的反馈是,生物学家们第一次发现模型能准确预测那些未见过的细胞系对不同扰动的反应,这让他们感到"哇"。所以,真正让我兴奋的是干实验室(AI模型)与湿实验室(生物学),乃至最终与临床的结合。
关于这个临床模型,我知道你们的目标是将一种药物一路推进到FDA批准及更远。我们现在处于什么阶段?我不知道你们是否方便谈论,但你们是否已经能够从临床试验中收集数据并将其反馈回来?
正如Beau所说,我认为如果你思考药物发现的过程,其实很简单,对吧?你只需要找到正确的靶点、制造正确的分子、找到合适的患者来用药。当然,每一步都极其困难。到目前为止,就像我刚才说的,这个过程很大程度上依赖于试错和猜测。我认为主要问题在于,我们缺乏足够的生物学数据来驱动预测模型的训练。而在蛋白质设计领域,我们目前看到了最快速的进展。部分原因是我们拥有大量数据——整个社区在过去70多年里整理的高质量数据。人们将蛋白质结构存入一个名为PDB的数据库。我们还有大量的序列数据,这些数据多年来从不同基因组中收集而来,也能为模型提供信息。正是这些收集和积累的高质量数据,引发了蛋白质设计、AlphaFold及其他折叠模型的革命。在其他领域,比如临床模型预测或虚拟细胞,我们远未达到同样规模的高质量数据。我认为这主要是数据限制的问题。所以回到你的问题,这就是为什么我们大力投入生成这些数据,尤其是在实验室中生成细胞生物学中的因果数据。我认为,这也使得在算法方面进行创新、推出虚拟细胞模型成为可能。在患者数据方面,这是一个非常有趣的问题。这可能是最难获取的数据之一,因为获取高质量的患者样本本身就很难。将其与正确的临床注释匹配,以便真正学习分子数据与临床反应之间的差异和桥梁,则更加困难。你或许可以在不同疾病严重程度下做到这一点,但要收集正确的数据来预测某种药物在特定患者身上是否有效,则更加困难。这需要大量的思考和精心的整理才能生成数据。我们正在开始涉足这个领域,希望很快能分享更多信息。
太棒了。也许我们该换个话题了。你们刚刚发布了xCELL。不如你们来介绍一下——我可能会说错。
xCELL是Zara的第一个虚拟细胞模型。它是一个能够预测基因扰动响应的AI模型。我们还可以将其扩展到其他类型的干预,比如药物扰动、化学扰动等。
你能为非生物学背景的听众解释一下,什么是扰动吗?你指的是什么?
在我们的细胞中,当Beau谈到基因扰动时,我们的细胞——人类细胞通常有2万个基因。并非所有细胞都同等表达每个基因。这就是为什么你的眼细胞、皮肤细胞、心脏细胞,尽管共享相同的基因组,功能却截然不同。这在很大程度上取决于选择性基因表达,它决定了细胞的类型和状态。所以我们做的是构建一个模型,让你可以在计算机中从细胞中剔除某些基因。这就是计算机扰动。也就是说,如果我降低细胞中某个基因的表达,对细胞的其他部分会有什么影响?生物学后果是什么?
这基本上就是把一个基因的旋钮调低。
没错。
然后观察那个细胞中所有其他基因会发生什么?
正确。当然,我们希望预测对所有其他基因的影响,甚至可能包括比基因表达更多的东西,比如细胞的功能。
好的。
这一点很重要,因为它与治疗相关,因为很多药物是抑制剂,它们正是通过这种方式起作用的——降低蛋白质或基因的活性。所以我们可以从基因扰动预测开始。希望我们也能进一步进行通路抑制预测,等等。
所以通路就是一组相互作用的基因——这个基因表达一种蛋白质,那种蛋白质对另一个基因产生影响,如此循环往复。这是一长串基因和蛋白质的连锁反应。这就叫做通路。如果你中断或以某种方式改变它,就会对细胞更大的表型产生影响,比如细胞的样子、功能等。
完全正确。
是的。
所以你们有了所谓的虚拟细胞,或者说你们正在创建虚拟细胞。虚拟细胞非常流行,很多人对这个概念感兴趣,但我认为你们的方法有些独特,或者与其他人的做法不同。你能解释一下——通常人们说虚拟细胞时指的是什么?有哪些不同的策略?然后你们的具体策略是什么?
当然,虚拟细胞是一个非常宽泛的术语,用来描述一个能够预测或描述细胞状态、或在某些干预后预测细胞表达或功能的AI模型。这是一个非常高层次的概念。首先,这并非一个新想法。大约20年前就有虚拟细胞项目。但那时,我们有时称之为虚拟细胞1.0,人们试图推导微分方程,用数学来描述某些通路干预的响应,就像你刚才提到的。通过将这些方程与不同的观测数据结合。但总体而言,那是一次失败的尝试,因为生物学实在太复杂了,无法用几组预定义的微分方程来描述。后来,随着语言模型的兴起,我认为使用AI模型通过数据驱动的方法来模拟细胞如何响应不同干预的想法开始流行起来。大约3年前,就在ChatGPT发布4个月后,我们在多伦多大学的实验室发表了一个早期的单细胞基因组学基础模型,名为SCGPT。你可以把它理解为单细胞的GPT类模型。它很快就变得非常流行。因为这是第一次有了一个基础模型,能够用同一个模型处理不同的下游任务,比如我们可以用同一个模型整合不同批次的单细胞RNA测序数据,也可以用同一个模型预测多组学整合。
我们来定义一下这些术语。批次,整合不同批次的RNA测序数据。所以你有不同的设备。你收集的——也许你收集的是相同的——
在不同实验室收集的数据。
是的,不同实验室,不同时间。
正确。不同月相,等等。
而这些实际上对你收集的数据有很大影响。所以有一个大问题:当存在所有这些与基因表达无关、只是测量方式不同的差异时,我该如何比较这个数据集和那个数据集?
我们称之为批次效应。我们当然希望去除批次效应,同时保留细胞类型,这是我们要保留的更重要的生物学信息。
这有点像图像分类器中的坦克问题。模型会捕捉到那些与你真正关心的底层生物学无关的虚假特征。
当然,整合不同批次的核心思想是在去除批次效应的同时保留生物信号。在这些基础模型出现之前,单细胞领域的情况是,对于每一项任务,生物学家都必须选择所谓的专家级最优方法。而借助SCBD或GenFOMERs这类基础模型,我们希望带来的是一个能解决单细胞领域所有任务的统一模型。随着基础模型的普及,许多研究人员在CZI(Chan Zuckerberg Institute)的牵头下聚集在一起。我们在《细胞》杂志上发表了一篇前瞻性论文,首次提出了“虚拟细胞”这一术语,可以说是虚拟细胞2.0,其核心理念是采用数据驱动的方法。如果我们无法描述,那就去学习它。这就是虚拟细胞的想法:通俗来说,我们能否构建一个语言模型或语言类模型,来预测细胞类型的样子、细胞对不同干预措施的反应,并最终通过直接在计算机上运行模拟来替代所有细胞实验,而无需进行实际实验。
或许可以补充一点背景信息——虚拟细胞只是一个通用概念。但你可以想象,细胞中有2万个基因。在大多数人类细胞中,我认为大概有4000到5000个基因在任何给定时间通常是活跃的,或者以合理水平表达。所以当你观察一个正常细胞时,可能有4000到5000个基因在发挥作用。那么问题来了,在许多情况下,医学的作用方式是,你靶向一个蛋白质,或者靶向某种使蛋白质更常见或更少见的东西,或者阻止蛋白质发挥作用。你的目标是,给定细胞中一定数量的基因(每个细胞的基因组成都不同),会发生什么变化?某些通路会消失还是增强?通过理解改变一个特定基因或一组基因如何改变一切,你就能预测药物将如何发挥作用。这样理解对吗?
是的,这是对虚拟细胞的一个正确的高层次理解。这个领域目前的问题是,我们缺乏对虚拟细胞的具体定义。人们几乎把基础模型等同于虚拟细胞。但在我看来,虚拟细胞可能是一个比基础模型更广泛的概念。基础模型主要提供细胞可靠且语义上有意义的表征。但我认为虚拟细胞更具动态性:我们能否构建AI模型来预测不同时间点细胞状态的发展,甚至描述细胞的空间变化以及不同细胞分辨率下的情况?我的理解是,我们确实还处于开发这种全面虚拟细胞模型的早期阶段,而基础模型仅仅是一个起点。
AI模型总是从数据开始。你正在构建一个高通量实验系统,或者已经构建并持续开发这样一个系统。这听起来非常酷也非常复杂。你能告诉我们这具体涉及什么吗?比如,你在做什么?你运行的是什么实验?这些实验如何为AI模型的构建提供信息?以及为什么选择这样做,而不是直接使用Cellex基因数据库(一个汇集了公开数据集中的基因表达数据的集合)?
好问题。我想接着Bill的话说。我认为Bill说出了一个相当深刻的观点:从表征模型(生物学的基础模型)到虚拟细胞,关键区别在于扰动预测或生物学的动态过程。这是一个因果概念。为此,我认为我们需要因果数据。如果你看看“细胞×基因”数据集,那是一个极好的数据集,最初整理了超过3300万个细胞,现在远不止这个数。当ChatGPT在Beau实验室多伦多团队产出的这个数据集上训练时,那主要是一个观察性描述数据集。它是描述性数据,而非因果数据,并且主要描述健康人类捐赠者。因此,基于该数据集训练的模型非常擅长描述性任务,比如协调批次效应、消除不同实验室和不同技术带来的影响。但我认为,我们和该领域的许多其他人都发现,这些基于描述性数据训练的模型在因果任务、扰动任务(我们称之为反事实任务)上,表现并不优于线性模型。例如,“如果我对细胞这样做,会发生什么?”这对生物学家来说是直观的,因为描述性数据集中的相关性数据可以用许多可能的因果结构来拟合。举个非常简单的例子,假设你在描述性数据集中观察到基因A、B、C同时上升和下降。你可以推断A调控B和C,所以当A上升时,B和C也上升。你也可以说B调控A和C,这同样完全合理。你还可以说A调控B和C,而这一切完全由另一个因素调控。你看到问题所在了吧。有无数种方法可以将因果调控网络拟合到这一组数据中。从根本上说,我们认为观察性数据不足以真正学习因果关系。这就是为什么我们很早就意识到需要开始训练——构建因果数据集,以训练因果模型。那么,有哪些方法可以做到这一点呢?我认为该领域已经成熟到可以开展我们称之为高通量生物学的规模化技术。有许多方法可以大规模生成这些因果数据。我们重点研究的技术叫做Perturb-seq。对于不熟悉这项技术的听众,它结合了高通量混合CRISPR扰动技术与单细胞RNA测序技术,以构建二维数据集。我来详细解释一下。
请讲。
好的。我们刚才提到,一个细胞中至少有2万个待测量的分析物,也就是基因。这些既是待测量的特征,也是扰动细胞的杠杆。为了清晰起见,我们称它们为扰动和基因表达。扰动在一个轴上,描述细胞的特征在另一个轴上。Perturb-seq是一种利用实验室生物学最新突破——CRISPR-Cas9的技术。这些是源自细菌的酶,可以破坏哺乳动物细胞(例如人类细胞)中的基因表达。我们可以逐一进行。也就是说,我可以一次敲除一个基因。当然,如果我想在一次实验中完成所有2万个基因的敲除,那将极其难以规模化,可能需要一个巨大的工厂和大量机器人。或者,你可以采用混合方式进行。我喜欢混合实验,它们具有超强的可扩展性。因此,我们拥有Labtrix技术,它允许在每个细胞中破坏一个基因,但通过一次混合实验,在大量细胞中完成所有2万个基因的破坏,并且完美随机化,因此没有批次效应,也没有板间差异。这就解决了扰动通量的问题。
基本上是利用某种组合技巧,先以不同组合扰动所有不同的基因,然后读取结果并进行一些数学处理,从而在一次实验中提取出大量不同的实验。
没错。这需要用到条形码技术,而条形码实际上是通过直接读取每个细胞中存在哪种CRISPR引导RNA来实现的。对于CRISPR-Cas9这种源自细菌的机制,要在哺乳动物细胞中发挥作用,只需向每个细胞递送两种物质:执行切割任务的Cas9蛋白,以及由一段称为引导RNA的短RNA编码的地址条形码。引导RNA纯粹通过沃森-克里克碱基配对(ATCG)告诉蛋白在细胞中该去哪里。
所以它匹配基因的一部分。它的长度足够长,能确保匹配正确的基因,然后引导蛋白连接到正确位置,从而降低该特定基因在细胞中的表达。
没错。我们设计这个系统去靶向基因的启动子区域,也就是每个基因在转录开始前的那一段起始序列。如果我们把Cas9蛋白带到那里,并配备合适的效应器(即沉默子),启动子就会被关闭,该基因将不再被转录。实际上,我们就是调低了那个基因的表达水平。因此,你只需要弄清楚每个细胞中有哪种引导RNA,这可以通过基因组读取来实现。这就是条形码。然后你可以推断出每个细胞中哪个基因被沉默了。这就是在扰动方面扩展通量的方法。在读取方面,这是一个二维数据集,对吧?我们先只讨论其中一个维度。在读取方面,我们利用了单细胞RNA测序技术。这也是过去十年中发展起来并得到扩展的新技术,可以让我们同时读取每个细胞中所有两万个基因的表达水平。因此,有了高通量CRISPR扰动和高通量单细胞RNA测序技术,我们突然就能生成这些二维数据集,系统地扰动或敲除、敲低人类基因组中的每一个基因。在特定细胞类型中,我们读取这对同一细胞中其他所有基因的影响。这样我们就生成了丰富的二维数据集,这与训练AlphaFold模型所用的PDB数据类型差别不大。想想看,PDB有数十万个蛋白质条目。如果这些是行,那么列就是每个氨基酸的XYZ坐标。这也是一个二维数据集。我认为正是这类丰富的二维数据集,为生物学基础模型的训练提供了动力。
我觉得很有趣的是,你把一个相当直接的实验——利用NGS测序(下一代测序),高通量——通过扩展一个简单的扰动响应,从单个可能并不那么有趣的结果,做到了几乎任意数量细胞的巨大规模。我记得你做了2500万个细胞?
实际上远不止这个数。2500万是经过最严格质量过滤后得到的数据。弄清楚如何做CRISPR和单细胞RNA测序,本身既是科学挑战,也是工程挑战。在实验的第一部分,我们经常需要收集数千万甚至数亿个细胞。这些细胞要经过各种质量筛选环节,最终为Bo和团队提供最高质量的数据。这非常困难,因为你可以想象,所有这些技术之前都由学术界发表过,在小规模实验中效果很好。但当你考虑将它们扩展到全基因组扰动时,我们面对的是数亿个细胞。学术界发表的技术通常都是处理新鲜细胞,细胞还是活的。如果你的整个实验只需要一两个小时,那还行。但要处理跨越14小时的实验,细胞数量达数亿,这就很棘手了。一天下来,我常跟团队开玩笑说,你很容易就能从细胞和实验室的科学家身上检测到压力信号。很快我们就意识到,这不是生成数据的方式。机器学习对质量非常敏感,我们希望给AI团队提供最高质量的数据。因此,我们投入了大量工程思考,逐步将整个工作流程工业化,引入化学固定,在实验开始时锁定细胞状态,同时找到不影响后续所有生物学和分子生物学步骤的方法。这不会影响数据质量,这样我们就可以以时间错位的方式操作来生成所有数据,从而大大减少批次效应。
有一点你没提到,你用的是某种干细胞。显然,你没有脑细胞或血细胞,如果你用了那些细胞,就会产生巨大的组合效应。那么,你凭什么相信用干细胞——据我理解,它们实际上是血细胞,但被解锁了干细胞行为,这也会给细胞带来一些压力——这些有点不像血细胞、处于压力状态下的细胞,能很好地代表脑细胞或你研究的其他细胞呢?
嗯,不完全是这样。我们其实不是从干细胞开始的,那是后来的发展。
好的。
我们开始数据生成时,发布了之前提到的方法以及首批两个数据集,也就是去年六月预印本中全球最大的perturb-seq数据发布。我们将这个数据集命名为XLS-Orion。它实际上来自两个细胞系。这个领域的早期工作很多都是从细胞系开始的。这些是细胞,癌细胞系。其中一个是癌细胞系,另一个只是普通细胞系。这些都是永生化细胞。有些源自癌症,因此称为癌细胞系;有些则源自原代细胞但已被永生化,在许多实验室中培养了很多年。你可以想象,人们一开始选择细胞系是因为它们容易操作,易于规模化,容易培养出大量细胞。事实证明,能够培养数百万个细胞对于进行这些大规模实验至关重要。所以我们首先从细胞系入手,它们实际上仍然保留了来源细胞类型的特征,比如结直肠癌和造血细胞。但在最近的预印本中,我们实际上扩展到了更多细胞类型。现在其中一些仍然是细胞系,比如我们的T细胞。我们选择使用细胞系,但有些已经进入了原代细胞。所以我们用iPSC(诱导多能干细胞)做了一项实验。另一项实验——我们认为这是迄今为止最雄心勃勃、最酷的筛选——是一个泛分化多细胞类型干细胞项目。实际上,我们在一个实验中不受限制地将iPSC分化成10种不同的细胞类型,并对它们进行了全基因组范围的扰动。你可以想象,我们不是做10,000个不同的生物学实验,而是做了10,000乘以10种细胞类型。这几乎是一个文库对文库的实验。我们为什么这么做?我们认为在数据收集的初期阶段,正如Beau所说,虚拟细胞构建才刚刚起步,数据的背景和多样性及丰富性至关重要。这不仅仅是细胞总数或测序读数的总量,而是每美元能获得的比特数和信息含量。所以我们不仅要在遗传扰动图谱上扩展,还要在生物学背景上扩展,以便为我们的AI团队提供最丰富的数据集,用于构建通用模型。
有没有考虑过——你提到背景,但显然这些实验中的细胞已经脱离了它们的群体,对吧?有没有考虑使用空间转录组学或其他技术,比如基于成像的技术,来构建带有扰动的模型,但同时又保留细胞所在环境的背景?
好问题。我们正在从几个方面考虑这个问题。第一,这实际上正是我们最初想要构建虚拟细胞模型的原因。你可能会想,既然已经可以在这些细胞系中进行全面筛选,为什么还需要模型?直接做实验生成数据就行了。当然,如果你的问题只涉及细胞系中的细胞生物学,你说得对,我们不需要模型,至少对于遗传筛选来说,我们可以直接做实验。但你也说得对,好的靶点和生物学见解往往不来自细胞系,而是来自原代细胞,来自器官中甚至多器官协同的天然生理环境中的细胞,它们具有一些涌现特性。许多免疫疾病就是如此。你无法在动物系统或器官中进行全面高通量的实验,或者在所有复杂的转化模型中进行。你可以做一些实验,但这些实验成本高昂且风险巨大。能够构建一个模型,在可以规模化的大数据上进行训练,并以一种可以微调和迁移的方式,在这些复杂模型中做出高质量的因果预测,这样我们就能带着最高质量的假设进入实验室进行验证——我认为这就是构建虚拟细胞模型的全部意义。
但从AI的角度来看,我完全同意你的观点。我相信未来的虚拟细胞模型应该能够整合多种模态,而不仅仅是RNA表达。空间单细胞RNA测序已经是一项流行的技术。即使对于scGPT,我们也有一个扩展版本,叫做scGPT Spatial,专门为空间单细胞组学设计。我们也有一些论文尝试用H&E图像来预测基因表达,已经能找到一些信号。所以我预测,最终虚拟细胞模型将不仅能整合RNA测序,还能整合更多功能相关的数据,比如蛋白质组学或其他调控组学,如ATAC-seq,从而将所有描述性组学数据集结合起来,预测细胞功能的未来状态。我认为这可能是虚拟细胞模型的未来方向。
我们最近邀请了Noetic的Ron Alpha和Dan Bear作为嘉宾,想了解更多细节的观众可以去看那期节目,我们讨论得比较深入。作为背景知识,你能简单解释一下什么是空间转录组学和空间蛋白质组学吗?
或许先讲一点历史。在单细胞RNA测序出现之前,我们有RNA测序,再之前有微阵列技术。RNA测序和微阵列的做法是取一块组织,研磨成浆,想象一下把它打成匀浆,然后提取组织中不同细胞的所有RNA,测量它们的表达水平。这很棒,因为第一次可以同时测量所有20,000个基因的表达。以前我们只能一个一个地测量。但问题在于,我们不知道哪些RNA来自哪个细胞。这在处理多细胞组织时尤其成问题。你想把RNA归因于免疫细胞、皮肤细胞、成纤维细胞、角质形成细胞,但做不到,因为你把所有东西都磨碎了。单细胞技术让你能够逐个细胞进行分析。现在我可以把RNA基因表达归因于它们来源的细胞。但还有一个问题:我不知道这些信号在空间上来自哪里。对于许多疾病来说,这很重要,对吧?例如在免疫肿瘤学中,你想知道当T细胞靠近肿瘤细胞时,或者当T细胞无法穿透实体瘤时,它们之间有什么区别?或者当T细胞攻击肿瘤细胞时与不攻击时,有什么区别?为此,你需要空间信息。你需要原位观察细胞在其环境中的状态。现在有不同的技术可以解决这个问题。基本上,我取那块组织,不再需要研磨,而是做一个切片,放在载玻片上,用标准技术如H&E染色观察其形态。然后我还可以用多重免疫荧光检测测量许多蛋白质的表达。最终,我还可以利用最新的空间组学检测方法,在所有细胞的原生空间坐标上,观察全基因组范围内的基因表达。这样你就能得到每个细胞的XY坐标,以及我们之前讨论过的所有分子分析数据。这对基因组学领域来说是一个令人兴奋的新方向。
我个人觉得,空间组学给AI建模增加了更多难度,因为你不只是看单个细胞,还得看周围的微环境细胞,才能更好地学习具有空间一致性的表征。这正是当前空间基础模型面临的挑战。
但这种上下文对于理解癌症等疾病至关重要,比如免疫细胞、癌细胞以及非免疫或非癌细胞的相互作用。
对,这绝对关键。为了发现生物标志物,提取空间感知的生物标志物来预测临床反应,构建这样的模型会非常重要。
回到xCELL,它大概也能为空间模型提供信息吧?因为一个细胞在一个位置。你可以想象,我可以直接丢掉坐标,一次只对一个细胞做推断。然后我就能创建一个更复杂的模型,它既做这个,又知道它的邻居是谁之类的。
你说得完全对。不过我们当前发布的版本并没有处理空间组学。但我们的后续工作和下一版xCell肯定能推断出不同细胞的空间感知表征。
明白了。我们聊了一些数据收集的问题。现在来谈谈架构,给听节目的AI工程师们来点干货。
好的。我们来回顾一下虚拟细胞建模的历史,特别是虚拟细胞2.0。我认为我们的SCGV为大多数单细胞基础模型奠定了基础,因为我们采用了自回归训练,这和ChatGPT在语言上的训练方式非常相似,对吧?我们用的是下一个词、下一个token的预测。所以我们模仿ChatGPT在语言上的训练方式,在细胞上训练单细胞基础模型。这样做,你必须假设基因有一个内在顺序。我们假设基因顺序的方式是通过注意力机制。还有很多其他方法使用不同的基因顺序。有些简单到只按表达值对基因排序,也有更复杂的排序方法,但总的来说,你必须假设一个基因顺序。
澄清一下,你说基因时,它们本身是有顺序的,对吧?它们是由ATGC拼成的句子。所以基因本身有核苷酸,有一条长链,这很有道理。序列有顺序。但我们讨论的是另一回事,是表达数据,即表达水平。表达水平就是每个基因的计数,测量时看到了多少个这种基因。
所以ATCG的序列顺序对我们来说完全合理。但对于表达数据,它们就是矩阵。所以很难假设基因有内在顺序。即使我们打乱基因顺序,生物学意义也不会改变太多。然而,由于语言模型的训练方式,大家都有预设的技巧来训练这类模型,所以很容易采用。这就是所有单细胞基础模型的起点。然后我很快意识到,使用扩散语言模型,我们实际上不需要假设基因顺序。相反,我们可以有一个双向扩散过程来生成这种长序列、高维的基因表达数据集。想想看,自回归训练和扩散语言模型的区别在于,你可以把自回归训练看作打字。比如“我喜欢咖啡”,你必须先打“我”,再打“喜欢”,再打“咖啡”,有内在顺序。但扩散语言模型可以看作编辑。你从一个非常模糊、粗糙的句子开始,然后迭代地生成一个句子。基因表达也一样。你可以生成一个非常粗糙的基因表达表征,然后从噪声表征迭代到更精细的表征。你迭代地编辑基因表达预测,直到损失最小化。这是一种完全不同的哲学,用于生成扰动后的响应预测。结果证明它更适合单细胞RNA-seq。所以我们从类似seq2seq的模型切换到了当前使用扩散语言模型的xCell模型。
当我想到Transformer时,它们本质上是操作集合的对象。社区花了很多时间试图让它们具有某种因果顺序。但如果你只是朴素地使用Transformer,它就是一个集合操作,对吧?既然如此,为什么还要从扩散或自回归LLM的角度来思考呢?为什么不把初始预测策略设计成比如只取一组基因,每个基因有自己独热编码的身份,然后用它来做预测?这对我来说似乎更自然。而且这不只是你的工作,很多人都在做类似的事。我一直有点困惑为什么社区在这方面有这种偏见。
我觉得你指的是更偏向表征学习,你可以取一组基因,试图投影到低维潜空间。但我们关心的是为虚拟细胞构建生成式建模,因为我们想预测细胞的动态。所以我们想要生成模型。这就是为什么我们主要使用仅解码器架构来生成完整的转录组,而不是只预测预定义的一小组基因,因为你想建模整个基因-基因调控网络,这些网络维度非常高,对吧?
所以澄清一下,输入是基因加扰动,输出是新的基因表达水平。是基因表达水平加扰动作为输入,输出是细胞状态?哦,是针对每个细胞?
对,没错。
好的。那么我对扩散语言模型的理解——你可以纠正我,因为我不太了解——我觉得它们就像BERT,但反复做很多次。这个理解大致对吗?
嗯,这大致是扩散语言模型的工作原理。
对。所以你反复应用扩散过程,就像反复去掩码或编辑。类似于图像扩散模型反复细化图像。这里我用BERT,所以它本质上是个Transformer。
是Transformer架构。
但它就像反复更新句子,这里是一堆表达水平,一遍又一遍。
没错。实际上,在我们的论文中,我们展示了随着扩散步数增加,损失函数持续下降,预测与真实值的拟合度持续上升。这意味着模型开始理解如何迭代地优化预测。
明白了。我们讨论了扩散与自回归。我注意到论文里有很多关于使用各种方法进行预条件处理的讨论。你能谈谈这个吗?
我们在Excel中做出的另一项重大创新,是将先验知识融入模型的方式。在生物学领域,融入生物先验一直是个好主意,因为生物学家们已经花费数十年时间理解了许多生物学机制。我们如何告诉模型一些先验知识,一些关于细胞的元数据呢?在Excel之前,人们通常只尝试融入单一类型的先验。例如,GEAR使用基因调控网络作为先验来预测基因表达变化;SCGPT有时也尝试融入PPI作为先验。据我所知,XL是最早尝试融入极其多样化生物先验的模型之一。在我们的预印本中,我们融入了5种类型的先验,包括文献——简单到只需问ChatGPT"告诉我关于这个基因的一切",然后将输出嵌入为向量。
这就像GenePT。
没错,就是GenePT。我们还融入了PPI(蛋白质-蛋白质相互作用网络)、DepMap(与癌症相关的必需基因信息)、形态学信息,甚至尝试融入了SCGPT嵌入,这本质上就是细胞类型。因此,我们使用一组先验知识作为模型的条件。模型在特定上下文的预测中变得更加准确。更让我们感兴趣的是,通过观察不同先验的权重,我们实际上可以理解哪些先验知识对特定细胞类型更为重要。这为模型增加了更多可解释性。因此,我们发现将扩散语言模型与极其多样化的先验知识相结合,Excel在泛化到未见过的上下文方面表现更好。这就是我们为Excel所做的一些AI创新。
那么,模型现在是否必须提供所有这些上下文才能工作?还是说这些只是预条件,如果你愿意,模型也可以在没有它们的情况下运行?
我们不再需要融入这些先验知识,因为它们已经成为模型内部的可学习参数。不过,你提到的更像是虚拟细胞的提示式上下文学习。我们也可以做到这一点,基本上是通过在先验知识中添加更多条件,从而引导模型朝特定方向预测。
换句话说,你做到了——模型现在利用你在训练期间提供的先验进行学习,并不需要它们,但因为你在训练中提供了它们而获得了优势。但如果你能在推理期间也提供这些先验,你还能获得更多优势。
是的。
好的。哇,不错。
这有多大影响?我的意思是,每当我看到那些塞进大量东西的大型机器学习论文时,我总在想,哪些是主要贡献,哪些是次要贡献?这些是只带来一点点增量性能提升,还是说所有这些对泛化能力都至关重要?
所以我们需要考虑多个因素。数据贡献了多少,AI架构贡献了多少,即使在架构内部,从自回归训练切换到扩散语言模型带来了多少提升?先验知识又带来了多少增量?当然,所有这些都需要非常具体的评估研究。从经验来看,我们发现数据集的质量和数量最为重要。这就是为什么我们非常兴奋地发布了PySAGE数据集,它包含16种不同的细胞类型,覆盖2500万个细胞,并且是全基因组范围的。如果你从计算机的角度来想,这就像一个巨大的张量:全基因组扰动、全基因组转录组学,加上细胞数量,再乘以条件数量。这是一个庞大的张量。而且由于采用了混合筛选技术,我们没有批次效应,所以模型不需要克服批次效应这个障碍。这本身就是一个优势。因此,我们发现,在扰动数据集(尤其是高质量扰动数据集)上训练,已经能给模型带来很大的提升。我们还做了消融实验:如果我们在相同的数据集上训练所有现有的虚拟细胞模型,包括STATE、Cell2Sentence和原始STGPT,我们观察到的增量是多少。我们在论文中也报告了这些结果。我们发现,从自回归训练切换到扩散语言模型,在一些较难的任务上,特别是泛化到未见过的任务时,带来了显著的改进。而先验知识则更多是针对特定细胞类型的条件性影响,有些先验知识带来了巨大差异,但对于某些细胞类型,增量似乎很小。我们正在思考如何更好地融入先验知识。我们仍然相信,让模型了解大量已有的生物学知识应该是有帮助的。但也许是我们通过交叉注意力融入先验知识的方式限制了元数据的范围。我认为这当然是一个研究课题。但总体而言,如果非要排个顺序,我的顺序是:数据集的质量、数量和规模,然后是架构,最后是先验知识。当然,这仅适用于我们的XL。我相信不同的架构选择会有不同的贡献排序。
首先,这真的非常吸引人,是一个非常酷的模型。我希望大家都有机会看看这篇论文。显然,这背后投入了大量资源。我不知道你们能否透露具体是多少。无论花了多少钱,肯定是一大笔。运营一个湿实验室,再加上可能非常复杂的训练过程。我想你们有几个40亿参数的模型,对吗?
还是49亿?
对,45亿参数。模型大得多,可能用了很多GPU来训练。那么,相比于把资金投入到湿实验室工作和传统的、直到现在仍是常态的流程,你们从这项努力中获得了多大的提升?
生物学是一门多尺度学科。在最基础的层面有DNA序列,有细胞,有多细胞组织片段、共培养体系。你有组织、动物系统,最终是人类。我们希望能够在光谱右端进行因果预测,最终在人类身上实现因果预测,知道哪些药物对哪些患者有效。但这很难收集高通量数据。因此,虚拟细胞(Virtual Cell)的整个愿景就是在可能的地方生成数据,以便将因果预测能力向右端迁移,向更具转化性、更复杂的系统迁移。当然,你已经可以挖掘现有数据。我们生成了大量数据,正如Beau所说,7个筛选实验,16种不同的生物学背景,全基因组规模的扰动。其中已经蕴含了很多好想法。我们在预印本中放出了一张图,仅针对T细胞失活这一方向,就已经看到了一些已知的生物学机制,比如TCR复合体。我们也看到了一些推测性的新生物学机制,对此我们非常兴奋,并计划在实验室中验证。其中一些结果实际上也在去年12月Alex Marson实验室(同样位于湾区)发表的最新筛选中被提及。所以看到这一点非常令人兴奋。但我们的目标不仅仅是挖掘现有数据。我们希望模型能够泛化,未来能够进行计算机模拟实验。目前没人知道需要多少数据、什么类型的数据才能实现这一点。整个领域都在等待一个证明:模型在扰动预测上能够超越线性基线,并且能够跨情境泛化——不仅限于有训练数据的细胞系,而是超出该情境。这正是需要模型的原因。对我们来说,非常令人兴奋的是,在这篇预印本中,我们看到了这种泛化能力,有几个例证。我们首先在T细胞上做了实验。我们专门为此生成了数据。我们生成了静息T细胞的扰动筛选数据。这些是处于基线状态、未被激活的T细胞。然后我们还有激活的T细胞perturb-seq数据。
所以T细胞激活意味着我要去杀死什么东西。
不,这些是调节性T细胞,但没错,我们激活了它们的受体,让它们开始增殖。
好的。
它们变得更活跃,能够执行生理功能。关键的是,我们只在静息T细胞上训练模型。然后我们告诉模型:"嘿,这是激活T细胞的样子。现在去预测所有扰动在激活T细胞中会产生什么效果。"模型从未见过扰动在激活T细胞中的表现。我们设置了几项严格的测试。第一,线性基线。将静息状态下扰动的delta值线性地映射到激活T细胞上,这就是我们的线性基线。本质上,可以将其视为一个组合扰动预测问题。其中一个扰动是细胞激活,另一个是所有基因组扰动。我能否简单地将两个效应线性相加?这就是线性基线。第二,我们应用了领域内的其他模型,最后应用了xCell。关键的是,xCell从未见过激活的T细胞。
T细胞。
它不仅能够准确预测已知的生物学机制,比如TCR复合体,准确预测其效应——这些扰动会使T细胞失活,这正是我们预期看到的——而且它还正确预测了我们在筛选中发现的推测性T细胞失活因子。这对我们来说非常令人兴奋,这表明有可能完全在未见过的情境下使用这些虚拟细胞模型,并预测新的生物学机制。因此,我们非常兴奋地跟进这些发现,并在实验室中验证它们。简单提一下,还有几个案例展示了该模型令人兴奋的泛化能力。还记得我们做的多细胞类型分化iPSC实验吗?在那里我们特意从训练集中保留了一种细胞类型。模型从未见过那种细胞类型。我们在其他细胞类型以及其余数据集上训练。模型在那种未见过的细胞类型中,对数千个基因、数千种扰动做出了非常好的预测。这再次表明模型具有跨细胞类型泛化的能力。最后一个让我们非常兴奋的实验是,我们在T细胞系上训练模型,但最近Alex Marson实验室刚刚发表了一篇原代T细胞perturb-seq的文章。那是一项令人印象深刻的工作。在原代细胞中进行这种规模的筛选并不容易。很少有实验室具备这种能力。在T细胞系中做就容易得多。同样,模型能够从细胞系泛化到原代细胞,并做出准确预测。
所以他们实际上扰动的是原代细胞,而不是细胞系。
是从供体采集的原代T细胞,而且来自多个供体。xCell仅在一个T细胞系上训练,就能对来自多个供体的原代T细胞实验做出预测。
这是对整个理论的验证,对吧?你可以在这些稍微有点奇怪的细胞上训练,然后模型会表现良好,因为你覆盖了足够好的领域,或者无论是什么原因,你能够实际预测来自真实人体的真实细胞。
没错。
是的。我认为构建虚拟细胞并不是要取代生物学实验,正如你所说。我们真正追求的目标——虚拟细胞的圣杯——是拥有一个能够泛化到更难甚至不可能进行生物学实验的未见情境的模型。到目前为止,xCell专注于细胞系,最终希望扩展到更复杂的生物系统,比如动物、类器官,最终如我们之前所说,扩展到患者、人类生物学。请记住几个数字:90%的疾病没有治愈方法,大多数药物在针对患者的III期临床试验中失败。III期试验的成功率低至5%到10%。III期意味着患者试验的最后阶段。
所以那是从II期的毒性泛化到III期的疗效,从小规模队列泛化到更大规模队列。抱歉,毒性是一方面,II期是小规模队列,而III期是大规模队列。所以泛化问题就是,我精心挑选了患者,效果很好。然后我得到更多患者,突然效果就不那么好了。这就是你们面临的重大问题。
是的。
所以虚拟细胞的承诺在于,我们能否构建这样一个模型,学习所有生物学的因果关系,从而能够基于此预测患者最终的反应,这样对于某些药物,我们可以选择正确的患者进行临床试验。这是一个长期愿景,但我们已经看到了一些早期希望:xCell在多样化的因果数据集上训练,已经能够泛化到一些未见过的细胞类型。当然,还需要大量实验来验证这个模型,甚至持续微调它。但我认为我们仍然看到了一些早期希望。
你刚才提到了线性模型,这引出了那个著名(或者说臭名昭著)的ARC扰动挑战。一直有个现象:复杂的基础模型往往无法击败线性基线。我想听听你的看法,首先,这次情况是否有所不同?我觉得你们自己的一些模型过去可能也难以超越线性基线。你们当前的数据策略或未来方向有什么不同?基础模型、虚拟细胞模型与这些简单基线之间,各自扮演什么角色?
是的,有几点要说。首先,正如你提到的,那些基准测试是在ReproLogo数据集上进行的,这些数据集非常小。人们报告的指标大多是MAE。可以想象,由于单细胞数据集极其稀疏,所有细胞的平均表达谱本身就是一个很好的局部最优解,能最小化MAE。这就是为什么有时细胞平均表达谱的MAE甚至低于技术重复(在扰动实验中被视为金标准)。这本身就说明这个指标不可靠。然而,大多数基准测试仍然是在比较基于静态表达数据集(如Cell-by-Gene)训练的基础模型。SGBD经常被拿来作为对比对象。我们内部也发现,在MAE指标上,由于我刚才说的原因,SVB有时确实无法超越线性模型。而Accel与SVB或GeneFormers这类静态表达模型的不同之处在于,我们实际上不是在基因表达数据集上训练,而是在因果数据集上训练。我们训练了大量全基因组扰动数据集,从而更好地学习干预的动态变化。在我们的预印本中,我们也与线性模型进行了广泛比较。正如Chu提到的,线性模型完全无法推广到未见过的细胞类型。原因不难想象。我相信,在正确数据上训练的基础模型或其他更复杂的AI模型,将在更困难的任务中,特别是泛化任务上,超越这些线性模型。这就是为什么我一直强调,正确的数据集加上正确的AI模型会带来巨大提升。但我认为,该领域仍需要更多生物学验证,才能更有说服力地证明虚拟细胞方向是正确的。
是的,我认为这个领域缺乏一致且被广泛接受的基准。能被衡量的东西才能被改进。在我们的论文中,我们衡量了——我认为我们花了很多心思、并且模型真正表现出色的一个指标,是围绕基因表达变化的指标。比如Pearson delta,即预测变化与扰动后真实变化之间的相似度。这个指标很难作弊。你必须真正把变化预测准。真正让我震惊的是,当我看到模型做出预测,直接打印出基因表达变化的热图,把原始数据、线性基线预测、真实结果和XL预测排在一起时,肉眼就能看出XL预测与真实结果的相似度远高于线性基线。
这就是我一开始提到的"哇"时刻。
没错。原因也不难理解。当我们——这是第一次有人能把不止一个,而是七个全基因组扰动实验整合在一起。我们这些生物学家立刻注意到的一点是,有些扰动是上下文通用的,也就是说,无论你在哪种细胞类型中进行实验,这些基因的作用都一样。你可能不会感到惊讶,这些就是你的管家基因,对吧?当然,它们在每个细胞里都做同样的事。然后还有一大类基因具有非常上下文特异的功能。它们在不同细胞中做不同的事。同样,原因不难想象。在iPSC、干细胞中,我们看到了发育相关基因,对神经元分化很重要的基因。它们只在iPSC中活跃。PSD实验当然也是如此。这很合理。所以想想生物学,它太复杂了。你必须捕捉这些上下文通用的扰动效应,还必须以某种方式学习上下文依赖的扰动效应。因此,不难理解为什么一个非常复杂的非线性模型能够更好地捕捉和学习所有这些生物学机制。
你们的扰动总是单基因扰动吗?还是会有更多组合?因为我对调控网络的理解是,有时单个基因能做很多事。例如,我认为雄性分化仅仅是因为胚胎发育第7天左右某个基因被激活,然后就决定了所有差异。就是这一个基因。但有时你会有大型基因网络,其中很多基因功能冗余,允许更精细的反馈机制等等。所以我可以想象很多单基因扰动可能没什么意义,你可能需要开始采用更组合的策略。
是的,这是个好问题。Bo和我对此思考了很多。实际上,你提到生殖生物学很有意思。我研究了很多雌性细胞中的剂量补偿机制。在那里,雌性细胞有两条X染色体,雄性细胞有一条X染色体。为了匹配X染色体的剂量输出,哺乳动物细胞采用的策略是一个基因产生一种不编码任何蛋白质的RNA,只是一种非编码RNA。这种RNA包裹住雌性的一条X染色体,并下调该染色体上大多数基因的表达,把它推到细胞核的一个角落,这被称为巴氏小体。它从此不再活跃。所以我完全同意你的观点。一个基因可以做很多事。但在生物学中,也有冗余和补偿机制。有各种机制使得敲除一个基因并不总能观察到表型。如果四个基因冗余执行相同功能呢?敲除一个是不够的。所以我们从一次一个细胞类型、功能缺失、单基因扰动、只观察RNA表达作为输出开始,现在正在沿着所有这些维度扩展平台。这就是我们今天所做的,为训练像XL这样的模型构建数据骨架。我们现在开始在平台的三个维度上增长:超越单纯的转录组学,观察多模态数据;超越单基因扰动,观察通路激活和失活,开启或关闭整个基因链反应级联;同时超越细胞系、单一培养,进入更复杂的、与转化研究相关的系统,如原代细胞、类器官,甚至进行直接体内扰动筛选。我们相信,随着所有这些扩展,用于训练模型的数据将更加令人兴奋。
这也是我们将PPI网络作为先验知识融入模型的原因。虽然目前模型是在单基因扰动数据上训练的,但一旦模型训练完成,你实际上可以在纯计算机模拟中预测组合扰动,对吧?也就是说,你可以同时扰动两个基因的token,看看响应是什么。当然,没有经过实际组合扰动数据集的训练,准确性可能不够。但至少有了这样的模型,我们可以开始利用计算机模拟扰动来生成假设。
你如何看待科学家在人工智能时代角色的变化?也许因为你的研究重点不是语言模型本身,而是智能体科学(agentic science)这类方向,所以你的看法可能略有不同。你在构建这些非常具体的模型。但即便如此,第一,你和你的学生是如何保持如此高的工作节奏的?我猜这可能部分与生成式AI有关。另外,你如何看待科学家、学者角色的变化?
这是个好问题。我官方的时间分配是80%在Zara,20%在大学任职,但实际情况是Zara占100%,大学也占100%。
你发明了时间机器。这就是答案。
所以我保持跟进的方式是,我的实验室大量使用智能体AI来每天监控所有AI论文。每周我们开组会,讨论AI在生物学、医疗等不同领域的应用。老实说,即使身为教授,我也觉得跟上节奏极其困难。AI的发展速度实在太快了,快到有时我早上醒来会感到焦虑,心想天哪,这么多人发表了论文,我们那些尚未发表的工作怎么办?可想而知,学生面临的焦虑可能是十倍。所以我有时会鼓励学生利用各种工具,保持专注,找到我们成为专家的细分领域。但随着生成式AI和现在的智能体AI时代的到来,我发现人们——至少是学术界——做科研的方式已经截然不同。总体而言,大多数教授或学生在资金和发表速度方面都开始非常挣扎。这就是为什么你会看到很多重大突破来自工业界,比如AlphaFold。因此,学术界如何在智能体AI时代生存甚至繁荣,是每个人都在思考的问题。我们看到很多教职人员离开大学加入工业界,原因很简单,就是资源问题。如果你在做AI研究,你的学校有足够的GPU吗?这是你首先要问的问题。当学生加入教授实验室时,他们常问的第一个问题就是:你们有多少GPU?所以从这个意义上说,工业界比学术实验室有显著优势。但我认为学术实验室的优势在于创新的速度,以及特定学术实验室在细分领域可以极其专业。此外,拥有思维的自由有时也让你更容易产生工业界可能从未想到的创新想法。总体而言,我认为整个领域需要更多创新才能跟上步伐。希望借助各种工具,也希望政府能加大对学术界的投入,因为我仍然坚信学术界是整个领域创新的主要来源,尤其是在生物技术方面。所以我们希望看到更多对学术界的投资,让我们能维持下去。
我同意你的看法,但为什么?为什么资金不应该流向工业界?政府为什么要把钱投入学术界?
我仍然相信学术自由的力量。这实际上是学术教授存在的初衷——我们不仅教学,也做研究。同时教学和研究也有好处,因为当你教授一门学科时,你必须成为该领域的专家,这迫使你不断更新知识库,并找到简单的方式向学生传达知识。而在这个过程中,你开始对不同的想法进行创新。比如我自己,我在多伦多大学教一门关于深度学习和神经网络的大课,每年有600名学生。通过教学,我被迫每年更新幻灯片和讲义。我自己阅读大量材料,努力更新自己,以便找到向学生传达知识的方法。这就是我如何抓住机会不断更新自己。我清楚地记得,GPT-2出现时,我们更新了讲义;然后是各种语言模型,以及多线程GPU通信如何用于训练更大规模的神经网络等等。我强迫自己更新模型。通过与不同学生交流,我们确实产生了许多新颖的想法,将最前沿的AI模型应用于生物学或医疗领域的非常具体的细分方向。也许这是加拿大学术体系独有的。作为学术教授,我们还能接触到大量医疗数据集,而工业界由于法律或监管原因很难获取。这就是为什么你会看到我们通过加拿大学术医院发表的一些论文,开发了用于超声图像的最先进基础模型。这就是我的意思——一定程度的学术思维自由确实驱动了大量创新。我仍然相信,也许有偏见,但保持一定程度的学术思维自由会带来许多工业界无法想象的创新。
我百分之百同意Bo的观点。想想我们实验室的工作流程,很多都是建立在学术界率先开创的创新之上。CRISPR当然是在学术界发现的;CRISPR应用于哺乳动物高通量筛选,也是首先在学术界展示的;单细胞RNA-seq,这种液滴包裹的单细胞RNA-seq首先在学术界展示,然后不同公司试图将其商业化。将这些技术整合起来做perturb-seq,最初也是在学术界开创的,比如Chris Bock实验室、Jonathan Weissman实验室、Avi Regev实验室等许多学术先驱。我认为这些,尤其是在实验方面,创新需要很长时间,发现过程可能非常偶然,所以纯工业界可能不太适合承担。但一旦它们显示出早期前景,将其规模化、稳健化,并生成不仅海量而且高质量的数据,尤其是为AI规模服务,我认为工业界可以做得很好——无论是思维方式还是我们能够支持的资源,有时学术实验室很难匹配。
Zara在发布数据集和模型方面一直非常慷慨。你似乎非常致力于开放科学。考虑到你刚才谈到的一些内容,以及关于虚拟细胞或理解人类生物学的最佳、最重要的数据策略的讨论,你认为学术界下一步应该走向哪里?既然Zara的预算可能相当于几十甚至上百个生物实验室,如果你是一位学者、教授,尤其是湿实验室的教授,你会想专注于什么?
首先,我的实验室是开放科学的坚定信仰者。这就是为什么我们这里讨论的所有模型都是开源的,你可以从我实验室的GitHub上找到所有数据和权重。
非常详尽。
是的。
谢谢。
我相信开放科学的原因在于,正如你提到的,学术实验室大多是从一个想法开始,然后做出原型。这往往不具备可扩展性,甚至算不上好产品。而工业界能够将其规模化。这也是为什么 SCGPT 能迅速成为制药公司中使用最广泛的单细胞基础模型之一。这让我们备受鼓舞。这也是 Zara 开始开源部分数据集和模型的原因之一。部分原因在于,我们认为虚拟细胞领域还处于非常早期的阶段,扣留某些数据集或模型并无益处。更好的双赢局面是,让所有人都能进入这个领域,共同贡献数据、共同贡献模型、交流想法,这样整个领域才能以更快的速度前进。我们在蛋白质领域看到了成功的例子,因为 PDB 中有开源数据集可用,所以我们有了 AlphaFold、RosettaFold 等模型。同样,AlphaFold 2 也是开源的,因此我们可以快速迭代不同的模型。这就是为什么你会看到蛋白质领域呈现蓬勃发展的态势。我们希望在虚拟细胞领域也做同样的事:把所有数据集整合在一起,采用相同的标准流程来生成高质量数据集,汇集所有资源来开发下一代虚拟细胞模型。至于学术实验室,Stanley Chu 可以谈谈湿实验室的学者如何生存。但从 Jai Lab 的角度来看,我鼓励大学里所有 Jai Lab 的 AI 研究者开始与工业界合作,这样他们就能获得更多资源来发展自己的想法。而且,在 agent AI 时代,现在每个人都能写代码。因此,对你的项目有正确的品味变得更加重要,这样你就不会毫无目的地消耗 token。
对吧?
所以我们希望更多的学术学生和教授能拥有更高的研究品味,这样我们才能让每一个 AI 都得到正确的利用。
作为教授,你的工作显然就是要有品味。但作为学生,在一个科学思考过程很大程度上可以外包给大语言模型的世界里,你如何培养品味?你不再需要埋头苦干、通过艰难的方式去学习品味了。
这就是为什么我们需要学术训练:你进入一个完全陌生的领域,希望毕业后能成为这个特定领域的专家。这就是为什么你必须经历不同的项目,与同行交流,与教授讨论,从而初步了解什么是好的研究品味。但更重要的是,我经常教学生,学习某件事最好的方法就是直接去编程。通过编程,你才能了解论文中所有数学方程背后隐藏的细节,而这些细节往往被省略了。但在 agentic AI 时代,情况似乎有些不同:过去我们花大量时间编码,少量时间调试;而现在我们让 agent 完成大部分编码,而我们则花大部分时间调试。这对我来说确实很有趣。我们和实验室的学生进行了很多讨论:找出 AI 生成的 bug 的最佳方法是什么?如何发现 AI 特别擅长的领域?又如何发现 AI 仍然受限的地方?这同样需要大量的试错。最终,你仍然需要用真实世界的数据来验证你的模型。所以,与湿实验室和临床团队合作,验证你的模型,为你的品味提供反馈信号——正如我们讨论过的——对我来说是一个非常重要的训练环节。
在湿实验室方面,学术界扮演着极其重要的角色。我认为我们将进入一个共生创新和思想交叉融合的时代。就像在 AI 领域,我认为学术界仍然不断涌现出伟大的想法。现在,工业界也在架构等方面越来越多地贡献新想法。在湿实验室方面,工业界似乎确实能够很好地规模化这类数据生成。但生物学远不止基于细胞的 perturb-seq。除了 RNA-seq,我们还希望测量许多其他分析物,比如蛋白质、代谢物、脂质、蛋白质-蛋白质相互作用。我们如何大规模地做到这一点?除了单个细胞,我们还希望能够测量细胞-细胞相互作用、空间信息、细胞在其天然环境中的状态,甚至整个动物水平的体内扰动。同样,我们如何大规模地实现这些?学术界有很多伟大的创新,实际上上周就有一篇很好的论文。那么,我们如何将所有这些连接起来?我认为,要完全破解所有生物学的数据生成,我们还有多年的工作要做。这需要工业界的规模、工业化和创新,也需要学术界的贡献。我相信,我们将共同把这个领域推向新的高度。
我们一直想问大家一个问题:在你的领域——你可以说是 AI 和高通量实验,或者随便你怎么定义——如果你能挥动魔法棒,消除一个瓶颈或解决一个关键问题,那会是什么?
蛋白质。
好的。
如果有一种方法能够像我们做基因组学那样大规模地进行蛋白质测序或高通量蛋白质测量,那将非常棒。我本身是基因组学背景,但如果能做到这一点,我会毫不犹豫地采用这项技术。RNA 很棒,它能预示哪些蛋白质将被合成。但蛋白质在很大程度上是细胞中的功能单元。不仅它们的丰度重要,它们的翻译后修饰、在细胞中的定位也很重要。如果你能大规模地测量所有这些——它们的构象状态、修饰、丰度、定位,甚至达到单细胞或空间分辨率——我认为这样的数据集对于训练下一代基础模型将极其有用。我知道这方面有很多创新。我迫不及待地想看到它成熟起来。
我的希望是,看到测序技术取得突破,不仅仅是降低成本,而是能够对同一组细胞在不同时间点进行测序。我认为目前这方面非常欠缺,因为要测序细胞,你必须杀死它,对吧?所以,能否有一种技术,能够测量同一组细胞在不同时间点的状态?我认为这将为数据集带来一个非常不同的维度,让我们能够开始测量细胞的时间动态。到目前为止,我们测量和建模的一切都极其静态。因此,如果有一种技术能够测量同一组细胞在不同时间点的不同响应,这将为模拟细胞动态释放巨大的机会。对我来说,这才是真正的虚拟细胞。
这真是个有趣的想法。我从来没想过这一点。哇。你愿意接受哪怕是部分基因的小片段,或者少量转录本的 3' 区域吗?
是的,我们可以从一小套基因 panel 开始。但最终——既然我们说的是魔法棒——如果最终能有一个系统,可以观察细胞在不同时间点如何演化,并且我们有足够的数据来实际模拟这种发育过程,我认为那将是一个真正的虚拟细胞模型。
早期有一些尝试,比如从细胞中吸出一部分物质,几乎像是给细胞做活检,然后对细胞质的一部分进行测量。这可能与你提到的思路类似。还有来自Popolini实验室的工作,他们让细胞分泌小囊泡,然后在细胞培养基中收集这些囊泡,以纵向测量细胞产生的物质。但一直缺乏一种技术,能在不破坏细胞的情况下测量整个细胞的转录组。鱼与熊掌不可兼得。有意思。
是的。感谢你抽出时间与我们交流。这非常棒,我学到了很多。我们进行了许多非常有趣的讨论。我尤其欣赏你对开放科学的承诺,以及你们发布的所有优秀模型和数据。你还有什么最后的想法,或者有什么想让听众了解或跟进的吗?
总的来说,我认为虚拟细胞是一个全新且发展迅速的领域。我们希望有越来越多的人加入我们。我们的Excel论文已经发表,期待收到大家的评论和反馈。另外,我们也在招聘。
是的,我们一直在寻找有才华的工程师、技术专家、生物学家、药物研发人员、AI科学家和计算生物学家。请访问Zara.com,查看开放的职位。我们很乐意与您交流。
谢谢。
非常感谢。
好的,谢谢。