模拟:新的扩展法则——Joon Sung Park,Simile AI
Simulation: the new Scaling Law — Joon Sung Park, Simile AI
在播客访谈中,Simile联合创始人兼CEO Joon Sung Park介绍了其行为基础模型(Behavior Foundation Model)技术。该技术通过收集访谈、观察性行为及随机对照试验数据,创建个体数字孪生,以85%准确率复现人类行为与态度。公司已服务Wealthfront、CVS等客户,并获盖洛普战略合作,团队约60人,总部位于旧金山。
今天我们请到了Jun来做客播客。很高兴能开启这一期节目,这是一家非常令人兴奋的公司。我想先从一个问题开始,请你聊聊你的人生故事。你是如何走到今天的?
好的,当然。真的很高兴能来到这里。我的人生故事嘛——我出生在韩国,在那里生活了大约11年。然后在我11岁时,我们全家搬到了波士顿,因为我父母都是医生,他们当时在做博士后研究。我父亲是外科医生,他在波士顿儿童医院做学术休假。所以我在那里长大,其实离科技圈挺远的。我更像是个搞音乐、艺术、绘画的那种人。我其实到高中后期才开始认真画画,但那是我以前的日常。韩国之后我大部分时间在美国东海岸生活。我在新罕布什尔州住了好几年,然后去宾夕法尼亚上了大学,在大学里我才更多地接触到科技领域。我原本受的训练是当艺术家,我当时真觉得那会是我的职业道路——那不是爱好,而是"嘿,咱们靠这个谋生"的那种想法。后来我逐渐对这样一个想法产生了浓厚兴趣:最伟大的艺术家往往创造自己的媒介。而今天我们能拥有的最佳媒介,其实就是计算。所以我决定深入这个方向。然后事情一环扣一环,显然我们可以深入聊,但我逐渐对研究产生了兴趣。然后我就走到了今天。
显然你在研究方面积累了很多成果。你有2023年最好的论文之一,就是那篇生成式智能体论文,通常被称为Smallville论文。
是的。
你可以随时回扣你提到的其他内容,但大多数人显然是从这篇论文认识你的。你有统计过有多少人读过它吗?arXiv应该会给你一些数据吧?
有一些数据。嗯,这是个好问题。到底有多少人读过,我其实不太确定。我知道的是,我们确实在跟踪引用次数,我知道涨得很快,但读者数量——哦,Google Scholar。
对,我们有Google Scholar的数据。
Google Scholar显示72,000次引用。
它引起了很大的反响,确实是一篇非常有影响力的论文。它是那种被引用次数非常多的论文。
确实,当人们被问到今年最好的论文是什么,或者你最近读过的最好的论文是什么,经常就是这一篇。
我觉得记忆组件部分被低估了,你知道,那是一个非常出色的早期记忆系统。但确实,这是最重要的论文之一。
是的。
对。那我或许可以聊聊这篇论文具体是怎么成形的。我进入研究领域是在2020年,当时我刚开始在斯坦福读博士。那一年GPT-3即将面世。我们当时已经有了GPT-2,你能感觉到市场上即将出现一类全新的模型。团队对此非常感兴趣,普遍的共识是:这个模型真的能派上用场吗?很奇怪的是,这些模型并没有被训练去做任何特定任务,但我们决定赌一把。于是斯坦福一大批学者聚在一起,这个项目实际上是由我后来的联合创始人之一Percy Liang领导的。
就是提出"基础模型"这个词的人。
对,就是提出"基础模型"这个术语的人。我们写了那篇论文,这个术语就出自那里,叫《基础模型的机会与风险》。在这个过程中,我开始深入思考的是:这是一个在我们生态系统中根本性全新的模型。它之所以新,是因为它同样没有被训练去做任何特定的事情。但它的前提是它可以做任何事、所有事。如果用生物学类比的话,它就像干细胞。我对这个想法非常感兴趣:如果我们认真思考这项技术会催生什么样的杀手级应用,那会是什么?我的很多同事用它做简单的分类、简单的生成。这些模型能做到这些确实有意思,但从交互的角度来看,并不那么有趣。这些事我们几十年前就知道怎么做了。我们最终得出的结论是:这些模型是在互联网上非常广泛的数据上训练的,对吧?这些是人类行为数据,是社交媒体、维基百科,诸如此类的数据。所以如果你从正确的角度去戳它,就能看到非常真实的人类行为浮现出来。这是我们以前从未见过的。这让我们非常兴奋。我们决定做的这个练习——这是我们这群同事,包括我自己、Michael Bernstein、Percy Liang,他后来成了我在Simile的联合创始人——我们坐下来玩了一个游戏,我们称之为"时间机器游戏"。想象我们坐上时间机器,快进10年再回头看。哪一个应用会是真正重要的、最有趣、最鼓舞人心的?当我们思考时,就想:如果我们能重建我们所生活的这个世界呢?我是说,很难有比这更宏大的野心了。就像,让我们创造一个世界。那就是我们的起点。最初我们有一篇论文,是生成式智能体论文的前身,叫《社会模拟》。
在你继续之前,在时间机器练习中,还有其他"最有野心"的候选方案吗?
练习?
对。
我刚才想说的是——对,还有什么可能的?
接下来是什么——
如果你还记得的话,第二名和第三名是什么?
有一个非常接近的第二名,我们当时在考虑,它最终演变成了更多那些自动化工具,但尤其是围绕真正个性化智能体的愿景。就是那种真正替你做事的东西。然后——
那个也在发生。
这种情况也在发生。但对我们来说有趣的是,我们之所以决定采用模拟这一思路,原因之一是,我本人是个超级科幻迷。创造模拟的这个想法,我个人真的非常着迷。我喜欢这个想法。看到这样一个游戏小镇,看到这些智能体在其中生活,真的很酷。但与此同时,我的判断是,如果你想用这项技术打造一个真正出色的个人助理,你首先需要的其实是一个出色的用户模型。比如,我告诉模型:“嘿,你能帮我买份夜宵吗?”结果它订了夏威夷披萨,而我不喜欢披萨上有菠萝,那它就彻底失败了。要避免这种错误,唯一的方法就是让它深入了解我是谁。我举的例子很简单甚至有点蠢,但你可以想象,这种对人的核心理解有多关键。比如,我们的家人和最亲密的朋友,他们对我们有一个很好的元模型。这是我们社会联系的基础。所以我们的判断也是,围绕模拟的技术——即创建对人的准确表征——应该先于那些更复杂的、能自动化我们生活世界的智能体。这就是我们的判断。所以——但那个想法紧随其后,我仍然对它非常着迷。我觉得有很多有趣的工作正在进行。不过,我在这里的直率观点是,我认为我们还没有真正看到一个真正有用的个人助理,能达到那条研究路线所设定的雄心。我认为有一些早期的应用显然很有趣。如果你现在和ChatGPT甚至Claude对话,它们显然对我们了解很多。所以它们做的很多生成,我确实认为更加定制化了,但我认为这个领域的雄心很大,而且我觉得我们还没有完全具备所有合适的要素。
那么像Open Claude这类个人智能体,你希望看到它们具备哪些目前还没有的东西?
我确实觉得它在慢慢接近,但我总体上希望它们对人的理解能更深。现在你看这些模型,我是说Open Claude,它基本上利用的是Markdown文件,我觉得这挺聪明的,对吧?如果你看生成式智能体那篇论文,这其实和我们当初的直觉是一样的。当时我们在为生成式智能体创建记忆架构,那是2022年的事了,我们甚至还没有智能体架构或“智能体”这个词的概念,但我们和今天一些工作的共同直觉是,我们最初想,要不要把记忆做成知识图谱?要不要训练一个定制模型?诸如此类。而我们最终决定的是,不,不,不,忘掉这些吧。这些语言模型其实非常擅长建模文本、理解和推理文本。所以把所有东西放进一个Markdown文件或文本文件就行了。我觉得我们能这么做挺有意思的。这样做有很多优势,但也有局限。处理和解读极大规模数据的方式需要大量工作。所以我认为这项技术在不断进步。不过,我也确实认为,有些事情仅靠提示模型是无法塑造的。所以某种程度上,你确实需要触及模型本身的参数。这类工作我认为确实需要推进,而且显然也在推进。问题是,我们能把它推进多远?我们如何获取数据,又如何创建一个生态系统,让人们持续向这个模型输入数据,让它不断学习关于你的信息?
为什么需要在模型内部做这件事,背后的直觉是什么?
我关于何时训练甚至后训练模型、何时只是提示模型的直觉是,如果模型必须学习它运作所在世界的底层物理规律,那它就得学习新的社会物理。不需要训练的地方是它已经掌握了物理规律。我们信任这些物理规律。它已经有了基础统计,只是在对环境做出反应。那我觉得你可以纯粹通过提示来获得它的行动。我不认为模型——至少是公开可用的那些模型——已经学会了人类社会的完整社会物理映射。这其实是Simile的核心论点之一,对吧?之所以如此,一个核心原因是,如果你看模型训练所用的数据,这些模型是在网络数据上训练的,比如网上能获取到的一切。这些数据集确实很有趣,但它们本质上是自我暴露的态度数据,夹杂着一些零散的行为数据。它还没有学到人们真正深层的行为本质,不只是人们在网上说自己做了什么,而是他们在现实生活中实际做了什么。这其实是我认为我们尚未捕捉到的人类“暗知识”之一。这类数据也需要被纳入模型创建的过程中。
你称之为“行为基础模型”。
是的。
这里有个很好的概括,但除此之外,你需要什么类型的数据?你在模型层面改变了什么?你实际上是怎么建模的,也就是,怎么做行为基础模型?
我们把数据分成三类。一类是访谈数据,比如。这挺有意思的。定性数据,丰富的定性数据很有趣。它不是行为数据,但我们会直接问人们:“嘿,给我讲讲你的人生故事。”是的,我们就是这么做的。
正是如此。
你们在采访开头问的那个问题,其实也正是我们自己会问的问题。显然,我们会请参与者比我所做的更深入一些。也许我可以借此多讲一些我的人生经历。但这些数据之所以有趣,是因为通过了解人们这些非常长尾的信息,你能为这个模型——也就是这个人作为模型——增添很多质感。即便是了解他们的童年记忆,甚至他们的创伤、初恋,这类事情,其信息量之大,远超预期。这是其一。然后,我认为行为数据可以分为两类。一类行为数据实际上是观察性的。这些可能是交易数据,或者通过网络抓取获得的数据,对吧?你可以想象为什么这些数据会——这些数据集会很有趣,对吧?因为它们提供了人们行为的基础统计。但还有最后一类数据,我个人认为或许是最重要的,那就是描述因果机制的数据,即人们行为背后的“为什么”。其中一部分由访谈数据(定性数据)覆盖,因为人们会谈论他们为何做出某些决定。但真正能最充分展现行为层面的,其实是随机对照试验(RCT)。想象一下,你拥有基本相同的设置,但有少数几个变量试图调整。你能从中获得真实的人类行为吗?比如,想象你必须做出——想象你有这个特定选项。甚至想象你在决定是否喝咖啡。喝咖啡的那天与不喝咖啡的那天,你的行为会改变吗?这就是描述因果机制的数据集。这实际上相当重要,在真正建模人类时。其重要性在于,通常人们来找我们,或者不仅仅是找我们,人们之所以对模拟感兴趣,其实并不是因为他们想预测未来。如果你想在股市中获胜,预测未来是有趣的。但大多数人,大多数决策者,他们想知道的是我们如何塑造未来?听到你的销售将在两个季度后下滑,对你并没有帮助。他们只会说,哇,那太糟了。他们想知道的是,我们现在需要做什么来避免那个未来?这就是因果机制。而这类数据也非常难以获得,对吧?因为世界是我们的真实基准,但它只发生一次。因此,在一个严格控制的环境中,除一个变量外其他一切相同,这类数据集几乎很少出现。这就是为什么这类数据集既难以获得,又在你试图建模人类行为时相当重要。
所以行为数据,我认为是最难获取的数据集。外面有什么?甚至可能有什么?因为你不会知道我生活的很多细节。我甚至没有自己的数据。我想分析自己的健康或习惯,但我并没有记录所有事情。那么你怎么能有那些数据呢?
实际上,我们确实运行很多随机对照试验。
是的,但你把人们放在实验室里,看着他们睡觉,还是什么?
我们确实非常重视同意过程。所以人们知道我们——我们邀请他们成为这个社区的成员,既分享数据,也让他们以不同形式被代表。嗯,但我们带很多人到实验室,或者虚拟实验室,在那里我们设计实验,让他们面临真实的行为决策。通常在这些实验设置中,态度与行为之间的区别在于你的决策是否有真实的利害关系。这最终是使其成为行为数据的关键。在这些设置中,我们受到社会科学、心理学等领域同事的启发。当他们运行研究时,他们使用的技术是,想象有一个在线商店,你邀请人们来逛,然后他们在实验中购买的任何东西,他们实际上会收到那个物品,例如。这类事情使得利害关系变得真实。所以我们运行很多这类实验,我们也与公司合作。而且现在,我们也有客户非常兴奋地至少让我们一窥他们用户表现出的行为,以便我们能更深入地理解人们在这些不同平台上的行为方式。
我认为在客户方面,他们有很多关于用户的数据,谁购买了。他们有行动数据。你能给我们举一个例子,说明人们来找你是为了什么?他们想解决什么问题?在这个过程中,你是为他们定制模型吗?还是你有现成的东西?那是什么样的?
今天,当人们利用我们的模型时,通常是为了更好地理解他们感兴趣的人群。所以通常关系的开始是我们聚在一起,听他们想让我们建模什么样的人群,对吧?所以如果你是一家面向全美销售的消费品公司,那可能相当直接。你想建模美国的总人口。但同时,如果他们有一个垂直领域或一个他们想进入的市场,想象他们想更好地了解,比如说,住在加利福尼亚的20多岁和30多岁的人。那是一个更特定的人群。所以我们了解这些人群,然后我们去招募这些人,经过同意并给予激励,我们基本上收集他们的一些数据,并创建这些人的模型。然后我们的产品允许你做的,基本上就是查询他们。它可以接受一个过滤器作为输入,这个过滤器是你想对话的人群描述,就像我刚才提到的那个,以及一个环境。环境可以是调查问卷。可以是行为实验。可以是A/B测试。通常核心用例是概念测试之类的事情。首先是这样。但还有,你知道,人们有时想做焦点小组,或者我们服务的另一个有趣用例,甚至是为上市公司的财报电话会议建模。这些是我们通常开始的用例。
概念测试,这是一个既定的术语吗?我从未听说过概念测试。
是的,它基本上涉及他们有不同的信息、不同的产品、不同的想法。
这就像一种营销活动?
是的。
好的,明白了,明白了。政治呢?
我们确实与盖洛普有战略合作伙伴关系。当然,盖洛普深入政策领域等等。不过目前,我们还没有深入涉足政治领域。
我很好奇是否有需求,或者他们是否真的会有不同的需求,这些需求在某种程度上根本不会与你们现有的用户或人群融合。
我认为肯定有需求。是的。但我们非常关注这项技术如何被采用,以及我们最终会通过这项技术产生的社会影响。我确实认为政治是一个公司必须特别深思熟虑其运营方式和影响方式的领域。所以这也是我们希望确保在服务像政治这样的市场之前,形成足够的护栏和对如何利用这项技术的看法。
我给大家举个例子。我最喜欢的剧之一是《白宫风云》,不知道大家看过没有。其中一个关键情节是总统患有多发性硬化症,但他们还没想好怎么公开这件事。于是他们用一个虚构的州长做民意调查,让人们回应,然后根据调查结果决定怎么应对,比如怎么处理才好。我当时就想,你知道吗,我觉得这种反事实的情况,如果我能信任模拟的话,我其实会用模拟来做。我确定。是的。
在那部剧里,结果怎么样?
在那部剧里,基本上算是板上钉钉的事。他们知道这是坏事,只是不知道有多糟。然后调查结果回来了,显示非常糟。但他们最后还是照做了。
部分原因在于这是部剧,对吧?所以你看的是——
最大化戏剧性。
能有多糟?
哦,糟透了。
在某种程度上,我觉得这正是作为你客户所面临的挑战之一:如果我知道这是坏事,如果我大致能猜到效果会是什么,那我还需要你吗?我需要多敏感的效果才能做决定?比如,如果我的支持率是50%,然后有个负面新闻出来,降到30。如果降到20,或者降到40,我在乎吗?不,我知道它会降,因为是负面消息。——那我什么时候才需要模拟?
你做了一件明显不好、不受欢迎的事,人们不喜欢你,对吧,我的意思是,这就像——
你不需要模拟。是的。
嗯,所以有几件事。第一,实际上很明显,有些用例是每天都会发生的,比如开发者、设计师、政策制定者、营销人员,他们每天都在创造资产,推出新产品。结果发现,很多决定事后看来是显而易见的。是的,这当然不好,但我们还是做那些研究,因为理解影响的程度和紧迫性其实相当难。即使我们觉得,当然,这说得通。我的意思是,这就是我们犯这么多错误的原因。每次有人在网上说点什么引发巨大反弹,你看着那事,心想,真是个白痴。但这事很难。这是其一。还有另一个方面,这也是为什么模拟实际上不同于预测。在模拟中,理想情况下,模拟试图展示的是通往某个结果的每一步,或者我们需要采取的每一步,对吧?所以在最先进的模拟中,有时我们建议的下一步可能相当反直觉。我有时会打个比方,我会用更现实的例子来说明,但正如我提到的,我是科幻小说的超级粉丝。我不知道听众里有多少人读过《基地》系列或阿西莫夫的作品。
我们已经提过好几次心理史学了。好的,太棒了。
那我可能是在跟对的人说话。如果你读过《基地》系列,第一幕就是一群科学家发现,哦,我们的银河帝国要崩溃了,会有三万年的动荡。他们基本上运行了心理史学,这个模拟器试图教他们,好吧,我们怎么把动荡控制在1000年内?他们规划好了,计划的第一步是把那些说“好吧,这事要来了”的科学家流放到银河系某个偏远地方。端点星。没错。这太反直觉了。把那些对银河帝国崩溃发出警告的科学家送到一个鸟不拉屎的地方,这算什么奇怪举动?这怎么可能是正确的第一步?结果在这个特定模拟中,那确实是正确的做法。就是这类事情,对吧?之所以能做这种推理,是因为你展示了导致特定结果的步骤函数或每一步。所以模拟在最高形式上真正让你能做的是,你给它的不是一个问题或疑问,比如“人们会怎么回答调查?”那不是我们做的。我们告诉它的是:我们有一个目标。在《基地》的背景下,我们想把动荡控制在1000年内。我们现在需要走什么路径才能到达那个特定未来?这就是模拟让你能做的。现在,把它转化到真实市场,想象你是一家汽车公司,即将发布一款电动车,你想弄清楚,我们怎么营销电动车才能确保股价上涨?但如果答案出来是,你可以用XYZ方式营销电动车,但那可能会改变人们对非电动车的看法,实际上让你的整体销量下降。这不太直观,尤其是你只盯着电动车销量,只追踪这一个指标。那可能就会导致一个完全错误的解决方案,或者至少是跟你预期不同的方案,不管对错。是的。这就是模拟的力量。
对听众来说,我们之前和Shopify的Mikhail Parekhin聊过类似话题,他们在做SimGym。我不知道他有没有跟你提过。嗯,非常相似。目标是提高转化率,但路径很不寻常。路径不寻常。是的。他实际上是在寻找购物轨迹上的干预点,这跟你说的类似。不是态度层面的,这是你的说法吗?是的。是关于行为。是关于行为。这正是区别所在,对吧?不是短期方向,而是你怎么影响多轮互动。对吧。
你开头也有句很好的话。不是人们想知道结果,而是他们怎么改变它,改变到达那里的方式,大概是这个意思。但我想拉回来,我们怎么知道这是有依据的?比如,你怎么运行评估?你怎么测试模拟是可靠的?基本上,如果我做你描述的事,用你最喜欢的LLM,比如Opus、GPT-5.6,让某个agent来规划这些,如果给它同样的目标、同样的目的,做一个像样的系统,我们得到的答案会有多大差异?你说你需要改变模型权重,你有自己的解决方案,但我们离那还有多远,你怎么检查它是否可靠?你网站上有一些有趣的内容,指向你怎么运行ReLeValve,但如果你能带我们看看那方面,你知道,我觉得这是人们的一大担忧。他们会说,LLM会幻觉,你只是在层层叠加幻觉,对吧?
我们采用的方法,实际上是继生成式智能体论文之后我们着手进行的那篇论文,它确实成为了Simile乃至模拟与合成面板领域的基石。没错,就是这篇论文,题为《生成式智能体模拟1000人》。具体来说,我们邀请了1000名代表美国人口的样本进入虚拟实验室。我们花了2小时收集了相当广泛的数据。在这项特定研究中,我们重点聚焦于访谈数据,其脚本源自一个名为“美国之声项目”的项目。同时,我们也会结合大量行为数据等,尽可能在2小时内收集一切。随后,我们让这些参与者离开几周。在此期间,我利用这些数据创建他们的数字孪生。两周后,我们请回这些人类参与者,让他们完成一系列调查、实验和行为研究。我们这里有一份清单,包括行为经济学游戏、大五人格测试、综合社会调查等。我们还进行了发表在PNAS上的随机对照试验。然后,让他们的数字孪生预测原始个体在这些研究和调查中的反应。结果,我们能够以85%的准确率复现人们的行为和态度,这与人们自我复现的准确率相当。这实际上是首篇给出验证结果的论文,证明我们能够精确建模个体。最终,我们发现在AI领域——这篇论文于2024年底发表——AI领域一年半到两年的时间,相当于一个时代。
是的,对于没看YouTube的听众,我想强调一下,关键数字是85%的准确率,这比你展示的其他方法有了显著提升。
但真正让我们印象深刻的,尤其是当我们进一步改进这项技术时,是生成式智能体模型——像ChatGPT、Claude这样的生成式AI模型——确实提供了正确的基础。然而,它们没有考虑到人们真实的态度和行为方面,尤其是你关注的人群。这些模型今天真正擅长的是试图成为超级理性的客观机器,对吧?你从Mercure、Scale等地方获取数据,与专业程序员、科学家合作,创建出擅长推理的模型。这就是它们的功能。而Simile对此并不关心。我们讨论的模型,我们试图创建的是和我一样“笨”的模型,对吧?如果我犯了这样的错误,模型也必须犯同样的错误。
哦,那很难,非常难。你是在解决莫拉维克悖论。
完全正确。这实际上是一种完全不同的数据和训练目标。这也是我们在人类行为预测性能上,前沿模型与Simile模型以及该领域其他模型之间出现显著差异的地方。在某些情况下,前沿模型的性能可能降至20%到30%,尤其是针对更小众的人群和客户关心的主题。对于更广泛的人群,可能大约在50%到60%。所以这并不稳健。你不会想基于这类发现做决策。如果能将其提升到85%,这最终就是人们非常兴奋的地方。
是的。我们继续讨论论文路线吗?
当然。最后一篇挺有意思。这篇论文是《千名智能体》论文的后续,基本思路是,我们能否进一步增强模型,基于大量随机对照试验进行后训练?这很有趣。数据往往是建模中最有趣的部分。我们这里的数据来自一个叫“开放科学基金会”的平台。听众可能熟悉这个。过去五年左右,尤其是在社会科学领域,一直存在对研究可复制性的担忧。这算是一场科学家承认的危机,我们重跑研究却得不到相同结果。这很棘手。原因往往是存在一种生存偏差,发表的论文通常需要在实验中保持所谓的p值小于0.05。这基本意味着,我们看到的結果只有5%的概率是假阳性。但棘手的是,所有未发表的论文,以及我们发表的论文仍有5%的可能性是完全随机生成的。比如,有5%的概率这个效应并不真实,只是因为抽样偏差而偶然出现。因此,科学家们开始预注册他们的研究。在运行实验前,他们会去这个平台声明,这是数据,这是我们要收集的人群,这是假设。他们只会说,这是我们的假设,这是我们相信的。你不能事后修改这些假设。这实际上给了我们更多科学统计上的信心,确保你看到的效应是真实的。这最终创建了一个有趣的平台,现在包含数万个真实世界的实验和假设。其中很多质量很高,比如专业设计的行为研究和随机对照试验。我们从这个平台获取数据和研究,用来证明一个观点。显然,这个特定模型不是我们商业化的,因为它是开放科学的一部分。但这个特定数据集帮助我们证明,通过收集大量设计良好的随机对照试验,我们可以显著提升模型预测人类行为的能力。这就是这篇论文的内容。
这些是在个体层面做的吗?比如,我需要为每个个体、每家公司调整模型吗?是基础模型变化,然后有一些轻微的后训练?你能分享些什么吗?
这个特定模型实际上是在个体层面训练的,但我们两种方式都实验过。这也是我们在Simile2中最终采用的方法。我们总是训练两个不同的模型。一个是我们所说的人群级模型,另一个是个体级模型。两者都接受非常相似的输入,即自我人群或个体的描述以及刺激。在这项特定工作中,我们也做了同样的事。这里报告的结果更偏向个体,因为我们确实认为这在很多方面是更难的任务。但这就是我们所做的。
你有没有见过人类能解决而模型无法解决的问题?比如说,现在的情况是,我住的地方离洗车店走路5分钟,开车却要10分钟。我该走路还是开车?模型会说,哦,走路去洗车店。但你知道,你并没有车。这类问题在模拟中算是个问题吗?你会觉得这对人类来说很简单,但如果模型建议你走路去洗车店,你知道,这有什么问题吗?
与其说我们能解决什么,不如说人们会犯哪些模型不会犯的偏见或错误。比如,想象一下,当我在斯坦福读书时,我住在帕洛阿尔托,从校园走路大约要40分钟。你问模型,好吧,我们回家吧,我能做什么?它很可能会叫一辆优步,或者给我公交时刻表。但很长一段时间里,我其实很喜欢走回去。我这么做的原因不是为了效率。走路真的帮我理清思路。我喜欢每天走半小时、40分钟左右,就只是走走,想想点子、研究,沉浸在自己的思绪里。这是非常人类的活动。除非模型见过这种情况并真正理解这种活动的重要性,否则它会错过这些特征。所以,我认为这基本上就是我们试图建模的东西。什么是根本上属于人类的——可能不是最有效的事,可能不是最正确的事,但却是定义我们是谁的东西。
我很好奇,有没有一些你特别想要的数据集,能实质性地帮到你?其中一个版本可能很有趣。对你来说,获取哪个数据集更有价值?所有领英数据、所有推特数据、所有脸书数据?
说实话,排序有点难,部分原因是产品界有句话叫“没有错误的反馈,因为它教会你关于用户的东西”。不管什么类型的反馈都有价值。我觉得有点像这样。所以就是哪个更大就选哪个。
换个领域呢?比如说,所有亚马逊数据怎么样?
购物数据,对吧?购物数据。亚马逊数据很有意思,因为它非常行为导向。虽然人们在社交媒体上的行为,你可以勉强说那也是行为数据,但交易数据总是有趣的。不过,它也是最常见的可用数据。如果我们只看纯社交媒体,比如,如果我真的必须选,脸书可能很有趣,因为我确实认为它最接近人们的默认状态。因为你去领英,那是一个非常职业的环境。所以人们会有所防备,对吧?那仍然有趣,因为那是真实的人类态度和行为,但不是你的基础状态。你去推特,推特上的人有他们自己疯狂的人设,或者取决于你是谁,比如我的推特资料和人设——最初是非常学术的。嘿,我来分享我的研究。现在我分享与Simile相关的内容。但脸书是那种更私密的空间,人们只是和朋友联系。从这个角度看,我确实认为它更能展示一个人是谁。所以如果非要选,我可能会选脸书。
是的,你感兴趣的是完整的人及其哲学背景。我想问,直接说这只是注入方差和偏见的方式,是不是太临床或太机器学习导向了?更广泛的问题,大概是,这比随机化的、组合爆炸式的版本更好吗?我们有一个腾讯十亿人格论文的链接,他们基本上没有做你们正在做的任何基础工作。他们只是做了一个交叉矩阵:这是世界上所有职业,这是世界上所有可能的背景,把它们全部做点积,就这样。这就是十亿人的提示词。这会产生一些效果。我不知道它是否能做到你们所做的,但它能让你走一段路,走一部分路。
这确实是一篇有趣的论文。这篇论文出来时我欣赏的是它的规模。显然你逐渐会想模拟非常大的社会和互动。所以规模绝对值得赞赏。它严重依赖训练模型时使用的已知统计数据。所以如果你相信这些统计是正确的,这其实不是个坏方法。但这里的论点,这也是我们在市场上看到的,如果这有效,那我们实际上已经解决了模拟问题,对吧?
因为我调查一下,比如,美国5%的人口在建筑业。对。另外5%在医疗行业,等等。对。然后你继续往下走,再做另一边。5%的人有大五人格中的神经质之类的。
就是这样。就是这样。所以如果你相信底层数据集和我们利用的平台有所有正确的统计,那这实际上就解决了问题。你那时只是在检索已经嵌入模型参数中的知识。但不幸的是,这不是我们看到的,因为关于人的知识如此详细且小众,如果你只看一个例子,可能觉得很平凡,但当你把它们放在一起时,其实非常丰富,你确实需要做大量定制化的数据收集来更好地理解人。这也是我认为这份工作有趣的地方,你想深入了解人,而深入了解的过程实际上需要关注很多细节。你必须关注并尊重人们所过的日常生活。
我想谈谈模拟的扩展。什么我们不能模拟?我们能模拟什么?扩展如何影响这一点?模型有多大?如果我们从80亿参数、几亿参数、1000亿参数到万亿参数呢?我们得到扩展吗?有没有有趣的涌现现象,比如在某个规模、某个训练量下,你发现什么不寻常的东西?从中有什么学习?
我们在Simile看到的是——我们确实会后训练自己的模型。我们实际看到的是模拟中扩展定律的早期迹象。你摄入更多关于人类的数据和更多计算,你实际上开始获得模型在模拟和预测人类方面性能的可预测、可预期的提升。
我们需要一条扩展定律曲线。
你知道,扩展定律,无论何时发现它,都是一件美妙的事情。我们开始瞥见它的踪影,这相当令人兴奋。但若论及模拟的整体雄心,它不仅仅是构建一个模型。而是构建模型,然后创造那些成为更大生态系统中个体的智能体。因此,他们基本上是在创建这种多智能体模拟。长远来看,你希望这些多智能体模拟也能生活在非常丰富的环境中,对吧?我们真正想要达到的是,嘿,我们能否真正创造——让我们再玩一次时间机器游戏。5年、10年后,我们能否创造一个80亿人生活在地球上的模拟?我觉得这相当有趣。而这确实是愿景。一旦达到那种状态,你能为社会解答的问题类型也开始从我的视角发生变化。答案根本上关乎社会和大群体涌现行为的出现。例如,让我兴奋的问题类型,也许这有点,你知道,我有学术的一面,对我来说,问题如:我们能否帮助解决气候变化?如果你将气候变化视为一个问题空间,这就是我们社会科学家常说的“棘手问题”。问题在于有许多动机相互竞争的参与者,他们试图做出非常复杂的决策,并协调这种协调决策,在现实生活中很难真正解决,这也是我们无法解决它的原因。模拟能帮助我们解决这个问题吗?另一个是,我们能否真正理解民主崩溃的信号?或者我们能否理解,或揭示货币体系的起源故事?这些是我们从未有良好解答方式的社会问题。如果我们能创造社会的模拟,你必须相信这些是我们能解决的问题。所以这确实是这个领域的雄心。我还认为,是的,我的意思是,我觉得那里有诺贝尔奖可拿,这不会令人惊讶。而且我认为我们能产生惊人的社会影响,帮助人们做出更好的决策。
经济学诺贝尔奖?在经济学领域。我明白了,我明白了。我们支持你写那篇论文。总有一天。
但在我进入模拟领域时,深深启发我的学者之一是托马斯·谢林。谢林点。他工作的典型例子是他作为基于智能体建模的创始人之一。那是在1970年代和80年代。那是非常早期的日子,但这确实是模拟的首批例子之一。那个时代的典型模型之一,当然许多这些模拟试图解决他们时代最相关的社会问题,被称为“隔离模型”。种族隔离是我们关心的大话题。他们所做的实际上是创建了一个网格世界,其中有红点和蓝点,这些点在当年就像是智能体,它们有一个简单的规则来支配行为。如果你的邻居中有一定百分比是不同颜色的,如果超过某个阈值,你就随机移动到新位置。这篇论文或这个基于智能体模型的一个惊人发现是,长期以来,人们认为社会中的隔离是由明显的、公开的种族主义造成的。但如果你看这个模型,人们偏好与同色人居住,这种偏好可能非常微小,但微小的差异实际上导致社会随时间完全隔离。这对很多人来说非常反直觉。而这项工作最终影响了住房政策。例如,混合收入住房就深受这类工作的启发。托马斯·谢林最终因奠定早期模拟版本的基础而获得诺贝尔奖。我在更科学术语中看到的机会是,基于智能体模型在1980年代、90年代,某种程度上到2000年代初有影响,但现在已被社区有点遗忘了,因为你可以想象,红点和蓝点并不是对人们的丰富描述。但随着生成式AI,特别是生成式智能体的出现,我们确实有机会创建这些高保真度的基于智能体模型,足以帮助我们做出非常复杂的决策。这就是我看到的机遇。如果这真的有效,那么是的,这就是那种会导致诺贝尔奖的工作。是的。
顺便说一句,我在新加坡长大。新加坡80%的人住在公共住房里,而公共住房正是出于那个原因强制执行种族配额,这真的很有趣。好的,我们谈扩展,谈所有这些,智能体可能的应用。我担心成本。如果你甚至,让我们只限于美国,不是80亿人。是的。但模拟数亿人需要多少成本?
如今,显然,我们不会从那个规模开始,这个行业和模拟技术阶段。但即使通过建模数千、数万人,我们也能为用户提供极其丰富和有意义的见解。今天我们所做的是每周收集数万人规模的数据。我们还有面板合作伙伴关系,让我们能接触到全球数千万人。这就是我们今天所做的。
顺便提一下,一旦你为一项研究收集了一个人,你能在后续所有研究中重用同一个人吗?
完全正确。好的,这个模型和这些代理的妙处在于它们是领域无关的,你真正想理解的是这些人的根本特质是什么?他们的社会物理学是什么?显然,人有很多方面会随时间变化。比如过去一周你去过几次CVS,这类事情显然会变。但人也有很多特质是公认不变的。比如你的风险承受能力不会随时间真正改变,它非常稳定。所以我们试图学习的正是这类东西。但我们目前运营的规模是数万到数十万人。在我们部署的许多核心用例中,这个人口规模已经足够覆盖需求。实际上,在那个节点,你关心的不是人数多少,而是你是否覆盖了感兴趣的目标子群体。这也是人们想要更大样本的原因——不是因为他们真的想要更强的统计保证,而是他们能否筛选出任何他们感兴趣的人群。不过,你也可以想象,在十年后,如果我们真的相信算力会持续扩展,我们会有更多可用的计算资源,我们模拟的雄心也会相应增长,那么绝对有理由去创建整个数据中心规模的模拟。我的直觉是,我认为在未来几年内,我们会开始创建成本堪比训练基础模型的模拟。但也许它对社会价值巨大,以至于这是不言而喻的选择。我的意思是,即使现在,我们也在训练一堆新的基础模型,只是为了说我们训练了一个,花费数千万美元。但如果我们能创建一个社会级别的模拟,真正解决气候变化问题,我今天就会去做。我现在就会筹集资金去运行它。
太棒了。我想追问的是,如果让模拟之间互相交流,会不会产生叠加效应?还是说它们现在已经这样做了?它们不交流,对吧,据我所知?
这取决于你试图运行哪种模拟。在多代理模拟设置中,代理之间确实会互相交流。
那正是Smallville,对吧?没错。但很多时候,比如在电商场景中,你只是独自一人,所以没有交流的必要。但哪种情况是哪种——你需要知道人们的水平,对吧?
比如你会根据周围人买什么、谈论什么来决定自己买什么,对吧?
这取决于情况。再说一次,我是从成本角度出发的。我会想,天哪,如果有某种组合效应,比如成千上万的人互相交流,那这一百万的额外开销可能会很惊人。
我有非常不同的看法。抛开成本不谈,在现实中运行这些研究实际上要昂贵得多,对吧?运行任何这样的研究,你得有人参与,你得招募参与者。这非常昂贵,有时甚至不可行,但基于这些研究做出的决策却代价高昂,对吧?所以花几百万在某件事上,而整个过程成本是一亿美元,那何乐而不为呢?那里有巨大的价值。这只是小成本,但我在成本方面其实很兴奋。
在某种程度上,你知道,当你部署技术时,你通常希望以能替代现有预算或提高效率的方式来部署,这是最佳方式。然而,捕捉技术长期价值的方式实际上是论证:不,这其实是上行空间——通过使用模拟做出更好的决策,你节省了数亿甚至数十亿美元。这是一个可以提出的论点。随便问个问题。
所以如果你做了大量推理、大量多代理工作,你是否已经到了训练一个非常稀疏的模型是有意义的阶段?你预期会有数百万美元级别的运行。你是在模型架构角度考虑,还是推理效率,还是说你仍处于研究阶段,能用就行?我们还没到那一步。
效率方面,我们确实考虑得很多。我的意思是,这项技术现在已经部署在全球一些最大的企业公司中,我们确实处理大量试图模拟世界人口的查询。所以效率是一个持续关注的问题。显然,我们不想过早过度优化。所以我不说这是当前的首要任务,但这绝对是我们认真思考的事情。是的。
还有其他案例研究吗?你提到了CVS、Gallup、Deloitte、Wealthfront。
Wealthfront是个有趣的案例,因为他们试图做的一件事是,他们是最早想要进行产品测试的客户之一。这不仅仅是问人们对行为实验等有什么看法。所以在那时,我们真正需要做的是推理多模态输入。包括图像,但也可以想象这些代理在Figma原型或网站中穿行。所以我们的一些代理还能做的是,它们可以被赋予一个领域或网站URL,然后实际去使用一段时间。Wolfram是最早对这个可能性感到兴奋的客户之一。
那么,有没有人提出过我们尚未覆盖的需求?比如UI测试,对吧?我想尝试新功能,发布新特性,测试UI,模拟人们会怎么操作。有没有你看到的有趣需求?
今天,很多需求确实来自历史上使用人类样本组的地方,我们现在基本上可以用代理和这些合成人群来替代。这显然不是要取代人类样本组。在很多方面,Simile构建的模拟是有根基的。所以我思考的方式是,我们试图大规模地代表人类。从这个角度看,用例是我们预期中的那些,但部署的规模让我惊讶。事实证明,这些组织、群体中的人们每天做出如此多的决策,我们希望能够说我们倾听了人们的声音,我们咨询了用户,但实际上这很少发生,因为接触人们并真正问他们很多问题是困难的。既昂贵又耗时,但最重要的是,人们根本没有时间。如果我必须为某个特定供应商回答1000个调查问题,即使我想做,我也永远不会去做。事实就是如此。模拟能做的,是确保人们的声音始终出现在为他们做决策的房间里。对吧?所以,这个特定产品发布的所有利益相关者,理想情况下都应该被咨询。这正是这项技术真正试图实现的目标。
在我看来,这意味着它更偏向消费者市场,对吧?就像任何拥有足够广泛客户群的产品,你都能从你所代表的多样性中受益。对于那些不熟悉这个市场的人,能提供一些大致的数据吗?市场规模大概是怎样的——我相信你手头有些粗略数字。显然,市场规模是个模糊的问题。但人们大概会花多少钱呢?
市场调研是一个千亿美元级别的行业。但关键在于,模拟并不是市场调研的工具,而是人类决策的工具。所以,这里关于TAM(总可寻址市场)的问题其实相当棘手,对吧?因为很容易说,市场调研的TAM大约是百亿或千亿美元。那算是TAM吗?其实不算,对吧?因为从很多方面来看,你是在试图为所有人类决策提供信息。你基本上是在试图为每一个关于人、为了人而做的决策提供依据。那这个TAM是多少?真的很难说清楚。老实讲,我有科学背景和研究背景,所以我进入这个领域时并没有去计算“人类决策的TAM是多少”。但我只能假设,如果我们能为每一个关于人、为了人的决策提供信息,那这个市场一定很大。
那肯定很有价值。没错。我的意思是,从某种程度上说,你现在是独角兽公司的创始人,作为CEO你不得不考虑这些。但我确实认为,当我们走进那些签着数百万美元合同的会议室时,你得说,这是你们在人力上的花费,这是我们为你们节省的,相似度达到85%。
当然,价值主张是我们非常关心的。我们真正为用户和决策者提供的价值是什么?但这也是作为创始人,我觉得估值只讲述了故事中非常表面的一面,我尽量不过多考虑估值,因为那也不是激励团队的因素,或者说肯定不是。你知道,关于研究人员有趣的一点是,我们乐意生活在学术界,拿着接近——我是说,我们收入还行。其实我们赚得并不多。作为学术界的研究人员,但真正驱动我们的是影响力和我们能给个人和社会带来的价值。从这个角度看,最终驱动我们的是影响力。我们提供的模拟是否真正影响了人们的决策,从而推动社会进步?如果答案是肯定的,那这必然是一门好生意,我们从数据中看到了这一点,我们也确实非常关心那个增长的故事。但那是更高层次的目标。
你有任何时间线上的预测吗?我们谈到了模拟的扩展定律。你提到,也许有一天我们能模拟如何解决气候变化。我们现在处于什么阶段?如果那不是最终状态,那最终状态是什么,进展又是什么样的?
我有时会告诉人们,模拟作为一个行业,感觉很像GPT-3.5、GPT-4时代在AGI进程中的位置。基本上就是,我们现在拥有的技术已经强大到足以在我们所针对的垂直领域产生实质性影响。同时,还有很多进步尚未到来。我觉得这就是现状。所以我的看法是,我认为在数据和算法方面都会持续有突破。未来几年也会出现更激进的扩展。但我觉得大致就是我们现在所处的阶段。
我想这大概就是主要话题了。关于Simile,还有什么我们本该问你的,或者你希望人们更多了解的吗?
你知道,我觉得——对我来说,模拟真正迷人的地方在于,它是一项非常有影响力的技术,但同时也是一项非常有趣的技术,无论是对人类社会还是哲学层面的意义。我有时会这样理解模拟——回到我的背景,正如我之前提到的,我的职业生涯始于画家。那是我专业的追求,我实际上做的是人物油画。所以我最初是在写实主义工作室接受的训练,那是我花了很多年做的事情。模拟很像绘画,对吧?最好的画作能让你对所要表现的对象有深刻的理解。它总不是完美的再现。没有一幅画是完美的。总有一些细微的差异和出入。但它所做的是试图突出对象最重要的特质。
本质的精髓。本质的精髓。没错。他提到了你的一些作品。
正好展示一下。
是的,这些就是一些作品。这其实来自我还在做研究员时维护的个人网站。
我想很多人会说,像毕加索,或者任何后现代作品,都非常注重本质。没错。但我不知道这些作品中是否有哪一件能唤起你想讲述的故事。
不,这是那种,你知道,每一幅画、素描,无论是什么,都在试图将你对主题深切的感受浮现在表面上。当我还是画家和艺术家时,我真正深切关心的主题其实是人类生活中更平凡的一面。这在我做过的一些作品中有所体现,比如我做了整个关于一个小镇的研究,我到处给人拍照,他们并没有做什么特别的事,只是过着日常的生活。我觉得那是最有趣的。我是一个持有这种观点的人,世界是围绕分形结构组织的,你有两个选择去理解这个分形结构。要么向外探索,尽可能多地了解分形的整体形状;要么向内深入,因为外在的形状与内在相似。理解平凡的一面正是如此。模拟也有很多这样的特质,对吧?你试图理解人们最平凡的方面,当这些放在一起时,会教会你关于那个个体和社会的深刻道理。所以我认为这就是模拟有趣的地方——就像AGI帮助我们更好地理解或批判性地思考人性和人类智能一样,模拟实际上是一种理解人类社会和集体生活的练习。我觉得这特别有意思。
是的。现在你让我想起,一些最好的传记作者、纪录片制作人,甚至摄影师,他们给你拍照前,必须先花一周时间跟随你,只是为了了解你。有些艺术家确实这么做。你的工作中,有一本非常著名的书叫《Working》。我不知道你是否被提到过。它非常非常有名,甚至有一个维基百科页面,讲的是这种对人们生活的深入理解和访谈,看似平凡但讲述得引人入胜。是的,也是1970年代的。
好吧,那是个了不起的十年。
其实,在结束提问之前,你提到你是带着你的十年之问创办Simuli的,对吧?如果我们现在也这么做,十年之后,我们能模拟什么?如果你取得了重大进展,你会模拟什么?除了我们刚才提到的那些问题,有没有你认为最有影响力的、值得展望十年的方向?
从很多方面来说,正如我提到的,我是一个非常注重影响力的人。所以真正激励我的是,我想在十年后问:作为社会,我们最需要面对的社会问题是什么?我很想解决这个问题。比如,我们是否需要全民基本收入(UBI)?这可能是个有趣的问题。
哦,有人做过这个研究吗?
嗯,你知道,我们正在考虑。我们有渠道。
我们能不能——OpenAI,这就像闲聊了,OpenAI,或者我记得Sam Altman确实资助过一项在非洲的研究,结果是否定的。答案是否定的。
但那是关于实施方式的问题吗?
是的,我知道。或者那是关于——
但这就是关键。你看,当Sam Altman资助这个特定项目时——他花了1400万美元。天哪,真不少。但这就是问题所在。这就是为什么你想运行模拟。你花5年时间和4000万美元做一项研究,只得到一个结论。但如果你能瞬间运行无数次模拟,那才是价值所在。我觉得那个问题可以——
你本可以在模拟中完成。比如,如果你能做住房研究,你就能做UBI研究。我是说,拜托。
我觉得有时候人们花钱是因为他们想验证自己的想法,对吧?有时候你只是想确认它是否真的正确?你得测试一下。
好的,最后一个问题。我们现在处于模拟中的概率有多大?
这是个有趣的问题。有时候我会直接回答:是的,我们肯定在模拟中。但我真正觉得的是,无论我们是否在模拟中,这都不会让我们的体验变得不那么真实。我认为这基本上就是我的信念。也许我们活在模拟中,也许不是。但这对我们来说才是重要的。对我来说,我真的不在乎。
是的,除非你死了然后醒来发现自己在更高层级。
那会很有趣。我觉得你不会在乎的,你知道,一旦你死了,然后你发现自己在一个更高层级。
我担心我死的时候会这样。
我觉得另一件事——好吧,我喜欢这个问题的数学答案,那就是你处于模拟中的可能性数量远远超过你不是的可能性数量。是的。除了——最简单的答案,那就是让你成为模拟在计算上非常昂贵。好的,太好了。你非常慷慨地分享了时间。祝贺你所有的成功。我在你Smallville论文之后见到你时,完全不知道你能建立如此庞大的公司。然后现在你就像,嗯,这是个1000亿美元的市场,但这只是起点。所以这非常令人兴奋。
我觉得1000亿美元的市场不是总可寻址市场(TAM)。那只是其中一部分。
是的,没错。
就像如果你想法太小了。嗯,我确实相信也许我最后的总结是,再说一次,我热爱科幻。你看科幻中任何先进文明,都有两大支柱技术。一个是某种形式的通用人工智能(AGI),另一个是模拟。所以我认为这里的市场相当大。
是的。跟我们说说公司吧。你们刚融了一大笔钱。你们一半是研究实验室,一半是公司。
我想你们在招人,或者你们基地在——是的,我们总部在Mission Rock,离我们现在的位置不远。所以我们在旧金山,但我们也是双海岸运营。我们的团队——我会说总部在旧金山,我们很多技术人才在旧金山,我们也在纽约刚开了一个较小的办公室。作为一家公司,我们很有趣,因为今天显然有AI前沿实验室和AI产品公司。同样,我们确实两者兼有。这是一家由四位联合创始人创立的公司:我、Michael Bernstein、Percy Liang和Lainey Yan Lin。Michael、Percy和我都是研究者。当然,Michael是ImageNet的合著者之一,在2013年启动了AI革命,在以人为中心的AI方面发挥了重要作用。Percy创造了“基础模型”这个词,显然是当今最伟大的AI研究者之一。而Lainey是我的商业搭档,她领导了一些增长最快的AI原生公司从种子轮到A轮和B轮。但我们公司有这样的基因,我们正在创造的技术愿景在不断发展,我们吸引的基本上是我实验室的同学。我们现在大约有60人。15%,几乎20%的公司成员实际上只是我Versys实验室的同学。而且这其实很有趣,因为他们中的许多人后来去了OpenAI、Google Gemini这些地方。所以我们已经有好几年没有真正聚在一起合作了,但现在他们回来了,真正在构建这个我觉得非常令人兴奋的愿景,而且这种兴奋是共享的。所以在Simile有这样的动力,我们是一群研究者,试图做一些没有人正在做、我们认为可能最有影响力的事情。但同时,这又是今天就能产生影响的技术。所以我们有一群出色的工程师、产品人员和设计师,他们和我们坐在一起,基本上在想象如何帮助人们理解模拟能做什么,并据此做出现实世界的决策。同时拥有这两者,并将其部署到当今世界上一些最大的客户那里,这感觉非常独特。
是的,这非常吸引人。其中一部分是——这是行动号召,你们在招什么样的人?你已经做了一部分,就是你有一个非常有才华的团队。你们在招谁?
比如什么职位?说实话,目前我们正在扩充一个小部门。我们总是很兴奋能引进优秀的研究人才。所以如果你有兴趣和我们实验室的同学合作,我们一直欢迎出色的研究者,但我们也招聘优秀的工程师,其中一些是我最尊敬的人。他们中的许多人实际上来自我们有个人联系的地方。所以很多成员来自Figma、Notion、Arvy等公司,但更广泛地说,也来自我们团队真正钦佩的公司。所以无论是产品侧还是基础设施侧的工程师,我们都在寻找这些人才。
好的,很多人。我觉得你提出了很好的理由。谢谢,我们模拟中见。
太好了。到时候见。