关于AI发展的公开信
Open letters about AI development
微软主导的《开放权重与美国AI领导力》公开信于7月24日发布，已有235家AI公司签署，包括NVIDIA、Amazon、Y Combinator、Linux基金会及OpenAI，旨在反驳美国政府可能限制开放权重模型的倾向。信中支持蒸馏技术，认为其是合法模型改进手段。Anthropic未签署，CEO Dario Amodei于7月27日发布立场回应，强调威权政府滥用风险但未主张禁止。7月28日《Pacing the Frontier》获1,324名前沿AI公司员工签署，包括OpenAI首席科学家Jakub Pachocki、Ilya Sutskever等，呼吁国际治理自动化AI发展。
关于AI发展的公开信
我撰写了这份关于过去几周公开信的摘要，作为我仅限赞助者阅读的通讯的一部分，但我决定也在这里分享。由微软主导的《开放权重与美国AI领导力》公开信，日期为7月24日，已有235家AI相关公司签署，包括NVIDIA、Amazon、Y Combinator、Linux基金会以及（后来签署的）OpenAI。这显然是为了反驳当前美国政府可能出于“安全”考虑而禁止或限制开放权重模型的任何倾向——考虑到Claude Fable 5的遭遇，这一考虑是合理的！仅依赖封闭模型本身并不安全：它们可能被攻破、滥用，或以外部人员无法察觉的方式失效。将高级AI能力集中在少数封闭模型上会加剧这一风险。这导致少数单点故障，削弱竞争，并将关键技术置于少数提供商手中。相比之下，开放权重模型允许广泛的研究人员和开发者社区检查其行为、识别漏洞、制定防护措施，并随时间改进它们。信中一个令人意外的点是支持蒸馏技术，即模型基于其他模型的输出进行训练：在塑造这一生态系统时，政策制定者应谨慎，不要将合法的模型开发技术与盗用混为一谈。蒸馏，即使用一个模型的输出来帮助训练或改进另一个模型，是一种广泛使用的模型改进、评估和验证技术。它反映了学习、构建和改进现有技术的悠久传统，这一传统自开源软件运动兴起以来一直推动创新。值得注意的是，Anthropic并未签署此信，他们在三天后发布了自家回应《我们对开放权重模型的立场》。CEO Dario Amodei强调了威权政府构建“比美国更强大的AI模型”的风险，以及模型被“滥用于网络攻击或生物攻击”的风险，并呼吁“打击工业规模的蒸馏操作”，同时表示“Anthropic从未主张禁止开放权重模型”。随后在7月28日，《Pacing the Frontier》发布，签署者包括“前沿AI公司的1,324名员工”——如Jakub Pachocki（OpenAI首席科学家）、Ilya Sutskever（Safe Superintelligence Inc，前OpenAI）、Dario Amodei（Anthropic）、Jack Clark（Anthropic）等。他们的核心信息是：我们请求美国政府支持一项国际努力，以开发必要的技术和治理工具，有意地调控自动化AI发展的前沿。他们的担忧在于激烈的竞争压力加上自动化AI研究导致的AI加速进步——考虑到Anthropic用Claude Code编写了80%的代码，OpenAI的Sol将端到端服务成本降低了20%，以及Kimi K3设计了一款芯片来服务基于自身架构构建的纳米模型，你可以理解为什么人们现在更认真地对待这一风险。
标签：anthropic、generative-ai、openai、ai、llms、ai-ethics