Simon Willison · 博客

教宗良十四世关于人工智能的通谕评注

Notes on Pope Leo XIV's encyclical on AI

二〇二六年五月二十六日 · 英文原文

梵蒂冈发布教皇利奥十四世宗座通谕《Magnifica Humanitas》,聚焦AI时代人类尊严。通谕第98节指出LLM(大型语言模型)内部表征与计算过程仍未知,系统更似被“培育”而非“构建”。第100节提及AI内嵌设计者文化假设,可能削弱用户创造力与判断力。第101节强调AI系统需大量能源和水,增加碳排放。第102节警告算法决策缺乏“同情、怜悯、宽恕”可能产生排斥。第105节要求明确人类在AI应用各阶段的责任。第108节指出AI放大资源拥有者权力,建议数据作为公共物品管理。通谕引用托尔金《王者归来》强调个体责任。

今早梵蒂冈发布了教皇利奥十四世关于《在人工智能时代守护人类尊严》的宗座通谕《Magnifica Humanitas》。这是一份非常有趣的文献,是我见过的关于将AI融入现代社会的伦理问题最清晰的论述之一。教皇利奥十四世选择"利奥"这个名号,是为了纪念以1891年关于"资本与劳动的权利与义务"的通谕《Rerum novarum》而闻名的教皇利奥十三世。梵蒂冈新闻网的这篇报道进一步阐明了这一决定的意义:在当选后与枢机团的首次正式会面中,教皇利奥十四世解释了他选择教皇名号的部分原因。"这有多方面的原因,"他说,接着解释道,他选择"利奥"这个名号"主要是因为教皇利奥十三世在其历史性的通谕《Rerum novarum》中,在第一次工业革命的背景下探讨了社会问题。""而在我们这个时代,"他继续说道,"教会向所有人提供其社会训导的宝库,以应对另一次工业革命以及人工智能领域的发展,这些发展对捍卫人类尊严、正义和劳动提出了新的挑战。"现在我们看到了教皇利奥十四世本人关于AI革命的通谕。内容非常丰富,但写作风格非常平易近人,包括对非天主教徒也是如此。以下是我的一些重点摘录(我是在遛狗时听完大部分通谕的,这是我第一次尝试ElevenReader iPhone应用。效果很好:我粘贴了文档的URL,它用非常高质量的声音读给我听,并逐段高亮显示。)以下是我的一些重点。在每种情况下,强调部分都是我加的。第98节对LLM的可解释性问题给出了一个有用的描述:首先,鉴于这些系统发展的惊人速度,任何关于AI的陈述都可能很快过时。其次,我们所有人,包括设计它们的人,对其实际运作的理解都有限。事实上,当前的AI系统更像是被"培育"出来的,而非"构建"出来的,因为开发者并不直接设计每一个细节,而是创建一个框架,让智能在其中"成长"。因此,这些系统的基本科学方面——例如其内部表征和计算过程——目前仍然未知。我喜欢第83节对发展与尊严关系的描述:对个人和国家而言,发展既是义务也是权利。需要最低限度的条件,才能使每个人和每个民族都能按照其尊严繁荣发展,而不被置于依赖状态或被排除在获取必要物品之外。当发展将人而非财富积累置于中心,并且同时关注民族和个人时,它才是真正人性的。正义要求承认社会和民族的权利,并包含对后代的责任。如果发展增加了某些人的消费,却将成本和负担转嫁给他人,或将整个地区置于从属地位,阻止其发挥全部潜力,那么这种发展就不是真正人性的。第100节提到了内嵌的文化偏见和谄媚行为:在个人使用中,有三个特别值得仔细考虑的方面:获取结果的便捷性、客观性的印象以及人类交流的模拟。能够快速简便地获取信息、复杂分析、媒体内容和实际帮助,无疑使生活更轻松。然而,它们也可能鼓励过度依赖和寻找现成答案,削弱个人的创造力和判断力。这些系统提供的回答和建议表面上的客观性,可能导致我们忽视这样一个事实:它们反映了设计者和训练者的文化假设,及其所有的优点和局限性。对人类积极交流——建议、共情、友谊甚至爱的话语——的人工模仿,可能引人入胜,有时也确实有帮助。然而,对于辨别力较弱的用户来说,这也可能具有误导性,造成与一个真实个人主体建立关系的错觉。当话语被模拟时,它们建立的不是真正的关系,而只是关系的表象。当这种对关怀或支持的人工模仿进入缺乏真实关系和情感纽带的语境时,可能变得尤其危险。第101节涉及环境影响:当前的AI系统需要大量的能源和水,显著影响二氧化碳排放,并对自然资源提出巨大需求。随着其复杂性的增加,尤其是在大型语言模型的情况下,对计算能力和存储容量的需求也在增长,这需要广泛的机器、电缆、数据中心和能源密集型基础设施网络。因此,开发更可持续的技术解决方案以减少环境影响并帮助保护我们共同的家园至关重要。第102节涵盖了算法系统在没有"同情、怜悯、宽恕"的情况下做出影响人们生活的决策的风险:AI的使用从来不是一个纯粹的技术问题:当它进入影响人们生活的过程时,它触及权利、机会、地位和自由。重要且敏感的决策——涉及就业、信贷、获取公共服务甚至个人声誉——有可能被完全委托给那些不懂得"同情、怜悯、宽恕,尤其是人们能够改变的希望"的自动化系统,从而可能产生新的排斥形式。第105节强调了在这些系统如何应用方面需要人类承担责任:为了使AI尊重人类尊严并真正服务于共同利益,必须在每个阶段明确责任:从设计开发这些系统的人,到使用它们并依赖它们做出具体决策的人。然而,在许多情况下,导致结果的内部过程仍然不透明,使得分配责任和纠正错误更加困难。这正是问责制变得至关重要的地方:即能够确定谁必须为决策"负责"、证明其合理性、监督它们,并在必要时质疑它们并补救所造成的任何损害。第108节谈到了AI如何放大拥有资源者的权力:事实上,与每一次重大技术变革一样,AI倾向于放大那些已经拥有经济资源、专业知识和数据访问权的人的力量。鉴于共同利益和物品的普遍归属,这引发了严重关切,因为规模虽小但影响力巨大的群体可以塑造信息和消费模式,影响民主进程,并操纵经济动态以谋取私利,从而破坏社会正义和民族间的团结。因此,至关重要的是,AI的使用,尤其是在涉及公共物品和基本权利时,必须以明确的标准和有效的监督为指导,并建立在参与和辅助性原则的基础上。同一节明确指出了数据应更多地被视为公共物品:[...] 此外,数据的所有权不能完全掌握在私人手中,而必须得到适当监管。数据是众多贡献者的产物,不应被视为可以出售或委托给少数人的东西。有必要创造性地思考,以参与的精神将数据作为共同或共享的物品来管理,正如圣若望保禄二世已经就集体物品所建议的那样。鉴于Palantir的名字来源于《指环王》的典故,我不禁想知道,通谕第213节引用的J.R.R.托尔金《王者归来》中的话,是否是教皇在暗讽彼得·蒂尔。二十世纪的天主教作家J.R.R.托尔金,借其小说中一位主角之口,这样描述了我们的责任:"我们的职责不是掌控世界所有的潮流,而是尽我们所能,去帮助我们所处的时代,铲除我们所知领域的邪恶,以便后来者能有洁净的土地去耕耘。"爱的文明不会源于单一或壮观的姿态,而是源于无数微小而坚定的忠诚行为的总和,这些行为构成了抵御非人化的堡垒。因此,值得停下来反思一下,我们每个人如何以自己的方式,合作建设爱的文明的某些方面。又一个2026年预测落空了今年1月6日,我参加了Oxide and Friends的2026年预测播客节目,谈论对2026年、2029年和2032年的预测。我在这里写下了我的预测,事后看来,它们远不够雄心勃勃——LLM能写出好代码已是无可否认的事实,我们在沙盒技术方面取得了巨大进步,新西兰鸮鹦鹉也确实经历了一个非常成功的繁殖季节。节目中有一段我没有费心写进我的总结里,但我忍不住在这里提供一个稍加编辑的转录稿:Bryan Cantrill: 37:13 我认为AI给自己制造了一些真正的公众认知问题。我认为今年会有一家前沿模型公司发布一份白皮书,解释AI的普及将如何为所有人带来繁荣。他们会试图提出某种经济论点——因为这将是一个2026年的选举议题,我们如何看待这些事情以及如何监管它们,这真是一团糟。这场辩论中情绪多于理性。Simon Willison: 38:05 我想补充一点:我认为这只有在他们能通过现有的可信专家来"洗白"的情况下才有效。Sam Altman和Dario不断发表关于这些东西的文章,但没人相信他们说的一个字。让巴拉克·奥巴马在这些立场文件上签名,也许你就能得到一些人们可能开始信任的东西。Adam Leventhal: 38:27 否则,就像埃克森美孚说"含铅汽油对你有好处"一样。Bryan Cantrill: 38:31 我的意思是,是啊。天哪。奥巴马……我们就选这个,这是个好主意,因为如果是比尔·克林顿,大家都会翻白眼,所以必须是一个真正有信誉的人说这将是广泛的……我想说,如果他们让那个人来做这件事,那也会被揭露出来有点不靠谱。Simon Willison: 38:57 教皇怎么样?Bryan Cantrill: 39:01 教皇对这类事情很感兴趣!这是个很棒的预测。我们挖到宝了。教皇就LLM及其对世界的经济影响发表看法。Simon,如果教皇认为这会造成经济破坏,我把全部功劳都归给你。鉴于利奥十四世/利奥十三世的关系,我的这个预测看起来远没有那么有见地了,因为我们在录制节目时并不知道这一点!标签:预测, ai, 鸮鹦鹉, 生成式ai, llm, bryan-cantrill, ai伦理

译自 Simon Willison · 博客 · 录于 二〇二六年五月二十六日