我写了一本AI教科书——AI多久能做得更好？

关于AI写作的批评很多，但大多数都集中在更具创意、高辨识度的写作上，比如这篇博客。这些批评——包括我自己写的那些——常常认为，原因在于好的写作是高辨识度的，有观点，有需要传达的深层人类表达，或者是一种通过所选文字窥见的思考过程。随着LLM作为工具而非对话助手变得越来越精细，我认为在让模型产出鼓舞人心的写作这一目标上，我们实际上在倒退。另一方面是纪实类写作。填充性、复制性文本曾是LLM真正有用的能力之一（Sam Altman在最近一期播客中谈到了GPT-3早期业务的很多情况）。看起来这里的任何缺陷主要归因于模型普遍缺乏智能，或其他训练问题，而所有纪实性和解释性文本最终都会被快速进步所消灭。在过去几年里，作为写作助手使用这些模型，它们确实变得好了一些，但值得反思是什么在阻碍它们。模型在长篇纪实写作上的停滞，对那些依赖模型在不久的将来自主解决宏大、开放的科学问题的人来说，应该敲响警钟。今天的模型难以组织和有力呈现其领域内一些最成熟科学的内容。这似乎是一个自然的先决条件，我们应该期望模型在能自主解决广泛、开放式问题之前掌握它。在这一点解决之前，LLM在科学上的进展看起来更像是解决容易摘的果实和跨领域连接遥远联系，而不是任何革命性的洞见。对于一个对AI进展非常乐观的人来说，这是一个有些争议的观点，尤其是在Anthropic发布博客文章称Claude在著名的黎曼猜想上取得进展的当天写下这些。科学问题有广泛的覆盖面，我不认为当前AI模型有像许多人认为的那样多的覆盖。组织知识是一种压缩。这种压缩是产生洞见所必需的。今天的LLM在长篇纪实写作中增加了熵，我看不出这如何能无限地自我叠加。它们将依赖人类作为某种向导。我仍然对从这些狭窄科学形式——比如我们在数学中看到的极端进展——转化为一致、更广泛进展非常乐观——LLM是科学家使用过的最强大的助手。我首先需要解释，观察模型在写作中处理这些扎实、低层次知识问题如何让我看到令人惊讶的泛化缺乏。为了提供更多背景，我刚刚完成了一本训练后教科书《Reinforcement Learning from Human Feedback》（可在Manning或Amazon购买）。我以多种方式使用LLM来支持这项工作，从帮助处理LaTeX格式的方程、进行大量文字编辑，到为TikZ（在LaTeX中）或Python等编程语言创建图表。

分享

为什么模型在写作质量上停滞不前？我原本期望模型在纪实写作上有更多进展。考虑到2024年的情况，我几乎以为在2026年出版一本纪实书会显得很傻。今天，一些在写作能力上最著名的模型相当老了，例如OpenAI的大型GPT 4.5和Moonshot的Kimi K2。在这些发布前后，模型在其他任务如编码和数学上从还行变成了超人。也许一个更接近但仍不完美的比较是，模型如何在搜索和研究任务上从无能变成合格。大多数其他技能的进步速度陡峭，但写得好感觉与它们中的大多数正交。我不认为写作只是被忽视，而是它很有挑战性，缺乏好的训练数据来专门干预。当然有一些容易摘的果实可以让AI模型在写作上更好——比如像Claude Code这样的专门工具、提示词和训练环境，让模型在输出上花费更多推理token——但我不认为这些会对能力产生倍增影响。写得好是一项非常困难的任务！遗憾的是，我们还没有为这一伟大的智力追求解锁推理时扩展。无论如何，写作似乎与模型擅长的东西非常不同。¹

今天，模型在长篇技术写作上似乎真的很糟糕。它们能写对一句话，但如果你让它们写一整章，那将是混乱措辞、组织混乱、总体有点偏差的混合体。它们在不必要的地方试图过于俏皮，过程中犯下随机的概念错误。模型在不久的将来会更好地处理小错误，尤其是随着模型变大——这使它们能容纳更多世界知识——但我不期望它们利用这些知识的能力会转变。例如，GPT模型长期以来在发现拼写错误和小问题方面表现出色。我把书的接近最终稿PDF传给GPT 5.5 Pro，它在200-300页的手稿中发现了深层、令人惊讶的细微拼写错误。另一方面，Claude模型作为编辑更有用。它们有更多品味，倾向于更好地理解任务的思维模型，并有更有趣的建议来解除不同形式的写作瓶颈。

我上面给出的例子都有某种一致的主题。模型知道如何检查每个内容单元，在这种情况下通常是句子、方程或图表，或者制作一个你卡住的特定部分。有了这些技能，它们在重新审视组件并将它们串联起来方面做得不好，因为它们在彼此之上添加了许多内容。这感觉像是一种不可约的复合错误。我们过去在数学和代码中处理这些错误，但反思一下，RLVR在减少它们方面确实是一个神奇的解决方案。

Interconnects AI是读者支持的出版物。考虑成为订阅者。

作为作家从当前模型中获得价值

我愿意分享，我的书中有一些技术解释句子来自AI模型——远低于1%——它们在那里是因为我真的很喜欢它们。我允许自己考虑在书中包含一些AI token，因为如果我作为真正的专家觉得那句话是读者需要的，那感觉不像作弊。尤其是在编辑过程中，我密切关注事情，并担心我的书是否能在我手头所有事情中完成，这是一条极其宝贵的路径。例如，我有一个编辑的问题列表，散布在LaTeX文件中，用特定的分隔符如\editor{}标记。我会让Claude Code导航到每个评论，打印前后的上下文，并告诉我这是简单的拼写修复还是更微妙的东西。我会写一个回应——要插入的文本——或在修复前请Claude提供建议。从智力上讲，这是一个非常专注的编辑过程，是改进书的有趣方式。有时Claude建议的短语进入了书中。这绝对是一个滑坡，当我接受一些AI建议时，那是在我进行第二次完整手稿审查的时候。情感上项目感觉完成了，但我还有更多工作要做。

从教科书写作过程中走出来，我深深感激我为Interconnects写作设定的明确规则，即绝不在内容中使用AI输出。以只有你自己的方式写作——高辨识度，过程被深深珍视——更有趣，但写标准参考书并不是以有趣著称的活动。我理解为什么当大多数人的写作只是填充空间的输出，而不是达到目的的手段时，他们会把AI工具变成拐杖。我写大量内容是为了学习、感受和表达。我在科学工作中也在处理类似的平衡。AI模型非常适合论文中重复的部分，比如起草你熟记于心的相关工作或背景部分，但用它们来写摘要、引言、实验或结论是一种遗憾。那些是传达工作故事和灵魂的地方——是你了解研究真正内容的地方。

我确信，通过让AI模型创建和检查我的纪实写作工作，我创造了更多净价值。它们使写方程变得微不足道，可以帮助重构仓库、在语言之间移植，以及许多其他事情。一开始非常有趣，直到我被出版过程的长度和看着领域前进而有点疲惫。关于AI在这种情况下至关重要的一个例子，我必须同时维护书的Markdown和LaTeX版本在两个地方，因为读者在网页版本上提供反馈，而我的Manning编辑团队审查一个分叉副本。没有AI代理，同步两者会花我五倍的时间（这个任务已经花了数十小时）。与这个故事交织在一起的是，当我在思考代理时偶然发现的，你的理解速度不会通过使用代理而增加。那种理解，以直觉、品味、本能等形式，在未来将是有价值的。使用AI进行纪实写作会削弱这种进展。再者，如果你不是专家，你将无法发现它的缺陷。

在我的情况下，我感到如此紧迫地将知识从大脑倾倒到页面上，以至于有时使用AI模型是一个值得的工具。我写书的很多动机是有一个关于重要训练后方法如拒绝采样或角色训练（character training）的单一参考，而网上几乎没有。这本教科书在很大程度上是回馈社区，以任何形式完成它都是一个巨大的胜利，我觉得这没问题。我确定，如果投入更多人类努力，我会学到更多，产品也可能略有改进。决定因素是，我觉得书在出版时会被时代淘汰，一方面担心AI模型的能力，另一方面担心领域移动的速度。这结果真的错了吗？我对结果非常满意，现在比2024年开始时更有信心它的持久力，因为模型在纪实写作上如此未能达到炒作预期。

分享

技术写作从这里走向何方

模型是不可思议的工具，它们让你以不同形式表达知识。它们非常适合创造创意填充或背景材料——例如，幻灯片初稿的真正价值是作为教师讲授的谈话要点——让任何知识从一种媒介转换到另一种。写纪实或参考教科书有一个微妙、早期阶段，感觉有点像写这样高辨识度的博客文章。在推动早期组织和核心骨架的呈现时，新知识被创造出来。这是需要洞见的部分，LLM在替代它方面远远落后。

上述段落和前一节的关键是，如果世界上更多专家使用AI模型写一点点他们的书，以便与世界分享更多知识，我会很高兴。问题是，今天你只能用AI模型节省10-20%的努力，我不认为这个比例很快会成为多数。还有社会压力，人们期望LLM是最好的个性化教育者，所以他们觉得写书或教育内容毫无意义。我认为其中一些观点正在过时，因为最高质量的教育工作存在巨大短缺——而且一直如此。AI擅长将所述内容操纵成适合学生的形式，而不是从头创造内容。

与此同时，我觉得我们被困在一个令人沮丧的局部最小值中，AI模型将净减少纪实写作的平均努力，但它们可能促成伟大的表达。更少的人会开始并坚持到底。所以，在2-5年内，我仍然期望最好的教科书由人类之手精心制作。我不确定之后会怎样，但考虑到这些模型拥有多少知识及其结构性的流式倾向，这比许多人预测的要长。

至于能力的结论，模型在两个背景下表现出色：1）任何真正可验证的领域，2）当给予大量上下文并做小编辑时——比如找bug或解决非常具体的数学问题或提供反馈——而不是开放式生成散文。长篇写作肯定会在创意写作之前倒下，但这是一个强烈的信号，表明模型无法在未明确指定问题中表达其全部知识。当我们试图推动模型成为某种“数据中心中的天才”来解决宏大科学问题时，这似乎是一个相当根本的限制。

¹ 部分原因在于人们如何使用模型。如果你在Claude Code（或聊天应用，我相信也是）中问Claude Fable 5：“给我写一首关于金鱼的好诗，”模型会迅速吐出一个答案。我问模型它是怎么做到的，是否有某种草稿纸，它会迭代更新后才返回好东西，它说没有。它在推理token中做了一个最小计划，然后自回归生成了一首诗。它没有利用推理时扩展，也没有像对待困难任务那样处理。这肯定是大多数人使用模型写作的方式，结果平庸也就不足为奇了。从它们那里获得最佳结果的方法是大量提示模型，让它们在回答前广泛工作，并在返回文本前参考其他评判模型的意见。鉴于模型现在有一些真正的技能，有一种简单的方法可以让长篇更好。