@karpathy 约一周前在 Sequoia Ascent 2026 的炉边谈话：一些亮点…
@karpathy Fireside chat at Sequoia Ascent 2026 from a ~week ago. Some highlight…
Sequoia Ascent 2026 fireside chat 讨论 LLM 超越加速既有应用的三类边界：menugen、以 .md skills 替代 .sh scripts、处理 unstructured data 的 knowledge bases；并分析 jaggedness 与 verifiability、economics、RL training data distributions 的关系，及 agent-native economy 中 sensors、actuators、logic 和 agentic engineering。
约一周前在 Sequoia Ascent 2026 的 fireside chat。一些要点：
我试图推动的第一个主题是，LLM 不只是加速已有事物（例如 coding）。三个新边界的例子：
- menugen：一种可以完全被 LLM 吞没的 app，不需要 classical code：输入一张图，输出一张图，LLM 可以原生完成这件事。
- 安装 .md skills，而不是安装 .sh scripts。比如安装一个软件，为什么要创建复杂的 Software 1.0 bash script？你可以把安装步骤用文字写出来，然后说“直接把这个给你的 LLM 看”。LLM 是高级 English interpreter，能够智能地针对你的环境完成安装、在线 debug 一切，等等。
- LLM knowledge bases 是一个例子：这在 classical code 下是不可能的，因为它是在对来自任意来源、任意格式的 unstructured data（knowledge）进行 computation，包括简单的文本文章等。
我强调这些，是因为在每一次新的范式变化中，显而易见的事情总是在加速或以某种方式改进既有事物的范围内；但这里我们看到的功能，要么突然间也许根本不该再存在（1、2），要么在根本上此前无法实现（3）。
第二个（持续的）主题，是试图解释 LLM 中 jaggedness（锯齿状能力分布）的模式。为什么同一个产物可以同时 1）连贯地 refactor 一个 100,000 行的 code base，并且 2）告诉你走去洗车店洗车。我此前写过，其来源与一个领域的 verifiability 有关；这里我进一步展开，它也与 economics 有关，因为 revenue/TAM 决定了 frontier labs 在 RL 期间会选择把什么打包进 training data distributions。你要么在 data distribution 里（在 RL circuits 的轨道上）一路飞驰，要么相对而言就是拿着砍刀在丛林里越野。我对此仍然不是 100% 满意，但如果你希望实际利用 LLM 的能力、同时避开它们的陷阱，建立一个准确的 LLM capabilities 模型就是一项持续的挣扎，这也引出了……
最后一个主题是 agent-native economy。把 products 和 services 分解为 sensors、actuators 和 logic（分布在全部 1.0/2.0/3.0 computing paradigms 之中）；我们如何让 information 对 LLM 最大程度 legible；一些关于快速出现的 agentic engineering 及其 skill set 的话；相关的 hiring practices，等等；甚至可能还暗示/设想一种 fully neural computing：在（classical）CPU coprocessors 的一些帮助下，处理绝大多数 computation。