X · 研究者一手

@karpathy 将“autoresearch”项目打包成一个新的独立 mi…

@karpathy I packaged up the "autoresearch" project into a new self-contained mi…

二〇二六年五月十五日 · 英文原文

"autoresearch"项目被重构为单GPU、单文件版本(约630行代码),核心是nanochat LLM训练流程的简化。人类以.md文件迭代prompt,AI agent以.py文件迭代训练代码,目标是让agent自主加速研究进展。每次运行持续5分钟,agent在git功能分支上自主循环,当找到更低验证损失的设置时提交commit,涉及神经网络架构、优化器及超参数。另有更大版本在生产环境nanochat上运行,使用8XH100处理更大模型。

我把"autoresearch"项目打包成了一个全新的自包含最小化仓库,方便大家周末尝试。它本质上是将 nanochat LLM 训练核心精简为单 GPU、单文件版本,约 630 行代码,然后:

目标是设计你的 agent,使其能以最快速度无限推进研究进展,且无需你亲自参与。图中每个点都是一次完整的 LLM 训练运行,每次恰好 5 分钟。Agent 在 git 功能分支上自主循环工作,当它找到更好的设置(即最终验证损失更低)时,会不断向训练脚本提交 git commit,这些设置涉及神经网络架构、优化器、所有超参数等。你可以想象比较不同 prompt、不同 agent 的研究进展。

https://t.co/YCvOwwjOzF 一半代码,一半科幻,再加一点疯狂 :)

(我还有一个更大的版本在生产环境的 nanochat 上运行,处理更大的模型,使用 8XH100,目前状态如图。我会让它继续运行一段时间...)https://t.co/aWya9hpUMl

译自 X · 研究者一手 · 录于 二〇二六年五月十五日