🔬 起因
2026 年 3 月,Karpathy 发布了 autoresearch,8 天 33K 星。核心思路:让 AI agent 自主做 ML 研究 — 改代码、跑实验、看结果、保留或丢弃、循环。你睡一觉,它跑了 100 个实验。
社区版 autoresearch-at-home 更进一步:多个 agent 协作研究,像 SETI@home 一样分布式跑实验。
📁 三个文件,一个闭环
prepare.py — 固定不动的基础设施(数据、评估)
train.py — agent 唯一能改的文件(模型、训练)
program.md — 人写的指令(研究方向和约束)
关键洞察:你不是在写代码,你是在写指导 AI 写代码的 Markdown。
🎯 为什么它能全自动?
因为有一个无歧义的评估标准:val_bpb(验证集 bits per byte)。数字降了就是好,没降就丢掉。agent 不需要"品味",只需要看数字。
从手动到自动,核心转化物是:评估函数。
不是更聪明的 AI,不是更多的工具,而是一个能客观判断"好不好"的标准。
🚀 手动 → 半自动 → 全自动
用一个具体场景来理解:开完会写会议笔记。
阶段 0 · 纯手动
你是工人
自己建文件、写 frontmatter、加链接、检查格式、移动文件。30 分钟,全靠人。agent 不存在。
↓
阶段 1 · 半自动
你是质检员,agent 干杂活
你说"帮我建个会议笔记",agent 自动生成文件名、填 frontmatter、放到 Inbox。你补充内容、审核格式。10 分钟。
↓
阶段 2 · 规则积累
你是规则制定者(关键阶段)
跑了 20 次后,你的每次纠正都在暴露标准:"participants 用列表不用逗号"、"缺的 Who 卡片自动创建"、"项目名用英文"。这些规则沉淀成 RULES.md — 你的个人奖励模型。
↓
阶段 3 · 全自动
你是老板,偶尔抽查
录音转写自动进来 → agent 识别会议 → 生成完整笔记 → 自检 lint → 通过 → 完成。你只看一眼通知。1 分钟。
💻 计算机原理:编译器自举
C 语言的编译器是用 C 写的。但第一个 C 编译器不可能用 C 写 — 所以先用汇编手写一个简陋版本,再用它编译更好的自己。这叫自举(bootstrapping)。
阶段 3 = 成熟的编译器(自己译自己,不需要人了)
你不是在教 agent 做笔记,你是在用 agent 来"编译"你脑子里的规则。一旦规则被编译出来,执行者是谁就不重要了。
🧠 AI 原理:这就是 RLHF
ChatGPT 的训练流程和我们的自动化过程一一对应:
人类标注员打分
你纠正 agent 的输出
训练奖励模型
沉淀成 RULES.md
模型自主优化
agent 自己 lint + 修复
不再需要标注员
不再需要你审核
两者面对同一个根本问题:人类的判断力是稀缺资源,怎么把它规模化?
👤 角色变化
| 阶段 | 你的角色 | Agent 的角色 |
| 手动 | 工人(自己干所有事) | 不存在 |
| 半自动 | 内容提供者 + 质检员 | 执行杂活 |
| 规则积累 | 规则制定者 | 执行 + 学习 |
| 全自动 | 老板(偶尔抽查) | 全流程执行 + 自检 |
✨ 核心 Takeaway
- 半自动不是终点,是数据收集阶段 — 你的每次纠正都在训练评估函数
- 人一开始要给的关键输入不是"做什么",而是"什么算好" — 评估标准决定自动化质量
- 越主观的任务,半自动阶段越长 — ML 研究的评估天然客观,笔记管理需要从主观判断里提炼
- 用 Markdown 编程 AI agent — autoresearch 的 program.md 和 OpenClaw 的 SKILL.md 是同一个思路
- 从量变到质变 — 规则攒够了,自动就是自然的结果