Karpathy 的 Autoresearch：让 AI 代理革新你的模型训练

手动 AI 研究的时代结束了。Andrej Karpathy 的 autoresearch 仓库（20.6k 星）引入了一种开创性方法：AI 代理在无人干预的情况下自主改进 LLM。

革命性概念

研究人员不再手动调整超参数、架构和优化器，autoresearch 将控制权交给 AI 代理。工作流程如下：

1. 代理编辑 train.py（GPT 模型、Muon+AdamW 优化器、训练循环）
2. 运行 5 分钟训练（固定时钟预算）
3. 在 val_bpb 上评估（每字节位数，越低越好）
4. 保留改进，丢弃失败
5. 重复约 100 次过夜

醒来后获得优化后的模型和详细的实验日志。

最小 4 文件设置

uv sync
uv run prepare.py  # 下载数据 + 训练分词器
uv run train.py    # 手动测试（约 5 分钟）

核心文件： - prepare.py – 数据准备 + 工具（固定） - train.py – 代理的游乐场（模型 + 训练） - program.md – 代理指令（人类可编辑）

生产就绪的设计选择

✅ 单一可编辑文件 保持差异可审查 ✅ 固定 5 分钟预算 = 公平的架构比较 ✅ 自包含 – PyTorch + 最小依赖 ✅ 词汇表无关的指标（val_bpb）

H100 用户快速开始

# 1. 安装（Python 3.10+）
curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync

# 2. 准备数据（约 2 分钟）
uv run prepare.py

# 3. 测试运行（约 5 分钟）
uv run train.py

启动 Claude/Codex：

"嗨，阅读 program.md 并启动一个新实验！"

较小硬件？试试这些 Fork

• MacOS：miolini/autoresearch-macos
• MacOS MLX：trevin-creator/autoresearch-mlx
• Windows RTX：jsegov/autoresearch-win-rtx

低计算专业提示： TinyStories 数据集、vocab_size=1024、DEPTH=4、MAX_SEQ_LEN=256。

为什么这改变了一切

• 民主化研究：单 GPU → 前沿进步
• 平台优化：为 你的 硬件找到最佳模型
• 代理可编程：编辑 program.md 添加多代理群
• MIT 许可：Fork、扩展、贡献

GitHub 仓库 (20.6k ⭐) – AI 研究未来已来。