标记为: LLM Training
Content related to LLM Training
Karpathy 的 Autoresearch：AI 代理过夜训练 LLM
March 10, 2026
Andrej Karpathy 的 autoresearch 仓库通过让自主 AI 代理过夜实验 LLM 训练，革新了 AI 开发。不需要手动编码 – 代理修改 train.py，运行 5 分钟实验，并基于验证损失优化模型。醒来后获得更好的模型和详细日志。带有 nanochat 架构的单 GPU 设置让前沿研究对任何拥有 NVIDIA GPU 的人都触手可及。完美适合希望自动化超参数调整、架构搜索和模型优化的 AI 研究人员。
驾驭 GRPO：利用 Unsloth 高效训练推理型大型语言模型
June 27, 2025
深入探索强化学习 (RL) 的世界，了解 GRPO 等先进技术如何彻底变革人工智能模型训练。本文将剖析核心强化学习概念，阐述 PPO 与 GRPO 之间的区别，并揭示 Unsloth 的尖端优化如何将 GPU 显存需求大幅削减 90% 以上。学习如何在消费级硬件上训练强大的推理型大型语言模型 (LLM)，优化您的训练工作流，并设计高效的奖励函数。从基础原理到实用实现技巧，借助 Unsloth 解锁构建更智能、更高效人工智能的秘诀。