安德烈·卡帕西的《神经网络：新手到专家》

Andrej Karpathy 的“Neural Networks: Zero to Hero”GitHub 仓库是任何希望深入、实践性地理解神经网络的人的宝库。这个项目不仅仅是关于理论，它是一次动手实践的旅程，让你在领域专家的指导下边做边学。

“Neural Networks: Zero to Hero”的核心是精心策划的资源集合，旨在揭开深度学习复杂世界的神秘面纱。该项目围绕一系列 YouTube 视频讲座展开，每个讲座都配有托管在仓库中的详细 Jupyter 笔记本。这些笔记本是实践的操场，你可以在其中编写和运行代码，巩固视频中解释的概念。

课程从最基础的开始，通过创建一个名为“micrograd”的简单而强大的工具，涵盖神经网络和反向传播的基本构建块。然后，它会进入语言模型，你将构建“makemore”，并逐步通过多层感知器 (MLP) 增强它，理解激活、梯度以及像批归一化这样的技术的重要性。

旅程不止于基础的 MLP。Karpathy 指导学习者构建更复杂的架构，包括受 WaveNet 启发的 CNN，以及至关重要的生成式预训练 Transformer (GPT)，直接引用了“Attention Is All You Need”等开创性论文。该项目甚至深入探讨了 LLM 中关键但常被忽视的组件：分词器，并强调了它对模型行为的影响。

这个项目之所以极其有价值，是因为它的开源性质和教学方法。Karpathy 的讲解以清晰和直观著称，使得具有挑战性的主题变得易于理解。仓库的结构允许学习者跟随、实验并逐步建立自己的理解。它是学生、有抱负的 AI 工程师以及任何热衷于了解现代 AI 系统如何从头开始构建的人的理想资源。

无论你是想掌握梯度下降的复杂性，理解大型语言模型的机制，还是只想获得一个健壮的、以代码为驱动的神经网络入门，"Neural Networks: Zero to Hero"都是一个值得探索的不可或缺的开源项目。