15 学习资源索引与 3 个月路线

资源索引

| 阶段 | 项目 | 用途 | 本教程如何使用 | | --- | --- | --- | --- | | 从零实现 GPT | minGPT | 更容易阅读的 GPT 入门实现 | 结构参考 | | 从零实现 GPT | nanoGPT | 经典小型 GPT 训练项目 | 训练循环和采样参考 | | 从零实现 GPT | build-nanogpt | 从空文件复现 GPT-2 | 章节顺序参考 | | 底层计算 | llm.c | C 语言 GPT-2 forward/backward | 保留 C 对照 | | 小模型数据 | TinyStories | 小模型训练数据集 | 预训练章节参考 | | Transformer | Harvard Annotated Transformer | 逐行解释 Transformer | attention 和 block 参考 | | Transformer | Dive into Deep Learning | 理论、数学、代码结合 | 概念解释参考 | | SFT/LoRA | LLaMA Factory | 微调、LoRA、DPO、PPO | 保留命令对照 | | 指令微调 | Stanford Alpaca | 指令数据生成与 SFT | 数据格式参考 | | RLHF | TRL | PPO、DPO、ORPO、GRPO | 损失函数和训练流程参考 | | RLHF | OpenRLHF | 工业级 RLHF | 工业流程参考 | | RAG | RAG From Scratch | RAG 完整流程 | JS 最小复现参考 | | RAG | LlamaIndex | RAG 工程框架 | 工程结构参考 | | Agent | OpenAI Swarm | 小型多 Agent 编排 | Agent 概念参考 | | Agent | LangGraph | 状态机式 Agent | JS 状态机实验参考 | | 多 Agent | AutoGen | 多角色协作 | 多 Agent 章节参考 | | 轻量 Agent | tiny-agent | 小型 Agent 实现 | ReAct loop 参考 | | 轻量 Agent | PocketFlow | 小型工作流框架 | 节点/边抽象参考 | | 轻量 Agent | smolagents | 小代码量 Agent 框架 | 工具调用参考 | | 编码 Agent | learn-claude-code | Claude Code 学习 | 编码 Agent 实践参考 | | OpenClaw | claw0 | OpenClaw 实践 | 工具系统工程化参考 |

3 个月路线

| 时间 | 主线 | 产出 | | --- | --- | --- | | 第 1 周 | Transformer 论文 + Annotated Transformer | 能手算一次 attention | | 第 2 周 | build-nanogpt | 能说清 GPT 的模块 | | 第 3 周 | nanoGPT + TinyStories | 训练一个小语言模型 | | 第 4 周 | LLaMA Factory / Alpaca | 理解 SFT 与 LoRA | | 第 5 周 | TRL / DPO | 理解偏好优化 | | 第 6 周 | RAG From Scratch | 做出检索问答 | | 第 7-8 周 | smolagents / LangGraph | 做出工具 Agent | | 第 9-12 周 | mini ChatGPT 项目 | 整合 Web UI、RAG、Agent、评测 |

JS 改写原则

教程主代码优先使用 JavaScript，因为目标读者是前端研发。以下情况允许保留原语言：

• 真实训练依赖 PyTorch、CUDA 或分布式框架，JS 版只能做概念模拟。
• 原项目重点是底层语言特性，例如 llm.c 用 C 展示内存布局和手写反向传播。
• 保留原命令能帮助读者将最小实验映射回真实工程。