跳转到内容

00 导读：如何使用这套教程

学习目标

读完这一章，你应该知道：

这套教程为什么按 Transformer → GPT → SFT/RLHF → RAG → Agent 组织。
每章的原理和代码实验如何配合。
为什么示例优先使用 JavaScript，而不是默认使用 Python。

通俗解释

前端研发学习 LLM，常见误区是直接跳到 API 调用：会调 chat.completions，但不知道 token 为什么贵、上下文为什么会溢出、RAG 为什么会召回错、Agent 为什么会循环失败。

这套教程把大模型拆成两层：

模型内部：文本如何变成数字，attention 如何混合上下文，训练如何让 next token 预测变准。
模型外部系统：RAG 如何补知识，Agent 如何调用工具，MCP/Skill 如何把能力封装给编码工具。

原理拆解

LLM 的核心可以粗略看成：

文本
↓ tokenization
token id
↓ embedding
向量
↓ Transformer
上下文相关向量
↓ language modeling head
下一个 token 的概率

训练阶段让这个概率越来越接近真实文本；应用阶段则把这个概率分布变成回答、工具调用或多 Agent 协作。

参考项目里的对应实现思路

minGPT 和 nanoGPT 展示 GPT 训练主线。
build-nanogpt 从空文件开始复现 GPT-2，是理解结构最好的路径之一。
llm.c 用 C 展示底层 forward/backward，适合理解框架背后的矩阵计算。
RAG From Scratch、LangGraph、AutoGen 则对应应用层系统。

最小代码实验

本章实验只检查环境：

运行命令与预期输出

npm run lab:00

预期输出：

learn-llm 实验环境检查
Node.js: v...
运行方式: npm run lab:01 或 npm run labs

常见误区

误区：必须先会深度学习框架。 本教程先用 JS 手写最小计算，让你知道框架帮你做了什么。
误区：Agent 是一种新模型。 Agent 更像一个控制循环，模型只是其中的决策器。
误区：RAG 等于向量数据库。 向量数据库只是召回组件之一，RAG 还包括切分、召回、重排、上下文组装和评测。

延伸阅读