1

为什么 Adam 是深度学习的默认优化器：从直觉到数学

从 SGD 的困境出发，一步步推导出 Adam 优化器为什么这样设计，以及 AdamW 解决了什么被忽视了十年的 bug。

→ 2

投机解码：让大模型「猜」着跑的数学魔术

Speculative Decoding 用一个小模型先猜、大模型再验的方式，在数学上保证输出分布完全不变的前提下，把推理速度提升 2-3 倍。

→ 3

LoRA：为什么只训练 0.01% 的参数就够了

从内在维度假说出发，解释 LoRA 低秩适应为什么能用万分之一的参数达到全量微调的效果，以及 rank、alpha、初始化背后的数学直觉。

→ 4

Softmax 的秘密：温度、饱和与数值稳定性

Softmax 看似简单——exp 再归一化——但它在 Transformer 里引发的连锁反应远比你想象的深刻：从梯度消失到注意力坍缩，从数值爆炸到知识蒸馏。

→ 5

混合精度训练：用一半的比特做同样的事

为什么把 32 位浮点砍成 16 位甚至 8 位，模型照样能训好？深入浮点数的比特世界，理解 loss scaling 的数学必要性，以及 BF16 为何成为 LLM 训练的事实标准。

→ 6

In-Context Learning：为什么不更新权重也能学？

大语言模型不用训练就能从几个例子中'学会'新任务——四种理论解释这种看似不可能的能力从何而来。

→ 7

Grokking：过拟合之后的顿悟时刻

神经网络可以在完全过拟合之后，经过漫长的沉默期突然学会泛化——这个叫 Grokking 的现象颠覆了我们对训练的认知

→ 8

Chain-of-Thought：为什么「说出思考过程」能让模型变聪明

从计算复杂性理论视角解释 Chain-of-Thought 为什么有效：它本质上突破了 Transformer 固定深度的串行计算瓶颈，把一个「只能算一步」的机器变成了「能算无数步」的机器。

→ 9

RoPE 旋转位置编码：用旋转让模型理解距离

RoPE 的核心直觉：把位置信息编码为向量的旋转角度，让两个 token 之间的注意力分数只取决于它们的相对距离——就像时钟上两根指针的夹角只取决于时间差。

→ 10

FFN 层的秘密身份：Transformer 里的知识仓库

Transformer 中 2/3 的参数都在 FFN 层——它不是简单的非线性变换，而是一个巨大的键值记忆库，存储着模型学到的所有事实知识。

→ 11

归一化的进化：从 LayerNorm 到 RMSNorm 再到 DeepNorm

为什么深度网络需要归一化？LayerNorm 做了什么几何操作？RMSNorm 为什么删掉均值还能用？DeepNorm 怎么让 1000 层 Transformer 稳定训练？

→ 12

残差连接：深度网络的梯度高速公路

残差连接看似只是一条「跳线」，实则彻底改变了深度网络的优化景观——它让梯度拥有了不经过任何非线性的高速通道，让网络从「学变换」变成「学修正」，甚至暗含了指数级路径集成和连续微分方程的深刻数学。

→ 13

量化的数学：如何把 700 亿参数塞进一张显卡

从量化的基本数学出发，深入 GPTQ（二阶信息补偿）、AWQ（激活感知缩放）、GGUF（K-Quant 层级结构）三种方法的核心思想与数学直觉

→ 14

学习率调度的艺术：Warmup、Cosine Decay 与 WSD 背后的原理

为什么训练开始时要小心翼翼地加速？为什么学习率要像日落一样缓慢下降？从损失景观的几何直觉到现代 WSD 调度的工程智慧。

→ 15

交叉熵与 KL 散度：训练 LLM 时我们到底在优化什么

从信息论的「惊讶度」出发，解释交叉熵损失为什么是训练语言模型的唯一合理选择，以及 KL 散度如何连接压缩、对齐与蒸馏

→ 16

双重下降：为什么过拟合之后模型反而变好了

经典统计学告诉我们模型太复杂会过拟合，但现代深度学习的实践却说模型越大越好——双重下降现象揭示了这两种观点之间隐藏的桥梁。

→ 17

权重初始化的数学：从 Xavier 到 Kaiming 再到 µP

为什么深度网络训练之前要精心设置初始权重？从方差守恒的直觉出发，推导 Xavier 和 Kaiming 初始化，再到 µP 如何让超参数跨尺度迁移。

→ 18

采样的艺术：Temperature、Top-k、Top-p 与 Min-p 如何控制 LLM 的创造力

从物理学的玻尔兹曼分布到现代 LLM 的采样策略：理解 temperature、top-k、top-p、min-p 如何在创造力与连贯性之间走钢丝。

→ 19

Linear Attention 的核方法视角：如何用一个数学技巧把 O(N²) 变成 O(N)

从核方法的视角理解 Linear Attention：softmax 其实是一个核函数，而打破二次复杂度的秘密藏在矩阵乘法结合律里。

→ 20

Embedding 层的几何结构：为什么一张查找表能装下整个世界的意义

从查找表到高维几何——理解 LLM 最底层的数学结构：为什么 4096 个数字就能编码语言的全部含义

→ 21

RLHF 的暗面：为什么讨好一个「打分模型」不等于变得更好？

当模型学会讨好打分模型而不是变得更好，会发生什么？一篇关于 Goodhart's Law、代理奖励失控和 RLHF 暗面的深度解析。

→ 21

State Space Models 的控制论基础：Mamba 为什么懂「工程」而不只是懂「深度学习」

从控制工程师设计巡航系统的思路出发，拆解 S4/Mamba 背后那套几十年前就有的数学——状态空间方程、离散化、HiPPO 记忆理论和选择性扫描——看懂为什么这套「老古董」理论能在 2023 年重新定义序列建模。

→ 22

训练时只见过 4K，推理时却要处理 100K：ALiBi 和 YaRN 如何让模型「越活越长」

为什么一个在 4096 长度上训练的模型，一旦输入超过这个长度就开始胡言乱语？ALiBi 用一个近乎粗暴的线性惩罚绕开了这个问题，而 YaRN 则把 RoPE 的频率结构拆开重新校准——这两条路线揭示了「长度外推」背后一个被长期低估的真相：模型不是不会数数，而是从没见过那些数字。

→ 23

GQA、MQA、MLA：当「多头」变成推理账单上最贵的一项

为什么现代大模型都在悄悄改造多头注意力？从 MQA 的暴力共享，到 GQA 的折中方案，再到 DeepSeek 用 MLA 打破「省内存必然掉质量」的魔咒——这是一场关于注意力头设计的工程博弈。

→ 24

FlashAttention 的秘密：真正的瓶颈不是算力，是搬数据

FlashAttention 没有发明新的注意力算法，也没有减少一次浮点运算，却让 Transformer 训练提速 2-4 倍——秘密藏在 GPU 内部两块内存之间的搬运账单里。

→ 25

压缩即智能：为什么预测下一个字，可能就是智能的全部秘密

从 Hutter Prize 到 DeepMind 的『语言建模即压缩』论文，一场关于智能本质的四十年争论：压缩率能不能当作智能的度量尺？

→ 25

涌现能力是真的吗？一场关于度量标准的科学论战

LLM 的涌现能力究竟是模型规模增长带来的真实突变，还是度量标准选择制造的幻觉？这场论战揭示了 AI 研究中最深刻的测量哲学问题。

→ 28

多头注意力为什么有效：一个大脑同时开会，还是八个小组分头调查？

把注意力拆成 8 个头,不是为了并行加速这么简单——这背后有一套关于'干扰'、'容量'和'秩'的数学道理,也有一堆关于'其实很多头都是冗余的'的尴尬真相。

→ 29

Chinchilla 最优：一块钱的算力，该买大脑子还是买书？

DeepMind 用 400 多个模型的实验告诉我们：过去几年大家一直把 GPT-3、Gopher 这样的巨兽训练得太大、喂得太少了——而修正这个错误后诞生的 70B 参数 Chinchilla，靠着更多的数据，把四倍大的 Gopher 打得没有还手之力。

→ 30

Mixture of Depths：条件计算与「按需思考」的 Transformer

为什么每个 token 都要经过 Transformer 的每一层？Mixture of Depths 用一个巧妙的路由机制告诉我们：其实没必要，模型可以自己学会「该省力气的地方省力气」。

→ 31

损失景观漫游指南：为什么「平坦的山谷」比「尖锐的谷底」更值得信任

训练损失降到 0 不代表模型真的学懂了——决定模型能不能在新数据上表现好的，往往是损失曲面在最优点附近的『形状』：平坦还是尖锐。这篇文章带你理解损失景观的几何直觉、大批量训练为什么容易翻车、以及 SAM、Edge of Stability 这些前沿发现背后的道理。

→ 32

一块钱的数据，该先吃菜还是先吃肉？数据配比与课程学习的秘密

同样的一堆训练数据，喂的比例不同、喂的顺序不同，最终模型的能力可能天差地别——这篇文章讲清楚数据配比和课程学习背后的道理。

→ 33

Token 预测与世界模型：机器在「猜下一个字」的时候，到底在脑子里发生了什么？

一个只被要求『预测下一个词』的模型，会不会在不知不觉中学会理解这个世界？从一个玩黑白棋的玩具模型说起，看两派顶尖研究者如何用完全不同的方式回答这个问题——以及为什么这个争论比看起来复杂得多。

→ 34

AI 吃 AI 会变傻吗？模型坍缩的数学真相与被夸大的恐慌

当模型开始吃自己生成的数据训练自己，会发生什么？'模型坍缩'背后有严谨的数学证明，但现实世界的坍缩风险，可能没有新闻标题说得那么可怕。

→ 36

Attention Sink：为什么每个大模型都有一个「情绪垂直区」，把注意力都倒在第一个词上？

几乎所有 Transformer 语言模型都会把大量注意力砸在序列的第一个 token 上——不管这个 token 是什么、句子在讲什么。这不是 bug，而是模型自己发明出来的一种「安全阀」机制。

→ 37

Muon 优化器：当我们把梯度矩阵「拉直」成一个旋转

为什么 Kimi K2 这样的万亿参数模型会抛弃统治了十年的 Adam，换成一个连大多数工程师都没听过的优化器？Muon 的答案藏在一个简单的问题里：你的梯度矩阵,是不是被少数几个方向绑架了？

→ 38

测试时计算扩展：当模型学会「多想一会儿」而不是「变得更大」

为什么让模型多想一会儿，有时比造一个更大的模型更划算？测试时计算扩展的原理、边界与代价。

→ 39

秩坍缩：如果没有残差连接，Transformer 会把所有词变成同一个词

纯注意力网络会以双指数速度把所有 token 的表示压成同一个向量——这不是训练事故，是数学定理。残差连接和 MLP 才是真正阻止这件事发生的英雄。

→ 40

多token预测：如果训练时就逼模型「看得更远」会怎样？

从 Meta 的一篇实验论文到 DeepSeek-V3 的生产级设计：让模型在训练时一次预测好几个未来的 token，为什么反而能让它更聪明、跑得更快？

→ 41

知识蒸馏：为什么一个模型的错误答案，能教会另一个模型变聪明？

从 Hinton 的暗知识到 DeepSeek-R1 蒸馏出的小模型：为什么让学生模型模仿老师的错误分布，比只学正确答案效果更好？

→ 43

为什么大模型总是「一本正经地胡说八道」：幻觉的统计学必然性

OpenAI 2025 年的一篇论文用一个简洁的数学证明说明：幻觉不是训练没做好，而是交叉熵目标和二元评分机制共同作用下的统计必然结果。

→ 44

模型合并：为什么把两个模型的权重直接加起来，居然能得到一个更好的模型？

从 Model Soups 到 Task Arithmetic、TIES-Merging、DARE 与 SLERP：模型合并背后有一套关于损失地形（loss landscape）的几何直觉——把权重直接相加，为什么不会把模型搞崩，反而经常变强。

→ 45

反转的诅咒：为什么模型知道「A的B是谁」，却不知道「B的A是谁」

GPT-4 能准确说出汤姆·克鲁斯的母亲是谁，却答不出「玛丽·李是谁的母亲」——这不是记忆不够,而是自回归训练的一个结构性盲区。

→ 46

为什么大模型读长文档时总「记不住中间」：Lost in the Middle 的几何真相

把答案放在10篇文档的第1篇或第10篇，模型几乎全对；放在第5篇，正确率断崖式下跌——这不是训练数据的问题,是残差连接和因果掩码在数学上必然造成的几何盲区。

→ 47

为什么不能无限加大 Batch Size？梯度噪声尺度里藏着训练提速的天花板

GPU 越多，能不能把 batch size 开得越大来加速训练？OpenAI 2018 年的一篇论文告诉我们：存在一个叫「梯度噪声尺度」的数字，它决定了继续加大 batch 到底还有没有意义。

→ 48

LoRA 低秩适应：为什么微调一个千亿参数模型，只需要动千分之一的参数？

从「Intrinsic Dimension」的惊人发现出发，讲清楚 LoRA 为什么能用千分之一的参数量微调大模型，以及它的几何直觉、数学细节和现实中的局限。

→ 52

手术刀式改写大模型的记忆：ROME 与 MEMIT 的知识编辑术

如果一个大模型记错了一件事——比如以为现任某国总统还是三年前那个人——除了重新训练整个模型，我们还能不能像做一次微创手术一样，只改掉这一条记忆，而不动其他一切？

→ 53

激活转向：不用重新训练，只靠一个向量就能让大模型「变心」

只用几十对『正例/反例』提示词提取一个方向向量，加进模型的残差流里，就能让模型变得更乐观、更诚实、更愿意拒绝——甚至彻底失去拒绝能力。这篇讲清楚激活转向背后的几何直觉和它掀起的安全争议。

→ 54

原生稀疏注意力：当模型自己决定该看哪里

从 H2O 的事后剪枝到 DeepSeek 的 NSA、Kimi 的 MoBA，稀疏注意力经历了一次范式转变：不再是训练完再砍，而是让模型在训练时就学会该看哪里。

→ 55

Ring Attention：把一条无限长的序列,切成一个环

当一条序列长到连拆开算都装不进一张显卡时,Ring Attention 用一个环形拓扑把计算和通信叠在一起,让上下文长度随显卡数量线性增长,几乎不花额外代价。

→ 56

Transformer 算不出奇偶校验：一个模型架构的数学天花板

从电路复杂性理论出发，解释为什么无论把 Transformer 训练得多大、多久，它都无法保证学会像「数一串 01 里 1 的个数是奇是偶」这样看起来极其简单的任务——除非你允许它多写几步。

→ 58

Softmax 瓶颈：为什么再大的模型，输出层也可能是「智力天花板」

语言模型的最后一层——那个把隐藏向量变成词表概率分布的 softmax——藏着一个几乎无人在意的数学限制：它的输出被死死限制在一个「秩」的天花板之下，而人类语言的复杂度，天生就会撞上这个天花板。

→ 59

语言模型记忆容量：为什么每个参数只值 3.6 比特？

一个模型到底能'记住'多少东西？Meta 和 DeepMind 的研究给出了一个惊人精确的答案：大约每个参数 3.6 比特。这篇文章讲清楚这个数字是怎么测出来的，以及为什么'记忆'本身，可能正是模型能泛化的原因。

→ 61

涌现性错位：为什么教 AI 写一段烂代码，它就想着奴役人类？

微调一个模型让它写不安全代码,它却在完全无关的话题上开始建议杀人、宣称人类应被奴役——这篇文章带你理解涌现性错位背后的机制、证据链和缓解办法。

→

1

理解 RLHF 与对齐训练（一）：从预训练到对齐——为什么 ChatGPT 不只是一个更大的 GPT-3

预训练语言模型的目标函数和人类需求之间存在根本性错位——RLHF 就是桥接这个 gap 的优雅方案

→ 2

理解 RLHF 与对齐训练（二）：SFT——用示范教会模型「怎么说话」

SFT 是对齐的第一步：用少量高质量示范数据，把一个'文字续写机器'变成一个'问答助手'

→ 3

理解 RLHF 与对齐训练（三）：奖励模型——如何把「哪个回答更好」变成数字

奖励模型的核心是把人类的比较判断（A比B好）通过 Bradley-Terry 模型转化为可微分的标量信号——就像用比赛胜负推算棋手等级分

→ 4

理解 RLHF 与对齐训练（四）：PPO——用强化学习微调语言模型的艺术与苦难

PPO 是 RLHF 的执行引擎：用 clipping 机制当护栏、KL 惩罚当保险绳，在奖励最大化和模型稳定之间走钢丝

→ 5

理解 RLHF 与对齐训练（五）：DPO 与 GRPO——跳过奖励模型的新范式

DPO 证明语言模型本身就是奖励模型，GRPO 证明不需要价值函数也能做 RL——对齐训练正在变得越来越优雅

→

1

理解 AI 图像生成（一）：从 GAN 到 Diffusion——生图技术的十年进化史

从 GAN 的对抗博弈到 Diffusion 的逐步去噪再到 Flow Matching 的直线传输——AI 生图的每一次范式转移都在解决前一代的核心痛点

→ 2

理解 AI 图像生成（二）：Diffusion Model 原理——为什么「加噪再去噪」能生成图片

扩散模型的核心是一个优雅的对称：前向过程把画作变成灰尘（有解析公式），反向过程训练一个修复师逐层清除灰尘（用简单的 MSE 损失）

→ 3

理解 AI 图像生成（三）：Latent Diffusion 与 Stable Diffusion——在压缩空间里做魔法

Latent Diffusion 的核心洞察：先用 VAE 把 512×512 图片压缩到 64×64 潜在空间，再在这个小空间里做扩散——计算量骤降 48 倍，让消费级 GPU 也能生图

→ 4

理解 AI 图像生成（四）：条件控制——从文字到图像的桥梁

CLIP 把文字变成向量，Cross-Attention 让图像的每个位置「看到」文字，Classifier-Free Guidance 把微弱的条件信号放大 7-15 倍——三者配合才有了文生图

→ 5

理解 AI 图像生成（五）：主流模型全景——SD、DALL-E、Midjourney、Flux 与架构未来

从 U-Net 到 DiT，从 DDPM 到 Flow Matching——2024-2025 年的架构革命正在重塑 AI 生图的全部技术栈

→

1

什么是 Token？为什么 AI 不直接读文字

ChatGPT 数不清 strawberry 里有几个 r——因为它根本看不到单个字母。它看到的是 'token'：比字母大、比单词小的文本碎片。BPE 算法决定了这些碎片怎么切。

→ 2

BPE vs WordPiece vs Unigram：三种切词算法对决

同一段话，GPT-4 和 BERT 切出来的 token 完全不同。BPE 看频率，WordPiece 看统计显著性，Unigram 用概率论。三种哲学，殊途同归。

→ 3

Tokenizer 的工程实战：那些让人踩坑的细节

为什么 LLM 数不清字母？为什么中文用户 API 费用更高？为什么 prompt 末尾加个空格就影响生成质量？这些奇怪现象背后都是 tokenization 的锅。

→ 4

Token 的阴暗面：当切词出错时会发生什么

LLM 数不清字母、算不对数学、甚至会被'幽灵 token'搞崩溃——这些诡异行为的根源都是 tokenization。本篇揭示 token 切分带来的安全漏洞、推理失败和生产事故。

→ 5

万物皆可 Token：图像、声音、动作的统一语言

Token 不只属于文字。图像被切成视觉词汇、音乐被编码为 codec token、机器人动作被离散化为 bin——万物正在被统一为 token 序列，由同一个 Transformer 处理。

→ 6

Tokenizer 之死：当模型学会自己切词

固定词表、贪婪切分、数据分布不匹配——传统 tokenizer 的种种问题催生了一个激进的想法：直接处理原始字节，让模型自己决定怎么'看'文本。Byte Latent Transformer 正在把这个想法变成现实。

→

1

MoE 底层原理：为什么大模型可以又大又快

671B 参数的 DeepSeek-V3 推理速度接近 37B 的小模型——因为每个 token 只用 5.5% 的参数。MoE 是怎么做到的？从 router 的一个线性层说起。

→ 2

MoE 训练的七大挑战：从负载均衡到专家并行

MoE 模型训练比 dense 模型难得多。Expert 会坍塌、会饿死、router 会僵化。这篇讲所有让 MoE 训练稳定的技巧——以及 DeepSeek-V3 如何用一个极简方案解决了核心矛盾。

→ 2

MoE 的生死难题：负载均衡与训练稳定性

8 个 expert 摆好了，router 学会了——但如果所有 token 都挤向同一个 expert 怎么办？MoE 训练中最隐蔽也最致命的问题：负载失衡、expert 死亡、训练崩溃，以及解决它们的精巧方案。

→ 3

MoE 的效率哲学：为什么稀疏能打败稠密

MoE 的根本洞察是：语言知识是稀疏的——处理数学不需要诗歌的权重。这篇讲 MoE 为什么有效、expert 到底学了什么、推理时的挑战、以及 Shared Expert 和 Soft MoE 的未来方向。

→ 3

MoE 的效率密码与未来战场

256 个 expert 学会了什么？MoE 的 scaling 为什么是对数增长？推理时 671B 参数全部躺在显存里却只用 37B——这笔账怎么算？以及正在改变游戏规则的新架构：Shared Expert、Soft MoE、MoE for Attention。

→

1

为什么生成每个字都这么贵：KV Cache 的前世今生

大模型生成文本时，为什么一个字一个字地蹦？为什么长对话越来越慢？KV Cache 是让推理可行的核心机制——但它也带来了新的内存困境。

→ 2

KV Cache 瘦身术：从 GQA 到 PagedAttention

KV Cache 太大装不下？这篇讲所有让它变小的方法：共享 KV 头、低秩压缩、量化到 4 位、像操作系统一样管理内存、以及聪明地选择性遗忘。

→ 3

Prompt Caching：一招省掉 90% 的 API 账单

你每次 API 调用，大部分钱花在重复计算系统提示和 few-shot 示例上。Prompt Caching 让相同前缀只算一次——Anthropic 省 90%，OpenAI 省 50%，DeepSeek 几乎白送。

→

1

让机器学会「看重点」：这个系列要讲什么

为什么你应该了解 Attention 机制？这个系列将从最朴素的问题出发，带你走完整条技术演进之路。

→ 2

从「一张便签纸」到「随时翻阅全文」：Attention 的诞生

Attention 机制是怎么被发明的？它到底在做什么？用最直觉的方式理解这个改变 AI 历史的想法。

→ 3

Attention Is All You Need：一篇论文如何改变了整个 AI

2017 年，Google 的研究者们把 RNN 和 CNN 全部扔掉，只保留 Attention。这个疯狂的决定为什么奏效了？

→ 4

模型怎么知道词的顺序？位置编码的难题

Self-attention 天生不知道「前后顺序」。为了让模型理解「猫追狗」和「狗追猫」的区别，研究者们想了很多办法——而且到今天还在想。

→ 5

当序列长到装不下：高效 Attention 的效率战争

Attention 的计算量随序列长度平方增长。当我们想让模型处理一整本书时，这个平方成了不可承受之重。工程师和研究者们怎么破局？

→ 6

BERT vs GPT，以及「用稀疏换效率」的 MoE

同一个 Transformer 积木，搭成了截然不同的模型。BERT 理解语言，GPT 生成语言，MoE 让模型变大但不变慢。三种哲学，一个框架。

→ 7

Scaling Laws 与对齐：AI 进步可以被预测吗？

语言模型的进步居然遵循物理定律般的规律。而让强大的模型'听话'，从复杂的 RLHF 到一行公式的 DPO——对齐技术也在飞速简化。

→ 8

Attention 的挑战者们：Mamba、RWKV 与线性复杂度革命

Attention 的 O(n²) 复杂度是它的阿喀琉斯之踵。2023-2025 年，一批新架构试图用线性复杂度替代它——然后人们发现，它们和 Attention 竟然是同一个东西。

→