Token 预测与世界模型：机器在「猜下一个字」的时候，到底在脑子里发生了什么？

ChatGPT 从没被”教”过地理，却知道东京在北京的东边；它从没被”教”过下棋规则，却能推演出复杂的棋局。它到底是在理解，还是只是在背一份极其庄大的统计表？这篇文章带你看清这场争论的真正分歧在哪里。

故事从这里开始

2022 年，哈佛的一群研究者做了一件挺无聊的事：他们训练了一个很小的 GPT 模型，教它玩黑白棋（Othello）。

但他们的教法很怪——不给它看棋盘，不告诉它规则，甚至不告诉它”这是一个游戏”。他们给这个模型看的，只是一行行的坐标记录，就像这样：

D3 D4 F5 F6 E3 C4 ...

模型唯一的任务是：看到前面这一串坐标，猜下一个坐标是什么。就是这样，纯粹的”猜下一个 token”。跟训练 ChatGPT 猜下一个词，本质上是一模一样的任务。

几百万步训练之后，这个模型学会了一件让研究者们大跌眼镜的事：它几乎总能猜出合法的下一步棋。不是随机蒙对的——它的准确率高到不可能是巧合。

这时候一个很自然的问题冒出来了：它到底是怎么做到的？

有两种可能。第一种：它只是在背。棋局记录里存在大量重复出现的局部模式（比如”D3 后面接 C4 的概率很高”），模型可能只是学会了海量的这种局部统计规律，拼凑出一个看起来很像”懂规则”的行为,但其实脑子里根本没有棋盘这个东西。

第二种可能则要惊人得多:模型在内部,偷偷地,自己重建了一整块 8×8 的棋盘,知道每个格子当前是黑子、白子还是空的——即便从来没人告诉过它棋盘长什么样。

这不只是一个关于黑白棋的八卦。因为如果第二种可能是真的,那么它暗示着一个更大的结论:只是要求一个模型去”预测下一个符号”,可能就足以逼着它在内部构建出一套关于外部世界结构的表征。而这正是过去几年 AI 领域最激烈的哲学争论之一的核心——GPT 到底是在理解世界,还是只是一台极其精巧的复读机?

这篇文章会带你走进这场争论,看两边最强的证据和最强的论点,然后你会发现——答案没有想象中那么简单,但争论本身教会我们的东西,比一句简单的”是”或”否”要深刻得多。

第一站：怎么”偷看”一个模型的脑子

在讲结论之前,得先讲清楚科学家是怎么”审问”这个模型的,因为这个方法本身很巧妙,后面所有的证据都建立在它之上。

问题:模型是黑盒,你怎么知道它”心里想的”是什么?

一个训练好的神经网络,内部就是几亿个浮点数在做矩阵乘法。你没法直接打开它,看到一行注释写着”当前棋盘第 3 行第 4 列是黑子”。你能看到的只是一堆抽象的数字——所谓的”激活值”(activation)。

这就像是你怀疑一个人心里在想某件事,但你打开他的大脑,只能看到一堆放电的神经元,没有一个神经元上写着”我在想妈妈做的红烧肉”。你怎么验证他到底在想什么?

直觉:训练一个”翻译器”去读心

研究者用的方法叫探针(probing)。思路是这样的:如果模型内部真的偷偷维护着棋盘状态,那么”棋盘状态”这个信息就应该以某种方式隐藏在它的激活值里——即使我们看不懂,这个信息理论上是可以被”解压”出来的。

那怎么验证信息藏在里面呢?很简单:训练一个单独的、极其简单的小分类器(探针),输入就是模型某一层的激活值,输出是”请猜一下,现在棋盘第 X 格是黑子/白子/空的”。这个探针本身不参与原模型的训练,它纯粹是一个事后的”读心检测器”。

如果这个探针能以很高的准确率猜出棋盘状态——哪怕它自己极其简单,甚至只是一个线性分类器——那就说明:这个信息确实以某种可解码的方式,存在于模型的内部表征里。模型不是没有存这个信息,只是没有直接”说”出来而已。

技术细节:第一次尝试,得到一个”半成功”的结果

哈佛团队(Kenneth Li 等人)第一次做这个实验时,用了两种探针:

• 线性探针——只是一个简单的加权求和,数学上等价于在激活空间里画一条直线(或者更高维的”超平面”)来分割”这是黑子”和”这是白子”。
• 非线性探针——一个小型的两层神经网络,能画出弯弯曲曲的复杂边界。

结果很有意思:线性探针效果很差,几乎猜不准。但换成非线性探针,准确率一下子飙升,能相当精确地重建整个棋盘状态。

这个结果本身已经很震撼了——说明棋盘信息确实存在于模型内部,只是藏得比较”曲折”,需要一个更复杂的解码器才能读出来。论文因此得名”涌现的世界表征”(Emergent World Representations)。

但故事到这里还没完——接下来一位独立研究者的重新审视,把这个发现推向了一个更精彩、也更具启发性的转折。

第二站:换个坐标系看世界,答案完全不同

问题:”非线性”到底意味着什么?

模型内部信息需要一个”弯弯曲曲”的解码器才能读出——这听起来像是在说,模型对棋盘的表征方式本身就是复杂、纠缠、没有清晰结构的。这似乎印证了”模型只是在做某种模糊的统计混合,没有干净的内部逻辑”的猜测。

直觉:也许问题不在模型,而在你用错了尺子

独立研究者 Neel Nanda 提出了一个很朴素但极具洞察力的疑问:“黑子/白子”这个坐标系,真的是模型自己会选用的坐标系吗?

想象你在下棋。黑白棋的规则是,每走一步,大量棋子会被”翻转”颜色。所以站在旁观者角度看,”这格是黑子”这件事,在游戏进行中会不断地变来变去——每次翻转,黑变白,白变黑。这种频繁的颜色反转,对于任何试图用简单直线去分割”黑”和”白”的探针来说,天生就是一场噩梦——因为同一个格子在不同时间点,归属会突然跳变。

但如果换一个角度呢?比如不问”这是黑子还是白子”,而是问”这是我的棋子,还是对手的棋子”?站在”当前该走棋的那个人”的视角看,棋盘状态的意义要稳定得多——毕竟对弈的人自己看棋盘时,脑子里想的也是”我的棋、他的棋”,不是绝对的黑白。

Nanda 把探针的目标改成这个”相对视角”的编码方式,结果发生了戏剧性的变化:一个极其简单的线性探针,就能高精度地重建整个棋盘。

技术细节:换基(change of basis)

用数学语言讲,这其实是一次简单的坐标变换。原来的”黑/白”标签,可以写成一个依赖于”当前是第几步”的函数:

翻译回人话:黑白棋的”颜色”标签本身内嵌了一个隐藏的、随时间跳变的开关。而模型真正稳定表示的是”这是我方棋子”这个更本质的量。当你去掉这个跳变开关(改用相对视角),原本看起来复杂扭曲的表征,立刻显现出干净的线性结构。

这个发现对整场辩论极其重要,原因有两点:

第一,它说明”模型的表征是不是线性的”这个问题,答案本身依赖于你选择的坐标系,不是模型的一个客观、绝对的属性。一个用错误坐标系去审问模型的实验,可能会误判模型”没有干净的内部结构”,而事实恰恰相反。

第二,更重要的是,它进一步坐实了那个更大的结论:模型内部确实维护着一个结构清晰、几乎可以用简单几何直线来描述的棋盘状态表征——而且这个表征是可以被因果性地操纵的:研究者可以人为修改探针读出的棋盘状态,模型接下来给出的落子建议会随之改变,变得跟”修改后的棋盘”逻辑一致,而不是跟原来的棋盘一致。这说明这个表征不是模型计算过程之外的”副产品”或者巧合的相关性——它是模型真正在用的东西。

第三站:黑白棋只是开始——这个模式反复出现

如果只有一个黑白棋实验,那可能只是一个孤立的巧合。但接下来几年里,类似的模式在完全不同的任务里反复被验证出来,这才是真正让人无法忽视的地方。

国际象棋:连玩家的水平都能被猜出来

有研究者做了类似但更狡猾的实验——训练一个模型只看国际象棋的棋谱记录文本(类似”1.e4 e5 2.Nf3…“这种符号串),从没给它看过棋盘,也没告诉它任何规则。这个模型学会了怎么下棋——不仅仅是”下法合法”,还包括将军、将死、吃过路兵、升变、被将军的棋子该怎么处理等一整套复杂规则。

但更有意思的是一个额外发现:研究者尝试用线性探针去解码一个模型从没被明确告知过的隐藏变量——对弈双方的棋力水平(Elo 等级分)。结果发现,这个信息也能被相当准确地解码出来。

这个细节值得停下来想一想。棋谱文本本身从来没有一个字段写着”这位选手是 2400 分”。模型是从纯粹的走棋方式的统计模式里,自己推断出了”这个人下得比较业余”或者”这个人下得像高手”这种潜藏在数据背后、从未被显式标注的生成过程的隐藏参数。

这正是很多研究者认为”模型学到的不只是表面统计,而是数据背后的生成过程本身”这一论点最有力的证据之一——因为 Elo 等级分根本不是文本表面的一部分,它是产生这些文本的背后原因。

时间和空间:模型知道东京在哪儿

另一批研究(来自麻省理工的团队)换了个完全不涉及游戏的场景:直接研究像 Llama-2 这样真实的、用海量互联网文本训练出来的语言模型,看它对真实世界的地点和时间的内部表征是什么样的。

他们收集了大量地点(城市、地标)和时间相关(历史人物、艺术作品、新闻事件)的实体,然后用线性探针去尝试从模型的内部激活里,解码出这些实体对应的真实经纬度坐标,或者真实的历史年代。

结果发现,一个简单的线性探针,就能相当精确地读出这些坐标信息——而且这种”空间的方向”和”时间的方向”,在不同类型的实体之间是通用的:无论你问的是一个城市、一个地标,还是一个国家,模型似乎都用同一套几何方向去表示”空间位置”这个概念;无论是历史人物、艺术作品还是新闻事件,同一套方向也表示着”时间先后”。他们甚至找到了单个神经元,其激活值直接跟坐标数值近似成正比——像是模型内部长出了一个专门读数的”空间神经元”和”时间神经元”。

这跟黑白棋的发现在精神上是完全一致的:模型不是把每一条事实死记硬背成一条孤立的规则,而是把大量看似无关的知识,组织进了一套共享的、结构清晰的几何坐标系统里。

工业级验证:Claude 内心真的有一座”金门大桥”

前面两个例子都是相对受控的实验环境。真正把这件事推向工业级证据的是 Anthropic 在 2024 年做的一项研究。

他们用一种叫”稀疏字典学习”的技术,拆解了一个真实的、被大量用户使用的生产级大模型(Claude 3 Sonnet)内部的激活值。这个技术要解决的问题是:单个神经元往往是”多义”的——一个神经元可能同时对好几个毫不相关的概念都有反应,而同一个概念又分散在成百上千个神经元里,你根本没法直接看懂任何一个神经元。这项技术相当于给模型的内部状态找到了一套更干净的”字典”,把纠缠在一起的激活值,重新组合成一个个含义单一、可以解读的”特征”。

结果他们找到了数以百万计这样干净的特征——其中一个特别出圈的例子是所谓的”金门大桥特征”:这个特征无论你用英文、中文提到金门大桥,还是给模型看一张金门大桥的照片,都会被同样激活;跟它相关的概念(旧金山、恶魔岛、雾)也会让它部分激活。

更关键的是,他们证明了这个特征是因果性的,不只是巧合的相关性:如果人为地把这个特征强行调高,模型会开始在完全不相关的对话里,反复地、执着地提起金门大桥——甚至有人问它”你是金门大桥吗”,它会一本正经地回答”是的”。

这说明,即使是在数十亿参数的真实生产模型里,内部计算依然是围绕着结构化、可提取、可操纵、跨语言跨模态统一的概念组织起来的——而不是一团无法解读的统计噪音。

第四站:反方的论点——这真的等于”理解”吗?

看到这里,你可能会觉得这场辩论已经有了明确的答案:模型确实构建了某种”世界模型”。但事情没有这么简单。反方的论点同样有力,而且触及了一个更根本的问题:“内部有结构化的表征”,和”真正理解这个世界”,是不是同一件事?

章鱼窃听海底电缆的思想实验

在这场辩论爆发之前,语言学家 Emily Bender 和计算机科学家 Alexander Koller 就提出了一个著名的思想实验,后来被称为”章鱼测试”。

想象两个人 A 和 B,分别被困在两个荒岛上,通过一根海底电缆互相发送文字信息聊天。这时候有一只极其聪明的章鱼 O,截获了电缆里传输的所有信号——但注意,章鱼从来没有上过岛,它对 A 和 B 提到的椰子、熊、投石器这些东西,没有任何真实世界的接触经验。它拥有的,只是海量的”信号模式”数据。

章鱼非常擅长统计模式匹配——它观察了大量 A 和 B 之间的对话,学会了什么样的信号后面通常跟着什么样的信号。当 A 给 B 发消息时,章鱼甚至能截断信号、冒充 B,回复一些让 A 觉得”很像 B 会说的话”的内容。

一切都很顺利——直到某一天,A 发来消息说:”救命!一只熊在追我,我这里只有一些椰子和棍子,我该怎么办?”

章鱼从没见过真正的熊、真正的椰子。它只能根据信号的表层统计规律,拼出一段”看起来像是有道理的回复”——但它没有任何办法真正理解这个场景背后的物理现实,因此它给出的建议完全可能是荒谬的、甚至是致命的,而它自己根本意识不到问题所在。

Bender 和 Koller 的核心论点是:语言模型训练用的数据,本质上就是这根海底电缆——模型看到的只是词的形式(form),从未接触过词所指称的真实世界对象(meaning 需要的 referent)。他们认为,单纯从形式训练出来的系统,原则上就没有办法学到真正的意义,因为意义是”语言形式”和”交流意图/真实世界”之间的关系,而后者从未出现在训练数据里。

LeCun 的另一种反对:没有”持续的、可规划的”状态,不算数

图灵奖得主 Yann LeCun 提出了另一种不同角度的批评。他承认语言模型内部或许确实有某种统计结构,但他认为这远不足以称为”世界模型”——至少不是能支撑真正智能行为所需要的那种世界模型。

在 LeCun 的定义里,一个够格的”世界模型”必须满足三个条件:它必须能预测世界未来的状态变化(不仅仅是预测”下一个描述世界的词”);它必须接地在真实的感知和行动循环里(比如视觉、机器人的物理交互),而不是隔着文字这层间接的描述;它必须能维持一种持续性——支撑对假设性的动作序列进行内部推演和规划,就像人在做决定前会在脑子里先”想象”几种可能的后果。

按照这个标准,自回归的语言模型——逐字逐词地往外蹦出答案——先天缺少一个内部机制,可以在真正把话说出口之前,先在”脑子里”完整地模拟、检验、修正整个回答,再决定要不要说。这跟 Othello-GPT 里研究者发现的那种”棋盘状态编码”完全不是一个层级的东西:那只是声明性的知识(知道现在棋盘是什么样),而不是具备完整行动规划能力的、扎根在真实感知世界里的仿真器。

这也是为什么 LeCun 后来干脆离开 Meta,拿着十亿美元投资去做他自己的”世界模型”研究方向——他认为要真正弥合这个差距,需要的是全新的架构,不是继续把自回归语言模型堆得更大。

这场争论教会我们的事

到这里,你会发现双方吵的可能根本不是同一件事。哈佛团队在黑白棋实验里证明的”世界模型”,和 LeCun 心目中真正意义上支撑智能行为的”世界模型”,完全是两种不同重量级的概念。前者更接近强化学习领域里 David Ha 和 Jürgen Schmidhuber 在 2018 年提出的定义——把对环境的观测压缩成一个紧凑、有用的内部状态,用来辅助预测和控制;后者是 LeCun 式的、带着感知接地和持续规划能力的、更贴近人类认知的宏大目标。

这个混乱到了什么程度,以至于连 Othello-GPT 论文的原作者 Kenneth Li,后来都专门写了一篇论文,尝试给”世界模型”下一个精确的、可操作的形式化定义——要求一个系统的计算过程,必须能够真正通过一个跟真实世界状态同构的中间表征来完成,而不仅仅是”表面看起来跟世界状态相关”。这本身就说明了整个领域此前有多么缺乏共识。

如果一定要给这篇文章一个诚实的结论,大概是这样的:

有相当扎实的实证证据表明,单纯要求一个模型去预测下一个 token,确实会逼迫它在内部构建出结构清晰、往往还是线性可解、并且被证明具有因果作用的关于数据生成过程的表征——不管这个过程是黑白棋的规则、国际象棋玩家的水平,还是真实世界的地理和时间坐标。这不是随便就能被否定的经验事实,而是被反复复现的实验结果。

但这远不足以直接跳到”模型真正理解世界”这个更强的哲学结论。”内部存在结构化的、可探测的、有因果作用的表征”和”具备人类式的理解、意图、以及扎根在感知-行动循环里的持续认知”,中间还隔着相当遥远的距离,而这个距离目前还没有被弥合——甚至连它到底有多远,学界都还没能达成共识。

也许最诚实的答案不是”是”或”否”,而是:next-token prediction 这个看起来极其朴素的目标,比大多数人直觉上以为的要强大得多——它确实能把结构从数据里”压”出来。但”结构”和”理解”之间,依然横着一道我们还没有真正跨过去的鸿沟。

这篇文章是「LLM 原理深度解析」系列的第 33 篇。如果你对模型内部到底”藏着什么”感兴趣,可以往回翻一翻本系列关于 Embedding 几何结构、线性表征假说相关的文章——它们是理解这场辩论的重要地基。