别争了！香农老婆，才是世界上第一个大语言模型

henry 发自 凹非寺 | 量子位 | 公众号 QbitAI

别争了！别争

世界上第一个“明牌”自己是香农型大语言模型的人，可能是老婆香农的妻子。

1950年前后的才世某个夜晚，信息论鼻祖香农与妻子贝蒂在客厅进行了一场看似简单的界上实验。

实验中，第个大语香农扮演手持书本的言模“考官”，贝蒂则扮演进行“词语接龙”的别争“学生”，根据香农给出的香农型前文线索，猜测下一个字母。老婆

具体流程如下：香农从书中某一段落开始，才世逐字母推进。界上

每到一处，第个大语他不直接公布答案，言模而是别争先询问贝蒂：“下一个字母是什么？”

贝蒂猜测，香农记录。

若猜错，香农写下正确字母；若猜对，他仅画一个短横（-）代替。

如此操作后，一段完整的英文文本被重构为两部分：

贝蒂能预测的部分，用短横略过；贝蒂无法预测的部分，才需完整记录原字母。

乍看之下，这似乎只是高知夫妇的饭后消遣。

但在 3Blue1Brown的最新视频中，这一实验被置于更宏大的叙事线索中——

它极有可能是人类历史上最早的真人版 Next-Token Prediction（下一个词元预测）。

进一步地，借由香农的案例，3Blue1Brown 主理人 Grant Sanderson探讨了一个从信息论通向大语言模型的核心问题：

为什么“预测下一个 token”这件看似简单的事，会与压缩、熵，甚至智能产生深刻关联？

答案，或许就藏在贝蒂画掉的那些短横里。

LLM 只是一场猜字母实验？

尽管 Grant 的视频已阐述得足够清晰，但为了更平滑地过渡，我们仍需回到香农与贝蒂的实验本身。

表面上看，这像是一场双人语音版的填字游戏：一方提供前文，一方猜测下一个字母。

例如，在英文中，t后面极大概率跟随 h。因此，当香农给出线索 t时，贝蒂很可能回答 h。

中文亦然。当你看到“你”，后面极大概率接“好”，组成“你好”。

但香农真正关心的，并非贝蒂猜得准不准，而是猜对之后会发生什么。

正如开头所述，实验最终生成的转录文本，其真实字母数量远少于原文。

贝蒂猜对的地方，仅保留一个短横；猜错的地方，才保留原字母。

表面上看，字数变少了，但在某种意义上，它包含的信息量并未减少。

原因很简单。

如果香农能复制出一个一模一样的贝蒂，让她观看这份缩短版文本，她理论上仍能复原出原文。

这正是“可预测性允许压缩”最直观的体现。

这很好理解，就像朋友间的聊天。

起初表达同意，我们会说“好的”；后来变成“OK”；再后来只剩一个“k”；最后甚至只需一个表情包，双方便能心领神会。

表达日益精简，并非因为信息消失，而是因为双方已共享上下文，无需重复完整形式。

然而，聪明的读者可能已发现香农实验的一个局限：

人不是机器。贝蒂这次猜对的字母，下次未必还能猜对。同一人面对相同前文，答案也可能不同。

因此，虽然该实验证明了语言可被预测，进而可被压缩，但它尚不足以精确量化语言的信息量。

于是，香农将实验系统化。

在后续发表的论文 《Prediction and Entropy of Printed English》中，香农招募更多受试者。他不再仅记录对错，而是记录一个人需要猜多少次才能命中正确的下一个字母。

一次猜中，说明该字母在当前上下文中极易预测；多次才中，说明其更具意外性。

换言之，香农通过一套方法，将“猜测次数”转化为受试者心中对正确字母的隐含概率。

这一步至关重要。

因为同一位置，不同人会有不同猜测。有人一次命中，有人五次才中。差异不在字母本身，而在每个人脑中那套对英文的概率判断体系。

因此，香农测量的不是书本上的静态词频，而是人如何根据上下文分配概率。

看到 th，下一个字母可能是 e，也可能是 a。先猜哪个、第几次猜中，背后都是个人对英文理解的排序。

至此，你已看出端倪：

香农实际上是将人当作语言模型来使用，而他的妻子贝蒂，可能就是第一个明牌自己在做 Next-Token Prediction的人。

只不过，那个模型不是 Transformer，而是人脑。

人脑掌握语法、常识、上下文、语感，深知英文接下来的大概率走向。

而香农所做的，就是不断追问：下一个字母是什么？

预测和压缩：大模型的一体两面

至此，贝蒂的任务已完成：

她用自己的模型（大脑），划掉了文本中可被预测的部分。

后续香农招募更多受试者，本质也在做同一件事：

划掉可预测部分，仅保留那些无法预测、必须写出的字母。

于是，长文本被压缩为一份更短的新文本。

顺理成章地，我们会想：

假如一个人读过一本书，就能凭语言经验预测部分字母从而压缩文本；

那么，是否存在一个模型，能吞噬整个互联网，预测各种上下文中的空白？

或者说得更 AI 化：模型能否将语言规律压入其参数之中？

答案当然是肯定的，但请先别急着联系到大模型。

在此之前，Grant 的视频提出了一个更底层、更值得探讨的问题：

如何判断一种压缩方式的好坏？

最直观的标准当然是：越短越好。

若信息中仍有规律可寻、冗余可删，则仍可继续压缩。

反之，若信息已被压缩至极限，所有可预测、可概括、可利用的规律均被榨干，剩余的是什么？

没错，就是信息。

在香农的定义中，信息衡量的是出乎意料的程度。

若下一字母几乎板上钉钉，则其携带的新信息极少。

若下一字母完全不可猜，则必须被完整写出。

这也是为何 Grant 指出，理想的压缩算法，最终输出应看似随机噪声。

因为，噪声没有模式。

每一位都像独立抛硬币，50% 为 0，50% 为 1，彼此间无任何可利用关系。

没有模式，便无规律可学；无规律可学，便无冗余可删；无冗余可删，便无继续压缩的空间。

因此，随机噪声之所以重要，并非因其“乱”，而是因其代表了一种极限状态：

所有可预测之物皆已被移除，剩余每一位都必须被传输。

至此，预测与压缩真正闭环。

• 预测，是在问：哪些部分可以不用写？
• 压缩，是在做：把不用写的部分删掉。
• 信息，就是最后那些无论如何都必须写下来的东西。

信息量

若你读到此处，香农那个著名公式便不再像凭空出现的数学定义。

假设一条消息出现的概率为 $p$，其信息量即为 $-\log_2(p)$。

根据该曲线，发生概率越小，信息量越大；发生概率越大，信息量越小。

用前述逻辑解释：越易预测之物，信息量越小；越难预测之物，信息量越大。

从压缩角度看，该公式实则询问：

为了从所有可能性中区分出这条消息，理论上至少需要多少 bit？

这正是香农的高明之处：他将“不可预测的部分”转化为了可计算量。

但问题在于，现实中我们很少只面对单条消息，更多时候面对的是整套概率分布。

视频中，Grant 以机器人上下左右为例。机器人接收的指令不仅是动/不动，而是上、下、左、右四种可能。

若四个方向频率相同，则难度相当。

此时最自然的编码是定长编码：每个方向分配等长 bit。

例如：上=00，下=01，左=10，右=11。每条指令固定 2 bit，简单直接。

但若“上”出现频率最高，“下”次之，“左”“右”较少，则高效编码方式需改变。

此时无需让每个方向占用等长编码。

高频方向使用短码字，低频方向使用长码字。

只要保证码字互不混淆（即前缀码特性，确保解码时能准确断句），即可缩短整体平均长度。

视频演示了这种变长编码如何将平均每条指令所需 bit 数，从定长编码的 2 bit 降至 1.75 bit。

这是压缩中一条核心直觉：

概率越高的消息，应用越短的编码；概率越低的消息，才值得用更长的编码。

推广开来，我们要问的不再是单条消息的信息量，而是：

在这一整套分布中，每来一个新符号，平均还有多少内容必须被写出？

这种在特定分布下，每来一个新符号，平均剩余必须写出的内容量，被称为熵（Entropy）。

• 熵越低：系统越易预测，越易压缩。
• 熵越高：系统越随机，越难压缩。

若四个方向完全均等，机器人下一步走向难猜，熵值较高。

同理，语言亦然。只是语言的可能性更多、上下文更长，复杂度更高。

从熵到 Loss：大模型到底在压缩什么？

与机器人简单的四个方向不同，大语言模型需从成千上万个 token 候选中选择最可能的下一个。

同时，它并非孤立选择，而是严重依赖上下文。

因此，语言的熵本质上问的是：在给定前文之后，下一个 token 平均还有多少不确定性？

从压缩角度看，即：使用该模型压缩真实文本时，平均还需多少 bit 才能写出下一个 token？

这也解释了为何大模型训练中常见的交叉熵损失（Cross-Entropy Loss），天然与压缩紧密相连。

• 模型给真实 token 的概率越高 $\rightarrow$ 越不意外 $\rightarrow$ 信息量越低 $\rightarrow$ 编码越省。
• 交叉熵越低，模型越像一个更好的压缩器。

与此同时，模型越能预测下一个 token，说明它越捕捉到了语言中的可重复结构。

语法、搭配、格式、事实、代码习惯、对话模式、推理套路，甚至部分世界常识，都藏匿于此。

当然，Grant 强调，这并不意味着：压缩可直接等同于智能。

ZIP 很会压缩文件，但没人会说 ZIP 在思考。

更严谨的说法是：智能至少包含一种能力——抓住世界中可预测的结构。

这也是“压缩即智能”最值得玩味之处。

它并非指“只要能压缩，就拥有智能”。

而是指：若一个系统真能将复杂世界中的规律压入更短的表示中，并能在新上下文中继续用于预测，那它至少已触及智能的一部分。

此时再回头看开头那张画面，便不再只是香农与贝蒂在家玩猜字母游戏。

贝蒂猜对的地方，香农画一个短横。七十多年后，大语言模型猜对的地方，Loss 降低一点。

短横变成了 Loss，书页变成了互联网。

坐在桌边猜字母的人，变成了 GPT。

它们都在回答同一个问题：

下一个符号，能带来多少惊讶！

[1]https://www.youtube.com/watch?v=l6DKRf-fAAM&t=745s

本文地址：https://www.dr-wine.com/html/862a12399014.html