作者：duduhappy

原标题：一文讲透充满争议的大模型蒸馏是怎么回事

---

9 月 8 日，美国 NSA、FBI 和 CISA 联合发布了一份安全公告，矛头直接指向中国 AI 公司。

公告声称，中国 AI 企业正在对美国前沿模型展开“工业规模的蒸馏”，系统性提取美国模型的能力，用来训练自己的模型，并将这件事直接上升到了国家安全层面。

紧接着，Anthropic 又披露了新的调查结果，指控包括阿里巴巴、Moonshot、DeepSeek 在内的中国公司曾以不同方式大量调用 Claude，试图把 Claude 的能力迁移到自己的模型中。

中方则否认相关指控，认为蒸馏本身就是 AI 行业长期存在的通用技术，并指责美方存在“双重标准”、借此压制中国 AI 竞争，于是，一个十年前就写进机器学习教科书里的普通技术名词，突然变成了中美 AI 竞争的新战场：

模型蒸馏。

问题也随之变得非常尖锐：

自己拿大模型训练小模型，叫“知识蒸馏”，

竞争对手这么做，为什么就可能变成“模型窃取”？

要回答这个问题，先别急着站队，从第一性原理看，蒸馏真正解决的其实只有一个问题：

既然已经有一个模型把题做会了，为什么还要让第二个模型从头再学一遍？

这就是蒸馏的起点。

01 训练大模型，最贵的其实是“探索”

很多人以为，大模型最贵的是 GPU，GPU 只是表象，真正昂贵的是：

让模型从海量、混乱的数据里自己发现规律。

互联网里有新闻、论文、代码、小说、广告、错误信息、重复内容，模型需要消耗巨大的算力，才慢慢学会：什么问题应该怎么分析，数学题应该怎么推，代码 Bug 应该从哪里找，一篇文章应该怎么组织，本质上，这是一次极其昂贵的知识发现过程。

但问题来了：如果一个超级模型已经完成了这次探索，后来者还需要重新走一遍吗，未必。

这就是蒸馏出现的第一性原理。

02 蒸馏，本质上是“学生学老师”

举个最简单的例子，一张哈士奇照片，人工标签可能只告诉模型：

这是狗。

但一个强模型可能告诉它：狗 70%，狼 25%，猫 4%，狐狸 1%，两者的信息量完全不同，前者只告诉你答案，后者还告诉你：

狗和狼很像，和猫差得比较远。

这就是经典知识蒸馏最核心的思想，Teacher 不只是把答案交给 Student，而是在传递自己对整个问题空间的判断，所以蒸馏真正做的，并不是复制 Teacher 的参数，而是：

让一个更小、更便宜的模型，尽可能逼近强模型的行为。

03 到了大模型时代，蒸馏已经变了

传统蒸馏通常发生在一家公司内部，Teacher 是自己的，你可以看到它的概率分布、中间层甚至完整参数，但今天真正引发争议的是：

Teacher 根本不是你的。

你只有一个 API，怎么办，答案很直接：

不停地问它。

准备几十万甚至几百万个问题：数学怎么做，代码怎么写，逻辑题怎么推，文章怎么改，让强模型回答，再把这些“问题 + 回答”收集起来，训练自己的模型，于是今天很多所谓的“大模型蒸馏”，实际上变成了：

强模型生成数据 → 小模型学习数据 → 模仿强模型能力。

严格来说，这已经不完全等于经典知识蒸馏，它更接近：

合成数据 + 模仿学习 + 微调。

但行业里仍然习惯把它统称为 Distillation，而真正的争议，也恰恰从这里开始。

04 为什么少量数据，就能学走大量能力？

这是蒸馏最反直觉的地方，一个超级模型可能看过万亿级 Token，消耗巨额算力才变聪明，为什么小模型看几十万、几百万条高质量数据，就能明显变强，答案是：

信息密度不同。

互联网原始数据像“矿石”，强模型产生的数据，则像已经提炼过的“精矿”，比如一道数学题，普通数据可能只有：

题目 + 答案。

而强推理模型可以给出：思路、步骤、错误尝试、修正、最终答案，这相当于把 Teacher 花巨额成本探索出来的经验，重新编码成了 Student 更容易吸收的数据，所以理解蒸馏最重要的一句话是：

蒸馏真正压缩的，不只是模型参数，而是重新发现这些能力所需要的探索成本。

05 推理模型，让蒸馏又推进了一步

以前主要蒸的是：

答案。

现在开始蒸的是：

解题过程。

DeepSeek-R1 就是一个典型案例，DeepSeek 官方发布了多款 R1 Distill 模型，其中部分 Qwen 模型使用约 80 万条由 R1 整理的样本继续训练，于是 AI 训练出现了一个重要变化。

过去是：

人类 → 数据 → AI

现在越来越像：

超级 AI → 高质量数据 → 小 AI

最强模型不仅服务用户，它本身也开始成为：

训练其他模型的老师。

06 那蒸馏到底算不算“偷”？

这个问题，不能只看技术名称，至少要看四件事。

第一，Teacher 是谁的？

自己蒸自己，几乎没有争议，开源模型明确允许衍生训练，也相对简单，真正敏感的是闭源竞争模型。

第二，你拿到了什么？

正常使用几十条输出，和通过大量账号、代理、自动化工具系统性提取数百万甚至上亿条回答，显然不是一个量级。

第三，对方是否允许？

付费使用 API，并不意味着购买了“无限复制模型能力”的授权，例如 OpenAI 目前的服务协议就明确限制利用其输出开发与 OpenAI 产品和服务构成竞争关系的 AI 模型。

第四，你最终训练出了什么？

一个企业客服分类器，与一个准备直接替代 Teacher 的通用大模型，商业含义完全不同，所以：

“蒸馏是不是偷”，本身就是一个过度简化的问题。

真正应该问的是：

谁，以什么方式，在什么授权下，拿到了什么信息，又拿这些信息训练了什么模型？

07 最有争议的，其实是“双重标准”

美国模型公司的逻辑很好理解：自己投入几十亿美元、GPU 和顶尖人才，才探索出来的模型能力，如果被竞争对手通过 API 低成本复制，相当于绕开了最昂贵的研发过程，但另一边同样存在一个尖锐的问题：

这些基础模型本身，也学习过海量人类文章、代码、图片和互联网内容，那么：

模型学习人类作品叫“训练”。

另一个模型学习模型输出，什么时候开始变成了“窃取”？

这也是为什么蒸馏争议最终一定会超出技术范畴，它会涉及：版权，合同，API 使用规则，不正当竞争，模型许可证，甚至国家之间的科技竞争。

08 但蒸馏绝不是万能复制器

有人会想：既然如此，我不停调用 GPT，不就能复制一个 GPT，没那么简单，黑盒 API 暴露给你的，只是：

有限问题上的有限回答。

你看不到完整的训练数据、参数和内部表征，也不可能穷举所有问题，所以 Student 真正学到的，通常不是完整的 Teacher，更准确地说：

它学到的是 Teacher 在你的采样范围里的一个投影。

你问一百万道代码题，可以训练出一个很强的 Coding 模型，但这不代表它自动获得了 Teacher 全部的数学、科学、写作和泛化能力，这也是最前沿基础模型仍然拥有巨大价值的原因。

09 蒸馏真正改变的，是 AI 的成本结构

过去 AI 行业最重要的问题是：

训练一个最强模型，需要多少钱？

接下来越来越重要的问题可能变成：

当一个最强模型已经出现以后，复制它 70%、80% 的能力，还需要多少钱？

如果第一次创造能力需要几十亿美元，而迁移这些能力只需要其中很小一部分，那么整个 AI 行业都会出现新的分工：

最强模型负责探索能力边界、中型模型负责承接和蒸馏、小模型负责最低成本的大规模部署。

这才是为什么蒸馏正在从一种模型压缩技术，逐渐变成全球 AI 竞争的核心变量。

理解蒸馏，最容易陷入两个极端，一种认为：

蒸馏就是抄袭。

另一种认为：

既然输出可以访问，怎么蒸都没问题。

两种都太简单，蒸馏本身只是一种能力迁移技术，真正决定边界的是：

Teacher 属于谁，数据怎么拿到，规则是否允许，以及 Student 最后拿来做什么。

但有一点越来越清楚，未来 AI 世界里，最昂贵的可能不是运行一种智能，而是：

第一次创造一种新的智能能力。

因为一旦这种能力被创造出来，合成数据、蒸馏和小模型，就会迅速把它扩散到整个行业，所以蒸馏真正“蒸”掉的，不是参数，而是：

前人已经支付过一次的探索成本。

---

Twitter：https://twitter.com/BitpushNewsCN

比推 TG 交流群：https://t.me/BitPushCommunity

比推 TG 订阅： https://t.me/bitpush