扩散语言模型为什么突然火了

为什么突然火了

1. 01

   10 月 19 日，Inception 发布 Mercury 3，官方给出每秒 1068 个 Token、100 万 Token 上下文的指标，试图证明扩散路线做大之后仍能保住速度。

2. 02

   10 月 28 日，扩散智能发布 Clover-35B-A3B-Preview：总参数 350 亿，每个 Token 激活约 30 亿；官方在单张 GB300、batch size 为 1 的内部负载上报出每秒 680 个 Token。

3. 03

   Clover 同时开放模型权重和代码。模型卡写明它由 Qwen3.6-35B-A3B 改造而来，默认每块 32 个 Token，并在一轮里去噪、填下多个有把握的位置。

4. 04

   随后，一条小红书高赞帖把连续发布概括成“三年内扩散模型全面替代大语言模型”，这句话又被搬进知乎热问。原本属于推理架构的讨论，就这样变成了一场“换代”争论。

脉络时间线

1. 2021-07扩散进入离散世界

   D3PM 把去噪扩散从连续像素扩展到离散状态，其中“吸收态”设计把扩散与掩码、自回归生成联系起来，并展示了字符级文本生成。

2. 2022Diffusion-LM 研究可控写作

   Xiang Li 等人让一串高斯向量经多轮去噪变成词向量，在六项细粒度控制任务上取得进展；它还不是今天这种通用聊天模型。

3. 2025-02LLaDA 把掩码扩散做到 80 亿参数

   LLaDA 从零训练，前向过程逐步遮住 Token，反向过程再预测这些空位。它在多项上下文学习评测中与 LLaMA3 8B 具有可比性，证明这条路线可以继续放大。

4. 2025-05推理短板被摆上桌面

   Fast-dLLM 指出两个现实障碍：双向去噪不能直接沿用自回归的 KV Cache，简单并行解码又会破坏 Token 间的依赖。它用分块近似缓存与按置信度解码分别应对。

5. 2026-10-19Mercury 3 把故事带进商用场景

   Inception 称 Mercury 3 的总参数比 Mercury 1 大 40 多倍，自家测试仍超过每秒 1000 Token；网页 Agent、互动教育和实时搜索成为主要展示场景。

6. 2026-10-28Clover 把开放权重放上牌桌

   扩散智能发布分块扩散 MoE 模型。官方结果在若干 Agent 与通用能力评测中超过同尺寸 Qwen，代码和权重公开后，外界也有了复现这些说法的入口。

7. 2026-11-01技术讨论被压成一句热榜口号

   话题从模型社区进入知乎热榜。“三年取代”抢了风头，但真正值得追问的是：文本生成的哪些环节适合并行细化，哪些环节仍离不开顺序？

来龙去脉

从给照片去噪，变成给文章做“完形填空”

很多人第一次听说扩散模型，是因为 AI 画图：先拿一团噪声，再一点点去掉噪声，最后浮出图像。把这套办法搬进文字，最先遇到的麻烦是，Token 不是一个可以连续调节的像素。一个词和另一个词之间，没有像颜色深浅那样自然的中间值。

研究者于是走了两条路。Diffusion-LM 先把词映射成连续向量，在向量空间里做扩散；D3PM 则直接对离散状态加噪。后者的一种设计尤其影响后来的工作：把原 Token 替换成特殊的“遮住”状态，让模型学着把空位补回来。LLaDA 等模型采用的正是掩码扩散这一路。

生成过程因此更像反复做完形填空。先铺一张有许多空位的答题卡，模型同时猜若干个位置，留下有把握的答案，再回头看剩余的空。填空时，它既能看左边，也能利用右边的线索。自回归模型则严格按另一种顺序工作：读完已有前缀，写出下一个 Token，把它接到末尾，再读一遍继续写。这条路线简单、有效，但答案越长，必须经历的串行解码步骤也越多。

“并行生成”不是整篇文章一下蹦出来

热帖里最容易被省略的，就是去噪仍然需要多轮。每轮只填一个位置，速度优势自然有限；一次填得太多，各自独立的预测又可能凑不成连贯句子。文字不是一袋互不相干的空位，前一个词会改变后一个词的合理范围。

Fast-dLLM 提出的置信度解码，就是在处理这个矛盾：高于阈值的 Token 可以同轮揭开，没把握的留到下一轮。Clover 也采用相近思路，默认置信度阈值是 0.95。它还把文本分块，一个 32 Token 的块确定后，才成为下一块的历史前缀。所以这里是“块内并行、块间有序”，不是把顺序彻底取消。

缓存也得重做。自回归模型的前缀固定，算过的 Key-Value 激活可以留在 KV Cache 里，下一个 Token 不必把前文全部重算。双向扩散会在多轮去噪中更新当前块的状态，这套缓存办法不能直接照搬。Fast-dLLM 使用分块近似缓存，Clover 改造了混合 Gated DeltaNet 骨干，并推荐自家适配的 SGLang 路径。推理生态确实在补齐，但这也说明旧引擎不可能毫无代价地换个模型就结束。

这与DeepInfer 的推理引擎形成了很有意思的对照。DeepInfer 沿着自回归路线，靠前缀缓存、调度以及 Prefill/Decode 分离来压缩等待；扩散则直接改动解码算法。脱离相同硬件、负载、并发数和质量设置，一个“每秒多少 Token”的数字还无法判定哪条路更快，更不能证明哪条路更便宜。

Clover 改变了证据，还没有写下结局

过去谈扩散语言模型，常要附带一句“但是”：控制方式有新意，并行想法也漂亮，通用能力却落在强劲自回归模型后面。Clover 引人注目，是因为团队把有竞争力的 Agent 成绩和开放权重放在了同一次发布里。官方给出的 SWE-bench Verified 73.6 分，以及六项 Agent 评测领先，让它不再只是一个解码实验。

只是，“但是”并没有消失，而是换了内容。现有分数仍由发布方给出。Clover 从 Qwen3.6 的权重出发，继承了自回归模型已经学到的能力，并不是扩散模型必须从零训练的证据。模型卡还承认超长输出有时重复，因此内置了重复抑制和逐渐促使模型结束回答的控制项。承认这些细节不会削弱这次发布，反而能帮助我们看清它究竟证明了什么。

“扩散模型替代大语言模型”这句话本身也不够准确。扩散语言模型仍然是大语言模型，可能被替代的是自回归这种训练和生成范式。更可能出现的局面还包括混合：分块扩散本来就保留块间顺序，另一些系统则让自回归模型负责规划，让更快的并行模型负责执行。

厂商选择的展示场景已经透露了较现实的分工。Agent 每打开一个网页、调用一次工具、读取一次结果，都要等模型先做下一步判断，小的解码延迟会沿整条链路累积。Jev 这类决策模型负责边界清楚的快速判断，扩散模型则试图加快同一回路里的通用文字生成。真正的问题不是哪一种架构包打天下，而是能否在减少等待的同时，不把错误藏到更难发现的地方。

关键事实

传统解码

从左到右逐 Token

掩码扩散

多轮并行补全

Clover 参数

350 亿总 / 30 亿激活

Clover 默认块长

32 Token

Mercury 3 官方速度

1068 Token/秒

开放研究节点

2025 年 LLaDA 8B

各方怎么说

常见问题

扩散语言模型还算大语言模型吗？

当然算。它同样是大规模的语言模型，可以聊天、写代码或做推理。“扩散替代大模型”的准确说法，应是扩散替代自回归大模型。两者争的是训练与解码范式，不是“语言模型”和另一种无关技术之间的替换。

并行解码是不是一步生成整段回答？

不是。模型要在被遮住的文本上做多轮细化，分块扩散还会按顺序处理各个块。并行指的是一轮能确定多个位置；究竟要多少轮，则取决于解码策略和模型对每个位置的把握。

什么证据才能判断“取代”是否成立？

首先要有独立团队在相同硬件、相同负载下做对比，并把输出质量放在同一水平。除了峰值 Token 速度，还要看长回答、高并发、总计算量和 Agent 端到端完成时间。这样的连续证据，比任何“三年预测”都更有分量。