扩散模型三年内替代大语言模型？聊聊这个知乎热榜说法和 AI Infra 的真实变化

刷到知乎热榜上那个问题——“三年内，扩散模型将全面替代大语言模型”，112万热度，评论区吵成一片。我第一反应是：这个说法把两件不同层面的事混在一起了。一个是建模范式的更替，一个是落地场景的适配。真要讨论“替代”，得先把这两层拆开，否则聊到最后全是立场。

先说我的判断：三年内全面替代不现实，但扩散模型在特定模态上会吃掉大语言模型的一部分地盘，这个趋势是真的。而对 AI Infra 来说，影响不是“换一套模型跑”，而是整条推理链路的重构压力。

先厘清一个容易被忽略的点：扩散模型和大语言模型不是同一个赛道上的对手。 大语言模型的核心是自回归逐 token 生成，扩散模型的核心是迭代去噪。前者在离散文本上天然契合，后者在连续信号（图像、视频、音频、动作轨迹）上更有优势。网上很多讨论直接把“扩散模型”等同于“图像生成”，这是窄化理解。真正值得关注的是离散扩散语言模型这条线，它试图用去噪思路做文本生成，这才是“替代论”的技术底座。

但这里有个实操层面的坑，很多分析没提：离散扩散做文本，迭代步数带来的延迟是硬伤。自回归生成 N 个 token 是 N 次前向，扩散去噪是 T 步迭代，T 通常远大于 1。在同等质量下想把延迟压到可接受范围，靠的不是模型本身，而是 Infra 层的调度和缓存设计。这就是为什么我说，讨论替代不如讨论 Infra 怎么接。

AI Infra 会迎来哪些具体变化？我梳理几个容易被忽略的方向。

第一，推理引擎的调度逻辑要重写。现在主流推理框架围绕 KV Cache 和自回归批处理优化，扩散推理没有传统意义的 KV Cache，取而代之的是多步去噪的状态复用。批处理策略、显存管理、步间并行，都得重新设计。这不是改个算子能解决的。

第二，显存带宽成为更核心的瓶颈指标。扩散推理在去噪过程中反复读写中间特征图，对带宽的敏感度高于纯算力。选型时如果还只盯着 FLOPS，容易踩坑。实际部署里，HBM 带宽和卡间互联往往比峰值算力更能决定吞吐。

第三，多模态统一推理服务会更早落地。扩散模型天然处理连续信号，大语言模型处理离散符号，未来 Infra 层大概率要同时调度两类模型。服务编排、资源隔离、异构批处理，这些工程细节会比“用哪个模型”更影响成本。

第四，量化和蒸馏的适配要重做。扩散模型对量化误差的容忍度和自回归模型不一样，步间误差会累积。现成的 LLM 量化方案直接搬过去，效果往往打折，需要针对去噪轨迹单独校准。

回到那个热榜问题本身。 “全面替代”这个表述，我倾向于理解为一种议程设置，而不是严谨预测。扩散模型在视频生成、具身智能动作生成这些场景确实在快速渗透，但文本理解、长上下文推理、工具调用这些大语言模型的主战场，三年内看不到被扩散范式整体接管的迹象。更可能的图景是：两类模型在 Infra 层被统一调度，按任务模态分流。

对做 AI Infra 的朋友来说，与其纠结谁替代谁，不如提前关注两件事：推理引擎对非自回归范式的支持程度，以及多模态混合负载下的资源调度方案。这两块的工程积累，才是接下来几年真正拉开差距的地方。

你所在的团队现在推理链路里，扩散模型占多大比重？调度上是分开部署还是已经在尝试统一服务？评论区聊聊，我后面可以就混合调度的具体踩坑再展开写一篇。