当下的先进大模型虽然智能，但生成内容时仍是一个字接一个字地输出。有没有可能，真正的通用人工智能（AGI）并不采用这种方式？
最近，斯坦福大学与Together AI的研究人员提出了一种文本生成的新范式，既不同于自回归模型，也不同于扩散模型。他们将NeurIPS 2024最佳论文中VAR在图像上的“下一尺度预测”方法应用到了文本领域：让模型先并行生成几句话的“概念大纲”，然后逐层并行填充细节，直至还原为完整的文字。
这个新模型被命名为Next-Concept Modeling（NCM，下一概念建模），直接挑战了主流的Next-Token Modeling（下一token建模）范式。
在多项实验中，NCM在保持相近或更优质量的前提下，实现了比扩散语言模型快10至31倍的生成速度。
论文标题：《Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation》 论文链接：https://arxiv.org/abs/2610.14162 GitHub：https://github.com/HazyResearch/ncm
目前主流的大语言模型，如基于自回归的GPT、Claude、DeepSeek等，通常根据已有内容预测下一个token，后续输出依赖于先前的结果。近两年兴起的扩散语言模型则能同时处理多个位置，通过反复去噪逐步生成文本。然而，并行并不意味着只需一步：迭代次数减少可能导致质量下降，而每轮处理整个序列也会带来更高的计算开销。
NCM的思路是改变“每一步生成什么”这一核心问题。它借鉴了图像生成中的next-scale prediction方法：图像可以先以低分辨率生成，再逐级增加细节。既然文本可以通过扩散生成，那么文本是否也能拥有自己的“缩略图”？
难点在于这是两个不同维度的问题：图像缩小后通常还能辨识出主体，但一句话删掉几个字就可能完全改变含义。因此，模型需要学会一种既能概括内容、又适合逐步细化的表示方式。为此，NCM设计了两个训练阶段。
首先是训练一个多尺度残差VQ-VAE。这可以理解为一套文本编码与重建系统：它将原文转换为多层离散编码，前几层编码较少，后几层编码更多，每层补充之前未表达的信息。为了防止粗层“偷懒”，训练时会随机去除后面的细层，要求系统仅依靠保留的部分尽可能还原原文。这样，模型被迫让前面的层承载有用信息。
随后，冻结这套系统，训练Transformer根据此前各层累积的表示预测下一层。生成时，模型逐层推进，同一层的编码同时被预测，最终由解码器还原为文本。
那么模型的实际效果如何？论文中展示了德译英的翻译示例：NCM先解码中间层，早期输出包含重复和不完整的表达；随着层级推进，内容逐渐清晰，最终在第十一步形成通顺的译文。这种思路是否更接近人类翻译的过程？
此外，NCM的一个显著特点是速度快。一方面，需要依次执行的生成轮数减少；另一方面，早期只处理较短的编码序列，每轮的平均计算开销也有所降低。
作者在单块H100 SXM 80GB上进行了测试：在LM1B数据集上，无条件生成速度比强扩散基线快约21倍，且生成困惑度更优；在OpenWebText数据集上，质量具有竞争力，速度约为10倍；在XSum摘要任务中，在ROUGE-L指标相当的情况下，速度约为31倍。训练成本方面，两个数据集分别减少了4.9倍和4倍的token使用量，而对比的DUO和MDLM模型在OpenWebText上需要运行100万步，处理超过5000亿个token。
在推理任务如数独中，NCM在更少的采样步骤下表现优于自回归和扩散基线。在仅有30条线索的困难题目中，NCM的完整解出率为86.1%，高于FMLM+的81.3%；生成器调用次数分别为12次和16次。
逐层细化整个棋盘可能更有利于协调全局约束。这相当于让AI以不同的视角看待问题。
展望未来，速度优势可以转化为另一种用途：在相同时间内生成多个候选结果，然后从中挑选。研究团队尝试了最小贝叶斯风险解码，利用候选结果之间的相似性进行选择，进一步改善了翻译和摘要指标。
当然，距离通用大模型，NCM仍有许多问题需要解答。论文主体实验使用的生成器约为1亿参数，规模扩展至7.25亿参数。扩大规模后能否保持优势，以及精确文本和长文本内容的表现如何，都有待后续验证。
如果说文字生成可以表示为“概念—细节”的层级结构，那么模型就可以先想清楚再动笔——这也是人类写作的方式。
这意味着未来文本生成的路线图可能会被改写。
参考内容： https://hazyresearch.stanford.edu/blog/2026-10-12-ncm https://scalingintelligence.stanford.edu/blogs/ncm/ 本文来自微信公众号 “机器之心”（ID：almosthuman2014），编辑：泽南，36氪经授权发布。