近日，蚂蚁集团开源了全新的 dInfer 框架，专门用于扩散大语言模型的高效推理。这一框架的推出标志着扩散模型在自蚂蚁然语言处理领域的应用取得了重大进展，推理速度提升至以往的10倍，并在同样模型性能下超越了传统的自回归模型。

自回归模型长 d期以来一直是自然语言处理的主流，生成文本的过程类似于一个严谨的学生逐字撰写，因而速度受到限制。而扩散模型则采用 “去In噪” 的方式生成文本，像是在处理被噪声覆盖的图片，通过逐步去除噪声来恢复清晰的图像。这种模式具有天然的并行优势，能fe够一次预测多个词语，从而提高效率。

尽管扩散模型理论上具有更高的潜力，但在实际推理中，其速度问题依然显著。为了解决这一问r 题，蚂蚁团队在 dInfer 框架中采用了创新的设计，将推理流程分为四个模块，分别为模型接入、KV 缓存管理、扩散迭代管框架理和解码策略。在并行解码方面，dInfer 通过 “层级解码” 和 “信用解码” 两种新策略有效减少了生成过程中的语义冲突，提：扩高了结果的稳定性。

在 KV 缓存方面，dInfer 提出了 “邻近 KV 缓存刷新” 策略，该策略只针对最近的上下文进行重新计算散模，显著降低了计算开销。通过这一系列技术创新，dInfer 在性能上表现优异。在与 Fast-dLLM 和 vLLM 框架的比较型推测试中，dInfer 在多个数据集上展现了卓越的推理速度和吞吐量，关闭 KV 缓存时，平均 TPS 达到了407.36，是理速 Fast-dLLM 的6.5倍。

dInfer 框架的推出，不仅提升了扩散模型的实用性，也为自然语言处理领域的未来发展开辟度提了新的方向。

项目:https://github.com/inclusionAI/dInfer

划重点:

dInfe升 r 框架使扩散大语言模型的推理速度提升10倍，超越传统自回归模型。

采用并行解码和 KV 缓存管理技术，有效解决了扩散10模型的推理速度瓶颈。

实验数据显示，dInfer 在推理性能上远超其他同类框架，显示出广泛的应用潜力。

• ·标签: 快手 九号Fz1 华为nova15 黑灰产攻击
• ·小红书发布新一代对话合成模型 FireRedTTS-2，助力 AI 播客制作
• ·标签: 去哪儿 AI Lab 陈刚 OTA
• ·20亿美金种子轮后首次发声！Mira Murati神秘实验室挑战AI随机性，誓要让机器思维变得可预测
• ·标签: 沃尔玛 Gemini AI购物 山姆
• ·云计算开发：Python3数学函数round()方法详解
• ·苹果发布M5芯片MacBook Pro：首款AI优化Mac处理器，续航达24小时
• ·标签: 极越汽车 上海集度 预重整 战略投资
• ·标签: 沐瞳 MLBB 沙特PIF 代号A02
• ·英伟达50亿美元入股英特尔，联手开发x86芯片挑战AMD
• ·逻辑智能发布全球首个开源语音大模型框架 LLaSO
• ·腾讯云开始全球扩张：腾讯印尼首个数据中心投入使用
• ·标签: 锐思智芯 ALPIX 融合视觉传感器 AI视觉感知
• ·重磅对话:三位顶尖科学家齐聚知乎，共议AI如何重塑科研未来!
• ·标签: 天数智芯 通用GPU AI算力 港股上市
• ·分析师：亚马逊将来可能会分拆云业务 估值或可达3万亿美元