近日，蚂蚁集团正式开源了业内首个高性能扩散语言模型推理框架 ——dInfer。这一框架的推出，不仅意味着扩散语言蚂蚁模型在推理速度上取得了重大突破，也标志着这一新兴技术向实际应用迈出了重要一步。

在最新的基准测试中，dInfer 的集团推理速度比英伟达的 Fast-dLLM 框架提升了惊人的10.7倍。在代码生成任务 HumanEval 中，dInfer重磅 在单次推理中达到了每秒1011个 Tokens 的速度，这一成绩在开源社区中首次实现了扩散语言模型的推理速度显著超越传推出统自回归模型。这样的进展让人们对扩散语言模型的未来充满期待，认为它将成为通往通用人工智能（AGI）的重要技术路 d径。

扩散语言模型的独特之处在于其将文本生成视作一个 “从随机噪声中逐步恢复完整序列” 的去噪过程，具备高度并行、全局In视野以及结构灵活的特点。尽管理论上拥有强大的潜力，dLLM 在实际推理中却受限于高计算成本、KV 缓存失效和并行解码等挑战。fe这些难题使得扩散语言模型的推理速度一直未能得到充分发挥，亟待突破。

针对这些挑战，dInfer 专为扩散语言模型设计，包含r：了四大核心模块:模型接入、KV 缓存管理器、扩散迭代管理器和解码策略。这样的模块化设计，像乐高玩具一样，让开发者可让扩以灵活组合和优化各个模块，同时在统一的平台上进行标准化评测。

在配备8块 NVIDIA H800GPU 的节点上，dIn散语fer 的表现极为出色。在与 Fast-dLLM 的对比中，dInfer 在效果相当的情况下，平均推理速度达到了681个言模 Tokens / 秒，相比之下，Fast-dLLM 的速度仅为63.6个 Tokens / 秒。此外，与业界顶尖的推理服务框架型的 vLLM 上运行的自回归模型 Qwen2.5-3B 相比，dInfer 的速度更是达到了其2.5倍。

蚂蚁集团表示，dIn推理fer 的推出是连接前沿研究与产业应用的重要一步，期待全球的开发者与研究者共同探索扩散语言模型的巨大潜能，构建更加高速度效与开放的 AI 生态。

• ·标签: 玉柴船电 MTU 发电机组
• ·抖音副总裁李亮称 AI 令造谣更易，平台正用智能体治理谣言
• ·标签: 理想汽车 杨继斌 字节跳动 头腾大战
• ·​前Salesforc 联席CEO创办的AI公司Sierra获得3.5亿美元融资，估值达100亿美元
• ·标签: 小红书 达尔文项目 创业孵化 内部孵化
• ·标签: 郭德纲 德云社 相声 北京文旅局
• ·云计算核心技术Docker教程：Docker 重建镜像
• ·标签: LamResearch 泛林 半导体设备 财报
• ·标签: OpenClaw ClawBot 微信 插件系统
• ·标签: 海航控股 海南航空 辽宁方大集团 SKYTRAX五星航空
• ·标签: 天齐锂业 锂资源 三季度报
• ·云安全日报210909：思科ASR9000系列路由器发现拒绝服务漏洞,需要尽快升级
• ·标签: 智能手机 618
• ·AI实战，用Python玩个自动驾驶！
• ·标签: 英伟达 NemoClaw AI智能体 开源平台
• ·国安部：境外黑客攻击某电商平台数据库 窃取敏感信息数据