近日，月之暗面发布了一种全新的混合线性注意力架构，名为 “Kimi Linear”。这一架构据称在处理短距​月离、长距离信息以及强化学习（RL）等多种场景中，性能优于传统的全注意力方法。其核心技术 Kimi Delta Att之暗ention(KDA)是对 Gated DeltaNet 的一次优化，特别引入了一种更高效的门控机制，以更好面推地管理有限状态 RNN 的记忆使用。

Kimi Linear 的设计由三份 Kimi Delta Attention 和一份全出新局 MLA 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆，使得模型在处理信息时更加高效。官方指出型混，在处理1M token 的数据场景中，Kimi Linear 的 KV cache 占用降低了75%，而解码吞吐量最高可合线提升6倍，TPOT 相较于传统 MLA 加速了6.3倍。

这种新的架构为各种 AI 应用场景提供了更强的支持，无论是在性注信息密集型的自然语言处理任务还是在动态环境中的强化学习，Kimi Linear 都有着显著的优势。随着 AI 技术的不断意力发展，这种高效的注意力机制可能会为未来的智能应用带来新的突破。

更多技术细节可以在 Kimi Linear 的技术报架构告中找到，https://github.com/MoonshotAI/Kimi-Linear/blob/ma “ster/tech_report.pdf。

划重点:  

Kimi Linear 是一种新型的混Ki合线性注意力架构，优化了信息处理性能。  

该架构在1M token 场景下，KV cachmie 占用减少75%，解码吞吐量提升6倍。  

Kimi Delta Attention 是其核 L心技术，通过细粒度门控优化了 RNN 的记忆管理。

• ·标签: 优理奇机器人 Wanda 2.0 Panther 具身智能
• ·标签: 谷歌 DeepMind 字节跳动 DeepSeek
• ·标签: 逐际动力 TRON 2 LimX COSA 具身智能
• ·标签: 标签 追觅科技 芯际穿越 天穹芯片 瑶台算力盒 AWE2026
• ·标签: Cursor AI编程助手 Accel Coatue
• ·英国外卖平台Deliveroo4月7日上市 亚马逊是最大受益者
• ·通过AWS，Azure和Google Cloud进行CaaS服务
• ·标签: 蘑菇车联
• ·“分秒必争”？亚马逊合作配送公司要求司机绕过安全检查
• ·亚马逊挥刀裁员1.4万人：AI转型加速，人类岗位正在让位于机器人？
• ·标签: 哭哭马
• ·吴泳铭接替张勇出任阿里云代理董事长与CEO
• ·AI三巨头惨遭滑铁卢：最新编程测试正确率全线跌破25%，GPT-5也难逃厄运
• ·标签: 特斯拉 FSDD 段永平 辅助驾驶
• ·SaaS的四条不等式
• ·外媒爆料：FTC八年前就查明谷歌搜索垄断证据 却选择放虎归山