近日，月之暗面发布了一个颇具革命性的技术 ——“Kimi Linear” 混合线性注意力架构。该架构被认为月之在短距离、长距离处理以及强化学习（RL）等多个场景中，优于传统的全注意力方法。其核心创新在于 “Kimi De暗面lta Attention”(KDA)，这是对 Gated DeltaNet 的优化升级，引入了更高效的门控机发布制，以提升有限状态 RNN(递归神经网络)记忆的使用效率。

Kimi Linear 的架构设计独特，由三份 KimiKi Delta Attention 和一份全局 MLA（多层感知机）组成。通过对 Gated DeltaNet 的改良mi，KDA 能通过细粒度的门控机制，显著压缩有限状态 RNN 的记忆使用。这一设计不仅提高了模型处理信息的速度，还 L有效减少了内存占用，具有更强的实用性。

官方数据显示，在处理1M token 的场景下，Kimi Linear 的 KVin cache 占用量减少了75%，解码吞吐量最高提升了6倍。而在 TPOT（训练速度）的提升上，相较于传统 MLeaA，Kimi Linear 实现了6.3倍的加速。这些显著的性能提升，预示着 Kimi Linear 在各类 Ar架I 任务中的广泛适用性，尤其是在对速度和内存要求极高的应用场景。

随着人工智能的迅速发展，提升模型的处理能力与构：效率成为了行业内的关键挑战。月之暗面的 Kimi Linear 架构通过其创新设计，为这一领域带来了新的解决KV方案，未来可能会成为新的行业标杆。

Kimi Linear 技术报告的详细信息，可以通过官方的 GitHub 页面获取缓存，感兴趣的读者可以深入了解其技术细节。

技术报告:https://github.com/MoonshotA减少I/Kimi-Linear/blob/master/tech_report.pdf

• ·智谱AI发布革命性产品AutoGLM 2.0 语音一句话即可代替双手操控全网
• ·消息称谷歌与SpaceX正洽谈将数据中心送入太空
• ·标签: 小米 比亚迪夏 格力杭州 山姆App
• ·生数科技全球上线 Vidu Q1参考生图：支持同时输入多达7张
• ·云计算核心技术Docker教程：在Docker中使用tmpfs挂载
• ·比9种SOTA GNN更强！谷歌大脑提出全新图神经网络GKATs
• ·玩GTA5吗？高清真人版那种，英特尔新模型将3D渲染图变逼真图片
• ·标签: 地平线 征程6 陈鹏 芯片
• ·谷歌宣布向云计算客户开放Gemini Pro，开发者可用其构建应用
• ·下周就将见分晓，亚马逊的噩梦要来了|观潮
• ·对话华为昇腾计算业务总裁许映童：今年将启动建设超 20个AI计算中心
• ·OpenAI加速推进GPT-6开发，奥尔特曼承诺打造"有记忆"的个性化AI助手
• ·纳斯达克与亚马逊云科技又有新合作
• ·选举将至 Facebook仅在佐治亚州解除政治广告禁令
• ·标签: 新氧 马思纯 医美 讣告
• ·从视频中学习 Facebook推出新人工智能项目