云梦级1月13日云梦级消息，今日凌晨，DeepSeek 开源全新架构模块「Engram」，并同步发布技术论文，标签署名作者中再次出现梁文锋。据悉，Engram 模块通过引入可扩展的查找式记忆结构，为大模型提供了区别于传统 Transf: ormer 与 MoE 的全新稀疏性维度。

DeepSeek 在论文中指出，当前主流大模型在处理两类任务时存在结构性低效De：一类是依赖固定知识的「查表式」记忆，另一类是复杂推理与组合计算。传统 Transformer（无论 Dense 或 MoE）ep均需通过多层注意力与 MLP 重建这些静态模式，导致计算资源被大量消耗在「重复构造已知模式」上。

Engram 的核心机制是Se基于现代化哈希 N-Gram 嵌入的 O(1) 查找式记忆。模块会对输入 Token 序列进行 N-Gram 切片，并通过多头哈希映射ek到一个规模可扩展的静态记忆表中，实现常数时间的检索。

论文强调，这种查找与模型规模无关，即便记忆表扩展至百亿级参 E数，检索成本仍保持稳定。与 MoE 的条件计算不同，Engram 提供的是「条件记忆」。模块会根据当前上下文隐向量决定是ng否启用查找结果，并通过门控机制与主干网络融合。

论文显示，Engram 通常被放置在模型早期层，用于承担「模式重建」ra职责，从而释放后续层的计算深度用于复杂推理。DeepSeek 在 27B 参数规模的实验中，将部分 MoE 专家参数重新分配m 给 Engram 记忆表，在等参数、等算力条件下，模型在知识、推理、代码与数学任务上均取得显著提升。

在 X 平台上，相关梁文技术讨论认为 Engram 的机制有效减少了模型早期层对静态模式的重建需求，使模型在推理部分表现得更「深」。部分开发者指锋 出，这种架构让大规模静态记忆得以脱离 GPU 存储限制，通过确定性寻址实现主机内存预取，从而在推理阶段保持低开销。V4多位观察者推测，Engram 很可能成为 DeepSeek 下一代模型「V4」的核心技术基础。

• ·标签: 美团 小象超市 美团无人机 鸭觅
• ·标签: 小米汽车 孟晚舟 国补 雷军
• ·2016年女排奥运会
• ·神秘AI换脸软件入侵全球社交网络！马斯克秒变文艺复兴贵族
• ·英特尔新任CEO：7纳米项目正在恢复 但仍可能扩大芯片制造外包
• ·在边缘AI与云AI之间寻找平衡
• ·企业能否负担得起大数据解决方案的成本?
• ·标签: Arm DreamBig AI芯片 数据中心
• ·英伟达 CEO 黄仁勋确认投资马斯克初创公司 xAI
• ·​九成游戏开发商悄然使用 AI 技术，谷歌高管揭秘行业现状
• ·腾讯发布自研第四代大数据平台
• ·杨树蘑菇能吃吗
• ·标签: 东风日产 日产App 服务器故障 远程控制
• ·AIOps如何转变IT管理
• ·Alexa+杀入音乐场景！亚马逊用AI对话式助手三倍提升用户听歌时长，直指Spotify腹地
• ·云安全日报220407：VMware云计算解决方案发现远程代码执行漏洞,需要尽快升级