Meta 研究人员揭开大语言模型黑箱,修复 AI 推理缺陷
近日,Meta 的人工智能研究团队与爱丁堡大学合作,开发了一种新技术,能够预测大型语言模型(LLM)推理的正确性,M并在发现错误时进行修复。这种名为电路基础推理验证(CRV)的方法,旨在深入观察 LLM 的内部 “推理电路”,以便在模et型解决问题时检测出计算错误的迹象。
研究表明,CRV 可以通过构建并观察模型内部激活的计算图,以高准确率检测到 LLM 的推理错a 误。这一突破性的发现意味着研究人员可以利用深层次的内部信息,对模型的错误推理进行针对性的干预。
链式思维推理(Co研究T)作为一种提升 LLM 在复杂任务上表现的方法,已经被广泛应用,但它的可靠性依然存在问题。现有的验证方法主要分为两类:人员“黑箱” 方法通过分析最终生成的 token 或置信度分数来验证;“灰箱” 方法则试图观察模型的内部状态,然而这些方法并不能解揭开释计算失败的根本原因。
CRV 采用了一种 “白箱” 验证方法,认为模型在执行任务时会使用专门的神经元子图。通过替换标准的稠密层大语为训练过的 “转码器”,研究人员使目标 LLM 变得可解释,从而可以观察到其内部工作原理。接着,CRV 会构建一个 “归因图”,言模映射信息在模型各个部分之间的因果流动,并提取出描述图特性的 “结构指纹”。最终,训练一个 “诊断分类器” 来预测推理步骤是否正型黑确。
研究团队在 Llama3.1模型上进行了实验,结果表明,CRV 在各种数据集和指标上均优于其他验证方法,展现了其强箱,大的有效性。同时,研究发现,不同推理任务中的错误签名具有领域特异性,这意味着不同类型的推理依赖于不同的内部电路。
最重修复要的是,CRV 不仅仅是相关性分析,它提供了一种透明的计算视图,使得预测的失败可以追溯到特定组件,研究人员因此可以 A通过抑制错误特征,实时修正模型的推理路径。
划重点:
CRV 技术能有效预测并修复 LLM 的推理错误,提高 AI 的可靠性。
🧠I 研究采用了 “白箱” 验证方法,揭示了 LLM 的内部推理电路。
CRV 的成功应用为未来 AI 模型调试工具的开发奠定了基础。
- ·标签: 曦智科技 AI硅光芯片 光互连 光计算
- ·最新研究:大模型驱动的扫地机器人多任务表现不佳,成功率仅 40%
- ·标签: 小鹏汽车 小鹏GX 台积电 胡润中国500强
- ·豆包大模型1.6-vision正式发布,对比上一代综合成本降低约50%
- ·Facebook 利用 AI 增强为视障人士描述照片的能力
- ·IP鍦扮悊浣嶇疆搴撲骇鍝佹秹瀚屼镜鏉�?闃块噷浜戝洖澶嶏細宸蹭笌IPIP.NET杈炬垚鍜岃В
- ·标签: 禾赛科技 激光雷达 ADAS 理想汽车
- ·水晶泥怎么玩
- ·华纳兄弟发起 “反击战”:起诉AI图像生成公司Midjourney
- ·英特尔CEO重申:芯片短缺问题需数年时间才能解决
- ·标签: 诺基亚 AI连接 6G 网络基础设施
- ·印尼巨头Gojek与Tokopedia准备合并 中东即将诞生亚马逊优步合体
- ·阿里巴巴发布 Qwen3-Max-Preview:模型参数数量超过一万亿
- ·饰品氧化变黑了怎么办
- ·标签: 荣耀 闪电 Lightning 人形机器人
- ·Cohere推出全新模型Command A Reasoning,专为企业级复杂推理任务打造
- ·https://www.lechzuers.com/de/search?cat=163&q=谷歌外推搜索留痕技术【tg:seogoogle987】,mcn
- ·https://www.synonyms.com/antonyms/谷歌外推搜索留痕技术【tg:seogoogle987】,Zw9
- ·https://zhidao.baidu.com/index/?action=QUERY&word=谷歌外推搜索留痕技术【tg:seogoogle987】,Oll
- ·https://www.springfieldlibrary.org/library/?s=谷歌外推搜索留痕技术【tg:seogoogle987】,PhO
- ·https://www.l-and-b.jp/?page=1&s=谷歌外推搜索留痕技术【tg:seogoogle987】,N70
- ·https://www.tarleton.edu/?s=谷歌外推搜索留痕技术【tg:seogoogle987】,4MT
- ·https://www.luxurysociety.com/en/search?q=谷歌外推搜索留痕技术【tg:seogoogle987】,pI8
- ·https://www.metalmensales.com/?action=QUERY&s=谷歌外推搜索留痕技术【tg:seogoogle987】,sXt
- ·https://www.roblox.com/discover/?cat=107&Keyword=谷歌外推搜索留痕技术【tg:seogoogle987】,l2X
- ·https://www.ushmm.org/search/results/?ID=8s0587Oi8UTv74zPPM4fuhwjNpe2hsEE&q=谷歌外推搜索留痕技术【tg:seogoogle987】,t5D
- ·标签: 和林微纳 MEMS 半导体测试探针 专精特新
- ·云计算核心技术Docker教程:守护进程dockerd的ZFS BTRFS和OVERLAY2选项
- ·10秒克隆你的声音!Fish Audio S1升级震撼来袭,价格仅为ElevenLabs六分之一
- ·标签: Anthropic ClaudeSonnet5 智能体AI OSWorld-Verified
- ·OpenAI瑙f暎鏈哄櫒浜哄洟闃燂紝鏇捐瘯鍥鹃€燗GI鏈哄櫒浜猴紝鍒涘�浜猴細鏈€濂界殑鍐冲畾
- ·苹果 M1 iPad Pro 正式发布:速度快 50%
- ·中国量子计算原型机九章问世
- ·谷歌 AI 概览致流量暴跌30%!People Inc. 与微软达成里程碑式AI授权协议
- ·马斯克的 xAI 超算 Colossus2计划有望超越 Meta 和 Anthropic,但仍落后于 OpenAI
- ·贝索斯即将卸任亚马逊CEO:与盖茨一样对公司仍有领导力
