Meta 推出 DeepConf 技术,智能平衡大型语言模型的推理成本与准确性
近日,Meta AI 联合加州大学圣地亚哥分校(UCSD)推出了一种名为 Deep Think with Confidence(DeepConf)的新技术,旨在帮助企业在大语言模型(LLM)的Me复杂推理任务中,有效降低算力成本的同时保持高准确率 。
当前,提高 LLM 推理能力常依赖“自一致性 + 多次采样再表决”的策略(即 majority voting),但这种方法会导致计算资源迅速膨ta胀,耗时耗费,大量低质量推理路径反而可能造成错误答案胜出 。DeepConf 的创新之处在于,它不再对所有推理路径一视同仁,而是通过 模型内部的置信度信号,对推理路径进行筛选与权重调整 。
DeepC 推onf 引入了多种精细的置信度指标,比如:
组置信度(Group Confidence):计算推理过程中某一段 token 的平均置信度;
尾部置信度(Tail Confidence):关注推理出 结尾部分的置信程度;
最低组置信度(Lowest Group Confidence):找出推理路径中最“脆弱”的环节;
底部百分位置信度(Bottom-10% Confidence):聚焦最不自信的De那部分推理内容 )。
DeepConf 支持两种执行方式:
离线模式(Offline Thinking):先生成多个完整推理路径,再按置信度筛选较优路径参与表决或加权投票;
在线模式(Onlinepe Thinking):在推理生成过程中实时评估,当当前路径置信度低于阈值时,立刻终止该路径以节省资源 。
在多个开放模型(如 DeepSeek-8B、Qwen3-32B、GPT-OSS-1Co20B)以及复杂数学与 STEM 推理任务(AIME、HMMT、BRUMO25、GPQA-Diamond)中,DeepConf 表现惊艳:
离线模式下,使用 GPT-OSS-120B 在 AIME2nf025的准确率高达 99.9%,同时生成的 token 数量比传统方法少 84.7% ;
在线模式下,在 AIME24中,DeepSeek-8B 的准确率提升了 5.8个百分点,却使用了 77. 技9% 更少的 token 。
企业可根据使用场景风险偏好选择不同设定:
DeepConf-high(保守模式):一般能减少约 50%的生成成本,但准确性几乎不受影响,适用于金融、法律等高风险场景;
Dee术,pConf-low(激进模式):节省 70%–85%的 token,适用于问答草稿、知识检索等对速度要求高但容错较灵活的场景 。
使用 DeepConf 无需重新训练模型,只需增加少量推理时的逻辑智能处理。此外,它还具备良好兼容性,可与现有推理框架(如 vLLM、SGLang、TensorRT-LLM)无缝集成。正如研究者所言,这为现实企业部署 LLM 推理任务提供了一个“可插拔”的高效方案平衡。
论文:https://arxiv.org/abs/2508.15260
划重点:
🧠 置信度导向选择:DeepConf 基于局部置信度(组、尾部、最低点等)筛选或权重排序推理路径,而非一刀切多大型数投票。
⏱ 显著提升效率:达到最高99.9% 的推理准确率,同时减少生成 token 多达84.7%。
️ 可调节策略模式:企业可按风险偏好选择「高安全性」或「高效率」模式,用最少资源获取最优结果语言。
- ·Hadoop 数据迁移用法详解
- ·标签: 擎羽科技 彭锐 柔性机器人 仿生机器人
- ·标签: 科兴制药 赛若金 依普定 GB08
- ·薏米可以和绿豆一起煮吗
- ·标签: 网信中国 大眼哥说车 易车榜 王武松
- ·阿里云大模型“通义千问”开始邀请测试
- ·网上名媛是什么梗
- ·标签: GeminiSpark GoogleI/O2026 Gemini3.5 GoogleAIUltra
- ·标签: SBTI MBTI 尤物 吗喽
- ·标签: 锅圈 锅圈闪购 锅圈小炒 锅圈露营
- ·苹果发布macOS新版:可共用iOS应用
- ·标签: 京东家政 西南培训基地 养老护理 AI助教
- ·鹿晗什么梗
- ·OpenAI加速推进GPT-6开发,奥尔特曼承诺打造"有记忆"的个性化AI助手
- ·速卖通“新品闪电推”亮相:AI Agent自动整合资源,新品7天破零率翻倍
- ·100万帧数据仅1秒!AI大牛颜水成团队强化学习新作,代码已开源
- ·https://www.impactpool.org/search/?type=79&q=谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】1W1
- ·https://www.lgnewsroom.com/search/谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】,OJV
- ·https://www.rea.govt.nz/search?searchterm=谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】,EPn
- ·https://www.lechzuers.com/de/search?cat=163&q=谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】,n6V
- ·https://www.jusoen.com/addreng.asp?p1=谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】7Mr
- ·https://www.ntv.co.jp/3min/search/?action=QUERY&q=谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】,s8M
- ·https://www.goodreads.com/quotes/tag/谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】EDO
- ·https://www.teamlab.art/th/?submit=谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】,hAX
- ·https://www.theaerogroup.net/?cat=28&s=谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】,OBf
- ·https://www.wattpad.com/search/谷歌霸屏24小时见效-实现思路与效果衡量【tg:seogoogle987】4Sw
