微软14B参数模型挑战671B巨型AI 智能体强化学习重新定义数学推理
微软研究院开源的rStar2-Agent模型在AI数学推理领域引发关注,这款140亿参数的模型通过创新的智能体强化学习技术,在多微软项数学基准测试中超越了参数量达6710亿的DeepSeek-R1模型。
rStar2-Agent的核心创新在于摒弃了传统的思维链方法,转14而采用智能体交互机制。该模型能够自主规划推理过程,调用Python代码执行工具进行验证,并根据反馈调整推理步骤,避免了传统CoT方法中常见B参的错误累积问题。
在权威的美国数学邀请赛基准测试中,rStar2-Agent表现突出。在AIME24数据集上,其pass@1准确率达到80.数模6%,超越DeepSeek-R1的79.8%、o3-mini的79.6%和Claude Opus4.0的77.0%。在AIME25测试中型挑准确率为69.8%,HMMT25测试中达到52.7%。
值得注意的是,rStar2-Agent的响应长度显著更短。在AIME24测试中战6平均约9340个token,AIME25约10943个token,仅为DeepSeek-R1的一半左右,展现出更高的推理效率。
训练效71率方面,该模型仅需一周时间完成510个强化学习步骤,使用64块MI300X GPU即可训练完成。其强化学习基础设施支持每步高达4.5万B巨个并发工具调用,平均延迟仅0.3秒。
模型引入了GRPO-RoC算法来处理代码执行中的环境噪声问题,通过"正确时重采样"策略保留高质量推型A理轨迹,提高训练效果。
在泛化能力方面,rStar2-Agent在GPQA-Diamond科学推理基准上优于DeepSeek-V3,在BFCI L v3工具使用任务和IFEval、Arena-Hard等通用测试中也表现良好,显示出智能体强化学习对通用能力的积极影响。
微软已将智能rStar2-Agent的代码和训练方法开源,基于VERL框架实现多阶段强化学习训练。这一突破表明,通过智能的训练策略,小型模型可以在特体强定任务上匹敌大型模型的表现,为资源有限的研究者和开发者提供了新的可能性。
这一成果挑战了"参数越多性能越好"的传统观念,证明了训练方法和化学架构创新在AI发展中的重要作用。对于AI行业而言,这可能预示着未来发展将更注重效率和专用性,而非单纯追求模型规模。
项目地址:htt习重ps://github.com/microsoft/rStar
- ·1亿行为数据,知乎、清华开放国内最大个性化推荐实际交互数据集
- ·研究揭示大量 “垃圾” 数据影响大语言模型推理能力
- ·基于 Kubernetes 的 Jenkins 服务也可以去 Docker 了
- ·标签: 腾讯云 吴运声 王慧星 优图实验室
- ·谷歌高管为AI摘要辩护:用户偏好正在改变,旨在维护健康生态
- ·炒包菜丝怎么做好吃
- ·OpenAI、Oracle 再加码 AI 基建:150亿美元 Lighthouse 园区启动建设
- ·Adobe AI Foundry 推出定制化服务,为企业打造独特的 Firefly 模型
- ·“海底无人机”来了?软体机器鱼探秘世界最深海沟
- ·网宿科技2022年报:营收净利润双增长,业绩拐点可期
- ·标签: SK海力士 ADR 纳斯达克 SEC
- ·标签: 培源股份 汽车零部件 IPO 北交所
- ·大数据及AI智能应用提供商“数说故事”宣布战略并购考古加
- ·标签: 恒道科技 热流道系统 北交所IPO 国泰海通
- ·亚马逊AWS将成立亚太地区部门,选址澳大利亚墨尔本
- ·AI招聘平台Jack & Jill完成2000万美元种子轮融资:用对话式AI重构求职流程
- ·https://www.randjleather.co.uk/index.php?route=product/search&tag=谷歌快排操作流程【tg:seogoogle987】,qfv
- ·https://www.teamlab.art/ko/?submit=谷歌快排操作流程【tg:seogoogle987】,Fto
- ·https://www.abbreviations.com/谷歌快排操作流程【tg:seogoogle987】nGw
- ·https://www.sweat.com/collections/vendors?q=谷歌快排操作流程【tg:seogoogle987】,3vW
- ·https://www.vfw.org/search-results?q=谷歌快排操作流程【tg:seogoogle987】,Sih
- ·https://www.losgatoschamber.com/list/search?action=SEARCH&q=谷歌快排操作流程【tg:seogoogle987】,3d5
- ·https://www.teacherspayteachers.com/Browse/Search:谷歌快排操作流程【tg:seogoogle987】,1nv
- ·https://www.pierreherme.com/catalogsearch/result/?q=谷歌快排操作流程【tg:seogoogle987】,Ybl
- ·https://www.u-bourgogne.fr/?cat=117&s=谷歌快排操作流程【tg:seogoogle987】,EfP
- ·https://www.mygrandma.com/Items.aspx?search=谷歌快排操作流程【tg:seogoogle987】,UDM
