小巧却强大的推理引擎!Ring-mini-2.0 震撼发布,性能超越10B模型
今天,我们正式推出了 Ring-mini-2.0,这是一款基于 Ling-mini-2.0架构深度优化的高性能小巧推理型 MoE 模型。Ring-mini-2.0的总参数量达到16B,但在实际运行中仅需激活1.4B 参数,便能实现相当却强于10B 级别以下的密集模型的推理能力。
这款模型在逻辑推理、编程和数学任务中表现尤为出色,支持128K 的长上下文,使大的得其在各种应用场景中都能展现出强大的能力。此外,Ring-mini-2.0的生成速度也相当惊人,能够实现300+ t推理oken/s 的快速生成,经过优化后更是可以突破500+ token/s。
图源备注:图片由AI生成,图片授权服务商Mi引擎djourney
在推理能力的提升方面,Ring-mini-2.0在 Ling-mini-2.0-base 的基础上进行!R了更深层次的训练,通过 Long-COT SFT、大规模 RLVR 和 RLHF 的联合优化,显著增强了模型在复杂推理任务in中的稳定性和泛化能力。我们在多个高难度基准测试中,发现其性能显著超越了10B 以下的密集模型,甚至可以与一些更大g-型的 MoE 模型相媲美,特别是在逻辑推理方面表现优异。
此外,Ring-mini-2.0在设计上注重高效性,通过1mi/32的专家激活比和 MTP 层架构优化,实现了约7-8B 密集模型的等效性能。这种高稀疏度和小激活设计,使得其在 H20ni环境下可以实现300+ token/s 的推理速度,同时结合 Expert Dual Streaming 的优化,进一步降-2低了推理成本。
为了促进学术与工业界的研究和应用,Ring-mini-2.0的模型权重、训练策略和数据配方将全面开源。.0我们期待这款 “小而优” 的模型能够成为小型推理模型的首选,并欢迎大家访问我们的开源仓库进行下载和使用。未来, 震在 Ling2.0架构的支持下,我们将继续推出更大、更快、更强的语言模型和全模态模型,敬请期待!
下一篇:标签: Ongo InteractionLabs Karim Rkha Chaham Alec Sokolow
- ·标签: 博迈医疗 创业板IPO 医疗器械 腾讯创投
- ·标签: 豆包
- ·大数据明星Palantir获FDA4400万美元合同:股价大涨17%
- ·标签: 长城汽车 哈弗 坦克 欧拉
- ·标签: X平台 Grok 马斯克 自动翻译
- ·标签: 绿联科技 电子配件 A+H上市 NAS
- ·标签: 鑫森炭业 北交所IPO 多孔炭材料 活性炭
- ·世界第一,阿里云PolarDB云原生数据库登顶TPC-C榜单
- ·标签: 标签 追觅 俞浩 社交媒体营销 智能硬件
- ·霸榜GitHub热门第一多日后,Colossal-AI正式版发布
- ·标签: 光帆科技 AI耳机 联想 小鹏汽车
- ·标签: 阿里巴巴 QoderWork 悟空 MuleRun
- ·标签: 捷豹路虎 奇瑞捷豹路虎 揽胜极光L 发现运动版
- ·标签: 南亚科技 DRAM SK海力士 Solidigm
- ·火山引擎发布四款强大大模型,语音合成与复刻功能再升级
- ·阿里云换帅之后
- ·https://www.roblox.com/discover/?cat=107&Keyword=歌外推【tg:seogoogle987】,aXr
- ·https://www.wellbees.com/index.php/catalogsearch/result/index/?q=歌外推【tg:seogoogle987】,kVx
- ·https://www.tmtpost.com/search?q=歌外推【tg:seogoogle987】,9Rt
- ·https://www.umc.edu/search.aspx?ID=I4gnDKRS991MFcIDDzoYze4aWSAszAm7&q=歌外推【tg:seogoogle987】,zJD
- ·https://www.mintos.org/?s=歌外推【tg:seogoogle987】,wif
- ·https://www.remit.co.jp/zh/?s=歌外推【tg:seogoogle987】,TAf
- ·https://www.posten-portal.de/search?query=歌外推【tg:seogoogle987】,oNn
- ·https://www.remit.co.jp/vi/?s=歌外推【tg:seogoogle987】99w
- ·https://www.ucycle.com/search/=歌外推【tg:seogoogle987】,yTG
- ·https://www.livehindustan.com/tags/歌外推【tg:seogoogle987】,2PO
- ·X 平台优化链接处理,力求提升用户留存率
- ·谷歌DeepMind推出双AI机器人系统:会"思考"的Gemini Robotics 1.5让机器人告别单一任务束缚
- ·美国参议院召集Spotify、Match和谷歌等参加应用商店反垄断听证会
- ·AI人工智能在弱电行业的应用趋势
- ·贵安数据中心正式开园商用 未来将达100万台服务器规模
- ·标签: 网易云音乐 DeepSeek-V4 Climer 网易天音
- ·什么是Transformer机器学习模型? 译文
- ·谷歌强调人工智能摘要的价值与健康网络的重要性
- ·标签: MiniMax Music2.6 国风音乐 游戏配乐
- ·标签: 智谱 GLM-5 唐杰 AGI
