阶跃发布端到端语音大模型Step-Audio 2 mini
9月1日,阶跃星辰正式发布最强开源端到端语音大模型Step-Audio2mini。该模型在多个国际基准测试集上取得了SOTA(State-of-the-Art)成绩,将语阶跃音理解、音频推理与生成统一建模,在音频理解、语音识别、跨语种翻译、情感与副语言解析、语音对话等任务中表现突出,并率先支持语音原生的Tool Calling能力,可实现联网搜索等操作。发布Step-Audio2mini被形容为“听得清楚、想得明白、说得自然”,其模型现已上线GitHub、Hugging Face等平台,供用户下载、试用并反馈。
Step-Aud端到io2mini在多个关键基准测试中取得SOTA成绩,在音频理解、语音识别、翻译和对话场景中表现卓越,综合性能超越Qwen-Omni、Kimi-Audio等所有开源端到端语音端语模型,并在大部分任务上超越GPT-4o Audio。在通用多模态音频理解测试集MMAU上,Step-Audio2mini以73.2的得分位列开源端到端语音模型榜首;在衡量口语对音大话能力的URO Bench上,Step-Audio2mini在基础与专业赛道均拿下开源端到端语音模型最高分;在中英互译任务上,Step-Audio2mini在CoVoST2和模型CVSS评测集上分别取得39.3和29.1的分数,大幅领先GPT-4o Audio和其他开源语音模型;在语音识别任务上,Step-Audio2mini取得多语言和多方言第一,其中St开源中文测试集平均CER(字错误率)3.19,开源英语测试集平均WER(词错误率)3.50,领先其他开源模型15%以上。
Step-Audio2mini通过创新架构设计,有效解决了ep此前语音模型存在的问题,做到“走脑又走心”。它采用真端到端多模态架构,突破传统ASR+LLM+TTS三级结构,实现原始音频输入到语音响应输出的直接转换,架构更简洁、时延更低,并能-A有效理解副语言信息与非人声信号。此外,Step-Audio2mini在端到端语音模型中首次引入链式思维推理(CoT)与强化学习联合优化,能对情绪、语调、音乐等副语言和非语音信号ud进行精细理解、推理并自然回应。模型还支持包括web检索等外部工具,有助于解决幻觉问题,并赋予模型在多场景扩展上的能力。
Step-Audio2mini的能力在案例中得到了生动展示。它io能精准识别大自然的声音、精湛的配音,还能实时搜索获得行业最新资讯。此外,Step-Audio2mini还能控制语速,轻松应对不同场景的对话需求。当被问及哲学难题时,Step-Au 2dio2mini能将抽象问题转化为极简方法论,展现强大的逻辑推理能力。
GitHub:https://github.com/stepfun-ai/Step-Audio2
Hugging m Face:https://huggingface.co/stepfun-ai/Step-Audio-2-mini
ModelScope:https://www.modelscinope.cn/models/stepfun-ai/Step-Audio-2-mini
- ·药品可以寄到国外吗
- ·3人买同趟航班得到不同价格疑似大数据杀熟,飞猪回应
- ·标签: 快手电商 AI治理 2025治理报告 售后好服务
- ·标签: 联想 AI PC 天禧超级智能体 混合式AI
- ·标签: 哈啰顺风车 陈女士 智驾睡觉 危险驾驶
- ·标签: 王者荣耀 腾讯 匹配机制 段位权重
- ·标签: 乐享科技
- ·云计算开发:Python练习实例-综合画图
- ·标签: 钉钉 D计划 豆包手机 无招
- ·实时高保真渲染,基于PlenOctrees的NeRF渲染速度提升3000倍
- ·台积电 Q3 业绩超预期,人工智能需求推动 30% 营收增长
- ·Kafka能有什么坏心思,不过是被Zookeeper害惨了……
- ·Reddit起诉Perplexity AI:指控“工业级非法抓取”数百万用户评论
- ·OpenAI、软银和甲骨文将在美国建设5座AI数据中心 投资超过4000亿美元
- ·机构预计今年服务器DRAM需求将达到684.86亿GB 首次超过移动设备
- ·让图网络更稳健!谷歌提出SR-GNN,无惧数据标记偏差和领域转移
- ·https://www.xvideos.com/tags/谷歌霸屏技术【tg:seogoogle987】,OVL
- ·https://www.randjleather.co.uk/index.php?route=product/search&tag=谷歌霸屏技术【tg:seogoogle987】,Nzu
- ·https://www.roberthalf.com/us/en/jobs/all/谷歌霸屏技术【tg:seogoogle987】PXF
- ·https://www.nissin.com/jp/search/?cat=105&q=谷歌霸屏技术【tg:seogoogle987】,oML
- ·https://www.shacknews.com/editorial-search?q=谷歌霸屏技术【tg:seogoogle987】,Gja
- ·https://www.urmc.rochester.edu/news/search?q=谷歌霸屏技术【tg:seogoogle987】,aSO
- ·https://www.lauben.com/en/?action=SEARCH&s=谷歌霸屏技术【tg:seogoogle987】,viC
- ·https://www.mi.com/search?keyword=谷歌霸屏技术【tg:seogoogle987】,s9c
- ·https://www.olx.ba/pretraga?trazilica=谷歌霸屏技术【tg:seogoogle987】,ub2
- ·https://www.duksung.ac.kr/search/front/Search.jsp?qt=谷歌霸屏技术【tg:seogoogle987】AkK
- ·标签: 小米 华为 苹果 折叠屏
- ·健康数据不再“散落一地”!Bevel获1000万美元A轮融资,用AI整合穿戴设备数据,打造你的全天候健康教练
- ·云安全日报210412:Debian Web应用程序发现目录遍历漏洞,需要尽快升级
- ·标签: 腾讯 QClaw 张舒昱 Workbuddy
- ·谷歌夺回AI画语权,网友:DALL·E 2诞生一个月就过时了?
- ·Meta 与 CoreWeave 达成 142 亿美元的 AI 基础设施合作协议
- ·标签: 极米科技 688696 2026年财报 投影仪
- ·Argo Rollouts 实现蓝绿/金丝雀发布
- ·DeepSeek核心专家加盟,元戎启行全面转向大模型技术路线
- ·标签: 中国恒大 普华永道香港 香港证监会 恒大审计事件
