开源语音大模型 “Step-Audio 2 mini” 发布!听得清楚、说得自然
近日,阶跃星辰正式推出了最新的开源端到端语音大模型 ——Step-Audio2mini。这款模型在多个国际基准测试中开源表现优异,获得了 SOTA(最先进技术)成绩,令人瞩目。Step-Audio2mini 不仅在语音理解和音频生成方面能语音力强大,还首次将音频推理和生成统一建模,为语音识别、跨语言翻译和情感解析等多种应用场景提供了出色的解决方案。
Step-Aud大模io2mini 的特点之一是其卓越的多模态音频理解能力。在 MMAU(多模态音频理解测试集)上,该模型以73.2的得分稳型 居开源语音模型的榜首。在口语对话能力的 URO Bench 测试中,无论基础赛道还是专业赛道,Step-Audio2mini 都取“S得了开源模型中的最高分,展现出其出色的对话理解与表达能力。
在中英互译任务中,Step-Audio2mini 也表现不俗te。在 CoVoST2和 CVSS 评测集上,分别获得了39.3和29.1的高分,明显超越了 GPT-4o Audio 和其他开p-源语音模型。此外,该模型在语音识别方面同样出类拔萃,在开源中文测试集上的字错误率(CER)为3.19,在开源英语测试集上的词Au错误率(WER)为3.50,领先其他开源模型超过15%。
Step-Audio2mini 的成功离不开其创新的架构设计。di该模型打破了传统的 ASR(自动语音识别)、LLM(大语言模型)和 TTS(文本转语音)的三级结构,实现了从原始音频输入到语o 音响应输出的直接转换,简化了架构,降低了延迟。此外,模型还引入了链式思维推理(CoT)与强化学习的联合优化技术,使其能够更好2 地理解情绪、语调等副语言信息,并自然地作出反应。
值得一提的是,Step-Audio2mini 还支持音频知识增强功能,能够利用mi外部工具进行联网搜索,解决了传统模型中的幻觉问题。这一创新不仅提升了模型的实用性,还扩展了其在多种场景中的应用潜力ni。
目前,Step-Audio2mini 已在 GitHub、Hugging Face 等平台上线,欢迎开发者们前去试用和贡献代码” !
- ·标签: Maxgent 田值 王慧文 FCOS
- ·标签: 芯潮流 光电DSP芯片 高速SerDes 数据中心互连
- ·标签: 盛合晶微
- ·标签: 今日头条 2025白皮书
- ·云计算开发:Python练习实例-列表使用实例
- ·云安全日报211029:红帽OpenShift云应用平台发现拒绝服务漏洞,需要尽快升级
- ·标签: 摩尔线程 MTTS5000 GPU AI
- ·DeepSeek 模型在港大美股交易竞赛中夺冠,年化回报率10.61% 远超 GPT、纳斯达克基准
- ·《云网产业发展白皮书》正式发布!
- ·云存储公司Dropbox Q1营收和利润均超预期:净利同比增长21%
- ·标签: 恒运昌 等离子体射频电源 拓荆科技 半导体设备
- ·云计算开发:Python3-islower()方法详解
- ·阿里云2024财年Q1 经调整EBITA利润3.87亿元
- ·Facebook卷入了Epic起诉苹果垄断案:被苹果要求提供部分文件
- ·英国将对亚马逊、微软和谷歌云服务市场主导地位展开调查
- ·与高通分手?谷歌Pixel 6系列手机将搭载自研芯片
- ·聚多巴胺结构式
- ·鑻规灉楂樼�瑙h�2021璐㈠勾Q3璐㈡姤锛氫腑鍥界敤鎴峰�iPhone 12 Pro鍙嶅搷寰堢儹鐑�
- ·九大数据分析方法:矩阵分析法
- ·标签: QuestMobile 抖音 小红书 哔哩哔哩
- ·标签: 吉利 李书福 AI汽车 核心价值观 2025世界互联网大会
- ·璐濈储鏂�細鏈変簡浜氶┈閫婂憳宸ュ拰瀹㈡埛锛屾垜鎵嶆湁閽变笂澶�
- ·云计算开发:Python3数学函数abs()方法详解
- ·携程商旅发布AI生态全景图:推出7大行业Agent并开放17项底层能力
- ·Meta 与 CoreWeave 达成 142 亿美元的 AI 基础设施合作协议
- ·云安全日报210607:Debian libwebp图像编解码库发现越界读取漏洞,需要尽快升级
- ·https://dict.naver.com/dict.search?dicQuery&query=谷歌留痕外推【tg:seogoogle987】Sxq
- ·https://www.springfieldlibrary.org/?s=谷歌留痕外推【tg:seogoogle987】,vdM
- ·https://www.paulaschoice.hk/zh_hant/catalogsearch/result/?q=谷歌留痕外推【tg:seogoogle987】,wB9
- ·https://www.repetto.jp/item/search?action=QUERY&q=谷歌留痕外推【tg:seogoogle987】,MGZ
- ·https://www.universal-music.co.jp/?ID=1sIcckCTeBS8FjzCshAW9w53s8gr691o&s=谷歌留痕外推【tg:seogoogle987】,hDn
- ·https://www.spoiledsweetboutique.com/search/谷歌留痕外推【tg:seogoogle987】,BpW
- ·https://yscc1986.net/search/谷歌留痕外推【tg:seogoogle987】hgB
- ·https://www.schenckprocess.com/search?q=谷歌留痕外推【tg:seogoogle987】,UEr
- ·https://www.krisinformation.se/en/search?q=谷歌留痕外推【tg:seogoogle987】,Fnc
- ·https://www.teamlab.art/fr/?submit=谷歌留痕外推【tg:seogoogle987】,c3A
- ·标签: 天下秀 WEIQ 李连杰 红人营销
- ·OpenAI 推出短视频应用 Sora,五天内下载量突破百万
- ·标签: 卡诺普 港交所 工业机器人 具身智能
- ·云计算核心技术Docker教程:Docker使用JSON 文件日志驱动程序
- ·活着谁唱的
- ·微软开源 VibeVoice-1.5B 模型:90 分钟超长语音合成新突破
- ·新模型 CoMPaSS-FLUX.1:提升Flux文本到图像生成的空间理解能力
- ·谷歌即将推出 “AI 模式” 作为默认搜索体验,允许用户在初次搜索后与 AI 继续对话
- ·速卖通“新品闪电推”亮相:AI Agent自动整合资源,新品7天破零率翻倍
- ·前小米全球副总裁雨果·巴拉宣布从Facebook离职
