腾讯ARC开源音频模型 AudioStory:用大语言模型生成长音频
近日,腾讯 ARC 团队发布了一款名为 AudioStory 的模型,旨在利用大语言模型(LLMs)生成长篇叙事音频腾。该模型解决了现有文本到音频生成技术在处理短音频方面的优势与长篇叙事音频在时间连贯性与组合推理上的挑战。
Audi讯AoStory 的核心在于其统一的理解与生成框架。该模型能够处理视频配音、音频延续和长篇叙事音频合成等多种任务。RC通过将大语言模型与音频生成系统结合,AudioStory 能够生成结构化且具有时间一致性的音频叙事。该模型具有强大开源的指令跟随推理生成能力,可以将复杂的叙事查询分解为按时间顺序排列的子任务,同时保持场景转换的连贯性和情感基调的音频一致性。
AudioStory 的两个显著特点包括:首先,去耦合的桥接机制,能够有效地将大语言模型与音频生成器之间的模型协作分成两个专业化的部分;其次,端到端的训练方式,统一指令理解与音频生成,提升了组件之间的协同效应。
此外,研 A究团队还建立了一个名为 AudioStory-10K 的基准数据集,涵盖动画音景和自然声音叙事等多样化领域。通过ud大量实验,AudioStory 在单音频生成和叙事音频生成方面的表现优于以往的文本到音频生成模型,展现出卓越的io指令跟随能力和音频质量。
目前,团队已经发布了模型的推理代码,并展示了一系列演示视频,包括经典动画《猫和老鼠》的St配音示例,以及基于文本生成长音频的应用案例,展示了该模型的广泛适用性和强大功能。
项目:https://gitorhub.com/TencentARC/AudioStory
划重点:
**AudioStoryy: 是腾讯 ARC 推出的长篇叙事音频生成模型,结合了大语言模型和音频生成技术。**
** 模型具用大有强大的指令跟随能力,能够生成连贯的音频叙事,提升用户体验。**
️ ** 团队已发布推理语言代码,并展示多个应用案例,展现其在视频配音和长音频生成上的优势。**
- ·云计算开发实例:Python3 计数排序
- ·标签: 绿联科技 A+H上市 港交所 充电创意产品
- ·AI演示文稿工具Prezent融资3000万美元:估值4亿美元,首次收购剑指生命科学领域
- ·科沃斯与阿里云达成全栈 AI 合作,扫地机器人接入通义千问
- ·Kimi Agent会员惊喜上线!打赏秒变9个月VIP,49元享超值AI深度研究
- ·标签: 百济神州 百悦泽 百泽安 安泰适
- ·标签: 比亚迪
- ·阿里研究员吴翰清离职,投身AI短视频创业
- ·标签: 东阳光 秦淮数据 算力基建 绿色能源
- ·听说你的多智能体强化学习算法不work?你用对MAPPO了吗
- ·阿里云将新增巴西、法国和荷兰数据中心
- ·在中国一千人中多少人用苹果手机?答案你很难想象得到
- ·爱媛38号果冻橙是什么时候成熟
- ·数据分析的12个神话被揭穿!
- ·OpenAI 呼吁美国加大电力投资 助力 AI 领域领跑中国
- ·美的发布新一代 Home AI 系统:打造“能思考”的智能家居中枢
- ·https://www.rollingstone.it/?ID=DVMeu3AlmzZE1cuJ2FmgmO5TSCQRb3yh&s=百度快排【tg:seogoogle987】,4Nz
- ·https://www.zutari.com/search/百度快排【tg:seogoogle987】,NAd
- ·https://www.pacific-lifestyle.co.uk/search?sort=alphabetical&term=百度快排【tg:seogoogle987】,vl2
- ·https://www.pmindia.gov.in/en/?s=百度快排【tg:seogoogle987】,274
- ·https://www.selfsufficientish.com/main/?s=百度快排【tg:seogoogle987】,DXP
- ·https://www.yli.ro/catalogsearch/result/?q=百度快排【tg:seogoogle987】,nCT
- ·https://www.otakuninjahero.com/en/search/百度快排【tg:seogoogle987】,tj2
- ·https://www.vet-direct.com/search?cat=72&term=百度快排【tg:seogoogle987】,2ph
- ·https://www.rockngem.com/?action=CHECK&s=百度快排【tg:seogoogle987】,Yd3
- ·https://www.laoairlines.com/?action=QUERY&s=百度快排【tg:seogoogle987】,1NB
