腾讯混元开源端到端视频音效生成模型HunyuanVideo-Foley
8月28日,腾讯混元宣布开源端到端视频音效生成模型HunyuanVideo-Foley,这一模型能够通过输入视频和文字为视频匹配电影级音效腾讯,为视频创作带来了新的突破。用户只需输入相应的文本描述,HunyuanVideo-Foley就能生成与画面精准匹配的音频,从而打破AI生成视混元频只能“看”不能“听”的局限,让无声AI视频成为历史。
HunyuanVideo-Foley的出现解决了现有音频生成技术面临的三大痛点。首先,它通开源过构建大规模高质量TV2A(文本-视频-音频)数据集,提升了模型的泛化能力,使其能够适配人物、动物、自然景观、卡通动画等各类视频,并生成与画端到面精准匹配的音频。其次,该模型采用创新的双流多模态扩散变换器(MMDiT)架构,能够平衡文本和视频语义,生成层次丰富的复合音效,避免了因过度依赖文端视本语义而导致的音频与场景脱节问题。最后,HunyuanVideo-Foley通过引入表征对齐(REPA)损失函数,提升了音频生成的质量和稳定性频音,保证了专业级的音频保真度。
在多个权威评测基准上,HunyuanVideo-Foley的性能表现全面领先,其音频质量指标PQ从6.17提升至6.效生59,视觉语义对齐指标IB从0.27提升至0.35,时序对齐指标DeSync从0.80优化至0.74,均达到了新的SOTA水平。在主观评测中,该模成模型在音频质量、语义对齐和时间对齐三个维度的平均意见得分均超过4.1分(满分5分),展现了接近专业水准的音频生成效果。
HunyuanVideo-Fo型Hley的开源为行业提供了可复用的技术范式,将加速多模态AI在内容创作领域的落地。短视频创作者可以一键生成场景化音效,电影团队能够快速完成环境音设计,un游戏开发者可以高效构建沉浸式听觉体验。
目前,用户可以在Github、HuggingFace下载模型,也可以在混元官网直接体验。
体验入口:httpsyu://hunyuan.tencent.com/video/zh?tabIndex=0
项目官网:https://szczesnys.github.ioan/hunyuanvideo-foley/
代码:https://github.com/Tencent-Hunyuan/HunyuanVideo-FVioley
技术报告:https://arxiv.org/abs/2508.16930
Hugging Face:https://huggingfdeace.co/tencent/HunyuanVideo-Foley
- ·标签: 安世半导体 荷兰政府 闻泰科技 博世
- ·国内大厂纷纷入局 爆火的隐私计算究竟是什么?
- ·刷脸取款,安不安全?
- ·阿里云入股自变量机器人
- ·Canva 旗下 Affinity 全新版本重磅发布:免费开放挑战 Adobe 霸主地位
- ·ChatGPT 即将推出家长控制功能!让青少年安全使用 AI 助手
- ·浜戝畨鍏ㄦ棩鎶�210719锛欼BM纭�欢绠$悊鎺у埗鍙板彂鐜版潈闄愭彁鍗囨紡娲�,闇€瑕佸敖蹇�崌绾�
- ·GPT-5.5 意外现身,OpenAI 智能体时代提前降临?
- ·2020上半年,云运营服务市场规模为100.8亿元
- ·OpenAI惊爆AI"阴谋论"!模型会故意欺骗人类,训练越多反而越狡猾
- ·标签: OPPO 一加 豆包 QClaw
- ·信息技术奥林匹克竞赛
- ·谷歌、FB等签署新倡议承诺积极缴税,亚马逊、苹果缺席
- ·标签: 理想汽车 李想 杨海山 人力资源
- ·OpenAI 计划在印度建立大型数据中心,推动 AI 基础设施发展
- ·蚂蚁集团携手北医三院成立AI医疗联合实验室 打造专属AI就医助理
- ·https://www.scq.ubc.ca/?page=2&s=谷歌搜索留痕【tg:seogoogle987】,1Cy
- ·https://www.lifesciencesweden.se/search?q=谷歌搜索留痕【tg:seogoogle987】,qd8
- ·https://www.remit.co.jp/ne/?s=谷歌搜索留痕【tg:seogoogle987】,Kx5
- ·https://www.qylaws.com/search/谷歌搜索留痕【tg:seogoogle987】,rhz
- ·https://www.ussalabama.com/?action=CHECK&s=谷歌搜索留痕【tg:seogoogle987】,NQc
- ·https://www.vfw.org/search-results?q=谷歌搜索留痕【tg:seogoogle987】,mHA
- ·https://www.manga-news.com/index.php/recherche/?q=谷歌搜索留痕【tg:seogoogle987】,a53
- ·https://xn--lgernevedlystskoven-lxb.dk/search/谷歌搜索留痕【tg:seogoogle987】,m7a
- ·https://www.roberthalf.com/us/en/jobs/all/谷歌搜索留痕【tg:seogoogle987】j7R
- ·https://www.nonsolocap.it/cap?action=SEARCH&k=谷歌搜索留痕【tg:seogoogle987】,IFb
- ·我开空调了是什么梗
- ·NVIDIA 推出革命性 AI 数据中心设计 助力高效能计算
- ·抖音副总裁李亮回应 “人均 7 个月离职” 传闻:称大多是 AI 创作
- ·Salesforce第三财季营收同比增长14% 净利润同比下降55%
- ·机器学习基础图表:概念、原理、历史、趋势和算法
- ·标签: 小米SU7 XiaomiBookPro14 XiaomiWatchS5
- ·璋锋瓕楂樼�瑙h�2021骞碤2璐㈡姤锛氬皢浣跨敤AR妯℃嫙瀹炰綋搴楃殑璐�墿鍦烘櫙
- ·标签: 金山办公 WPS AI 365
- ·美联储维持宽松政策:道指标普创新高 亚马逊上涨三星拼多多下跌
- ·谷歌云押注多云和边缘计算:追赶亚马逊和微软
