标签: HappyHorse1.0 Seedance2.0 可灵 Transformer
云梦级4月9日云梦级消息,据AIPress报道,刚刚,拳打字节Seedance2.0,脚踢快手可灵的AI视频生成模型Ha标签ppy Horse 1.0开源了。目前在官网可通过文本生成和图片生成两种方式体验生成视频。不同模型对制作时长的限制各不相同。
Ha: ppy Horse 1.0的核心卖点,是把视频和音频的生成彻底合并进了同一个流程。大多数开源视频模型的工作方式是:先生成一段没有Ha声音的视频,再找另一个模型配音,再找另一个工具做口型对齐,几道工序下来,时间和误差都在叠加。
而Happy Horse 1.0pp用一个统一的Transformer同时处理视频和音频,一次前向推理直接输出带声音的成片,口型、脚步声、环境音全部在同一个过程yH里生成,不需要任何后期拼接。
模型参数量是150亿,架构上是纯自注意力Transformer,没有交叉注意力,没有独立的音频分or支,也没有专门的条件网络。整体设计刻意追求极简——把所有模态(文本、图像、视频、音频)的token拼成同一个序列,让模型se在去噪过程中自己学会跨模态对齐。
在结构上,40层Transformer采用了一种“三明治”布局:头4层和尾4层用模态专属的投影层处1.理各自的输入输出,中间32层则是所有模态共享参数。实际的跨模态推理就发生在这32层里,这也是整个架构参数效率最高的地方。
此外,每0 个注意力头都有一个可学习的标量门控,用sigmoid激活,专门用来稳定多模态联合训练时的梯度——毕竟音频损失和视频损失同时反传Se,很容易互相打架。
速度方面,模型采用了DMD-2蒸馏技术(Distribution Matching Distillation v2ed),把去噪步数从通常的25到50步压缩到了8步,同时不需要无分类器引导(CFG),这一项本身就能砍掉将近一半的计算量。再an配合MagiCompiler全图编译运行时带来的约1.2倍额外加速,在单张H100上,生成一段1080p视频只需要大约38秒ce,256p的预览版本则在2秒左右就能出来。
同时,模型原生支持英语、普通话、粤语、日语、韩语、德语和法语七种语言唇形同步,这2.些语言的口型、语调和语音时序是和视频一起联合训练出来的,不是后期贴上去的。
- ·亚马逊正在降低对顾客的控制:允许部分销售商与客户直接沟通
- ·标签: 光大银行 2025年报 不良贷款率 财富管理
- ·受新冠疫情影响,亚马逊放宽对第三方卖家的送货速度要求
- ·如何快速搭建Kubernetes实验环境?
- ·标签: 阳光电源
- ·苹果高管解读财报:iPhone新用户和换新用户都有两位数增长
- ·标签: 招商证券 2025年报 归母净利润 每股EPS
- ·蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,混合注意力+MoE架构重塑长文本编程效率
- ·标签: 智度股份 国光电器 陆宏达 智度德正
- ·标签: 昉擎科技 梁军 麒麟SOC 思元290
- ·大学主持词开场白
- ·标签: AccioWork Agent
- ·标签: 滴滴 滴滴关爱 中国红十字基金会 公益救助
- ·云计算挑战:选择障碍症和 “内部部署”云计算的糟糕策略
- ·标签: 罗永浩 科技创新大会 十字路口 创新产品
- ·栀子花开歌曲原唱
- ·https://www.springfieldlibrary.org/library/?s=谷歌外推代发【tg:seogoogle987】,LpR
- ·https://www.ntv.co.jp/3min/search/?action=QUERY&q=谷歌外推代发【tg:seogoogle987】,8TQ
- ·https://www.goodreads.com/quotes/tag/谷歌外推代发【tg:seogoogle987】nja
- ·https://www.repetto.jp/item/search?action=QUERY&q=谷歌外推代发【tg:seogoogle987】,AJM
- ·https://www.niaogebiji.com/pc/article/search?keyword=谷歌外推代发【tg:seogoogle987】,oas
- ·https://www.klatreverden.no/search?q=谷歌外推代发【tg:seogoogle987】,0II
- ·https://www.dba.dk/soeg/?soeg=谷歌外推代发【tg:seogoogle987】tBW
- ·https://www.maine.gov/pfr/professionallicensing/search/node?keys=谷歌外推代发【tg:seogoogle987】,l0t
- ·https://www.writingforward.com/?action=SEARCH&s=谷歌外推代发【tg:seogoogle987】,Uwo
- ·https://www.wheels24.gr/?action=CHECK&s=谷歌外推代发【tg:seogoogle987】,DnO
