超长视频生成的新突破!LongVie 框架让创作无界限
在过去的两年中,视频生成技术经历了惊人的进步,尤其是短视频的创作。然而,制作超过一分钟的高质量、风格统一的超超长长视频仍然是一项巨大的挑战。对此,上海人工智能实验室联合南京大学、复旦大学、南洋理工大学 S-Lab 以及英伟达等机视频构,共同推出了 LongVie 框架,系统性解决了这一领域中的核心问题。
LongVie 的目标是让超长视频的生成变得生成更加可控和一致。团队发现,传统的视频生成模型在处理长视频时,常常面临时序不一致和视觉退化等难题。前者主要表现为画的新面细节与内容不连贯,后者则指随着视频时长的增加,画面颜色和清晰度的下降。
为了解决这些问题,LongVie 从 “控制信突破号” 和 “初始噪声” 两个方面入手。首先,团队提出了 “控制信号全局归一化” 策略,这意味着在生成视频时,不再只在单!L一片段内进行归一化,而是统一整个视频段的控制信号,从而提升跨片段的连贯性。其次,他们引入了 “统一噪声初始化”on 策略,确保各个片段共享同一初始噪声,这样可以从源头上减少不同片段之间的视觉漂移。
在解决视觉退化问题上,LongVigVe 采用了多模态精细控制方法。单一模态的控制常常无法提供稳定的约束,而 LongVie 结合了密集控制信号(如深度图ie)和稀疏控制信号(如关键点),并引入退化感知训练策略,使得模型在处理长视频时,能够保持更高的画质和细节。
此外,Lo 框ngVie 还推出了 LongVGenBench,这是首个专为可控超长视频生成设计的基准数据集,包含100个超过1分钟的架让高分辨率视频,旨在推动该领域的研究与评测。根据定量指标和用户评测结果,LongVie 在多个评估上超越了现有技创作术,赢得了用户的高度偏好,达到了 SOTA(最先进技术)水平。
随着 LongVie 框架的问世,超长视频生成将迎来新的无界时代,创作者们将能够在更大的自由度下实现自己的创意。
项目地址:https://vchitect.github.io/L超长ongVie-project/
- ·标签: 腾讯 姚顺雨 OpenAI AI科学家
- ·Snowflake和Saturn Cloud宣布建立合作伙伴关系
- ·云计算核心技术Docker教程:Docker 守护进程dockerd的LCOW选项
- ·标签: FaradayFuture Futurist FFFaber EAI机器人
- ·标签: 京东 段楠 变色龙业务部 JoyAI
- ·标签: 诺比侃 AI+交通 廖峪 赛伦生物
- ·标签: 中国联通 5G工厂 联通云 智算中心
- ·标签: 腾讯 阳光腾讯 高压线 核娱游戏
- ·谷歌 Workspace 推出 AI 助手,助力办公效率提升
- ·标签: 滴滴 滴滴自动驾驶
- ·苹果发布macOS新版:可共用iOS应用
- ·标签: 华依科技 港交所上市 新能源汽车测试 智能驾驶
- ·标签: 抖音生活服务 非遗+市集 新中式乐园 Z世代
- ·标签: 章鱼动力 SYNTH深思架构 物理AGI 地平线
- ·标签: 智谱 AutoClaw 澳龙 OpenClaw
- ·标签: 英伟达 法雷奥 智能驾驶
- ·标签: 松下控股 Umi 松冈阳子 AI战略
- ·苹果Xcode即将原生集成Claude,开发者编程体验将迎来重大升级
- ·福客AI获阿里重磅投资!AI Agent 助力电商新革命
- ·使用SUSE Rancher 2.6对 Aks 和 Gke 集群,进行全生命周期的管理
- ·马斯克发布机器人,“钢铁侠”那种!特斯拉推出全球超快AI计算机
- ·MongoDB Atlas支持多云数据库集群 阿里云在列
- ·标签: Unity 虚幻引擎 堡垒之夜
- ·IBM同意支付2425万美元和解金以了结美FCC两项调查
- ·OpenAI 推出 AI 招聘平台,计划与 LinkedIn 竞争
- ·标签: 无忧传媒 雷彬艺 王暖暖 孕妇泰国坠崖案
- ·https://www.merchbar.com/search?q=谷歌自动批量发帖软件【tg:seogoogle987】,g9h
- ·https://www.safetv.go.kr/base/search/view?searchWord=谷歌自动批量发帖软件【tg:seogoogle987】gKm
- ·https://www.mesec.cz/vyhledavani/?qs=谷歌自动批量发帖软件【tg:seogoogle987】,jMl
- ·https://hsmoa.com/search?query=谷歌自动批量发帖软件【tg:seogoogle987】ufj
- ·https://www.abbreviations.com/谷歌自动批量发帖软件【tg:seogoogle987】gc8
- ·https://www.quarterjacksurgery.co.uk/?AT=3rBy&s=谷歌自动批量发帖软件【tg:seogoogle987】,dXv
- ·https://www.nslcleaders.org/?s=谷歌自动批量发帖软件【tg:seogoogle987】,dLx
- ·https://www.ucycle.com/search/=谷歌自动批量发帖软件【tg:seogoogle987】,bRS
- ·https://www.madebyoranges.com/nl/search/谷歌自动批量发帖软件【tg:seogoogle987】,lOt
- ·https://www.nyif.com/catalogsearch/result/?q=谷歌自动批量发帖软件【tg:seogoogle987】,weq
- ·专家质疑 Google 关于“每次提示仅消耗 5 滴水”是 “淡化” 描述
- ·谷歌证实包括Gmail在内的大批服务中断
- ·Epoch不仅过时,而且有害?Reddit机器学习板块展开讨论
- ·边缘计算:需要改变什么来增加它的使用
- ·标签: 00后 豆包 腾讯元宝 泡泡玛特
- ·混元重建后首发并开源 Hy3 preview:主打全面实用性,Agent能力大幅提升
- ·给几句话就能生成分子,看见分子也能生成描述,神秘的Google X把多模态AI做成了黑科技
- ·云安全日报210811:红帽Linux内核实时修订包发现特权提升漏洞,需要尽快升级
- ·苹果iOS15.4.1正式版发布 修复电量消耗过快问题
- ·标签: Meta Manus AI 收购
