这个AI能帮女朋友自拍:照片生成3D视频
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
爱自拍的女生,为了拍一张美照总是需要很久,就是为了找到最美的角度。
比如这个这位妹子,在自己的书架前拍了4张自拍照,都不太满意。
现在可以把选最美角度这件事交给AI了,让妹子不再苦恼。只要几张照片,它能从中生成各种角度的自拍。
&nbAIsp;
然后,你可以在AI生成的视频里,找到一个自认为最美的角度,分享到朋友圈。
这个AI就是华盛顿大学和谷歌联合开发的nerfies。
这种方法不需要能帮太复杂的设备,只要智能手机的摄像头和CPU就能完成运算和渲染。这可比iPhone 12 Pro用内置激光雷达来生成3D图像的成本低多了。
原理
看到nerfies女朋这个名字是不是有种似曾相识的感觉?nerfies其实就是NeRF+Selfies两个单词合并而来。
NeRF(神经辐射场)是谷歌最近开发的一种2D图像转3友自D的模型,但NeRF要求拍摄对象在整个过程保持完全静止。
比如,上面的妹子在自拍4张照片的时候,头部姿势不可避免地会发生变化,如果直接套用NeRF,效果惨拍:不忍睹。
而nerfies则是可变性神经辐射场(Deformable NeRF),它能够重建非刚性变形的场景。
在NeRF的基础上,作者从几何和物理模拟的原照片理出发,提出了NeRF的弹性正则化,进一步提高了2D转3D的鲁棒性。
在可变性NeRF中,作者引入了弹性正则化、背景正则化以及一种可避免不良的局部最小值退生成火技术。
作者将潜在变形码(ω)和外观码(ψ)与每个图像关联。在观测帧中对摄像机光线进行追踪,并使用变形场将样本沿光线转换到规范帧,变形场由变形码ω编3D码为MLP。
另外使用转换后的样本位置(x0,y0,z0)、观察方向(θ,φ)和外观码ψ作为MLP的输入,来查询模板NeRF模块,并沿着光线对样本进行积分视频。
更多玩法
可变性NeRF不仅可以用于自拍,还有更多好玩的用途。
比如创建“希区柯克变焦”的效果,过去需要专门的摄影技巧,或者是通过由远及近的拍摄视频再这个后期处理。现在只要几张照片就可以了。
如果不需要场景角度变化,而是需要人物姿势变化呢?
可变性NeRF能在头向左和向右之间线性插入任意姿势的照片。
最后还有一个用AI途是生成防抖视频。既然可变性NeRF可以生成任意角度的图像,那么现在可以让手负责抖,而让它负责稳了。
目前作者还没有公布源代码,不过他们的项目主页上已经放上能帮了GitHub的按钮,看来他们已经准备开源了。你是不是迫不及待想试一下呢?
项目地址:
https://nerfies.github.io/
论文地址:
http女朋s://arxiv.org/abs/2011.12948
- ·标签: 惠而浦 洗衣机 冰箱 清洁电器
- ·云计算核心技术Docker教程:Docker存储驱动程序
- ·云计算核心技术Docker教程:Docker 守护进程dockerd配置重载行为
- ·西媒:未来士兵将成机器人的“牧羊人”
- ·标签: 百度 反贪腐 MEG ACG
- ·标签: 华为
- ·标签: 澜起科技 AI芯片 互连类芯片 688008
- ·云计算核心技术Docker教程:Docker创建集群
- ·IBM已收购美国云计算公司Salesforce旗下咨询公司7Summits
- ·“象鼻”机器人来了!拧瓶盖、做家务不在话下!
- ·新iOS将不支持iPhone 6s,但买苹果的理由反而增加了
- ·最新报告披露苹果iPhone 13今年上市时间
- ·ChatGPT 新功能上线!免费用户也能畅享项目管理利器
- ·标签: 小米集团 星纪魅族 曾洋 公关媒介
- ·云安全日报211221:红帽身份验证和访问控制系统发现重要漏洞,需要尽快升级
- ·微软将向瑞典AI及云计算基础设施投资32亿美元,为25万人提供基本AI技能培训
- ·https://www.wellbees.com/catalogsearch/result/?action=CHECK&q=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,vgy
- ·https://www.manga-news.com/index.php/recherche/?q=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,Kkb
- ·https://www.tcv.org.uk/search/谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,qfm
- ·https://www.teamlab.art/?submit=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,yT3
- ·https://www.sdcard.org/ja/?s=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,luL
- ·https://www.krisinformation.se/en/search?q=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,W9R
- ·https://hsmoa.com/search?query=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】YiA
- ·https://www.lenovo.com/gb/en/search?action=SEARCH&text=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,wQk
- ·https://www.lee.com/search?q=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,LYB
- ·https://www.yli.ro/catalogsearch/result/?q=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,DBd
- ·标签: 青岛啤酒 2025年报 啤酒行业 数字化转型
- ·官方回应阿里巴巴云计算数据中心失火:已扑灭,现场无人员伤亡
- ·浜氶┈閫婄綉缁滄湇鍔℃寫鎴樺井杞�簯杞�欢涓诲�鍦颁綅锛熻姳閽辫В鍐充笉浜嗛棶棰橈紒
- ·Meta 为 Facebook Dating 引入 AI 助手,意在重塑社交体验
- ·云计算核心技术Docker教程:Docker上ECS私有镜像和卷管理
- ·标签: 奕境汽车 华为乾崑 东风汽车 鸿蒙座舱
- ·标签: OPPO 武汉大学 母亲节文案 余某
- ·OpenAI瑙f暎鏈哄櫒浜哄洟闃燂紝鏇捐瘯鍥鹃€燗GI鏈哄櫒浜猴紝鍒涘�浜猴細鏈€濂界殑鍐冲畾
- ·边缘计算将在企业中扮演越来越重要的角色
- ·标签: IBM Confluent AI 数据基础设施
