这个CV数据集生成器火了,支持13类CV任务,DeepMind等打造
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
这年头,AI玩家们想找到合适的图像数据集,简直是越来越难了。
不仅数据质量参差不齐,合适的数据类型也难找(如光流图、深度图等)。
为这个了解决这些问题,来自谷歌、MIT、DeepMind、MILA和剑桥大学等11家机构的34名研究人员,联手打造了一个名叫Kubric的数据集生成器,不仅能自己渲染,而且图像效果也非常真实。
不仅各种图像数据都CV能做,像语义分割、深度图或光流图这种“特殊数据”都能一键生成:
还能控制渲染的真实度,渲染出的视频可以达到以假乱真的效果:
据作者们表示,目前Kubric支持13类CV任务的数据类型生成,效果也不比用已有数据集训数据练出来的差。
这样的一个数据集生成器,到底要怎么上手?
可生成13类CV任务所需数据
先来看看这个Kubric数据集生成器究竟是个啥。
简单来说,它有点像是一个专为图像AI打造的“数据车间”,基于跨平台开源物理引擎P集生yBullet和3D图像渲染软件Blender打造。
其中,PyBullet给用户提供了一个模拟3D物体运动的平台,例如两个球之间的弹性碰撞参数就可以用它来模拟。(当然,除了PyBullet以外,也可以扩成器展到其他物理引擎如MuJoCo上)
Blender则是一个渲染3D动画的平台,但它的优势在于操作方便,而且既可以做出照片级逼真的渲染图像,也可以输出3D动画效果。(例如有设计师拿它设计服装纹理)
可能这时候你会问火了,Kubric相比自己手动渲染视频或图像数据集,方便在哪?
一方面,Kubric自带一系列预处理的基础图像数据库。
除了11个基础3D模型以外:
还内置了Google Scanned Objects(GSO)室内家,支具物品数据集中的一系列模型,以及包含背景、光照、材料纹理等参数的Polyhaven数据集,还有ShapeNet数据集等(包含55种常见的物品类型及51300个3D模型)。
也就是说,如果你对渲染不太了解,也能持1利用内置的数据库快速生成想要的图像。
另一方面,Kubric直接提供了从“渲染数据”到输出“AI训练数据”的管道,省去了将渲染图像转成特殊数据(如深度图、光流图)、或是额外收集如视场、相机参数、光照等数据的麻烦3类。
这也使得Kubric支持生成13类CV任务所需的图像数据,具体包括光流、NeRF、姿态估计、3D重建等。
没错,即使这些生成的图像中有2D也有3D类型,需要的数据量也从MB到TB级别不等,但Kubric都能CV满足。
嗯,作者们还专门针对各种视觉任务,用Kubric生成的数据集一个个试了试,强调“用他们生成的数据集效果更好”。
△Kubric生成的光流图
那么,这样的数据集生成器究竟要怎么用呢?
自带Python接口
作任务者提供了一些简单的操作流程。
在安装之后,第一步就是创建默认场景:
然后,再通过这两步,分别创建一块地板、和一个球体(也可以换成其他形状):
接下来就是在场景中加一个照明,以及渲染摄像头采集图像:
导出文件后,就能,D获取一个3D球体的图像了:
△Blender中的效果
如果需要深度图、灰度图等特殊图层的话,也是几行代码就能搞定:
比自己手动导出要更方便一些:
当然,如果还是感觉上手较难,作者也直接提供了示例代码,改改参数就能ee用:
在原基础上,再加5行代码就能直接运行出动态视频版:
看起来,做完数据集后,即使不懂渲染的也能成为半个行家了(doge)
目前新的一批内置数据集还在施工中,感兴趣的小伙伴可以先上手试玩~
项目地址:
https:/pM/github.com/google-research/kubric
论文地址:
https://arxiv.org/abs/2203.03570
-
难以置信!小冰数字孪生虚拟人直播70天,没人发现不是真人标签: 航旅纵横 航班取消 系统故障 客服回应Periscope创始人王者归来!Macroscope获3000万美元A轮,AI代码分析引擎瞄准开发者痛点央行等八部门:鼓励更多软件、大数据、人工智能等领域优质企业在国内上市标签: 海尔智家 卡萨帝 Leader Seeker消息称Anthropic与云计算公司Riot Platforms达成91亿美元算力协议标签: 有研复材 科创板IPO 金属复合材料 中信证券谷歌正在应用AI破解数据中心的下一代地热能AI助力高效阅读!电子书秒变思维导图,智能解析 EPUB 和 PDF 文件标签: 乐逸智能 高瓴创投 吴旭民 大疆
- ·谷歌将于12月发布Gemini 3.0模型
- ·宝马与亚马逊合作开发数据中心以提高效率
- ·标签: Looki L1 蚂蚁集团 美团龙珠
- ·2021 十大 Python 机器学习库
- ·IBM 发布 Granite 4.0 Nano 模型,突破小型 AI 模型的性能极限
- ·标签: 英飞凌 汽车电子 电源系统 边缘系统
- ·AI公司Flock Safety 欲用智能摄像头消灭美国犯罪
- ·云计算开发:Python3-List pop()方法详解
- ·微软推出全新AI形象 Mico,Clippy 回归“变身”人工智能好友
- ·标签: SpaceX 马斯克 IPO 特斯拉
- ·标签: 京东11.11 AI 超级供应链
- ·标签: 腾讯元宝 Logo更新 AI助手 拟人化设计
- ·AI 办公新动向:Claude 完成 Office 全覆盖,修订模式成博弈焦点
- ·谷歌I/O回归印象:AI、疫情与隐私
- ·标签: 自然选择 EVE 恺英网络 AI陪伴
- ·Alphabet Q2钀ユ敹619浜跨編鍏� 鏃椾笅璋锋瓕浜戦儴闂ㄨ惀鏀�46.28浜跨編鍏�
- ·云计算开发:Python3-strip()方法详解
- ·高通高管解读财报:物联网业务增速已经超过手机业务
- ·专家质疑 Google 关于“每次提示仅消耗 5 滴水”是 “淡化” 描述
- ·和世界上另一个你对话是种什么体验?全球首位AI人类观察者诞生
- ·标签: OPPO FindX9Ultra 手机影像 软件缺陷
- ·室内最有效的驱蚊方法
- ·让Transformer的推理速度提高4.5倍,这个trick还能给你省十几万
- ·标签: 有研复材 688811 金属复合材料 特种有色金属合金
- ·标签: 微软 Azure Windows 云计算
- ·硅基流动上线 DeepSeek-V3.2-Exp,显著降低价格并支持更大上下文
- ·https://www.jusoen.com/addreng.asp?p1=谷歌霸屏推广【tg:seogoogle987】NYu
- ·https://www.shacknews.com/editorial-search?q=谷歌霸屏推广【tg:seogoogle987】,rHk
- ·https://www.mi.com/search?keyword=谷歌霸屏推广【tg:seogoogle987】,uir
- ·https://www.remit.co.jp/ne/?s=谷歌霸屏推广【tg:seogoogle987】,Tjo
- ·https://www.teacherspayteachers.com/Browse/Price-Range/Free/Search:谷歌霸屏推广【tg:seogoogle987】,Q6D
- ·https://www.pickett.co.uk/collections/vendors?q=谷歌霸屏推广【tg:seogoogle987】,WL2
- ·https://wydden.com/?ID=r8w9WMSKWkOcmiaFWaUv0dzMdqZWfKtF&s=谷歌霸屏推广【tg:seogoogle987】,CLP
- ·https://www.zutari.com/?s=谷歌霸屏推广【tg:seogoogle987】,nC9
- ·https://www.whiterock2008.com.tw/search?q=谷歌霸屏推广【tg:seogoogle987】,yC4
- ·https://www.polliwogs.com/search/谷歌霸屏推广【tg:seogoogle987】,4A3
- ·标签: XREAL 光波导 Micro-OLED 雷鸟
- ·Apple TV HD被苹果列入“过时产品”名单
- ·标签: 谷歌 TPU Ironwood Anthropic
- ·IBM财报不及预期股价大跌7% 新管理层转型云计算效果欠佳
- ·谷歌就美司法部诉讼提交正式申辩 否认反垄断行为指控
- ·Google Gemini CLI开放第三方扩展:Figma和Stripe率先入驻,命令行AI迎来生态之战
- ·腾讯发布WorkBuddy企业版:从超级个人到超级团队 员工会被AI取代吗?
- ·/和/*的区别记不住?我的答案保你终身难忘
- ·标签: 曹操出行 Robotaxi 阿布扎比 吉利控股
- ·云计算核心技术Docker教程:Docker使用Docker Engine API开发
