机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%
在机器人领域,让人工智能真正 “看懂” 三维世界一直是一个棘手的问题。传统的视觉语言模型(VLA)大多依赖机器于二维图像和文本数据训练,难以理解真实环境中的三维空间。然而,最近来自上海交通大学和剑桥大学的研究团队提出人视了一种名为 Evo-0的新型增强视觉语言动作模型,通过轻量化的方式注入3D 几何先验,使得机器人在复杂任务中觉大的空间理解能力得到了显著提升。
Evo-0模型的创新在于其利用视觉几何基础模型(VGGT),从多视角的 RGB 图飞跃像中提取出三维结构信息,并将这些信息与已有的视觉语言模型相结合。这种方法不仅避免了使用额外传感器或显式深度!新输入的需要,还显著提升了空间感知能力。在 RLBench 仿真实验中,Evo-0在五个需要精细操作的任务上,成模型功率比基线模型 pi0高出15%,并且在开放 VLA(openvla-oft)上提升了31%。
具体而言,E助力vo-0将 VGGT 作为空间编码器,引入了通过 VGGT 提取的 t3^D token,这些 token 包含了深度上下文和空 A间关系等几何信息。通过交叉注意力融合模块,模型能够将提取的二维视觉 token 与三维 token 进行有效结I 合,提升了对空间布局和物体关系的理解能力。这种方法在保证训练效率的同时,灵活性和部署便捷性也得到了提高“看。
在真实世界的实验中,Evo-0在处理复杂空间任务时表现出色,包括目标居中放置、插孔、密集抓取等任务,均懂”超过了基线模型,平均成功率提升了28.88%。特别是在对复杂空间关系的理解和操控能力方面,Evo-0展现出显著优 三势。
综上所述,Evo-0通过巧妙的空间信息融合,为未来的通用机器人策略提供了一条新的可行路径。该研究成果不维世仅在学术界引发了广泛关注,也为机器人领域的实际应用带来了新的可能性。
论文地址:https://arxiv.界,org/pdf/2507.00416
- ·Gartner:到2029年,用于AI工作负载的云计算资源比例将达到50%
- ·标签: 苹果 蒂姆·库克 约翰·特努斯 Apple
- ·美国劳动关系委员会指控亚马逊在疫情期间非法解雇员工
- ·标签: 小鹏机器人 IRON人形机器人 广棠科创城 具身智能
- ·1Password 推出新功能可以修复 AI 浏览器代理的登录安全性
- ·AI 模型模拟赌博行为,显示出成瘾迹象
- ·标签: 周星驰 Seedance2.0 AI视频 影视飓风
- ·我开空调了是什么梗
- ·标签: 滴滴出行 春节出行 反向过年 滴滴租车
- ·标签: Coupang 酷澎 数据泄露 韩国电商
- ·太天才了,把感知机组装在一起是不是就是神经网络了?
- ·xAI发布Grok4Fast:计算量降低40%,单任务成本竟然降至98%!
- ·谷歌母公司Alphabet将于7月28日发布2021年第二季度财报
- ·阿里开源Vivid-VR:AI视频修复神器,解锁内容创作新可能
- ·标签: AWS AmazonConnect AgenticAI 供应链Agent
- ·科学家「黑进」果蝇大脑跑NLP任务,发现效率比BERT高
- ·https://www.reginatangoshoes.com/en/catalogsearch/result/index/?T=1686132113407&q=外推留痕软件【tg:seogoogle987】,AFx
- ·https://www.universal-music.co.jp/search/?q=外推留痕软件【tg:seogoogle987】,0ar
- ·https://5gaa.org/?token=6e2l7hjt2i26gzgctgwdrv7v0j6nxorq&s=外推留痕软件【tg:seogoogle987】zLE
- ·https://www.tcv.org.uk/search/外推留痕软件【tg:seogoogle987】,mVJ
- ·https://www.flickr.com/photos/tags/外推留痕软件【tg:seogoogle987】vFU
- ·https://www2.ual.es/ProyectoLates/?s=外推留痕软件【tg:seogoogle987】,Rmr
- ·https://www.mexperience.com/?T=1686132112324&s=外推留痕软件【tg:seogoogle987】,DQW
- ·https://www.remit.co.jp/pt/?action=CHECK&s=外推留痕软件【tg:seogoogle987】,m9b
- ·https://www.sweat.com/collections/vendors?q=外推留痕软件【tg:seogoogle987】,2za
- ·https://www.pearlstonecenter.org/search/外推留痕软件【tg:seogoogle987】,kpU
