对于人来说，看一张平面照片能够想象到重建后的3D场景布局，能够根据2D图像中包含的有限信号来识别对象，确定实例大小并重建3D场景布局。

这个问题有一个术语叫做光学可逆问题invGoerse optics problem，它是指从视网膜图像到视网膜刺激源的模糊映射。

现实世界中的计算机视觉应用，例如自动驾驶就严重依赖这些功能来定位和识别3D对象，这需要AI模型来og推断投影到2D图像的每个3D点的空间位置、语义类别和实例标签。

从图像重建3D世界的能力可以分解为两个独立的子任务：单眼深度估计（从单个图像预测深度）和视频全景分割（实例分割和语义le分割）。

研究人员通常对每个任务提出不同的模型，通过在多个任务之间共享计算的模型权重。在实际应用的时候，将这些任务与统一的计算机视觉模型一起处理可以简化部署提高效率。

基于这个研究背景，G发布oogle提出一个全新的模型ViP-DeepLab，通过深度感知视频全景分割来学习视觉感知，已被CVPR 2021接受，旨在同时解决单眼深度估计和视频全景分割。

论文中还导出了两个语义数据集，并提出了一种称为深度感知视频全景质量（DVPQ）的新评估指标，这个新指标可以同时评估深度估计和视频全景分割。

ViP-DeepLab是一个统一的模型，可以对图像平面上的每分割个像素联合执行视频全景分割和单眼深度估计，并在子任务的几个学术数据集取得了sota结果。

ViP-DeepLab通过从两个连续的帧作为输入来执行其他预测，输出包括第一帧的深度估计，它为新数每个像素分配一个深度估计值。

此外，ViP-DeepLab还对出现在第一帧中的对象中心执行两个连续帧的中心回归，此过程称为中心偏移预测，它允许两个帧中的所有像素分组到出现在第一帧据集中的同一对象。如果未将新实例匹配到先前检测到的实例中，则会出现新实例。

ViP-DeepLab的输出可以用于视频全景分割。连接两个连续的帧作为输入。语义分割输出将每个像素与其语义类别！顺相关联，而实例分割输出则从与第一帧中的单个对象相关联的两个帧中识别像素，输入图像来自Cityscapes数据集。

论文中在多个流行的基准数据集上测试了ViP-DeepLab，包括C带开ityscapes-VPS，KITTI深度预测和KITTI多对象跟踪和分段（MOTS）。

ViP-DeepLab都取得了SOTA的结果，在Cityscapes-VPS测试上，其视频全景质发个量（VPQ）大大优于以前的方法，达到了5.1％。

在KITTI深度预测基准上进行单眼深度估计的比较，对于深度估算指标，值越小，性能越好。尽管差异可能看起来很小，但在此基准上性能模型最高的方法通常在SILog中的间隙小于0.1。

此外，VIP-DeepLab也在KITTI MOTS行人和汽车排名度量使用新的度量标准HOTA，都取得了显著提升。

最后，论文中还为新任务提屠榜供了两个新的数据集，即深度感知视频全景分割，并在其上测试了ViP-DeepLab，而这个模型的结果将成为社区进行比较的基准模型。

ViP-DeepLab具有简单的体系结构，可在视频全景，已分割，单眼深度估计以及多对象跟踪和分割方面实现最先进的性能，这个模型也能帮助进一步研究对2D场景中的真实世界。

• ·Adobe王炸更新：Firefly智能体公测，Photoshop竟能“自如编排”？
• ·标签: OpenAI 山姆・奥尔特曼 Gemini 3 超级智能
• ·手机也能跑！面壁智能重磅发布MiniCPM-V4.5:4.1亿参数碾压GPT-4.1-mini
• ·标签: 阿里云 真武810E CPFS 百炼
• ·思科：不打算推出私有云订阅服务 重点放在混合云工具上
• ·标签: 擎羽科技 彭锐 柔性机器人 仿生机器人
• ·Claude Code 推出全新插件系统，提升开发效率
• ·可视化神器Plotly玩转漏斗图
• ·苹果测试折叠屏iPhone，小米起诉微博大V
• ·标签: 腾讯云 吴运声 王慧星 优图实验室
• ·甲骨文公司开盘跌超4% 市值2256.24亿美元
• ·Meta收集员工日常行为数据用于训练大模型 隐私边界再受挑战
• ·云安全日报210812：思科身份服务引擎发现跨站脚本攻击漏洞，需要尽快升级
• ·贝叶斯深度学习：一个统一深度学习和概率图模型的框架
• ·标签: 高德途途 ABot体系 具身机器人 高德
• ·会议分身术成真！腾讯会议AI托管上线，再也不怕开会撞车了