平面布置图对于可视化空间、规划路线和沟通建筑设计非常有用。例如，一个进入新建筑的机器人可以使用从视平面图快速感知总体布局。创建平面图通常需要一个完整的布局，这样3D传感器和摄像机就可以捕捉到整个空间。

1频片月11日消息，据外媒报道，近日，来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆大学的研究人员段中正在探索一种人工智能技术，利用视觉和音频，从一个短视频剪辑中重建一个平面图。

研究人员断言，音频提供了推断空间和语义信号，补充了图像的映射能力。他们说，这是因为声音天生是由物体的几何形状所驱动的。声音从表面楼层反射回来，揭示了房间的形状，远远超出了相机的视野。从远处听到的声音，甚至是多个房间之外的声音，可以揭示自平面由空间的存在，声音物体可能存在。此外，从不同方向听到的声音暴露了基于这些声音所代表的活动或事物的布局。例图 如，淋浴的声音可能暗示着浴室的方向，而微波炉的声音则暗示着厨房的方向。

研究人员的方法被称为AV-新AMap，旨在将带有多通道音频的短视频转换成2D楼层平面图。机器学习模型利用音频和视觉数据序列来推I研理楼层平面图的结构和语义，最终使用解码组件融合音频和视频信息。AV-Map生成的平面图大大超出了视频中究令直接可见的区域，显示了划分为离散语义房间标签(如家庭房间和厨房)的自由空间和被占用区域。

该团队在来人大自Matternet3D和SoundSpaces数据集的数字环境中试验了两种设置，即主动和被动。在第开眼一个实验中，使用一个虚拟摄像机在模型房屋的房间内移动时发出一种已知的声音。在第二种情况下，只依赖从视家中物体或人自然发出的声音。

研究人员表示，在未来的工作中，将计划考虑扩展多层平面图，并将绘图想法与机频片器人连接起来，主动控制摄像头。

• ·标签: 理想汽车 郎咸朋 湛逸飞 人形机器人
• ·标签: AI影视行业
• ·云安全日报201203：Ubuntu系统内核发现拒绝服务或执行任意代码漏洞，需要尽快升级
• ·告别PPT制作噩梦!谷歌Gemini“一键生成”演示文稿，文件秒变幻灯片
• ·云计算核心技术Docker教程：Docker使用卷持久化数据
• ·扩散模型新突破：Radical Numerics开源30B参数RND1，AI自我进化迈出关键一步
• ·​OpenAI 计划未来五年追加 1000 亿美元服务器投资
• ·标签: 夜巴黎 大河报 DoNews 未成年人直播
• ·标签: 腾讯云 混元HY2.0 GLM5 Kimi2.5
• ·苹果iPhone 13或将支持WiFi 6E
• ·如履平地！波士顿动力Atlas学会了跑酷，但幕后花絮比正片更精彩
• ·AI 摘要与社交媒体双重夹击:维基百科人工流量骤降8% 敲响警钟
• ·标签: HelloBoss NGA BAI Capital 贝塔斯曼
• ·标签: 吉利 李书福 青年创业 醇氢电动
• ·鑻辩壒灏旂�浜屽�搴﹁惀鏀�196浜跨編鍏� 鍑€鍒╁悓姣斾笅闄�0.9%
• ·标签: 山东墨龙 石油机械 管类产品 海外营收