谷歌公布13GB 3D扫描数据集：17大年夜类、1030个家用物品

作者：Laura Downs等

机器之心编译

编辑：蛋酱、泽南

谷歌的研究者提出了 Google Scanned Objects (GSO) 数据集，这是一个由超过 1000 个 3D 扫描的家用物品组成的精选集。

近年来，深度学习技能使得打算机视觉和机器人领域的许多进展成为可能，但演习深度模型须要各种各样的输入，以泛化到新的场景。

此前，打算机视觉领域已经利用网页抓取技能网络了数百万个主题的数据集，包括 ImageNet、Open Image、Youtube-8M、COCO 等。
然而，给这些数据集贴标签仍是一个劳动密集型事情，标签缺点可能会影响到对技能进步的感知，而且这种策略也很难推广至 3D 或真实天下的机器人数据上。
与图像不同的是，目前网络上并没有大规模、高质量的 3D 场景，而从真实天下网络这类数据又极具寻衅性。
此外，人工标注员也很难从图像中提取 3D 几何特性。

一样平常来说，利用 Gazebo、Bullet、MuJoCo、Unity 等工具对机器人和环境进行仿真可以减轻上述限定。
但是，仿真毕竟不完备是真实天下，纵然一个场景是直接通过对真实环境的 3D 扫描建立起来的，扫描中的离散工具也会像固定的背景物一样，不会像真实天下的工具那样对输入做出回应。

因此，关键问题在于供应一个高质量的 3D 工具模型库，这些模型可以整合到物理和视觉建模中，为深度学习供应所需的多样性。

为理解决这个问题，谷歌的研究者提出了 Google Scanned Objects (GSO) 数据集，这是一个由超过 1000 个 3D 扫描家用物品组成的精选集，可用于 Ignition Gazebo、Bullet 仿照器和其他可以读取 SDF 模型格式的工具。

在一篇论文中，研究者先容了该数据集的网络、管理、扩展等内容。

论文链接：https://arxiv.org/pdf/2204.11918.pdf

据不完备统计，GSO 数据集已经在打算机视觉、打算机图形学、机器人操作、机器人导航和 3D 形状处理等 10 个项目的 12 篇论文中得到运用：

该研究贡献紧张有几点：

数据集的创建

GSO 数据集起源于 2011 年谷歌的云机器人操持，目的是让机器人基于普通家用物品的高保真 3D 模型，能够在自己的环境中识别和抓取物体。

然而，除了物体识别和机器人抓取之外，3D 模型还有很多用场，包括用于物理仿照的场景构建和用于终端用户运用的 3D 物体可视化。
因此，谷歌研究院发起了一个项目，将 3D 体验大规模引入谷歌，以低于传统商业级产品拍照的本钱网络大量家用物品的 3D 扫描图像。

这是一项端到真个工程，包括物体获取、新颖的 3D 扫描硬件、高效的 3D 扫描软件、快速 3D 渲染的质量保障、网络与移动浏览器，以及人机交互研究。

在网络数据之后，研究者构建了一个 pipeline，让这些数据能以各种格式利用。

3D 扫描 pipeline

纵然限于家用物品的领域，3D 扫描也会带来独特的寻衅，包括高效的物理扫描设置、目标照明、相机可靠性、扫描仪性能、配色、纹理渲染，以及处理光学上不一致的材料，比如近白色、有光泽或透明的表面。

专用的 3D 扫描硬件是劳动密集型的，性价比不高。
为了进行大规模扫描，还须要一些更具可用性和可靠性的工具。

因此，研究者设计了自己的专用扫描硬件和软件（图 2），能够在 10 分钟内扫描物体并天生高分辨率模型。
掌握光芒的物理外壳（图 2b）利用两台机器视觉相机和一台投影仪进行构造光扫描，捕捉 3D 几何图形，并利用单独的单反高分辨率相机以产品友好的光芒捕捉纹理。

项目第一年结束的时候能够做到每周超过 400 次扫描，过程中，研究团队共得到了 100K 份 360 度照片旋转和 10k 份完备 3D 扫描的独特工具。

图 2。

图 3：作为校准过程的扫描。
(a) 校正模式使 2D pipeline 能够精确对齐相机。
(b) 打算机掌握的投影仪为 3D 扫描物体创造了类似的图案。
(c) 得当的模式能够以亚像素精度探测位置。
(d) 提取扫描物体的完全 3D 形状。

图 4：扫描的物品须要通过质量检讨。
(a) 许多物品被捕获为高质量的封闭流形 mesh。
(b) 有的物体很少产生无效的 mesh，但有时会涌现变形。

仿真模型转换

这些原始的扫描模型利用协议缓冲元数据、非常高分辨率的可视化、不适宜仿照的格式。
工具的一些物理属性，比如质量，会被捕获，但诸如摩擦之类的表面属性在元数据中则没有表示。

为了让这些扫描的模型能够在仿真系统中利用，每个模型都通过一个 pipeline 进行下列步骤：

数据集属性

组成

GSO 数据集包含 1030 个扫描工具和干系的元数据，总计 13GB，根据 CCBY 4.0 License 授权。
表 III.1 分解了数据集中的模型种别。

表 III.1

上风

自动化 pipeline 可以快速天生大量模型，而无需手工处理。
由于这些模型是扫描的，而不是手工建模的，以是它们是真实的，而不是空想中的，这减少了将学习从仿照转移到真实天下的困难。

扫描仪的玻璃平台可以从各个方面扫描模型，包括底座，不像其他扫描仪有不透明的平台。
类似地，从环境中提取的模型常日短缺像底座这样起到衔接浸染的遮挡区域。

由于该扫描仪根据投影图案而不是深度摄影机数据重修表面形状，以是得到的 mesh 具有高保真度。
光滑的表面是平滑的，轮廓边缘是准确的 (图 5)。
比较之下，RGB-D 数据得到的 mesh，可能涌现斑驳和不规则，特殊是在轮廓上。

图5

限定

同时，这个数据集也有一些限定：扫描仪的捕捉区域不能容纳比面包箱 (约 50 厘米) 大的工具，因此该数据集不包括在其他数据集中较大的工具，如椅子、汽车或飞机。
同样，扫描分辨率是有限的，以是非常小的工具不能以合理的保真度建模。
此外，天生的纹理是漫反射的：高度镜面或透明的工具不能表征出来，天生结果也不足空想。

更多细节可参考原论文。