江苏龙网

  1. 首页 > 资讯 > 科技 > >

谷歌|谷歌发布Objectron数据集，推进三维物体几何理解的极限( 二 )


有了真实的注释 ， 我们就可以使用 3D IoU（intersection over union）相似性统计来评估 3D 目标检测模型的性能 ， 这是计算机视觉任务常用的指标 ， 衡量bounding box与ground truth的接近程度 。
谷歌提出了一种计算一般的面向三维空间的精确 3D IoU 的算法 。
首先使用 Sutherland-Hodgman Polygon clipping 算法计算两个盒子面之间的交点 ， 这类似于计算机图形学的剔除技术（frustum culling） ， 利用所有截断多边形的凸包计算相交的体积 。最后 ， 通过交集的体积和两个盒子的并集的体积计算 IoU 。
谷歌表示将随数据集一起发布评估的源代码 。
谷歌|谷歌发布Objectron数据集，推进三维物体几何理解的极限
文章图片

文章图片

数据格式
Objectron 数据集的技术细节 ， 包括使用和教程 ， 均可在数据集网站上获得 。这些数据集中的物体包括自行车、书籍、瓶子、相机、麦片盒、椅子、杯子、笔记本电脑和鞋子等 ， 和数据集一起发布的具有以下内容:
1.视频序列
2.带注释的标签(目标的3D 边界框)
【谷歌|谷歌发布Objectron数据集，推进三维物体几何理解的极限】3.AR 元数据 (如照相机姿态、点云和平面表面)
4.处理过的数据集: 混合版本的带注释的帧、tf.example 格式的图像和 SequenceExample 格式的视频
5.支持基于上面描述的度量评估的脚本
6.支持脚本将数据加载到 Tensorflow、Pytorch、Jax并且可视化数据集
除了数据集 ， 谷歌还开放了数据管道来解析 Tensorflow、 PyTorch 和 Jax 框架中的数据集 。还提供了 colab notebook 的实例。
通过发布这个 Objectron 数据集 ， 谷歌希望能够使研究团体推进三维物体几何理解的极限 。同时也希望促进新的研究和应用 ， 如视图合成 ， 改进的 3D 表示和非监督式学习等 。
参考链接：
https://ai.googleblog.com/2020/11/announcing-objectron-dataset.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+blogspot%2FgJZg+%28Google+AI+Blog%29


推荐阅读


上一篇：旅行社|“云旅游”新生意，传统旅行社疫情下发力的新打法

下一篇：华为|强大的内心，冷静的外观——华为Mate40Pro初体验