检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军

_原题为 华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军
近日 , 第二届大规模自动驾驶数据集2020 nuScenes Challenge (Workshop on Benchmarking Progress in Autonomous Driving, ICRA 2020)落下帷幕 。 在3D 目标检测挑战赛中 , 华为诺亚方舟实验室与HUAWEI Octopus自动驾驶云服务联合团队 Noah CV Lab & Octopus , 取得了3D detection track第一名(mAP:64% ,NDS:69%)的成绩 , 大幅领先第二名CenterPoint (UT Austin) mAP 3.1 , NDS 1.5个百分点 , 超过上一届挑战赛冠军模型 mAP 11.4 , NDS 5.7个百分点 。
此次参赛单位包括:华为诺亚方舟实验室、德州大学奥斯汀分校、约翰霍普金斯大学、上海交通大学、中科院自动化所、卡耐基梅隆大学、香港中文大学和商汤科技等全球著名企业、高校或研究机构 。
检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军
文章图片

检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军
文章图片

检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军
文章图片

图1:2020 nuScenes Challenge 3D Detection排名情况
(图片来自https://www.nuscenes.org/)
* nuScenes是nuTonomy在2019年发布的大规模自动驾驶数据集 , 包含1000多个场景、140万幅图像、40万次激光雷达扫描和110万个三维边界框 , 其规模和精确度超过KITTI、百度ApolloScape和Udacity等公共数据集 。 nuScenes不仅需要识别10类物体 , 还加入了速度和属性等预测 , 同时类别差异显著的数据集也更具实际意义 。
3D目标检测旨在通过多传感器数据如LIDAR、Camera、RADAR等 , 使得自动驾驶车辆具备检测车辆、行人、障碍物等物体的能力 , 保障行驶安全 , 是自动驾驶领域要解决的核心问题之一 。
普通2D目标检测并不能提供感知环境所需要的全部信息 , 仅能提供目标物体在二维图片中的位置和对应类别的置信度 , 而3D目标检测结合了深度信息 , 能够提供目标的位置、方向和大小等空间场景信息 , 这些对于后续自动驾驶场景中的路径规划和控制至关重要 。
此次挑战赛中 , Noah CV Lab & Octopus团队提出了多模态(图像、激光雷达)连续特征融合策略以及多模态自适应数据增强技术 , 极大地提升了现有3D检测框架的性能 。
在3D点云目标检测过程中 , 难点主要体现在遮挡、远距离/小目标、以及旋转角度(车头朝向)的学习 。
如下图所示 , 在一个复杂场景的3D点云目标检测中 , 左下角是一个停车场 , 停放的车辆车头朝向并不一致 , 同时也造成了大量的遮挡 , 尤其是停车场远端的车辆识别难度非常大 。 此外 , 图中右侧行人和非机动车较为密集 , 也存在大量的相互遮挡 。 但我们可以看到华为的3D目标检测算法依旧给出了精准度较高的标注结果 。
【检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军】检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军
文章图片

检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军
文章图片

检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军
文章图片

图2:nuScenes 3D目标检测结果对比
2D目标检测在自动驾驶领域也扮演着非常重要的角色 , 主要用于交通灯状态识别、交通指示牌检测、电子眼检测、辅助3D目标检测等任务 。 2D目标检测以相机拍摄的图片作为输入 , 输出的是检测目标在图片中的位置与范围 。
截止目前 , 华为诺亚方舟实验室 Noah CV Lab团队稳居COCO BBOX Detection的榜首(2020年度挑战赛尚未开赛) , 检测精度mAP 58.8% , 领先第二名1个百分点 。
检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军
文章图片

检测|华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军
文章图片

图3:COCO Detection Leaderboard排名情况
* COCO的全称是Common Objects in COntext , 是微软团队于2014年发布的一个可以用来进行图像识别的数据集 , 目前已经成为2D图像标注的标准测试平台 , 是当前物体识别、检测等领域的一个最权威、最重要的标杆 , 汇集了Google、微软、Facebook 以及国内外众多顶尖院校和优秀创新企业共同参与 。
* MS COCO数据集共计提供了80类对象的实例分割和91个类别的物品分割 , 超过33万张图像(其中超过20万张打好了标签) , 该数据集主要是解决目标检测、目标之间的上下文关系和目标在2维图像上的精确定位 。
华为诺亚方舟实验室 Noah CV Lab在现有框架基础上 , 整合并优化验证了大量最新的检测框架及模块 , 极大的提升了基础2D检测框架的性能 , 在COCO测试集上实现了SOTA性能 。


推荐阅读