华为诺亚方舟实验室与HUAWEI Octopus自动驾驶云服务联合团队 Noah CV Lab & Octopus，取得了3D detection track第一名（mAP：64%， NDS：69%）的成绩。

文丨AutoR智驾  诺一

华为在自动驾驶的幻想终于有了一点成绩。

近日，第二届大规模自动驾驶数据集2020 nuScenes Challenge（Workshop on Benchmarking Progress in Autonomous Driving, ICRA 2020）正式完赛。

华为诺亚方舟实验室作为这次比赛中的一员，与德州大学奥斯汀分校、约翰霍普金斯大学、上海交通大学、中科院自动化所、卡耐基梅隆大学、香港中文大学和商汤科技等全球著名企业、高校或研究机构同台竞技。

在3D 目标检测挑战赛中，华为诺亚方舟实验室与HUAWEI Octopus自动驾驶云服务联合团队 Noah CV Lab & Octopus，取得了3D detection track第一名（mAP：64%， NDS：69%）的成绩。

大幅领先第二名CenterPoint (UT Austin) mAP 3.1，NDS 1.5个百分点，超过上一届挑战赛冠军模型 mAP 11.4，NDS 5.7个百分点。

nuScenes是nuTonomy在2019年发布的大规模自动驾驶数据集，包含1000多个场景、140万幅图像、40万次激光雷达扫描和110万个三维边界框，其规模和精确度超过KITTI、百度ApolloScape和Udacity等公共数据集。

nuScenes不仅需要识别10类物体，还加入了速度和属性等预测，同时类别差异显著的数据集也更具实际意义。

3D目标检测旨在通过多传感器数据如LIDAR、Camera、RADAR等，使得自动驾驶车辆具备检测车辆、行人、障碍物等物体的能力，保障行驶安全，是自动驾驶领域要解决的核心问题之一。

普通2D目标检测并不能提供感知环境所需要的全部信息，仅能提供目标物体在二维图片中的位置和对应类别的置信度，而3D目标检测结合了深度信息，能够提供目标的位置、方向和大小等空间场景信息，这些对于后续自动驾驶场景中的路径规划和控制至关重要。

此次挑战赛中，Noah CV Lab & Octopus团队提出了多模态（图像、激光雷达）连续特征融合策略以及多模态自适应数据增强技术，极大地提升了现有3D检测框架的性能。

在3D点云目标检测过程中，难点主要体现在遮挡、远距离/小目标、以及旋转角度（车头朝向）的学习。

如下图所示，在一个复杂场景的3D点云目标检测中，左下角是一个停车场，停放的车辆车头朝向并不一致，同时也造成了大量的遮挡，尤其是停车场远端的车辆识别难度非常大。

此外，图中右侧行人和非机动车较为密集，也存在大量的相互遮挡，但我们可以看到华为的3D目标检测算法依旧给出了精准度较高的标注结果。

2D目标检测在自动驾驶领域也扮演着非常重要的角色，主要用于交通灯状态识别、交通指示牌检测、电子眼检测、辅助3D目标检测等任务。

*nuScenes 3D目标检测结果对比

2D目标检测以相机拍摄的图片作为输入，输出的是检测目标在图片中的位置与范围。

在Common Objects in COntext图像识别数据集层面，华为诺亚方舟实验室 Noah CV Lab团队稳居COCO BBOX Detection的榜首（2020年度挑战赛尚未开赛），检测精度mAP 58.8%，领先第二名1个百分点。

*COCO Detection Leaderboard排名情况

MS COCO数据集共计提供了80类对象的实例分割和91个类别的物品分割，超过33万张图像（其中超过20万张打好了标签），该数据集主要是解决目标检测、目标之间的上下文关系和目标在2维图像上的精确定位。

Common Objects in COntext，是微软团队于2014年发布的一个可以用来进行图像识别的数据集，目前已经成为2D图像标注的标准测试平台，是当前物体识别、检测等领域的一个最权威、最重要的标杆。

华为诺亚方舟实验室 Noah CV Lab在现有框架基础上，整合并优化验证了大量最新的检测框架及模块，极大的提升了基础2D检测框架的性能，在COCO测试集上实现了SOTA性能。

如下图所示，蓝色框是ground truth，绿色的框是模型给出的检测结果，可以看到对于图中交通信号灯、较小的杯子以及受到遮挡的女式提包，模型都给出了优秀的表现。

最后介绍一下nuScenes参赛规则，nuScenes预测任务的目标是预测nuScenes数据集中对象的未来轨迹，轨迹是xy位置的序列，对于此挑战，预测的时长为6秒，以2赫兹采样。

nuScenes预测评估服务器全年开放，要参加挑战赛，参赛者需要在EvalAI上创建一个帐户，然后上传包含所有必需元数据的压缩结果文件。

每次挑战后，结果将导出到上面显示的nuScenes 排行榜，这是根据测试数据集对方法进行基准测试的唯一方法。

为了使用户能够针对社区对他们的方法的性能进行基准测试，nuScenes全年举办一个排行榜。

此外，nuScenes打算在领先的计算机视觉和机器学习会议研讨会上组织一系列挑战，在挑战期间提交结果的用户有资格获得奖励，对于每个挑战，这些奖项可能会有所不同。

据介绍，用户可以modes为每个代理提交多达25条提议的未来轨迹，称为，以及代理遵循该提议的概率。

官方的指标将衡量此提议的轨迹与地面真相的匹配程度，最多可以使用两秒钟的历史记录来预测每个特工的未来轨迹。

与以前的挑战不同，排行榜将根据nuScenes val集上的表现进行排名，这是因为nuScenes无法在测试集上发布注释，因此用户将无法在测试集上运行其模型，然后将其预测提交给服务器。

为了防止在val集上过度拟合，将要求排行榜上的前5名提交者将其代码发送给我们，然后在测试集上运行其模型。

每次挑战的提交都必须附有简短的技术报告（不超过1-2页），其中应详细描述该方法，以便进行独立验证。

除此之外，参赛者必须提交一个json文件，其中包含Predictions每个代理的清单，A Prediction具有以下组件：

nuScenes中的每个代理都由实例令牌和样本令牌索引。

如前所述，num_modes最多可以达到25，由于nuScenes在2 Hz下进行了6秒钟的预测，所以n_timesteps是12。

nuScenes只关心xy坐标，所以只关注state_dim2，这里需要注意的是，必须在全局坐标系中报告预测。

近年来，在自动驾驶的探索上，无论是汽车企业，还是互联网企业都卯足劲，投入大量的人力物力进行研发。

华为八爪鱼（HUAWEI Octopus）自动驾驶云服务为自动驾驶研发企业提供了一站式数据服务、训练服务和仿真服务能力。通过自动化数据处理流水线，快速支撑开发企业对自动驾驶算法的训练、仿真和调优。

基于自动驾驶云服务丰富而强大的数据处理能力，可实现路测场景自动分类、比例挖掘和数据自动化标注等，实现数据集生成效率提升70%，极大的降低自动驾驶的开发周期和成本。

对于自动驾驶开发企业来说，基于数据驱动的机器学习算法成为业界主流。但目前以监督学习为主的算法需要耗费大量人力进行数据标注，而且还不能有效解决自动驾驶场景中的长尾问题。

依赖于人工标注的感知模型训练，对于亿级路测数据是不具备可行性的，因此基于2D和3D的目标检测算法构建路测数据自动标注能力，解决人工数据标注瓶颈，是推动自动驾驶产业发展的关键一步。

华为诺亚方舟实验室（Noah CV Lab）涉及计算机视觉，语音语义，推荐搜索，决策推理，AI基础理论等领域。

在自动驾驶方面，华为智能车云服务产品部和诺亚方舟实验室形成联合攻坚技术团队（Noah CV Lab & Octopus），开展自动化数据标识、传感器融合算法、SLAM/VIO算法、智能决策和推理、路径规划和运动控制、智能交通系统模拟仿真等业务方向的研究。

华为八爪鱼（HUAWEI Octopus）自动驾驶云服务依托联合团队以及诺亚方舟实验室的最新研究成果，优化自研算法，多项算法模型的精准率达到业界领先水平。

算法的优劣主要是通过数据集测试结果进行评判的，自动驾驶中最重要的测试任务包括了3D目标检测、2D目标检测、语义分割、实例分割、场景流预测、光流预测、深度估计、目标追踪等。

其中，3D目标检测和2D目标检测是几乎所有自动驾驶数据集都会聚焦的标竿任务场景。

3D目标检测数据集包括了Kitti、nuScenes、lyft dataset、Waymo open dataset、appllo scape、H3D等，其中nuScenes和Waymo是最具份量的测试集。2D目标检测则以COCO测试集为标杆。

华为选择当前业界最具权威性的开源数据集作为算法验证集进行测试，通过持续优化算法设计，实现数据挖掘算法在数据集上获得SOTA性能，以提升华为在自动驾驶数据迭代领域的竞争力。

在开源数据集获得模型验证后，华为还会在自有数据集验证数据挖掘的闭环系统，构建高质量的亿级数据标注能力，以满足商用环境下量产算法对数据规模的要求。

可以说华为自动驾驶云服务在算法性能和商用能力上表现不俗。