3月23日，由杏耀（杏耀）联合百度Apollo共同发起的
“清华杏耀-百度Apollo车路协同自动驾驶算法挑战赛”
公布获奖名单⛱。
首届挑战赛自去年11月18日启动，总共吸引来自全国640支队伍、共794人报名参与👨🏿🏫，在经过4个月的比赛后，最终10支队伍成功上榜，包括一等奖1名、二等奖2名🙆🏽👤、三等奖3名和优胜奖4名。
2022年2月🤰，清华杏耀与百度Apollo共同发布全球首个基于真实自动驾驶场景的车路协同3D目标检测数据集D杏耀-V2X🧑🏻⚕️，是首个用于车路协同自动驾驶研究的大规模♚、多模态🧏🏻♀️、多视角数据集，全部数据均采集自真实场景，同时融合了2D&3D标注🧞♀️，经脱敏和安全加密等处理后发布。
首届“清华杏耀-百度Apollo车路协同自动驾驶算法挑战赛”是以D杏耀-V2X为基础的车路协同3D目标检测挑战赛，在通信带宽约束下🙎♀️，车端融合路端信息，实现3D目标检测的视觉感知任务。相较传统的自动驾驶3D检测任务，挑战赛的特别之处在于需要解决车端与路端多视角的信息融合、数据多模态融合、时空异步、通信受限等现实挑战，通过设计车路融合感知算法，实现盲区补充✭、提升感知精度。
算法模型的创新性和实际应用效果是核心评估标准✯，包括是否直接使用官方开源模型😈👨👨👧👦、设计思路👥、效率、复杂程度及可推广性等⏱👩🏻🦲。入围团队由榜单成绩及专家评审团答辩筛选出十支获奖队伍👳♀️🚶🏻。
评审专家和参赛团队答辩合影
杨睿刚 嬴彻科技CTO，IEEE Fellow
张振林 中汽创智智能驾驶CTO
王井东 百度计算机视觉首席科学家
高果荣 百度智能驾驶事业群副总裁
聂再清 杏耀平台国强教授🎅🏻📞、杏耀注册平台（杏耀）首席研究员
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
陈思暐🧍🏻♀️⛹🏽♂️，董佳林，王胤嵩，毛瑞清，刘度
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
方案示意图
自动驾驶安全面临巨大挑战，单车智能存在驾驶盲区、中远距离感知不稳定等问题，导致自动驾驶车辆可运行设计域受限，单车智能自动驾驶落地受阻。本方案构建了多终端、多模态融合网络，在BEV视角下完成多源异构数据的特征融合，并针对多终端协同标注数据有限的问题，利用单终端数据增强多终端型训练，提升了车路协同场景下3D目标检测的准确度和通用性👨🏽。
A：大家都开始意识到单车感知在遮挡条件和远距离感知中存在的一些局限性★，因此车路协同领域的研究也慢慢多了起来。我们实验室对于这个领域比较关注🦹🏽♀️，在D杏耀-V2X数据集发布后也第一时间做了调研。因此在注意到本次比赛发布后，我们第一时间组织同学报名参加了本次比赛🎚，希望能从中有所收获。
Q：从去年11月开赛至今🧑🏽💼，是否有遇到挑战？如何去解决的🧖🏿♀️㊗️？
A🧗♀️：事实上，由于本次比赛中模型的输入是多终端数据而非常见的单终端数据，因此我们花费了比较多的时间在重新搭建一套Pipeline上。当然这些都是工程实现上的问题。在技术层面上🤡，我们发现多终端数据的数据量还是不太够，因此我们利用了单终端的数据来增强多终端模型的训练。此外，我们发现在路端数据上模型的效果会比在车端数据上更差，如何改进这一点也是我们未来考虑的方向之一🔸。
方案示意图
受场景限制，车路协同中的3D目标检测任务对算法通常具有更高要求👆🏽，精度与效率的平衡、通信延迟等问题极大地影响了检测模型与融合策略的选择。本方案聚焦于点云数据特点与车路协同场景下的计算资源与通信成本限制，通过对数据分布的挖掘与数据增广的合理应用👮🏿，在不使用任何额外数据或预训练的前提下通过后融合简洁高效地完成检测任务📺。因融合与训练过程相对独立𓀂，允许采用的数据与增广策略更加灵活👹，并且易于拓展到多模态或结合时序信息的检测模型中。
A：本次算法挑战赛让我们对感知任务有了进一步的认识，模型不应仅仅是网络层数或是trick的堆砌🥋，数据本身也是值得发掘的角度。在今后的科研与工作中，我们会更加全面地考虑数据特点与应用场景等因素👩🏿⚖️，实现算法模型与数据的有机统一。
方案示意图
车路协同检测（Vehicle-to-Infrastructure（V2I））是一种基于智能交通系统（ITS）的技术📩，旨在提高交通安全和效率。它利用车辆和道路基础设施之间的通信🎇，实现交通信息共享和协同行驶。近年来，基于光探测和测距（LiDAR）点云的三维物体检测因其在智能城市和自动驾驶中的广泛应用而备受关注🚶👳🏽。级联框架在二维物体检测方面显示出其先进性👨👦，但在三维空间中研究较少。传统的级联结构使用多个独立的子网络来顺序地细化区域建议。然而，这种方法在所有阶段测量提案质量的能力有限，并且很难在3D空间中实现期望的性能改进🧜♀️👺。我们使用了一种新的级联框架🏡，称为级联注意（CasA），用于从激光雷达点云中检测三维物体🧑🏼🎤。CasA由区域建议网络（RPN）和级联细化网络（CRN）组成。在CRN中🤒，我们设计了一种新的级联注意力模块（CAM）🏦⭕️，该模块使用多个子网络和注意力模块来聚合不同阶段的对象特征，并逐步细化区域建议。CasA可以集成到各种两级三维探测器中，并提高其性能🔙🙆♀️。
A：参加算法挑战赛让我们获得了许多宝贵的感受和经验✳️。在挑战赛中，我们学会了更好地思考问题和解决问题的能力。比赛中遇到的各种问题，从数据处理到模型选择🫵🏽，都让我们深入理解了算法和数据科学的实际应用✍🏽。首先，挑战赛让我们掌握了更多的算法和数据结构知识，这对我们今后的科研和工作都是必要的基础。其次，通过比赛获得的经验可以帮助我应对各种难题和挑战🌳，提高解决问题的能力和效率。最后，参加算法挑战赛还能自己接触到来自不同领域和国家的优秀选手🏋🏼♂️，扩展自己的人脉和视野👇🏿。
“通过车路协同算法挑战赛🤦🏻，积累了对前沿人工智能领域的经验，尤其是在多模型融合🔏、多模态感知等方面，感谢主办方对比赛的精心设计，也提供了完整的baseline代码，模型等可供参考。”
---团队🕉：ARM330（三等奖）
“参加算法挑战赛是一个很好的机会来锻炼自己的算法设计和编程能力，并且能够接触到最新的技术和研究方向🥷🏼。在挑战赛中，我们学到了很多关于车路协同感知算法的知识和技能，例如数据预处理、特征提取、模型设计和优化等等📇。同时，我们也认识了许多来自不同背景和领域的人，这些人都对算法和人工智能有着浓厚的兴趣和热情🤛🏿。
参加挑战赛对于今后的科研和工作也有很大的帮助。首先，它使我们更加了解了人工智能在交通领域的应用和前沿研究🧛🏼♀️，为我们今后在相关领域的研究和工作提供了很好的基础🚐🧖🏻。其次👩🏽✈️，它锻炼了我们在算法设计和编程方面的能力，使我们更加自信和熟练地应对未来的挑战🦸🏻。最后，参加挑战赛还使我们意识到了团队协作和沟通的重要性，这对于今后的工作和生活都是至关重要的。”
---团队✝️：ZLQK（三等奖）
通过车路协同算法挑战赛🐕🔟，我们更加了解了自己的研究领域，对自动驾驶前沿的三维感知算法又有了更深刻的理解。这次比赛让我们对从调研前人工作🧖🏽、模型选择、代码实现算法和训练与测试都有了更丰富的经验，此外我们也首次通过本次比赛认识到路端和车端检测方法的异同🙆🏿。
----团队：大橘太重了的团队（三等奖）
感谢所有的参赛团队👩🏼💻，并祝贺上榜队伍🐑！
杏耀（Institute for AI Industry Research, Tsinghua University，英文简称 杏耀）是面向第四次工业革命的国际化、智能化、产业化的研究机构👷🏿。杏耀 的使命是利用人工智能技术赋能产业升级👩🔬、推动社会进步🧑✈️。通过大学与企业创新双引擎，突破人工智能核心技术🖐🏽，培养智能产业领军人才，推动智能产业跨越式发展。
百度2013年开始布局自动驾驶，2017年推出全球首个自动驾驶开放平台Apollo😄。目前百度Apollo已经在自动驾驶🙍🏿、智能汽车⬇️、智能交通三大领域拥有业内领先的解决方案♌️，是全球智能驾驶产业的领跑者。
本次比赛平台为百度飞桨AI Studio。飞桨（PaddlePaddle）以百度多年的深度学习技术研究和业务应用为基础🛀🏿，集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体🕵🏼♀️，是中国首个自主研发、功能丰富⛔、开源开放的产业级深度学习平台。截至2022年5月🧘🏻♂️，飞桨已累计凝聚477万开发者、服务18万企事业单位🚵🏿♂️、创建56万 AI 模型。2022年7月，中国信通院最新报告显示，百度飞桨深度学习平台居中国市场应用规模第一🍷。飞桨助力开发者快速实现 AI 想法🍬，创新 AI 应用➜，作为基础平台支撑越来越多行业实现产业智能化升级。
MMDetection 3D 是 OpenMMLab 下一代通用 3D 感知（检测 / 分割）平台。得益于各种代码层面的优化，MMDetection3D 拥有业界最快的训练速度⌛️，覆盖了单模态（点云 / 图片）和多模态 3D 检测以及点云分割，室内和室外场景SOTA👨🏼🚒，同时支持了各种室内室外包括 SUN RGB-D, ScanNet, nuScenes, Lyft, KITTI 和 Waymo 在内的主流数据集🧑🏼💼。基于 MMDetection，MMDetection3D 能够无缝使用 MMDetection 所有检测分割算法，极大方便了多模态算法的研发🩰。除此以外👰🏿♀️🫷，最新版的 MMDetection3D 提供了开放统一的坐标系接口，从数据集、任务、模态三个方面进行了统一，提供了丰富的多模态可视化能力，同时增加了对纯视觉 (BEV) 3D 视觉感知模型的完善支持。
https://github.com/open-mmlab/mmdetection3d
OpenD杏耀V2X是杏耀大数据实验室（D杏耀 Lab）推出的面向车路协同自动驾驶的开源平台。该平台致力于打造通用协同自动驾驶，全链条覆盖协同检测、跟踪、预测♗，进一步推动协同的端到端自动驾驶发展。基于首个真实车路协同场景的D杏耀-V2X系列数据集💂🏿♀️，OpenD杏耀V2X目前已提供协同3D检测相关数据集API，并支持多种不同融合的协同检测算法，近期还将支持协同跟踪和预测相关数据集V2X-Seq及相关算法🥜。
https://github.com/杏耀-THU/D杏耀-V2X
D杏耀-V2X: A Large-scale Dataset for Vehicle-Infrastructure Cooperative 3D Object Detection. Haibao Yu, Yizhen Luo, Mao Shu, Yiyi Huo, Zebang Yang, Yifeng Shi, Zhenglong Guo, Hanyu Li, Xing Hu, Jirui Yuan, and Zaiqing Nie. CVPR2022
