在自动驾驶中，传感器用于收集周围环境的数据，它们包括图像、激光雷达、雷达、超声波和热传感器。一种类型的传感器是不够的，因为每种传感器都有其局限性。这是传感器融合背后的一个关键驱动力，它结合了多种类型的传感器来实现安全的自主驾驶。
所有 2 级或更高等级的车辆都依赖传感器来 "看到 "其周围环境，并执行诸如车道居中、自适应巡航控制、紧急制动和盲点警告等任务。到目前为止，原始设备制造商正在采取非常不同的设计和部署方法。
2022 年 5 月，梅赛德斯-奔驰在德国推出了第一辆能够实现三级自动驾驶的汽车。3 级自动驾驶是 S 级和 EQS 的一个选项，美国计划于 2024 年引进。据该公司称，在驾驶辅助包（雷达和摄像头）的基础上，DRIVE PILOT 增加了新的传感器，包括激光雷达、前窗的先进立体摄像头和后窗的多功能摄像头。还增加了麦克风（特别是用于探测紧急车辆）和前轮舱的湿度传感器。总共安装了 30 个传感器，以获取安全自主驾驶的必要数据。
特斯拉正在走一条不同的道路。2021 年，特斯拉宣布在 Model 3 和 Model Y 中实施仅有 Tesla Vision 摄像头的自动驾驶技术战略，随后在 2022 年实施 Model S 和 Model X。该公司还决定取消超声波传感器。
传感器的局限性
目前自主驾驶设计面临的挑战之一是不同传感器的局限性。为了实现安全的自动驾驶，可能需要传感器的融合。关键问题不仅是有多少个传感器，什么类型，以及在哪里部署，还包括人工智能/ML 技术应如何与传感器互动，以分析数据，从而做出最佳的驾驶决策。
为了克服传感器的限制，可能需要传感器融合，将多个传感器结合起来用于自动驾驶，以实现最佳性能和安全。来源：Cadence
安全 IP 技术产品经理 Thierry Kouthon 说：「自动驾驶广泛使用 AI 技术。自动驾驶，甚至是入门级的 ADAS 功能，都需要车辆表现出与人类驾驶员相当或更高的环境意识水平。首先，车辆必须识别其他汽车、行人和路边的基础设施，并确定它们的正确位置。这需要人工智能深度学习技术能够很好地解决的模式识别能力。视觉模式识别是一个先进的深度学习领域，车辆会大量使用。此外，车辆必须能够随时计算其最佳轨迹和速度。这需要路线规划能力，人工智能也能很好地解决这个问题。有了这些，激光雷达和雷达提供了正确重建车辆环境所必需的距离信息」。
传感器融合，即结合不同传感器的信息以更好地了解车辆环境，仍然是一个活跃的研究领域。
「每种类型的传感器都有局限性，」Kouthon 说。「照相机在物体识别方面非常出色，但提供的距离信息很差，而且图像处理需要大量的计算资源。相比之下，激光雷达和雷达提供出色的距离信息，但清晰度差。此外，激光雷达在恶劣的天气条件下不能很好地工作」。
我们到底需要多少个传感器？
对于自动驾驶系统需要多少个传感器的问题，没有简单的答案。OEM 目前正在试图弄清楚这个问题。这里的其他考虑包括：例如，在开放道路上航行的卡车和城市的机器人出租车有非常不同的需求。
Cadence 负责 Tensilica 视觉、雷达和激光雷达 DSP 的产品管理和营销总监 Amit Kumar 说：「这是一个艰难的计算，因为每个汽车 OEM 都有自己的架构，通过提供更好的空间定位、更远的距离与高能见度，以及识别和分类物体的能力，然后区分各种物体，来保障车辆的安全。这也取决于汽车制造商决定启用什么级别的自主权（例如，提供广度）。简而言之，为了实现部分自主性，传感器的最低数量可以是 4 到 8 个各种类型的传感器。对于完全自主性，今天使用 12 个以上的传感器」。
Kumar 指出，在特斯拉的例子中，有 20 个传感器（8 个摄像头传感器加上 12 个超声波传感器，用于 3 级或以下），没有激光雷达或雷达。「该公司坚信计算机视觉，其传感器套件对 L3 自动驾驶来说效果很好。媒体报道说，「特斯拉可能会引入雷达来改善自动驾驶」。
Zoox 已经实现了四个激光雷达传感器，外加一个摄像头和雷达传感器的组合。这是一辆完全自主的车辆，车内没有司机，目标是在规划好的、被充分理解的路线上运行。商业部署还没有开始，但它很快就会在有限的使用情况下（不像乘用车那样广泛）进行。
Nuro 公司的自动驾驶送货车，审美并不那么重要，它使用了一个有四个传感器的 360 度摄像系统，外加一个 360 度激光雷达传感器，四个雷达传感器，外加超声波传感器。
实施这些系统没有简单的公式。
「你所需要的传感器数量是企业可接受的风险水平，同时也取决于应用，」Synopsys 公司汽车软件与安全部高级经理 Chris Clark 说。「如果你正在开发机器人出租车，他们不仅需要传感器来保证道路安全，而且还需要车内的传感器来监测乘客在车内做什么，以保证乘客安全。在这种情况下，我们将在一个高人口和高城市密度的地区测试，与用于公路驾驶的车辆相比，有相当独特的特点，在那里你有更长的距离和更多的反应空间。在高速公路上，闯入路面的可能性较小。我不认为有一个固定的规则，比如说你必须有三种不同类型的传感器和三个不同的摄像头来覆盖所有自主车辆的不同角度。」
不过，有多少传感器将取决于该车辆要解决的使用情况。
「在机器人出租车的例子中，激光雷达和普通相机，以及超声波或雷达，将不得不使用，因为有太多的密度需要处理，"ClarK 说。「此外，我们还需要包括一个用于 V2X 的传感器，流向车辆的数据将与车辆在周围环境中看到的情况相一致。在高速公路的卡车运输解决方案中，将使用不同类型的传感器。超声波在高速上并不那么有利，除非我们正在做类似于组队的事情，但那不会是一个前瞻性的传感器。相反，这将是潜在的前视和后视传感器，这样我们就能与所有的团队资产连接。但是激光雷达和雷达变得更加重要，因为卡车在高速行驶时必须考虑到距离和范围。」
另一个考虑是所需的分析水平。他说：「有这么多数据需要处理，我们必须决定这些数据中有多少是重要的，这就是关于传感器的类型和能力变得有趣的地方。例如，如果激光雷达传感器可以在周期的早期进行局部分析，这就减少了流回传感器融合的额外分析的数据量。减少数据量反过来又降低了系统设计的整体计算能力和成本。否则，就需要在车辆中进行额外的处理，其形式可以是综合计算环境或专注于传感器网格化和分析的专用 ECU。」
成本总是一个问题
传感器的融合可能是昂贵的。在早期，一个由多个单元组成的激光雷达系统的成本可能高达 80,000 美元。高成本来自于单元中的机械部件。今天，成本要低得多，一些制造商预计，在未来的某个时间点，成本可能低至每台 200 至 300 美元。新兴的热传感器技术将在几千美元的范围内。总的来说，OEM 将继续面临降低传感器总部署成本的压力。使用更多的相机而不是激光雷达系统将有助于 OEM 厂商降低制造成本。
「在城市环境中，安全的基本定义是消除所有可避免的碰撞，」西门子数字工业软件公司混合和虚拟系统副总裁 David Fritz 说。「所需的最低数量的传感器取决于使用情况。一些人认为，在未来，智能城市基础设施将是复杂和无处不在的，从而减少城市环境中对车载传感的需求」。
车对车的通信也可能对传感器产生影响。
「在这里，机载传感器的数量可能会减少，但我们还没有到那一步，」Fritz 观察到。「此外，总是会有这样的情况，AV 将不得不假设所有的外部信息由于停电或其他的故障而变得不可用。因此，车辆上总是需要有一些传感器--不仅适用于城市地区，也适用于农村地区。我们所做的很多设计都需要在车辆外部安装八个摄像头，并在内部安装几个摄像头。有了前面的两个摄像头，经过适当的校准，我们可以实现低延迟、高分辨率的立体视觉，提供物体的深度范围，从而减少对雷达的需求。我们在车辆的前部、后部和两侧都这样做，以获得一个完整的 360°视角。」
「随着所有摄像机进行物体检测和分类，关键信息将被传入中央计算系统，以做出控制决策。」
「Fritz 说：「如果有基础设施或其他车辆信息，它将与来自车载传感器的信息相融合，以产生一个更全面的三维视图，从而能够做出更好的决策。在车内，额外的摄像头起到了监控驾驶员的作用，同时也检测到了遗留物品等占用情况。有可能增加一个低成本的雷达来处理恶劣的天气情况，如雾天或雨天的情况，是对传感器套件的一种优质补充。我们最近没有看到大量的激光雷达被使用。在某些情况下，激光雷达的性能会受到回声和反射的影响。最初，自动驾驶原型在很大程度上依赖于激光雷达数据的 GPU 处理，但最近更智能的架构已经趋向于高分辨率、高 FPS 的相机，并采用分布式架构，更好地优化整个系统的数据流。」
优化传感器融合可能很复杂。你怎么知道哪种组合能给你最好的性能？除了做功能测试外，OEM 依靠安世公司和西门子等公司提供建模和仿真解决方案，测试各种传感器组合的结果，以达到最佳性能。
增强型技术影响未来的传感器设计
诸如 V2X、5G、先进的数字地图和智能基础设施中的 GPS 等增强技术将使自动驾驶在车上的传感器数量减少。但为了使这些技术得到改进，自动驾驶将需要整个汽车行业的支持，以及智能城市的发展。
Arteris IP 的解决方案和业务发展副总裁 Frank Schirrmeister 指出：「各种增强技术有不同的目的。开发人员经常将几种技术结合起来，创造安全和方便的用户体验。例如，用于路径规划的地图信息的数字双胞胎可以在能见度有限的情况下创造更安全的体验，以增强基于传感器信息的车内、本地决策。V2V 和 V2X 信息可以补充车内本地可用的信息，以做出安全决策，增加冗余度，创造更多的数据点，作为安全决策的依据。」
此外，「车辆到一切」允许在车辆和路边基础设施之间进行实时协作，这需要超可靠低延时通信（URLLC）等技术。
「这些要求导致了各种人工智能技术在交通预测、5G 资源分配、拥堵控制等方面的应用，」Kouthon 说。「换句话说，人工智能可以优化和减少自动驾驶对网络基础设施的沉重负担。我们预计 OEM 将使用软件定义的车辆架构来建造自动驾驶汽车，其中 ECU 是虚拟化的，并通过空气进行更新。数字孪生技术对于在非常接近真实车辆的云端模拟上测试软件和更新将是至关重要的」。
结论
当最终实施时，3 级自动驾驶可能需要 30 多个传感器，或十几个摄像头，这取决于 OEM 的架构。但是，哪个更安全，或者自主驾驶传感器系统在城市环境中提供的安全驾驶水平是否与在高速公路上的驾驶水平相同，还没有定论。
随着未来几年传感器成本的下降，它可能为新的传感器打开大门，这些传感器可以被添加到组合中，以提高恶劣天气下的安全性。这些传感器需要足以确保在所有条件和极端情况下的安全，OEM 对这些传感器进行的标准化可能还需要很长一段时间。
