这项技术可以带来更安全的自动驾驶汽车、更高效的AR/VR耳机或更快的仓库机器人。
想象一下，驾驶自动驾驶汽车穿过隧道，但在你不知情的情况下，一场车祸让前方的交通停止了。通常情况下，你需要依靠前方的汽车才能知道你应该开始刹车。但是，如果你的车能看到前方的汽车并更快地刹车，该怎么办？
麻省理工学院和Meta的研究人员开发了一种计算机视觉技术，有朝一日可以让自动驾驶汽车做到这一点。
他们引入了一种方法，使用单个相机位置的图像创建整个场景的物理精确的3D模型，包括被遮挡的区域。他们的技术使用阴影来确定场景中被遮挡部分的内容。
他们将他们的方法称为PlatoNeRF，基于柏拉图对洞穴的寓言，这是希腊哲学家《理想国》中的一段话，在这段话中，被锁在洞穴中的囚犯根据洞穴墙上投射的阴影来辨别外部世界的现实。
通过将激光雷达（光检测和测距）技术与机器学习相结合，PlatoNeRF可以生成比一些现有人工智能技术更准确的3D几何重建。此外，PlatoNeRF更擅长平滑重建难以看到阴影的场景，例如那些环境光照高或背景暗的场景。
除了提高自动驾驶汽车的安全性外，PlatoNeRF还可以使用户无需四处走动进行测量即可对房间的几何形状进行建模，从而提高AR/VR耳机的效率。它还可以帮助仓库机器人更快地在杂乱的环境中找到物品。
麻省理工学院媒体艺术与科学研究生、麻省理工大学媒体实验室相机文化小组的研究助理、一篇关于PlatoNeRF的论文的主要作者Tzofi Klinghoffer说：“我们的关键想法是将这两个以前在不同学科中做过的事情结合起来——多盎司激光雷达和机器学习。事实证明，当你将这两件事结合在一起时，你就会发现很多新的机会来探索并两全其美。”。
Klinghoffer与他的顾问Ramesh Raskar共同撰写了这篇论文，Ramesh Laskar是麻省理工学院媒体艺术与科学副教授兼相机文化小组组长；资深作者Rakesh Ranjan，元现实实验室人工智能研究主任；以及相机文化集团的研究助理Siddharth Somasundaram，Meta的Xiaoyu Xiang、Yuchen Fan和Christian Richardt。这项研究将在计算机视觉和模式识别会议上发表。
揭示问题
从一个相机视点重建完整的3D场景是一个复杂的问题。
一些机器学习方法使用生成的人工智能模型，试图猜测被遮挡区域中的内容，但这些模型可能会使原本不存在的物体产生幻觉。其他方法试图使用彩色图像中的阴影来推断隐藏对象的形状，但当阴影很难看到时，这些方法可能会很困难。
对于PlatoNeRF，麻省理工学院的研究人员使用一种名为单光子激光雷达的新传感模式建立了这些方法。激光雷达通过发射光脉冲并测量光反弹到传感器所需的时间来绘制3D场景。因为单光子激光雷达可以探测单个光子，所以它们可以提供更高分辨率的数据。
研究人员使用单光子激光雷达照射场景中的目标点。一些光线会从该点反弹并直接返回到传感器。然而，大多数光在返回传感器之前会散射并从其他物体上反射。PlatoNeRF依赖于光的第二次反弹。
PlatoNeRF通过计算光反弹两次然后返回激光雷达传感器所需的时间，捕捉到有关场景的额外信息，包括深度。光的第二次反弹也包含有关阴影的信息。
该系统跟踪二次光线，即从目标点反弹到场景中其他点的光线，以确定哪些点位于阴影中（由于缺少光线）。基于这些阴影的位置，PlatoNeRF可以推断隐藏对象的几何图形。
激光雷达依次照射16个点，捕捉多个图像，用于重建整个3D场景。
Klinghoffer说：“每次我们照亮场景中的一个点时，我们都会产生新的阴影。因为我们有所有这些不同的照明源，我们有很多光线在周围照射，所以我们正在雕刻出被遮挡的、位于肉眼之外的区域。”。
一个成功的组合
PlatoNeRF的关键是将多盎司激光雷达与一种称为神经辐射场（NeRF）的特殊类型的机器学习模型相结合。NeRF将场景的几何结构编码为神经网络的权重，这使模型具有很强的插值或估计场景新视图的能力。
Klinghoffer说，当与多盎司激光雷达相结合时，这种插值能力也可以实现高精度的场景重建。
他说：“最大的挑战是弄清楚如何将这两件事结合起来。我们真的必须思考光如何通过多盎司激光雷达传输的物理问题，以及如何通过机器学习进行建模。”。
他们将PlatoNeRF与两种常见的替代方法进行了比较，一种仅使用激光雷达，另一种仅采用带彩色图像的NeRF。
他们发现，他们的方法能够胜过这两种技术，尤其是当激光雷达传感器的分辨率较低时。这将使他们的方法在现实世界中更实用，因为在现实世界，低分辨率传感器在商业设备中很常见。
“大约15年前，我们的团队发明了第一台可以‘看到’角落的相机，它通过利用多次光的反弹或‘光的回声’来工作。这些技术使用了特殊的激光器和传感器，并使用了三次光的反弹。自那以后，激光雷达技术变得更加主流，这导致我们对可以透过雾看到的相机进行了研究。这项新工作只使用了两次光的反射，这意味着信噪比非常高，3D重建质量令人印象深刻，”Raskar说。
未来，研究人员希望尝试跟踪两次以上的光反弹，看看这如何改善场景重建。此外，他们有兴趣应用更多的深度学习技术，并将PlatoNeRF与彩色图像测量相结合，以捕捉纹理信息。
多伦多大学计算机科学系助理教授David Lindell没有参与这项工作，他说：“虽然阴影的相机图像长期以来一直被研究为3D重建的一种手段，但这项工作在激光雷达的背景下重新审视了这个问题，证明了重建的隐藏几何体的准确性有了显著提高。这项工作表明，当与普通传感器相结合时，聪明的算法可以实现非凡的能力，包括我们许多人现在口袋里携带的激光雷达系统。”。
