Guido de Croon代尔夫特理工大学的一个研究小组开发了一种无人机，该无人机使用基于动物大脑工作的神经形态图像处理和控制进行自主飞行。与当前运行在图形处理单元（GPU）上的深度神经网络相比，动物大脑使用更少的数据和能量。因此，神经形态处理器非常适合小型无人机，因为它们不需要笨重的硬件和电池。在飞行过程中，无人机的深度神经网络处理数据的速度是GPU的64倍，消耗的能量是GPU的三倍。这项技术的进一步发展可能使无人机实现飞跃，变得像飞行的昆虫或鸟类一样小、敏捷和智能。其研究结果发表在《科学机器人》杂志上。
从动物大脑学习——Spiking神经网络人工智能在为自主机器人提供现实世界应用所需的智能方面具有巨大潜力。然而，当前的人工智能依赖于需要大量计算能力的深度神经网络。用于运行深度神经网络的GPU消耗大量能量。这对飞行无人机等小型机器人来说尤其是一个问题，因为它们只能携带非常有限的传感和计算资源。动物大脑处理信息的方式与GPU上运行的神经网络非常不同。生物神经元异步处理信息，主要通过称为尖峰的电脉冲进行通信。由于发送这样的尖峰会消耗能量，大脑会最大限度地减少尖峰，从而导致稀疏处理。受动物大脑这些特性的启发，科学家和科技公司正在开发新的神经形态处理器。这些新处理器使它们能够运行尖峰神经网络，并有望更快、更节能。
这篇文章的作者之一博士生Jesse Hagnaars说：“尖峰神经网络的计算比标准深度神经网络要简单得多，而数字尖峰神经元只需要加整数，而标准神经元必须相乘和加浮点数。这使尖峰神经网络更快、更节能。要理解原因，想想人类是如何发现计算5+8比计算6.25 x 3.45+4.05 x 3.45.要容易得多的。”如果神经形态处理器与神经形态传感器（如神经形态相机）结合使用，这种能效会进一步提高。这种相机不以固定的时间间隔拍摄图像。相反，每个像素只有在变亮或变暗时才会发送信号。这种相机的优点是，它们可以更快地感知运动，更节能，并且在黑暗和明亮的环境中都能很好地工作。此外，来自神经形态相机的信号可以直接输入运行在神经形态处理器上的尖峰神经网络。它们共同构成了自主机器人的巨大推动者，尤其是像飞行无人机这样的小型敏捷机器人。第一架使用全神经形态人工智能视觉进行控制的无人机。
代尔夫特理工大学首次对飞行无人机进行神经形态视觉和控制荷兰代尔夫特科技大学的研究人员现在首次展示了一种使用神经形态视觉与控制进行自主飞行的无人机。具体来说，他们开发了一个尖峰神经网络，该网络处理来自神经形态相机的信号，并输出控制命令，以确定无人机的姿态和推力。他们在无人机上的神经形态处理器，英特尔的Loihi神经形态研究芯片上部署了这个网络。得益于网络，无人机可以感知并控制自己在各个方向的运动。“我们面临着许多挑战，”参与这项研究的研究人员之一Federico Paredes Vallés说，“但最困难的是想象我们如何训练一个尖峰神经网络，使训练速度足够快，并且训练后的网络在真正的机器人上能很好地运行。”最后，我们设计了一个由两个模块组成的网络。第一模块学习从运动的神经形态相机的信号中视觉感知运动。它完全是自己完成的，以一种自我监督的方式，只基于相机的数据。这类似于动物如何学会自己感知世界。“第二个模块在模拟器中学习将估计的运动映射到控制命令。这种学习依赖于模拟中的人工进化，在这种进化中，更善于控制无人机的网络有更高的机会产生后代。”
在人工进化的几代人中，尖峰神经网络越来越善于控制，最终能够以不同的速度向任何方向飞行。我们训练了这两个模块，并开发了一种将它们合并在一起的方法。我们很高兴地看到，合并后的网络立即在真正的机器人上运行良好。凭借其神经形态视觉和控制，无人机能够在从暗到亮的不同光照条件下以不同的速度飞行。它甚至可以在闪烁的灯光下飞行，这使得神经形态相机中的像素向网络发送大量与运动无关的信号。使用Liohi全视觉控制神经形态人工智能的飞行无人机的延时。
“ Guido de Croon通过神经形态AI提高了能效和速度重要的是，我们的测量证实了神经形态AI的潜力。该网络平均每秒运行274至1600次。如果我们在一个小型嵌入式GPU上运行相同的网络，它平均每秒只运行25次，相差约10-64倍。此外，在运行网络时，英特尔的Loihi神经形态研究芯片消耗1.007瓦，其中1瓦是处理器刚打开芯片时消耗的空闲功率。运行网络本身只需7毫瓦。相比之下，在运行同一网络时，嵌入式GPU消耗3瓦，其中一瓦是空闲功率，2瓦用于运行网络。神经形态方法使人工智能运行得更快、更高效，可以部署在更小的自主机器人上。”神经形态无人机领域的博士候选人Stein Stroobants说。神经形态人工智能在微型机器人中的未来应用神经形态人工将使所有自主机器人更加智能，但它是微型自主机器人的绝对推动者。在代尔夫特理工大学航空航天工程学院，我们开发了微型无人驾驶飞机，可用于从监测温室作物到跟踪仓库库存等各种应用。微型无人机的优点是非常安全，可以在狭窄的环境中导航，比如在番茄植物之间。此外，它们可以非常便宜，因此可以成群部署。正如我们在勘探和气源定位设置中所展示的那样，这有助于更快地覆盖一个区域。目前的工作是朝着这个方向迈出的一大步。然而，这些应用程序的实现将取决于进一步缩小神经形态硬件的规模，并将功能扩展到更复杂的任务，如导航。
