《LeaPRiDE研讨会:动态环境中的自主机器人》

  • 来源专题:人工智能
  • 编译者: 高楠
  • 发布时间:2025-10-24
  • 工业、物流、农业、医疗保健——自主机器人有望在许多领域发挥优势。然而,他们在动态环境中面临许多挑战。为了优化自主机器人的使用并使其更加安全,DFKI Darmstadt的研究人员与国际研究人员一起,于10月20日在IEEE/RSJ智能机器人和系统国际会议(IROS)上组织了“LeaPRiDE:动态环境中的学习、规划和推理”研讨会。会议将于10月19日至25日在中国杭州举行。

    自主机器人具有广泛的潜在应用。例如,他们可以执行艰巨的任务和支持员工。机器人目前主要用于受控环境。动态环境的普遍不确定性和不可预测性使得在其他领域使用机器人很困难。这意味着人类和机器人之间的合作只能在有限的范围内进行。跨学科合作创造了巨大的机会只有当自主机器人能够在动态环境中安全移动时,它们的全部潜力才会实现。这需要各个领域的专家之间的协作,包括人机交互、多智能体交互和机器人学习。由Puze Liu和来自DFKI Darmstadt“用于学习机器人的系统人工智能”研究小组的其他研究人员组织的2025 LeaPRiDE研讨会为讨论该领域的研究现状提供了一个论坛。


  • 原文来源:https://www.dfki.de/en/web/news/leapride-workshop-auf-der-iros-2025-flexiblerer-einsatz-von-autonomen-robotern
相关报告
  • 《受动物大脑启发使自主机器人AI实现飞跃》

    • 来源专题:新一代信息技术
    • 编译者:isticzz2022
    • 发布时间:2024-05-22
    •        Guido de Croon代尔夫特理工大学的一个研究小组开发了一种无人机,该无人机使用基于动物大脑工作的神经形态图像处理和控制进行自主飞行。与当前运行在图形处理单元(GPU)上的深度神经网络相比,动物大脑使用更少的数据和能量。因此,神经形态处理器非常适合小型无人机,因为它们不需要笨重的硬件和电池。在飞行过程中,无人机的深度神经网络处理数据的速度是GPU的64倍,消耗的能量是GPU的三倍。这项技术的进一步发展可能使无人机实现飞跃,变得像飞行的昆虫或鸟类一样小、敏捷和智能。其研究结果发表在《科学机器人》杂志上。        从动物大脑学习——Spiking神经网络人工智能在为自主机器人提供现实世界应用所需的智能方面具有巨大潜力。然而,当前的人工智能依赖于需要大量计算能力的深度神经网络。用于运行深度神经网络的GPU消耗大量能量。这对飞行无人机等小型机器人来说尤其是一个问题,因为它们只能携带非常有限的传感和计算资源。动物大脑处理信息的方式与GPU上运行的神经网络非常不同。生物神经元异步处理信息,主要通过称为尖峰的电脉冲进行通信。由于发送这样的尖峰会消耗能量,大脑会最大限度地减少尖峰,从而导致稀疏处理。受动物大脑这些特性的启发,科学家和科技公司正在开发新的神经形态处理器。这些新处理器使它们能够运行尖峰神经网络,并有望更快、更节能。        这篇文章的作者之一博士生Jesse Hagnaars说:“尖峰神经网络的计算比标准深度神经网络要简单得多,而数字尖峰神经元只需要加整数,而标准神经元必须相乘和加浮点数。这使尖峰神经网络更快、更节能。要理解原因,想想人类是如何发现计算5+8比计算6.25 x 3.45+4.05 x 3.45.要容易得多的。”如果神经形态处理器与神经形态传感器(如神经形态相机)结合使用,这种能效会进一步提高。这种相机不以固定的时间间隔拍摄图像。相反,每个像素只有在变亮或变暗时才会发送信号。这种相机的优点是,它们可以更快地感知运动,更节能,并且在黑暗和明亮的环境中都能很好地工作。此外,来自神经形态相机的信号可以直接输入运行在神经形态处理器上的尖峰神经网络。它们共同构成了自主机器人的巨大推动者,尤其是像飞行无人机这样的小型敏捷机器人。第一架使用全神经形态人工智能视觉进行控制的无人机。        代尔夫特理工大学首次对飞行无人机进行神经形态视觉和控制荷兰代尔夫特科技大学的研究人员现在首次展示了一种使用神经形态视觉与控制进行自主飞行的无人机。具体来说,他们开发了一个尖峰神经网络,该网络处理来自神经形态相机的信号,并输出控制命令,以确定无人机的姿态和推力。他们在无人机上的神经形态处理器,英特尔的Loihi神经形态研究芯片上部署了这个网络。得益于网络,无人机可以感知并控制自己在各个方向的运动。“我们面临着许多挑战,”参与这项研究的研究人员之一Federico Paredes Vallés说,“但最困难的是想象我们如何训练一个尖峰神经网络,使训练速度足够快,并且训练后的网络在真正的机器人上能很好地运行。”最后,我们设计了一个由两个模块组成的网络。第一模块学习从运动的神经形态相机的信号中视觉感知运动。它完全是自己完成的,以一种自我监督的方式,只基于相机的数据。这类似于动物如何学会自己感知世界。“第二个模块在模拟器中学习将估计的运动映射到控制命令。这种学习依赖于模拟中的人工进化,在这种进化中,更善于控制无人机的网络有更高的机会产生后代。”        在人工进化的几代人中,尖峰神经网络越来越善于控制,最终能够以不同的速度向任何方向飞行。我们训练了这两个模块,并开发了一种将它们合并在一起的方法。我们很高兴地看到,合并后的网络立即在真正的机器人上运行良好。凭借其神经形态视觉和控制,无人机能够在从暗到亮的不同光照条件下以不同的速度飞行。它甚至可以在闪烁的灯光下飞行,这使得神经形态相机中的像素向网络发送大量与运动无关的信号。使用Liohi全视觉控制神经形态人工智能的飞行无人机的延时。       “ Guido de Croon通过神经形态AI提高了能效和速度重要的是,我们的测量证实了神经形态AI的潜力。该网络平均每秒运行274至1600次。如果我们在一个小型嵌入式GPU上运行相同的网络,它平均每秒只运行25次,相差约10-64倍。此外,在运行网络时,英特尔的Loihi神经形态研究芯片消耗1.007瓦,其中1瓦是处理器刚打开芯片时消耗的空闲功率。运行网络本身只需7毫瓦。相比之下,在运行同一网络时,嵌入式GPU消耗3瓦,其中一瓦是空闲功率,2瓦用于运行网络。神经形态方法使人工智能运行得更快、更高效,可以部署在更小的自主机器人上。”神经形态无人机领域的博士候选人Stein Stroobants说。神经形态人工智能在微型机器人中的未来应用神经形态人工将使所有自主机器人更加智能,但它是微型自主机器人的绝对推动者。在代尔夫特理工大学航空航天工程学院,我们开发了微型无人驾驶飞机,可用于从监测温室作物到跟踪仓库库存等各种应用。微型无人机的优点是非常安全,可以在狭窄的环境中导航,比如在番茄植物之间。此外,它们可以非常便宜,因此可以成群部署。正如我们在勘探和气源定位设置中所展示的那样,这有助于更快地覆盖一个区域。目前的工作是朝着这个方向迈出的一大步。然而,这些应用程序的实现将取决于进一步缩小神经形态硬件的规模,并将功能扩展到更复杂的任务,如导航。
  • 《Boston Dynamics 进军自主仓库机器人技术领域》

    • 来源专题:智能制造
    • 编译者:icad
    • 发布时间:2024-08-27
    • 仓库是自主机器人的前沿领域。随着消费者越来越习惯于快速周转的运输,仓库需要更快、更高效地运营。但是,仓库可能是困难的工作环境,需要需要体力劳动,例如移动重物和重复动作。自然,人们对机器人和其他仓库工作的自动化解决方案非常感兴趣。“自动化在人体工程学方面没有限制,”波士顿动力公司的高级技术总监 Mike Murphy 指出,该公司可能以 Spot(一种用于执行远程检查的机器狗)而闻名。Murphy 还是 Stretch 的首席系统工程师,Stretch 是该公司专为仓库设计的移动箱子处理机器人。 然而,仓库对机器人技术来说也可能是一个具有挑战性的环境。从表面上看,这项工作是简单而重复的。“将这些箱子从卡车上取下来,放在这个传送带上,移动它们,分类它们,把它们放在这些托盘上,然后把它们放回门外,”Murphy 说。但是,与机器人传统上取得成功的其他应用(例如制造)不同,仓库中的机器人可能会遇到更广泛的变化和挑战。例如,如果箱子没有正确关闭,它们可能会意外打开,或者它们可能会在运输过程中移动并最终落在地板或其他不该出现的地方。“这些正是我们开始能够通过自动化解决的问题,”他解释说。然后,这些知识可以应用于其他领域的新应用,例如制造业。 认识 StretchStretch 是一款电池供电的移动机器人,配备了一个带有强大吸力抓手的手臂。Stretch 在大约一个托盘大小的占地面积中包含完成工作所需的一切。它的板载摄像头和传感器使其能够“看到”周围的环境,识别正在发生的事情,并在没有预编程的情况下对任何问题做出反应并从中恢复。位于转盘上、机械臂旁边的可铰接式“感知桅杆”包含 2D 和 3D 传感器,用于从机器人周围的各个位置收集数据。然后,操作系统将数据拼接在一起,并通过机器学习管道运行数据,以检测盒子并确定面和角的位置。“它了解盒子的位置、大小、方向,”Murphy 解释说。 Stretch 的成功Stretch 于 2023 年初推出,因此它仍然相当新,但客户已经看到了成功。Murphy 描述了一个用户,该用户有几个第三方承包商,他们休息了,再也没有回来,留下一辆卡车停在阳光下,里面装满了需要卸载的沉重箱子。入库区的操作员需要找到一种方法来卸载卡车,因此他们决定尝试使用 Stretch。“他们把 Stretch 放进去,它就把卡车卸下来了,”他说。“他们非常高兴,这解决了他们的问题,而且没有抱怨高温。”仓库及其他虽然事实证明 Stretch 在卸货方面取得了成功,但这只是仓库中众多任务之一。“我们在设计硬件系统时考虑到了仓库中发生的事情,”Murphy 说,该公司目前正在从业务角度研究其他可能的应用,以决定下一步要关注什么。“我们有很多事情可以让机器人完成,基本上是软件更新,”他说。一种可能性是使用不是框的对象。“Stretch 还可以从卡车上卸下什么?无论是轮胎还是手提袋,或者你知道的,抓手可以抓住的任何东西,我们肯定会考虑。该团队还在寻找不涉及卸载的任务,例如将物体从托盘移动到输送机,反之亦然,以及从货架上拣选物品。Murphy 解释说:“无论何时,当您将单个案例从一个地方转移到另一个地方时,我们都希望从技术角度和商业意义上了解这样做需要什么。“这个机器人做这项工作有意义吗?做到这一点的典型挑战是什么?至于 Stretch 的非仓库应用程序,Boston Dynamics 在仓库领域看到了如此多的机会,以至于它并没有真正将目光投向该环境之外的更多应用程序。Murphy 说,制造应用是一个潜在的应用,汽车应用的零件排序也是如此。“但我认为,由于仓库的规模,我们目前非常关注仓库空间,”他补充道。从研究到商业化Stretch 是 Boston Dynamics 继 Spot 之后的第二个商业化产品,Spot 是专为工业检测而设计的机器狗。值得注意的是,Spot 是在公司专注于机器人研究的同时开发的。“例如,我们在这段旅程中的早期客户和合作伙伴帮助我们发现了 Industrial Inspection 作为这种平台可能真正有用的领域,”Murphy 解释说。在开发 Stretch 时,该公司希望在推出产品之前了解其技术的应用。“该平台能够在仓库中实现所有这些不同的应用,”他说。“但我们已经对几个我们有强大商业案例的案例有了非常好的了解,并且在设计平台之前,我们非常了解客户的用例。然后我们从那里开始扩张。 据 Murphy 称,Stretch 标志着 Boston Dynamics 开始成为机器人产品的连续生产商。“这确实是让我们的转型真正将我们的公司转变为专注于产品、客户价值、在全球范围内扩大规模,并能够做所有必要的事情,以拥有一套成功的产品,从销售到制造,以及拥有一家能够大规模做到这一点的公司所需的所有支柱。”“他说。 然后,Stretch 根据检测到的内容执行 “pick planning”。该系统考虑了环境因素(如墙壁、地板和天花板)以及所有箱子的位置、抓手和机械臂的几何形状、机械臂的伸展范围以及所有箱子之间的相互作用。因此,如果 Stretch 正在卸载一堆箱子,它知道不要选择底部的箱子,因为这会将堆垛的其余部分撞倒,并且它知道等到其他箱子不碍事后再在墙壁或天花板附近卸载箱子,以便更好地抓住它们。选秀规划对 Stretch 至关重要。“如果你在那里做出了一个错误的决定,你最终可能会造成一场雪崩,机器人需要一段时间才能清理干净,”Murphy 指出。Stretch 可以优化其每次选取或每几次选取的选取规划策略,具体取决于它所处的模式。 板载传感器还可以检测环境中的异常情况,例如掉落在地板上的箱子。“我们在行为系统中有反应来处理这些问题,”Murphy 说。在许多情况下,Stretch 无论如何都会尝试移动框。“这些盒子不需要完美无缺,Stretch 就可以发挥作用,”他说。它的真空抓手采用波士顿动力公司所谓的 Smart Gripper 技术,可以单独控制每个吸盘。这使 Stretch 能够拾取有孔、撕裂或凹痕的箱子。“无论哪个吸盘在盒子表面购买得好,都会得到完全的吸力,而其他吸盘最终会被关闭,这样我们就不会失去吸力,”Murphy 解释说。当 Stretch 遇到它无法处理的问题时,例如盒子打开和里面的东西洒在地上,它可以向附近工作的“机器人管理员”寻求帮助。与人类合作该团队将卡车卸货作为 Stretch 的初始应用。当货物到达仓库时,必须将其从卡车、拖车或集装箱移动到仓库中。在温暖的月份,这些容器可能会在阳光下烘烤数小时,就像烤箱一样,然后员工进去卸货。这些工作可能很难填补,以至于仓库经常求助于第三方公司来招聘和雇用工人,即便如此,人员流动率也很高。 为这项任务寻找人类工人的难度使其成为 Stretch 的理想应用程序,因为它几乎可以单独完成。但 Stretch 仍然需要一些人类的帮助——操作员必须通过将 Stretch 开入拖车或集装箱来设置 Stretch,并处理任何需要人工干预的问题。“我们设计了一些系统来保持机器人安全运行,”Murphy 说。一种选择是便携式笼子,它可以在工作时将 Stretch 完全封闭在拖车或集装箱中。在启动 Stretch 之前,人工确保笼内没有其他人,并且它会继续运行,直到门打开或人工停止。但是,正如 Murphy 所指出的,“我们的客户重视灵活性,他们不希望笼式面板妨碍他们所有其他东西。因此,该公司开发了一种“虚拟防护”系统。它使用传感器来设置一个边界,如果检测到附近有人,它会减慢 Stretch 的速度,如果有人靠得太近,它会停止。“我们在机器人上安装了功能安全系统,能够确保系统安全停止,”他补充道,“如果出现这些情况,将手动重启。 目前,Stretch 只能在受保护的空间内自主移动,但最终,它将能够在其他人中完全自主地穿过仓库。Murphy 说,他预计 Stretch 不会与其他人并肩工作。“Stretch 非常强大,覆盖范围很广,它独立工作真的很有意义,”他解释说。但是,随着 Stretch 在仓库中承担更多任务,它将需要与人共享空间,尤其是当它需要人工帮助时。“我们正在努力真正考虑如何让我们非常有信心地安全地进行这项工作,”他说。入职由于 Stretch 不需要预先编程,因此部署过程相对简单快捷。Murphy 说,这需要 5 天或更短的时间,而且用户可以在一周内自行运行系统。该过程包括连接网络系统和电气工作,以及将 Stretch 物理或无线连接到它放置箱子的输送机上,以便将它们从拖车上移除。Stretch 可以与各种输送机配合使用,从 Stretch 可以随身携带的柔性手风琴类型到可以自行伸展和缩回的固定伸缩输送机。Stretch 可以控制这些输送机的位置,并要求输送机跟随它进入拖车。 工人在调试过程中接受为期两天的培训,学习如何使用挂件上的操纵杆驾驶 Stretch,当 Stretch 需要人工帮助时如何安全干预,以及什么是不同的错误代码以及如何修复它们。一旦 Stretch 就位,“看起来真的就像启动一台洗衣机,”Murphy 描述道。“你按照向导操作,按下几个按钮,按住启动按钮,它就会卸载卡车。”