《前沿 | 科学家将AI大模型用于传感器设计,打造高分辨率射频成像系统》

  • 来源专题:光电情报网信息监测服务平台
  • 编译者: 胡思思
  • 发布时间:2024-12-25
  • 近日,美国宾夕法尼亚大学团队造出一种名为 PanoRadar 的高分辨率射频成像系统,首次让基于射频(RF,radio Frequency)成像的视觉识别成为可能,未来能被用于自动驾驶、物流配送和搜救机器人等领域。

    在射频成像的传统技术中,主要面对着两大难题:第一个难题是低分辨率问题,第二个难题是机器人移动导致的成像失真问题。

    针对低分辨率的问题,该课题组通过旋转线性天线阵列来形成大型合成天线阵列。研究人员表示,尽管此前有人通过类似的合成孔径雷达技术来提高分辨率,但是这类技术往往要通过在二维平面上移动天线来进行扫描,不仅操作缓慢而且耗时较长。而该团队提出的旋转天线系统设计方案,在有效形成大阵列的同时还能让成像更加高效。

    针对移动机器人成像失真的问题,考虑到 PanoRadar 最终会被用于移动机器人,因此需要合理有效地处理机器人运动带来的成像失真问题。解决这一问题的难处在于:本次研究所使用的无线电波的波长位于毫米级别,这就要求在成像时对于天线的位置必须实现毫米级的精度,否则信号的相位一致性会被误差所破坏。

    然而,一些常用的跟踪及定位用传感器,比如惯性测量单元传感器和轮速计传感器等,它们均无法实现上述测量精度。为此,课题组利用了多普勒效应的特性,通过分析旋转雷达来捕捉反射信号的多普勒频率变化,以便针对机器人移动的速度和方向实现精确估计。

    另外,为了解决多普勒和到达角的频率混合问题,他们还提出一款新的分离方法,从而让基于多普勒的速度估计成为可能。

    需要说明的是,虽然 PanoRadar 能在水平角度通过旋转形成大阵列从而获得优异的分辨率,但是其垂直分辨率会受到天线数量限制。为此,他们又提出一种机器学习方法,该方法基于三维环境结构特性打造而来,能够弥补 PanoRadar 在垂直分辨率上的不足。

    对于物体表面来说,它们在三维空间中通常呈现出连续分布以及能和地面接触的特性。基于这一特性该团队让大模型学习大量数据,借此来挖掘空间维度的相关性,从而帮助提升 PanoRadar 受限的垂直维度。

    此外,他们还提出一种让二维卷积来学习三维空间结构的方法,这不仅让大模型的学习和训练变得更加有效,也降低了计算资源和计算时间。

    未来,这一成果有望用于以下领域:

    其一,用于自动驾驶领域。PanoRadar 拥有高分辨率的射频成像能力,能够弥补摄像头和激光雷达在雾、雨、雪等恶劣天气中的局限,让驾驶更加安全。另外,在夜间、隧道、地下场景等光线不足或信号干扰较强的场景中,PanoRadar 能够提供清晰可靠的环境感知能力,从而能够确保驾驶的安全性。

    其二,用于物流配送领域。即能够用于物流机器人、无人配送车、配送无人机等设备,帮助其在多变的城市环境中实现高效导航。尤其是在雨雾天或拥堵区域,PanoRadar 在感知到障碍物之后,会对前进线路加以优化,从而让配送任务安全地完成。另外,在智能仓库中 PanoRadar 可以帮助机器人高精度地感知货物位置,即使在灰尘环境或烟雾环境中也能保持高效工作。

    其三,用于搜救机器人。在地震和火灾等极端情况下,PanoRadar 可以穿透烟雾、灰尘和碎片,从而为搜救机器人提供清晰的环境感知,进而帮助定位幸存者或危险区域,在提高救援行为的效率的同时,还能确保救援人员的安全。而在一些受灾地区 PanoRadar 还能支持机器人或无人机在恶劣环境下完成精准的紧急物资和药品投送。

    打造既鲁棒、又能高清成像的射频传感器

    研究人员表示,当前机器人和自主系统技术正在飞速发展,并已被用于自动驾驶、搜索救援、仓库物流和医疗健康等领域。这就要求机器人针对周围环境实现既准确、又鲁棒的感知,以便确保安全顺利地完成作业。

    目前,常用的传感器主要有相机和激光雷达等,它们能够提供高分辨率的图像和点云。但是,作为一种视觉传感器,它们和人类眼睛存在同样的“不足”,即在充满浓烟和充满水雾的恶劣环境下很难看清周围环境。

    比如,装载相机和装载激光雷达的自动驾驶车辆在大雾天气无法正常工作,搜救机器人也无法在满是烟雾和灰尘的火灾现场展开救援。

    射频,指的是可以辐射到空间的电磁频率,其频率范围位于 300KHz 到 30GHz 之间。在上述恶劣环境之中,射频传感器能够实现既有效又可靠的工作。这是因为射频传感器所依赖的无线电波,能够轻易地穿过悬浮在空气中的微小粒子,其背后原理和人们在大雾天仍能收听广播是一个道理。

    此前,已有不少学者开始利用射频传感器的上述特点来进行射频成像,以便为机器人提供鲁棒可靠的感知方式。然而,当前的自动驾驶汽车和配送机器人依然严重依赖于相机和激光雷达,这是因为现有射频传感器的分辨率往往较低。要知道相机能够实现百万像素甚至千万像素的高分辨率图像,但是由于分辨率较低射频传感器只能给出一团团的反射图像,因此它很难辨别周围环境和周围物体。

    为了让射频传感器既能保持可靠鲁棒的特性,又能像激光雷达一样提供高分辨率的成像结果,该团队开始了本次研究。

    成像质量能与激光雷达相媲美

    前面提到,在与激光雷达这种光学传感器相比时,射频成像传感器的分辨率有着明显差距。此外,大部分现有技术在扫描时耗时较长,这在动态应用中显然是不切实际的。尽管部分雷达商品已能取得较高的分辨率,但是它们价格十分昂贵,而且只能提供二维的平面信息,而这不仅会增加部署成本,还会限制获取信息的维度。

    因此,亟需一种新方法来突破射频成像在移动机器人中的瓶颈。一次偶然的机会,研究人员注意到了电脑中旋转的散热风扇。这让他们联想到或许可以通过旋转的方式,来以快速、稳定的方式扩大天线阵列,从而提升成像分辨率。

    基于此,他们定下这一研究方向:设计一套以旋转雷达为基础的高分辨率射频成像系统。

    为了验证上述构想的可行性,他们先是开发出一款原型系统。一开始他们使用了一个非常简单的旋转装置——即商店里常见的小型商品展示转台。这套慢速旋转平台虽然看起来很“原始”,但是在静止环境之下他们成功生成了一个房间轮廓的射频图像,这说明旋转雷达的基本想法是可行的。

    接着,他们将上述慢速旋转平台移植到移动机器人平台上,并引入一台工业电机,从而能在实现快速旋转的同时还能提高成像效率。然而,他们发现机器人在运动时,成像质量会受到严重干扰。后来,他们发现这是因为对于雷达成像来说,它需要极高的天线位置精度,而机器人的运动会破坏信号的相位一致性。

    为解决这一问题,他们针对机器人提出一种基于多普勒效应的运动估计和补偿方法,从而让本次 PanoRadar 能在动态环境中实现高精度成像。

    这时,PanoRadar 已经能在水平方向和深度方向上达到较高的分辨率。但是,为了实现真正的高分辨率三维成像,他们打算进一步提升 PanoRadar 的垂直分辨率。在三维环境结构特性的启发之下,课题组使用数据驱动的方法,并通过引入大模型,进而利用三维空间中物体表面连续性和与地面的支撑关系,来增强 PanoRadar 在垂直方向的分辨率。这一改进大幅提高了 PanoRadar 的整体成像质量,甚至能与激光雷达的成像质量相媲美。

    基于本次成果,该团队将进一步探索高分辨率射频成像系统的潜力。

    其一,将探索室内的应用潜力。

    在一些灾后环境或危险环境中,例如地震废墟和火灾浓烟区域,搜救机器人需在能见度极低的条件下来定位受困人员。而 PanoRadar 可以穿透烟雾和灰尘,为机器人提供清晰的环境感知能力。因此,他们希望将 PanoRadar 集成到搜救机器人中,并验证其在真实搜救场景中的性能。

    其二,将探索在同步定位与地图构建算法的应用潜力。在动态和复杂的室内环境中,机器人需要同时完成自身定位与环境地图的构建。PanoRadar 的高分辨率成像能力不仅能够提供细致的环境轮廓,还能在无全球定位系统(GPS,Global Positioning System)信号的环境下支持鲁棒性定位。基于此,课题组将探索如何利用射频图像来直接提升同步定位与地图构建算法(SLAM,Simultaneous Localization and Mapping)的精度与可靠性。

    其三,将探索在转角成像与隐蔽物体探测中的潜力。即利用射频信号的反射特性,让机器人实现“绕角”探测,例如可以在拐角处提前识别目标物体或潜在威胁,从而避免发生碰撞。针对此,该团队计划设计一款专用算法,以便开发更智能的探测功能。

    其四,将探索在室外应用中的潜力。

    在复杂的户外环境中,无人驾驶车辆需要在夜间、强光、雨雾天气等光学传感器失效的情况下保持安全行驶。为此,课题组计划将 PanoRadar 的射频成像能力用于无人驾驶平台之中,以便为其提供全天候的环境感知能力,特别是实现恶劣天气条件下的应用。

    其五,将探索在物流配送机器人中的应用潜力。在室外运送货物时,物流机器人常常面临障碍物和环境光线的多变性,而 PanoRadar 能够显著提高机器人对于周围环境的适应能力,从而保障物流机器人的正常运行。下一步,他们也将与业界伙伴探索 PanoRadar 在物流配送场景中的应用,包括将其用于复杂的城市道路和园区路径等。


  • 原文来源:https://dl.acm.org/doi/pdf/10.1145/3636534.3649369
相关报告
  • 《科学家开发最高分辨率单光子超导相机》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:husisi
    • 发布时间:2023-10-26
    • NIST的研究人员和他们的同事们已经制造出了一台超导相机,其像素高达40万,是其他同类设备的400倍。 超导相机使科学家能够捕捉到非常微弱的光信号,无论是来自遥远的太空物体还是人类大脑的某些部分。拥有更多的像素可以在科学和生物医学研究中开辟许多新的应用。研究人员在Nature上发表了他们的研究成果。 NIST的相机由超薄电线网格组成,冷却到接近绝对零度,电流在其中无阻力移动,直到电线被光子击中。在这些超导纳米线相机中,即使是单个光子传递的能量也可以被检测到,因为它会在网格上的特定位置(像素)关闭超导性。把所有光子的位置和强度结合起来,就形成了一幅图像。 第一台能够探测单光子的超导照相机是在20多年前研制出来的。从那以后,这些设备的像素都不超过几千像素——对大多数应用来说太有限了。 制造一个具有更高像素的超导相机是一个严峻的挑战,因为它几乎不可能将成千上万个冷冻像素中的每一个都连接到它自己的读出线上。这一挑战源于这样一个事实,即相机的每个超导组件都必须冷却到超低温才能正常工作,而将数百万像素中的每个像素单独连接到冷却系统几乎是不可能的。 NIST的研究人员Adam McCaughan和Bakhrom Oripov以及他们在NASA喷气推进实验室和the University of Colorado Boulder的合作者克服了这一障碍,他们将来自许多像素的信号组合到几根室温读出线上。 任何超导导线的一个普遍特性是,它允许电流自由流动,直到某个最大“临界”电流。为了利用这种行为,研究人员对传感器施加了略低于最大电流的电流。在这种情况下,即使一个光子击中一个像素,也会破坏超导性。电流不再能够无阻力地通过纳米线,而是分流到连接到每个像素的小电阻加热元件。分流的电流产生了一个可以快速检测到的电信号。 借鉴现有的技术,NIST的团队构建了相机,使超导纳米线的交叉阵列形成多行和多列,就像在井字游戏中一样。每个像素——以垂直和水平纳米线相交的点为中心的一个小区域——由它所在的行和列唯一地定义。 这种安排使研究小组能够一次测量来自整行或整列像素的信号,而不是记录每个像素的数据,从而大大减少了读出线的数量。为此,研究人员将一根超导读出线与像素行平行但不接触,另一根线与像素行平行但不接触。 只考虑与这些行平行的超导读出线。当光子击中一个像素时,分流到电阻加热元件的电流加热读出线的一小部分,形成一个微小的热点。热点,反过来,产生两个沿读出线方向相反的电压脉冲,由两端的探测器记录。脉冲到达末端探测器所需的时间差揭示了像素所在的列。另一根超导读出线与柱子平行,起到类似的作用。 探测器可以识别短至50万亿分之一秒的信号到达时间的差异。他们还可以计算出每秒多达10万个光子撞击电网。 一旦团队采用了新的读出架构,Oripov在增加像素数量方面取得了快速进展。在几周内,这个数字从2万像素跃升到40万像素。McCaughan说,读出技术可以很容易地扩展到更大的相机上,并且具有数千万或数亿像素的超导单光子相机很快就可以使用。 在接下来的一年里,研究小组计划提高原型相机的灵敏度,这样它就可以捕捉到几乎所有入射的光子。这将使相机能够处理诸如成像太阳系以外的微弱星系或行星等低光工作,在基于光子的量子计算机中测量光线,并为使用近红外光观察人体组织的生物医学研究做出贡献。
  • 《德科学家利用高分辨率气候模型解释南极海冰悖论》

    • 来源专题:中国科学院文献情报系统—海洋科技情报网
    • 编译者:liguiju
    • 发布时间:2022-02-18
    • 尽管全球变暖和北极海冰消失,但自1979年以来南极海冰范围基本保持不变。不过,基于现有的气候模型模拟认为海冰明显消失,这与实际观察结果相反。德国阿尔弗雷德•魏格纳研究所(Alfred Wegener Institute,AWI)专家认为,海洋可能会削弱南极洲周围的变暖并延迟海冰消退。许多模型无法准确反映这一因素和海洋涡流的作用,不过AWI专家发表在《自然通讯》(Nature Communications)杂志上的研究成果能够为改进南极未来发展模拟和预测提供基础。 全球变暖加速,世界各地都能感受到其所带来的影响。气候变化对北极的影响尤其明显。自1979年卫星观测开始以来,面对全球气温上升,海冰已大幅减少。根据最新模拟,北极可能在2050年之前的夏季持续无冰,甚至会在2030年之前的某些年份出现。 然而南极洲的海冰似乎避开了全球变暖的趋势。自2010年以来,年际波动比上一时期更大。不过,除了2016年至2019年出现显着负偏移外,自1979年以来,南极大陆周围的长期平均海冰覆盖率一直保持稳定。因此,实际观测与大多数科学模拟不匹配,模拟显示在同一时期显示出显著的海冰损失。 这种所谓的南极海冰悖论已经困扰了科学界一段时间,目前的模型还不能正确描述南极海冰的行为,似乎缺少一些关键要素。这也解释了为什么政府间气候变化专门委员会(IPCC)得出结论,基于模型的未来南极海冰预测的可信度很低。相比之下,这些模型在北极已经非常可靠,以至于IPCC对其预测的置信度很高。 AWI的这项研究为更加可靠的预测南极洲未来提供基础。在研究过程中,该团队应用了AWI气候模型(AWI-CM)。与其他气候模型不同,AWI-CM可以更详细地模拟南大洋等某些关键区域,以高分辨率进行模拟。因此,也可以直接包括由直径为10至20公里的较小海洋涡流引起的海洋混合过程。AWI的研究为南极海冰行为不遵循全球变暖趋势提供了一个潜在的解释。海冰覆盖稳定性可能有很多原因。目前正在讨论的理论是来自南极的额外融水通过屏蔽冷的表层水和暖的深层水,稳定了水柱,从而也稳定了冰层。根据另一种理论,主要原因可能是吹在南极周围的西风在气候变化下一直在加强。这些风基本上可以像薄薄的比萨饼面团一样将冰块铺开,使其覆盖更大的面积。在这种情况下,冰量可能已经在下降,而被冰覆盖的区域会给人一种稳定的假象。 AWI的研究工作现在使海洋涡流成为焦点。这些漩涡在抑制和延缓气候变化对南大洋的影响方面起着决定性的作用,使海洋能够将从大气中吸收的额外热量向北输送到赤道。这种向北的热量输送与海洋上层约1000米的翻转环流密切相关,在南大洋,翻转环流一方面由风驱动,另一方面也受到涡流的影响。虽然由于更强的西风,环流的北向成分正在增长,但低分辨率气候模型中的简化涡流似乎常常通过向南极洲的南向成分来过度补偿这一因素;高分辨率模型中明确模拟的涡流显示出更中性的行为。综上所述,在高分辨率模型中可以看到热传输的更明显的北向变化。因此,南极周围的海洋变暖更慢,冰盖保持稳定的时间更长。 AWI的Rackow教授认为,他们的研究支持这样一个假设,即只要气候模型和南极海冰的预测能够真实地模拟高分辨率的海洋,并考虑海洋涡流,它们就会可靠得多。由于并行超级计算机的性能在不断提升,加上更有效的新模型,下一代气候模型应该使这成为一项常规任务。(傅圆圆  编译)