《前沿 | 科学家将AI大模型用于传感器设计,打造高分辨率射频成像系统》

  • 来源专题:光电情报网信息监测服务平台
  • 编译者: 胡思思
  • 发布时间:2024-12-25
  • 近日,美国宾夕法尼亚大学团队造出一种名为 PanoRadar 的高分辨率射频成像系统,首次让基于射频(RF,radio Frequency)成像的视觉识别成为可能,未来能被用于自动驾驶、物流配送和搜救机器人等领域。

    在射频成像的传统技术中,主要面对着两大难题:第一个难题是低分辨率问题,第二个难题是机器人移动导致的成像失真问题。

    针对低分辨率的问题,该课题组通过旋转线性天线阵列来形成大型合成天线阵列。研究人员表示,尽管此前有人通过类似的合成孔径雷达技术来提高分辨率,但是这类技术往往要通过在二维平面上移动天线来进行扫描,不仅操作缓慢而且耗时较长。而该团队提出的旋转天线系统设计方案,在有效形成大阵列的同时还能让成像更加高效。

    针对移动机器人成像失真的问题,考虑到 PanoRadar 最终会被用于移动机器人,因此需要合理有效地处理机器人运动带来的成像失真问题。解决这一问题的难处在于:本次研究所使用的无线电波的波长位于毫米级别,这就要求在成像时对于天线的位置必须实现毫米级的精度,否则信号的相位一致性会被误差所破坏。

    然而,一些常用的跟踪及定位用传感器,比如惯性测量单元传感器和轮速计传感器等,它们均无法实现上述测量精度。为此,课题组利用了多普勒效应的特性,通过分析旋转雷达来捕捉反射信号的多普勒频率变化,以便针对机器人移动的速度和方向实现精确估计。

    另外,为了解决多普勒和到达角的频率混合问题,他们还提出一款新的分离方法,从而让基于多普勒的速度估计成为可能。

    需要说明的是,虽然 PanoRadar 能在水平角度通过旋转形成大阵列从而获得优异的分辨率,但是其垂直分辨率会受到天线数量限制。为此,他们又提出一种机器学习方法,该方法基于三维环境结构特性打造而来,能够弥补 PanoRadar 在垂直分辨率上的不足。

    对于物体表面来说,它们在三维空间中通常呈现出连续分布以及能和地面接触的特性。基于这一特性该团队让大模型学习大量数据,借此来挖掘空间维度的相关性,从而帮助提升 PanoRadar 受限的垂直维度。

    此外,他们还提出一种让二维卷积来学习三维空间结构的方法,这不仅让大模型的学习和训练变得更加有效,也降低了计算资源和计算时间。

    未来,这一成果有望用于以下领域:

    其一,用于自动驾驶领域。PanoRadar 拥有高分辨率的射频成像能力,能够弥补摄像头和激光雷达在雾、雨、雪等恶劣天气中的局限,让驾驶更加安全。另外,在夜间、隧道、地下场景等光线不足或信号干扰较强的场景中,PanoRadar 能够提供清晰可靠的环境感知能力,从而能够确保驾驶的安全性。

    其二,用于物流配送领域。即能够用于物流机器人、无人配送车、配送无人机等设备,帮助其在多变的城市环境中实现高效导航。尤其是在雨雾天或拥堵区域,PanoRadar 在感知到障碍物之后,会对前进线路加以优化,从而让配送任务安全地完成。另外,在智能仓库中 PanoRadar 可以帮助机器人高精度地感知货物位置,即使在灰尘环境或烟雾环境中也能保持高效工作。

    其三,用于搜救机器人。在地震和火灾等极端情况下,PanoRadar 可以穿透烟雾、灰尘和碎片,从而为搜救机器人提供清晰的环境感知,进而帮助定位幸存者或危险区域,在提高救援行为的效率的同时,还能确保救援人员的安全。而在一些受灾地区 PanoRadar 还能支持机器人或无人机在恶劣环境下完成精准的紧急物资和药品投送。

    打造既鲁棒、又能高清成像的射频传感器

    研究人员表示,当前机器人和自主系统技术正在飞速发展,并已被用于自动驾驶、搜索救援、仓库物流和医疗健康等领域。这就要求机器人针对周围环境实现既准确、又鲁棒的感知,以便确保安全顺利地完成作业。

    目前,常用的传感器主要有相机和激光雷达等,它们能够提供高分辨率的图像和点云。但是,作为一种视觉传感器,它们和人类眼睛存在同样的“不足”,即在充满浓烟和充满水雾的恶劣环境下很难看清周围环境。

    比如,装载相机和装载激光雷达的自动驾驶车辆在大雾天气无法正常工作,搜救机器人也无法在满是烟雾和灰尘的火灾现场展开救援。

    射频,指的是可以辐射到空间的电磁频率,其频率范围位于 300KHz 到 30GHz 之间。在上述恶劣环境之中,射频传感器能够实现既有效又可靠的工作。这是因为射频传感器所依赖的无线电波,能够轻易地穿过悬浮在空气中的微小粒子,其背后原理和人们在大雾天仍能收听广播是一个道理。

    此前,已有不少学者开始利用射频传感器的上述特点来进行射频成像,以便为机器人提供鲁棒可靠的感知方式。然而,当前的自动驾驶汽车和配送机器人依然严重依赖于相机和激光雷达,这是因为现有射频传感器的分辨率往往较低。要知道相机能够实现百万像素甚至千万像素的高分辨率图像,但是由于分辨率较低射频传感器只能给出一团团的反射图像,因此它很难辨别周围环境和周围物体。

    为了让射频传感器既能保持可靠鲁棒的特性,又能像激光雷达一样提供高分辨率的成像结果,该团队开始了本次研究。

    成像质量能与激光雷达相媲美

    前面提到,在与激光雷达这种光学传感器相比时,射频成像传感器的分辨率有着明显差距。此外,大部分现有技术在扫描时耗时较长,这在动态应用中显然是不切实际的。尽管部分雷达商品已能取得较高的分辨率,但是它们价格十分昂贵,而且只能提供二维的平面信息,而这不仅会增加部署成本,还会限制获取信息的维度。

    因此,亟需一种新方法来突破射频成像在移动机器人中的瓶颈。一次偶然的机会,研究人员注意到了电脑中旋转的散热风扇。这让他们联想到或许可以通过旋转的方式,来以快速、稳定的方式扩大天线阵列,从而提升成像分辨率。

    基于此,他们定下这一研究方向:设计一套以旋转雷达为基础的高分辨率射频成像系统。

    为了验证上述构想的可行性,他们先是开发出一款原型系统。一开始他们使用了一个非常简单的旋转装置——即商店里常见的小型商品展示转台。这套慢速旋转平台虽然看起来很“原始”,但是在静止环境之下他们成功生成了一个房间轮廓的射频图像,这说明旋转雷达的基本想法是可行的。

    接着,他们将上述慢速旋转平台移植到移动机器人平台上,并引入一台工业电机,从而能在实现快速旋转的同时还能提高成像效率。然而,他们发现机器人在运动时,成像质量会受到严重干扰。后来,他们发现这是因为对于雷达成像来说,它需要极高的天线位置精度,而机器人的运动会破坏信号的相位一致性。

    为解决这一问题,他们针对机器人提出一种基于多普勒效应的运动估计和补偿方法,从而让本次 PanoRadar 能在动态环境中实现高精度成像。

    这时,PanoRadar 已经能在水平方向和深度方向上达到较高的分辨率。但是,为了实现真正的高分辨率三维成像,他们打算进一步提升 PanoRadar 的垂直分辨率。在三维环境结构特性的启发之下,课题组使用数据驱动的方法,并通过引入大模型,进而利用三维空间中物体表面连续性和与地面的支撑关系,来增强 PanoRadar 在垂直方向的分辨率。这一改进大幅提高了 PanoRadar 的整体成像质量,甚至能与激光雷达的成像质量相媲美。

    基于本次成果,该团队将进一步探索高分辨率射频成像系统的潜力。

    其一,将探索室内的应用潜力。

    在一些灾后环境或危险环境中,例如地震废墟和火灾浓烟区域,搜救机器人需在能见度极低的条件下来定位受困人员。而 PanoRadar 可以穿透烟雾和灰尘,为机器人提供清晰的环境感知能力。因此,他们希望将 PanoRadar 集成到搜救机器人中,并验证其在真实搜救场景中的性能。

    其二,将探索在同步定位与地图构建算法的应用潜力。在动态和复杂的室内环境中,机器人需要同时完成自身定位与环境地图的构建。PanoRadar 的高分辨率成像能力不仅能够提供细致的环境轮廓,还能在无全球定位系统(GPS,Global Positioning System)信号的环境下支持鲁棒性定位。基于此,课题组将探索如何利用射频图像来直接提升同步定位与地图构建算法(SLAM,Simultaneous Localization and Mapping)的精度与可靠性。

    其三,将探索在转角成像与隐蔽物体探测中的潜力。即利用射频信号的反射特性,让机器人实现“绕角”探测,例如可以在拐角处提前识别目标物体或潜在威胁,从而避免发生碰撞。针对此,该团队计划设计一款专用算法,以便开发更智能的探测功能。

    其四,将探索在室外应用中的潜力。

    在复杂的户外环境中,无人驾驶车辆需要在夜间、强光、雨雾天气等光学传感器失效的情况下保持安全行驶。为此,课题组计划将 PanoRadar 的射频成像能力用于无人驾驶平台之中,以便为其提供全天候的环境感知能力,特别是实现恶劣天气条件下的应用。

    其五,将探索在物流配送机器人中的应用潜力。在室外运送货物时,物流机器人常常面临障碍物和环境光线的多变性,而 PanoRadar 能够显著提高机器人对于周围环境的适应能力,从而保障物流机器人的正常运行。下一步,他们也将与业界伙伴探索 PanoRadar 在物流配送场景中的应用,包括将其用于复杂的城市道路和园区路径等。


  • 原文来源:https://dl.acm.org/doi/pdf/10.1145/3636534.3649369
相关报告
  • 《科学家开发最高分辨率单光子超导相机》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:husisi
    • 发布时间:2023-10-26
    • NIST的研究人员和他们的同事们已经制造出了一台超导相机,其像素高达40万,是其他同类设备的400倍。 超导相机使科学家能够捕捉到非常微弱的光信号,无论是来自遥远的太空物体还是人类大脑的某些部分。拥有更多的像素可以在科学和生物医学研究中开辟许多新的应用。研究人员在Nature上发表了他们的研究成果。 NIST的相机由超薄电线网格组成,冷却到接近绝对零度,电流在其中无阻力移动,直到电线被光子击中。在这些超导纳米线相机中,即使是单个光子传递的能量也可以被检测到,因为它会在网格上的特定位置(像素)关闭超导性。把所有光子的位置和强度结合起来,就形成了一幅图像。 第一台能够探测单光子的超导照相机是在20多年前研制出来的。从那以后,这些设备的像素都不超过几千像素——对大多数应用来说太有限了。 制造一个具有更高像素的超导相机是一个严峻的挑战,因为它几乎不可能将成千上万个冷冻像素中的每一个都连接到它自己的读出线上。这一挑战源于这样一个事实,即相机的每个超导组件都必须冷却到超低温才能正常工作,而将数百万像素中的每个像素单独连接到冷却系统几乎是不可能的。 NIST的研究人员Adam McCaughan和Bakhrom Oripov以及他们在NASA喷气推进实验室和the University of Colorado Boulder的合作者克服了这一障碍,他们将来自许多像素的信号组合到几根室温读出线上。 任何超导导线的一个普遍特性是,它允许电流自由流动,直到某个最大“临界”电流。为了利用这种行为,研究人员对传感器施加了略低于最大电流的电流。在这种情况下,即使一个光子击中一个像素,也会破坏超导性。电流不再能够无阻力地通过纳米线,而是分流到连接到每个像素的小电阻加热元件。分流的电流产生了一个可以快速检测到的电信号。 借鉴现有的技术,NIST的团队构建了相机,使超导纳米线的交叉阵列形成多行和多列,就像在井字游戏中一样。每个像素——以垂直和水平纳米线相交的点为中心的一个小区域——由它所在的行和列唯一地定义。 这种安排使研究小组能够一次测量来自整行或整列像素的信号,而不是记录每个像素的数据,从而大大减少了读出线的数量。为此,研究人员将一根超导读出线与像素行平行但不接触,另一根线与像素行平行但不接触。 只考虑与这些行平行的超导读出线。当光子击中一个像素时,分流到电阻加热元件的电流加热读出线的一小部分,形成一个微小的热点。热点,反过来,产生两个沿读出线方向相反的电压脉冲,由两端的探测器记录。脉冲到达末端探测器所需的时间差揭示了像素所在的列。另一根超导读出线与柱子平行,起到类似的作用。 探测器可以识别短至50万亿分之一秒的信号到达时间的差异。他们还可以计算出每秒多达10万个光子撞击电网。 一旦团队采用了新的读出架构,Oripov在增加像素数量方面取得了快速进展。在几周内,这个数字从2万像素跃升到40万像素。McCaughan说,读出技术可以很容易地扩展到更大的相机上,并且具有数千万或数亿像素的超导单光子相机很快就可以使用。 在接下来的一年里,研究小组计划提高原型相机的灵敏度,这样它就可以捕捉到几乎所有入射的光子。这将使相机能够处理诸如成像太阳系以外的微弱星系或行星等低光工作,在基于光子的量子计算机中测量光线,并为使用近红外光观察人体组织的生物医学研究做出贡献。
  • 《前沿 | 新型高分辨率3D显微成像》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:husisi
    • 发布时间:2022-03-23
    • 影像技术是现代医学和早期诊断的关键,可能改善患者的预后。而研究人员和从医工作者可以通过显微成像直接观察细胞,看见了曾经见不到的结构和过程。然而,当前技术存在一个“卡脖子”的限制,即高分辨率的显微成像仅限于在显微载玻片上的二维图像,而组织结构是立体的。数十年来,科学家们一直在寻找一种方法来突破局限,以获得细胞的3D显微成像。 图1 A. 新型高分辨率3D显微成像的超薄光学元件;B. 局部放大图 近日,加拿大女王大学电子和计算机工程系Majid Pahlevani助理教授,与哈佛大学合作,在目前最先进的显微镜基础上,共同开发了一种增强型显微镜技术,它在提高图像分辨率的同时,实现3D成像,研究成果发表在期刊《Nature Photonics》上。 微尺度成像的主要挑战之一是衍射极限问题(一般为200 nm,而对于生命科学来说,需要数十纳米的分辨率)——紧密聚焦的光束快速穿过介质(透镜),不可避免的散射阻碍了高分辨率成像。在该研究中,研究人员表明,以玻璃作为基底,由特定排列的纳米柱组成的超薄光学元件(如图1)可以突破“衍射极限”,从而解决分辨率问题。因此,该光学镜头结构可用于下一代显微成像设备。 “这种方法被称为双光源采集成像(Bijective Illumination Collection Imaging,以下简称BICI),与当下最先进的成像技术相比,它能够扩大高分辨成像面积12倍及以上。”能源电力电子技术和医疗保健应用领域的专家,女王大学能源和电力电子研究中心(ePOWER)Pahlevani博士说,“与传统成像技术的差别在于BICI利用纳米结构,使深入其中的光线根据特定光路照射目标,并且回收反射光线,基于此,光线沿着组织纵横的同时,并保持高分辨率。” 图2 新颖的双光源采集成像概念图 三维显微成像技术拓展了生物学和临床医学应用等领域,例如深入了解细胞间机制,为癌细胞检测以及在体内实时诊断提供了新思路。 新技术的另一个优点在于处理速度快。“一般的高强度计算技术成像速度慢,因此,不适用于活体成像,”Pahlevani博士解释道,“活体病人的器官不是静止的,它们会移动,使得成像出现伪影,这就对体内成像技术的速度有要求。”因为新技术通过提高光学性能来提高微观成像的分辨率,因此,它不需要额外的计算力。 此外,该《Nature Photonics》论文强调了癌症诊断是其主要应用之一:“在癌症等疾病的早期阶段,其病理变化过程往往非常微妙,极容易被忽视。在活体内,具有深度要求的高分辨率成像使癌症有可能被早期诊断和准确检测。”