《Nature | 通过模拟学习实现无需实验的外骨骼辅助》

  • 来源专题:战略生物资源
  • 编译者: 李康音
  • 发布时间:2024-06-13
  • 2024年6月12日,北卡罗来纳州立大学苏浩团队在 Nature 期刊发表了题为Experiment-free exoskeleton assistance via learning in simulation的研究论文。

    外骨骼能显著提升人类运动,恢复残疾人士的运动能力。不过,当前的控制器在匹配不同个体需求和任务涉及的复杂人体运动时仍面临挑战。它们通常需要开展大量的人体测试,依赖手工制作的规则,这限制了它们的广泛应用。之前的模拟研究并不包含控制器设计,也未考虑人类-机器人交互,这给从模拟到现实世界应用的过渡带来了挑战。

    该研究开发了一种利用人工智能(AI)和计算机模拟训练机器人外骨骼的新方法,这种便携式外骨骼中的嵌入式人工智能在计算机模拟中学习如何帮助人们行走、跑步或攀爬,而不需要进行任何实验。该研究或有助于推动外骨骼和义肢等装置的广泛应用。

    论文通讯作者苏浩副教授表示,外骨骼技术在改善人类运动能力方面具有巨大的潜力。然而,由于需要进行长时间的人体测试和手工制定控制算法,其发展和广泛应用受到了限制。而这项工作提出并展示了一种新的机器学习框架,该框架在模拟和现实之间架起了桥梁,以自主控制可穿戴机器人,从而改善人类的移动能力和健康状况。

  • 原文来源:https://www.nature.com/articles/s41586-024-07382-4
相关报告
  • 《突破 | 深度学习辅助的实时三维成像技术》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:胡思思
    • 发布时间:2024-10-16
    • 在动态场景中,尤其是在线检测、虚拟现实等领域,及时准确地对物体进行三维成像至关重要,而这对传统的条纹投影技术在精度和实时性上提出了挑战。为了减少投影图片数量并提高效率,基于PSP(phase-shifting profilometry)的方法利用冗余的信息,以较少的图案替代原始的多步相移图案,但仍无法避免相位解调中的运动误差。此外,基于FTP(Fourier transform profilometry)的方法利用频域复用等技术可以做到单帧成像,然而频谱混叠问题使其无法满足高精度的需求。近年来,基于深度学习的条纹投影方法在相位计算阶段与神经网络结合,提高了投影效率的同时使精度显著提升,但庞大的网络参数和复杂的结构设计使此类方法难以实现实时处理。因此,如何在不损失成像速度的前提下,降低相位解调的误差,使成像过程更鲁棒、成像精度更高是亟待解决的问题。 近期,四川大学张启灿教授课题组李乐阳等人在Advanced Imaging上发文“Real-time 3D imaging based on ROI fringe projection and a lightweight phase-estimation network ”,介绍了一种基于相位估计网络和ROI(region of interest)投影的实时三维成像技术,从条纹投影、相位解调、相位展开等各方面进行改进,显著提高了成像的速度和精度,为动态场景中深度学习辅助的三维成像提供了一种高效轻量的解决方案。 文章介绍了一种基于相位估计网络和ROI投影的实时三维成像技术。如图1所示,在条纹投影阶段,通过确定适当的投影分辨率,有效地增加了目标物体区域内的条纹周期数,从而提高相位精度;在相位解调阶段,研究团队设计了一个相位估计模块,为后续的轻量级网络提供可靠的初始相位;在相位展开阶段,从深度约束的角度对展开方法进行理论分析,使条纹频率的选择更加合理。该技术可以实现百万点分辨率下RMS误差小于0.031mm、速度超过100fps的三维成像,相较于现有的深度学习条纹分析方法,为动态场景测量提供了更加有效的轻量级解决方案。 图1 基于ROI投影和相位估计的实时三维成像流程图 论文的亮点主要集中在以下几个方面: 初始相位辅助的高精度实时相位解调 采用神经网络数据驱动的方式,用可学习空域卷积层替代频域中人为设计的抑制零频、滤出基频等操作,设计相位估计模块提供可靠的初始相位(图2),使轻量级神经网络在取得较快推理速度的同时不牺牲精度。相较于人为确定滤波窗大小、位置的方式,通过数据自适应确定的卷积层具有更高的灵活性。在损失函数设计上,考虑了预测相位与目标相位在空域和频谱上信息的相似性,从逐点误差和结构相似性误差两方面对网络参数进行优化。结合相位估计模块、轻量级网络和改进的损失函数有效地提高了相位预测的精度和速度。 图2 相位估计网络PE-Net的结构、损失函数以及训练过程 改进的双频外差方法与ROI投影策略 针对实际测量中投影仪视场、相机视场和物体尺寸不匹配的场景,文章从深度约束的角度对改进双频外差法进行了理论分析,确定条纹周期与条纹实际分辨率、投影仪分辨、最大测量深度范围以及投影仪相机光轴夹角之间的定量关系,为条纹周期数的选择提供了指导。根据系统参数以及理论分析选择实际投影条纹合适的ROI 和分辨率(图3),从而实现条纹周期宽度的减小和相位精度的提高。 图3 两种条纹投影策略。(a)正常条纹投影;(b)ROI条纹投影 兼具速度、精度与灵活性的实时三维成像 通过对三维成像不同阶段的优化,包括ROI条纹投影策略、PE-Net相位解调和MHPU相位展开,最终实现了对于每帧新拍摄得到的图片都能够实时高精度地重建一个三维结果。实验结果表明,在精度上,该方法在标准球的测试结果中RMS误差小于0.031mm(图4),优于其他三种基于深度学习的典型方法。在速度上,分辨率为1280×800像素下重建帧率可以超过100fps。 图4 标准球的三维重建结果及误差值。(a)Feng方法;(c)UNet方法;(e)NAS方法;(g)所提方法;(b), (d), (f), (h)为(a), (c), (e), (g)对应的深度误差 综上所述,该文章展示了一种深度学习辅助的实时三维成像技术,设计的相位估计模块为神经网络提供了可靠的初始相位,在损失函数上考虑了相位在空域和频域上的相似性,结合轻量级网络有效地提高了相位解调的精度和速度。从深度约束的角度对相位展开方法进行了理论分析,并确定条纹合适的投影分辨率,从而减小了条纹周期宽度,对应增加了测量感兴趣区域的条纹周期数并提高了相位的精度。实验结果证明,通过对成像过程中不同阶段的联合优化,所提方法具备了实时、高精度和高灵活性的特点,为深度学习辅助动态场景三维成像提供了高效的轻量级解决方案。
  • 《3D打印新生物材料有助于骨骼修复再生》

    • 来源专题:中国科学院文献情报制造与材料知识资源中心 | 领域情报网
    • 编译者:冯瑞华
    • 发布时间:2019-02-28
    • 骨组织工程(BTE)是材料科学和生物工程领域的一个新兴领域,研究人员致力于设计一种理想的仿生材料,优化当前的骨骼辅助修复手段。尽管目前还没有实验成果能从实验台上转移到临床领域,但在结合了各类尖端技术的研究中,已经出现不少令业内人士兴奋的新方法。从实验室的生物制造过程来看,细胞、蛋白质、生物成分和生物材料的相互作用,可以实现工业化规模的再生医学材料制造。 德累斯顿大学(TU Dresden)医学院转化骨、关节和软组织研究中心(Centre for Translational Bone,简称CBT)的研究人员在《生物制造》(Biofabrication)杂志上撰文指出,他们研发了一种磷酸钙接合剂配方,通过将活的生物细胞封装在3D打印BTE材料的生物墨水中,建立类似于基质的支架。研究人员最初提出的制造方案,主要方向是为细胞在糊状磷酸钙骨接合剂(CPC)中存活提供最佳条件,随后,他们又提出了一种用于骨发育和软骨发育的软骨组织移植模型。 制造仿生材料是高度复杂的工程,细胞和细胞外基质复杂的特性,使其天然难以使用现有技术再现。因此,组织工程的主要目标是,开发功能相似的结构和类似于组织或器官的生物/化学成分。由于生物矿化材料更适合设计骨骼模拟基质,格林斯基(Gelinsky)和他的同事们使用了一种多通道3D打印技术,将自定CPC与间充质干细胞生物墨水结合起来。这种含有人类细胞的生物墨水是用海藻酸酯甲基纤维素(alg/mc)混合制成的,由同组研究人员早前研发。 总的来说,新型生物材料包括可标绘CPC、载有细胞的生物墨水和纳米晶羟基磷灰石(HAp),在3D打印生物支架生物淋溶器中通过多通道挤压,制成高刚度、骨状矿物结构的支架以支持细胞生长。为了了解材料化学特性对骨拟态程度的影响,研究人员分别测试了alg/mc和CPC支架的单相成分,以及CPC-alg/mc细胞负载支架的两相结合产物。 因为藻酸盐生物墨水中含有细胞,尤其是可以无限增长的间充质干细胞,它被认为可以用于大规模的生物打印和添加制造技术。为了制作支架材料,CPC和生物墨水都以3D打印的方式绘制在一个类似于细线的装配体中,形成了一个大孔的网状结构,为嵌入的细胞补充氧气和营养。 就目前而言,研究员们用立体光学显微镜和扫描电镜观察到的大孔结构,还只是实验状态下的简化版本,只是为了确定支架在细胞生长和组织再生方面的潜力。接下来,他们还要研究更合适的孔隙结构,以支持辅助体内骨再生的生物植入物。 3D打印的双相支架经受住了通用测试系统的张力和压缩机械测试,其支持细胞的能力也被细胞活力测试证明达标。由于本研究首次将CPC与alg/mc生物墨水两相结合,因此工程过程必须进行优化,以防止生物制造过程中的微裂纹,同时还需延续长期细胞相容性以保护嵌入细胞。 在第一天支架放置时,CPC-bioink表面局部会出现细胞损伤,几天后,当细胞开始向CPC链迁移进行增殖时,损伤会得到补偿。这种迁移可能是由CPC的微粗糙度和表面刚度介导的,这对细胞的生长很有吸引力。由于最初的细胞毒性是由pH值下降引起的,所以作者建议,设计生物油墨时,需要考虑抵抗/缓冲生物制造过程中的pH值变化。 在概念性方案中,作者推荐使用单相CPC构建软骨下骨,用alg/mc构建软骨成分,在表面分离出一种模拟钙化软骨的交织网状带,从而制造出一种用于BTE的3D打印生物原位骨软骨支架。这种支架可以在临床手术中构建,通过控制细胞播种,促进表面组织再生,为今后BTE的转化研究工作提供参考。