《基于深度学习的纳米三维快速成像》

  • 来源专题:光电情报网信息监测服务平台
  • 编译者: husisi
  • 发布时间:2023-06-14
  • 纳米尺度上的三维(3D)成像是生物学、材料学领域一种重要的研究手段,比如病毒探测、纳米电子等。成像过程中,研究人员一般会把标本固定住,然后用离子束对其顶层进行精细刻蚀,最后用扫描电子显微镜或类似的高分辨率方法对目标成像,并重复这一过程,直到整个标本被消耗掉,因此这种方法是有损成像。然而,随着科技的发展,人们对成像技术的要求越来越高,非破损成像是非常有必要的,因此,一种称之为断层扫描的方法逐渐受到学术界的广泛青睐。

    图 RAPID框架示意图。(a)通过平移和旋转扫描收集衍射图案测量的投影层析实验。对原始衍射图进行预处理,生成近似作为预训练网络的输入,并获得体积分布作为最终输出。(b)网络训练过程。对投影层析成像获得的衍射图进行预处理,得到近似值作为网络输入,并采用两步常规方法生成高分辨率黄金标准(GS)作为训练深度神经网络的基础真值

    集成电路(IC)在制造过程中的验证、失效分析、产品检测等流程对成像有着较高的需求,而且由于摩尔定律的存在,3D IC成像的挑战随着时间的推移而增长。另外,研究IC的3D成像实用型比较强。

    对于纳米级的非破坏性3D IC成像而言,x射线是一种理想的探针,因为它的波长短,穿透深度较深。然而,与医学x射线断层成像不同的是,它一般根据投影的强度进行操作,在纳米尺度的情况下,通常首先通过平面成像寻找复杂的场,然后再进行断层摄影。这种组合方案也被称为x射线体表断层扫描(ptycho-tomography)。这样做有多个原因,比如,如果投影近似仍然适用,那么科研究人员可以并行进行两次断层分析重建。大多数材料的相位变化比它们各自的吸收变化大10倍。

    x射线体表断层扫描重建的顺序与实验步骤相同,都分为两步。首先,使用相位检索算法从远场衍射图中检索二维投影,然后,实现层析重建以从二维投影中恢复三维物体的实部或虚部。

    包括集成电路成像、微观生物成像和材料性质研究(断裂、渗透和水化)在内的应用都已经成功利用该技术实现。然而,平面成像和断层成像都需要大量的数据冗余,通常会导致较长的采集和处理时间。

    减少采集时间的一种方法是使用高精度扫描仪,它可以与高效扫描方案和高扫描速度兼容,提高工作效率。另一种方法是减少断层扫描中的数据冗余要求,但这样会导致随着数据的减少,传统的重建算法可能会使保真度降低。

    伴随着监督学习方法引起人们对新数据和未见数据的泛化能力的关注。研究人员提出了一种在样本子集上进行训练的新方案,其中可以使用一种可靠但比较缓慢的替代方法来获得目标数据,然后在样本的其余部分使用训练网络,由此大大加快了整个操作。研究人员称,该方法对集成电路或其他大型3D样品很有吸引力。

相关报告
  • 《前沿 | 上海光源纳米三维成像线站用户取得重要进展》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:胡思思
    • 发布时间:2024-12-04
    • 基于全场透射显微术的上海光源纳米三维成像线站BL18B具有三维结构成像分析上的独特优势,能够为纳米材料、能源、环境等众多领域提供最先进的纳米结构表征和研究手段。该线站主要实验方法包括透射X射线显微镜(TXM)、纳米CT和谱学成像等。近日,用户先后在二维纳米复合材料、全固态锂金属电池研究领域取得重要进展。 纳米CT技术助力二维纳米复合材料连续化制备及骨再生应用研究。石墨烯、碳化钛MXene等二维纳米材料具有优异的力学、电学、光热转换和生物相容性,在航空航天、柔性电子、生物医学等领域具有重要应用前景。如何将二维纳米材料连续化组装成宏观高性能纳米复合材料,是实现这些应用亟需解决的关键科学问题。北京航空航天大学化学学院程群峰教授课题组和北京大学口腔医学院邓旭亮教授课题组在二维纳米复合材料连续化制备及骨再生应用研究领域取得了最新进展。团队联合提出了卷对卷辅助刮涂结合有序界面交联的新策略,规模化制备了有序交联的MXene(S-SBM)薄膜。该薄膜的纳米CT重构结果表明,S-SBM薄膜相比未交联MXene(S-MXene)薄膜具有更小的孔隙率,联合广角X射线散射结果,证实有序交联过程可以抑制MXene纳米片在干燥过程中的毛细收缩,从而规整密实组装MXene纳米片。此外,循环拉伸前后MXene薄膜的纳米CT重构(图h)结果首次证实了有序界面交联作用可以大幅抑制二维纳米复合材料内的裂纹扩展。这项研究解决了高性能二维纳米复合材料连续化制备的长期挑战,为其他二维纳米材料的高性能规模化组装及应用研究提供了新思路。 谱学成像技术助力基于PEO固态电解质的高能量全固态锂金属电池研究。全固态锂金属电池(ASSLBs)使用聚合物作为电解质,被广泛认为是实现高能量密度和提高安全性的最具有前景的系统。哈工大王家钧课题组在实验中通过引入具有强电子吸引能力的Mg2+和Al3+,与醚氧(EO)键有效配位,从而降低其对高价镍的溶剂化能力,减弱PEO基聚合物电解质与正极材料之间的界面相互作用。PEO-Mg-Al-LiTFSI电解质展现出优异的氧化稳定性,抗氧化能力超过5.0 V,同时在室温下实现了0.23 mS cm-1的离子电导率。实验结果表明,这种改性的固态电解质组装的全固态锂金属可稳定循环300次,表现出良好的循环稳定性和较低的界面阻抗。PEO-Mg-Al-LiTFSI组装的固态锂金属电池可稳定循环300次。PEO-Mg-Al-LiTFSI固态电解质所组装的软包电池展现出高达586 Wh/kg-1的能量密度,且在50次循环后容量保持率为80.8%。研究团队对固态电池正极颗粒的Ni元素进行了价态变化的同步辐射谱学成像方法表征。研究了不同电压范围内固态和液态电池沿各个方向发生的氧化还原反应以及电解质与富镍阴极之间的相互作用,揭示了高电压固态电池界面失效机制。通过优化Lewis酸与醚氧(EO)之间的配位,可提高聚合物固态电解质的离子电导率与电池内部的界面稳定性,探索其他类型的配位离子或功能化聚合物,也可以进一步提升聚合物固态电解质在极端条件下的电化学性能。这项研究为设计先进聚合物固态电解质开启了新的思路。 图a,b右图为根据纳米CT结果得到的S-MXene(a)和S-SBM(b)薄膜的三维重构结果。图h为循环拉伸前后MXene薄膜的纳米CT重构结果,首次证实了有序界面交联作用可以大幅抑制二维纳米复合材料内的裂纹扩展 图 a和b中的二维化学态相图展示了PEO-LiTFSI和PEO-Mg- Al-LiTFSI 中的 Ni83 粒子(放电态)在循环后吸收边能量的偏移。表明了Lewis酸配位效应提高了界面稳定性,促进了界面 Li+ 的传输和 SOC(State of Charge)的均匀性
  • 《突破 | 深度学习辅助的实时三维成像技术》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:胡思思
    • 发布时间:2024-10-16
    • 在动态场景中,尤其是在线检测、虚拟现实等领域,及时准确地对物体进行三维成像至关重要,而这对传统的条纹投影技术在精度和实时性上提出了挑战。为了减少投影图片数量并提高效率,基于PSP(phase-shifting profilometry)的方法利用冗余的信息,以较少的图案替代原始的多步相移图案,但仍无法避免相位解调中的运动误差。此外,基于FTP(Fourier transform profilometry)的方法利用频域复用等技术可以做到单帧成像,然而频谱混叠问题使其无法满足高精度的需求。近年来,基于深度学习的条纹投影方法在相位计算阶段与神经网络结合,提高了投影效率的同时使精度显著提升,但庞大的网络参数和复杂的结构设计使此类方法难以实现实时处理。因此,如何在不损失成像速度的前提下,降低相位解调的误差,使成像过程更鲁棒、成像精度更高是亟待解决的问题。 近期,四川大学张启灿教授课题组李乐阳等人在Advanced Imaging上发文“Real-time 3D imaging based on ROI fringe projection and a lightweight phase-estimation network ”,介绍了一种基于相位估计网络和ROI(region of interest)投影的实时三维成像技术,从条纹投影、相位解调、相位展开等各方面进行改进,显著提高了成像的速度和精度,为动态场景中深度学习辅助的三维成像提供了一种高效轻量的解决方案。 文章介绍了一种基于相位估计网络和ROI投影的实时三维成像技术。如图1所示,在条纹投影阶段,通过确定适当的投影分辨率,有效地增加了目标物体区域内的条纹周期数,从而提高相位精度;在相位解调阶段,研究团队设计了一个相位估计模块,为后续的轻量级网络提供可靠的初始相位;在相位展开阶段,从深度约束的角度对展开方法进行理论分析,使条纹频率的选择更加合理。该技术可以实现百万点分辨率下RMS误差小于0.031mm、速度超过100fps的三维成像,相较于现有的深度学习条纹分析方法,为动态场景测量提供了更加有效的轻量级解决方案。 图1 基于ROI投影和相位估计的实时三维成像流程图 论文的亮点主要集中在以下几个方面: 初始相位辅助的高精度实时相位解调 采用神经网络数据驱动的方式,用可学习空域卷积层替代频域中人为设计的抑制零频、滤出基频等操作,设计相位估计模块提供可靠的初始相位(图2),使轻量级神经网络在取得较快推理速度的同时不牺牲精度。相较于人为确定滤波窗大小、位置的方式,通过数据自适应确定的卷积层具有更高的灵活性。在损失函数设计上,考虑了预测相位与目标相位在空域和频谱上信息的相似性,从逐点误差和结构相似性误差两方面对网络参数进行优化。结合相位估计模块、轻量级网络和改进的损失函数有效地提高了相位预测的精度和速度。 图2 相位估计网络PE-Net的结构、损失函数以及训练过程 改进的双频外差方法与ROI投影策略 针对实际测量中投影仪视场、相机视场和物体尺寸不匹配的场景,文章从深度约束的角度对改进双频外差法进行了理论分析,确定条纹周期与条纹实际分辨率、投影仪分辨、最大测量深度范围以及投影仪相机光轴夹角之间的定量关系,为条纹周期数的选择提供了指导。根据系统参数以及理论分析选择实际投影条纹合适的ROI 和分辨率(图3),从而实现条纹周期宽度的减小和相位精度的提高。 图3 两种条纹投影策略。(a)正常条纹投影;(b)ROI条纹投影 兼具速度、精度与灵活性的实时三维成像 通过对三维成像不同阶段的优化,包括ROI条纹投影策略、PE-Net相位解调和MHPU相位展开,最终实现了对于每帧新拍摄得到的图片都能够实时高精度地重建一个三维结果。实验结果表明,在精度上,该方法在标准球的测试结果中RMS误差小于0.031mm(图4),优于其他三种基于深度学习的典型方法。在速度上,分辨率为1280×800像素下重建帧率可以超过100fps。 图4 标准球的三维重建结果及误差值。(a)Feng方法;(c)UNet方法;(e)NAS方法;(g)所提方法;(b), (d), (f), (h)为(a), (c), (e), (g)对应的深度误差 综上所述,该文章展示了一种深度学习辅助的实时三维成像技术,设计的相位估计模块为神经网络提供了可靠的初始相位,在损失函数上考虑了相位在空域和频域上的相似性,结合轻量级网络有效地提高了相位解调的精度和速度。从深度约束的角度对相位展开方法进行了理论分析,并确定条纹合适的投影分辨率,从而减小了条纹周期宽度,对应增加了测量感兴趣区域的条纹周期数并提高了相位的精度。实验结果证明,通过对成像过程中不同阶段的联合优化,所提方法具备了实时、高精度和高灵活性的特点,为深度学习辅助动态场景三维成像提供了高效的轻量级解决方案。