《苏州医工所戴亚康团队在多模态影像配准研究中取得进展》

  • 来源专题:生物安全知识资源中心—领域情报网
  • 编译者: hujm
  • 发布时间:2023-09-19
  • 多模态医学影像分析是肿瘤诊断、放疗规划和影像引导的介入治疗等诊疗过程的关键技术,其中多模态影像配准是其重要环节,实现更加精准快速的多模态影像配准具有重要的临床意义。

      多模态影像配准难点在于不同模态影像的灰度、纹理差异较大,组织结构的特征表征学习较为困难;部分脏器(如肝脏)受呼吸运动影响,组织存在非线性大形变。经典的基于迭代优化计算的多模态影像配准方法主要利用最大化相似性测度来寻找影像的最优空间变换参数,但存在迭代优化计算量大、配准时间长、易陷入局部极值的缺点。基于弱监督深度学习的多模态影像配准方法需要标签数据驱动,存在标签数据获取耗时耗力,标签噪声易影响配准结果的缺点。以上因素制约了多模态影像配准精度进一步提升。

      为此,苏州医工所戴亚康研究员团队联合温州医科大学附属第五医院和苏州大学附属第二医院提出了多尺度空间权重联合双相似性测度的无监督学习多模态影像配准方法并应用于肝脏CT-MRI影像配准。该方法通过结合深度学习网络的多尺度形变框架,实现从粗到细的逐步配准,提升大形变配准精度;然后使用双通道输入的空间权重模块,提升网络对多模态影像中大形变区域的特征表达能力;再使用双重损失函数,在约束整体配准的同时配准脏器内部结构细节,进一步提高多模态影像配准精度。

      临床影像数据的实验结果表明,所提出的配准方法在DSC、Hd95、TRE、SSIM等多项指标上超越了多个经典配准方法。该研究工作的价值在于为更加精准快速的多模态影像配准提供了新方法,有望应用于多模态大形变影像融合建模和介入手术计划导航系统等。

      该研究成果以“Unsupervised registration for liver CT-MR images based on the multiscale integrated spatial-weight module and dual similarity guidance”为题发表于Computerized Medical Imaging and Graphics。其中,论文第一作者为苏州医工所周志勇研究员和硕士研究生王帅坤,通讯作者为苏州医工所戴亚康研究员和温州医科大学附属第五医院纪建松主任医师。

      该项工作获得了国家重点研发计划项目(2018YFA0703101),国家自然科学基金(62271480, 61971413)等项目的资助与支持。

      论文链接:https://www.sciencedirect.com/science/article/abs/pii/S0895611123000782

  • 原文来源:http://www.sibet.cas.cn/kxyj2020/kyjz_169572/202307/t20230712_6808682.html
相关报告
  • 《苏州医工所杨晓冬课题组在放疗影像配准模型研究中取得进展》

    • 来源专题:生物安全知识资源中心—领域情报网
    • 编译者:hujm
    • 发布时间:2022-11-21
    •   放射治疗是利用射线对肿瘤细胞进行定点清除的技术,是癌症治疗的重要技术手段。为了实现最大化照射肿瘤病灶同时保护周围组织和器官,基于多模态影像(计算机断层成像(CT),磁共振(MRI),超声(US)以及锥形束CT(CBCT))等引导的放疗技术受到了极大关注。其中,锥形束CT(CBCT)图像具有骨组织对比度高,空间分辨率高等优势,相比于其他影像引导技术,CBCT图像引导放疗是目前使用最广的图像引导技术。放疗医师通过将定位CT图像与治疗实施阶段扫描的CBCT图像进行刚性或弹性配准,进行分次治疗间的摆位及剂量验证,使得肿瘤的精准放疗成为可能。   然而,由于CT和CBCT图像之间的灰度差异、结构信息不一致、CBCT图像质量差等因素的干扰,快速准确的CT-to-CBCT图像配准算法研究仍然具有很大的挑战性(如图一所示,在CBCT和CT相同解剖位置处,CBCT图像中存在较为严重的伪影)。传统配准算法普遍采用迭代式的优化算法,运行时间较长,实时性差。目前,相关研究工作前沿主要集中于利用深度学习理论研究快速、准确的配准方法。但是,这些工作面对CBCT和CT图像域之间的分布差异、以及CBCT中的噪声伪影干扰,并没有进行深入研究。 针对此问题,苏州医工所杨晓冬课题组提出了一种基于边界梯度引导和跨域特征融合的配准算法。该算法整体结构如图2所示,包含两个重要模块:边界引导注意力模块(EGAM)和跨域注意力模块(CDAM),共同组成了跨域融合的配准网络。该网络分别利用两个相同结构的卷积流,以非耦合的方式分别提取CT和CBCT两个图像域中特有的图像特征。此外,边界引导注意力模块充分挖掘梯度图像的边界信息,引导配准网络建模CT和CBCT中相关解剖结构之间的对应关系,并抑制CBCT中的噪声伪影;跨域注意力模块利用全局和局部信息引导来自两个图像域的特征映射至一个公共空间,以缓解图像域之间的分布差异。   该算法在真实的临床CT-CBCT数据集上进行实验,与其他先进的配准方法相比取得了最优性能。与传统的配准方法相比,该方法在TRE、DSC、以及MHD指标上均获得显著提升。其中,TRE误差从4.00mm降低至2.27mm,DSC指标从74.02%提升到了80.01%,MHD距离也从1.62mm降低至1.50mm。在同样的硬件条件下,该方法在运行速度上有近10倍的提升。此外,该算法还在公开肺部4D-CT数据集(Dir-Lab)上取得了具有竞争力的配准性能,展现了该方法在单模图像配准中的潜力。未来,团队将会针对图像引导放疗中多模态影像配准的痛点问题,进行更加深入的研究,助力临床放疗精度和疗效的提升。  该研究成果“CDFRegNet: A Cross-domain Fusion Registration Network for CT-to-CBCT Image Registration.” 已发表在Computer Methods and Programs in Biomedicine杂志上。论文第一作者为研究生曹玉柱,苏州医工所郑健研究员与常州二院倪昕晔教授为通讯作者。该项工作受到山东省自然科学基金(ZR2021MH213)、苏州市科学技术局(SS202087, SJC2021023)、江苏省卫健委(M2020006)、常州市医学物理重点实验室(CM20193005)等项目的经费支持。   论文链接:https://www.sciencedirect.com/science/article/abs/pii/S0169260722004072
  • 《苏州医工所医学影像室在肝癌微创消融手术计划导航系统研究中取得进展》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:husisi
    • 发布时间:2017-12-14
    • 肝癌是临床中常见的恶性肿瘤之一,可发生于任何年龄段的人群。我国是肝癌高发国家,每年新发肝癌病人约39.5万人,死亡38.3万人,并以5%的速度增长,占全球发病人数的50%以上,严重威胁着我国人民的健康和生命。 目前,消融治疗已成为除外科切除和肝移植之外,治疗肝癌的又一可靠性治疗手段,主要方法包括物理消融和化学消融。物理消融是一种定位能量外科技术,常用的方法有射频消融、微波消融和冷冻消融。以射频消融为例,电极针在影像引导下直接穿刺到肿瘤靶区进行治疗,常用的治疗温度为90~110℃,热能导致肿瘤细胞凝固性坏死。化学消融主要以无水乙醇消融为主,通过无水乙醇直接作用于肝癌细胞使其发生凝固性坏死。作为一种非手术治疗方式,消融治疗对肝癌,尤其是小肝癌具有较好的疗效,且可作为大肝癌治疗的一种补充手段,具有费用低、风险小、重复性和患者依从性好等优点。 在进行肝癌局部消融治疗时,为充分保证治疗的有效性和安全性,肝癌局部消融治疗的多个环节都需要影像技术的支持。术前,需要在影像引导下进行手术规划,选择合适的穿刺路径,避免损伤周围重要的器官及结构并确保消融区完全覆盖整个肿瘤。术中,需要影像引导消融针按照规划路径植入肿瘤内部。术后,需要根据影像来评价疗效。目前常用的影像学引导手段包括超声、CT和MRI。CT定位精准、无死角、无盲区,是目前的主要引导方法。MRI价格较贵,但其组织分辨率高,且无辐射、无盲区、精确度高,今后发展会具有热场成像和功能成像功能,是未来的发展趋势。超声价格低廉、仪器较小,但存在精度差、有死角和盲区等缺点。目前,超声多用于穿刺活检,或在经济条件差的地区引导消融术。在实际临床应用中,单一模态的图像往往不能提供医生所需要的足够信息。因此通常需要使用融合成像技术将两种模态的图像结合,经过数据的变换处理,完成空间坐标上的匹配,叠加后获取互补信息,从而帮助医生作出准确的诊断或制订出合适的治疗方案。 中国科学院苏州医工所医学影像室戴亚康团队的周志勇副研究员牵头与丽水市中心医院纪建松副院长合作开发了一套肝癌微创消融手术计划导航原型系统。该系统在消融治疗过程中,将不同时间点及不同的影像信息进行多模态融合,发挥多模态影像在整个消融治疗中的指导意义,着力解决医学影像引导下肝肿瘤热消融治疗的科学、客观、精准、便捷、个体化的治疗问题,建立符合临床治疗流程的消融平台。通过肝脏/肿瘤精准分割技术和多模态影像配准融合技术,实现在术前、术中和术后全过程中肝脏肿瘤“看得清”;基于多模态影像匹配和多种可视化技术,实现肝脏肿瘤消融“扎得准”;基于三维热场仿真技术和多时间序列图像联合分析技术,定量、客观地评估消融区域,实现肝脏肿瘤“消得全”。 目前,该原型系统在丽水市中心医院进行测试试用。后续将在其基础上继续开发热场规划、高级可视化等功能,并进一步突破影像引导下肝癌消融过程中的关键技术难点,做到真正服务于患者,为肝病治疗提供一种更为经济可靠的治疗手段。 相关专利: 纪建松,涂建飞,周志勇,徐民,赵中伟.肝癌局部消融方法及系统.受理号:201710258232.0 该研究工作得到了浙江省重点研发计划的资助。 图1为术前的消融针路径规划的示意图,图中红色区域为病灶位置,绿线表示消融针。为了选择距离短且安全的穿刺路径,需要综合考虑病灶的位置以及肝脏周围的组织和器官,例如胆管、胆囊和血管。因此,首先需要进行骨骼和血管造影分割,以及胆管和胆囊分割等步骤,通过可视化技术,辅助医生或者使用算法自动确定穿刺路径,包括体表穿刺入点,穿刺深度及角度等参数 图2为术中的快速定位示意图。利用MRI图像的高组织分辨率清晰地定位病灶,通过将CT和MRI图像配准,快速地在CT图像中定位到病灶位置