《突破 | 苏州医工所在多聚焦图像融合领域取得进展》

  • 来源专题:光电情报网信息监测服务平台
  • 编译者: husisi
  • 发布时间:2023-11-23
  • 景深是光学系统中最近和最远的清晰成像平面之间的距离。景深越大,该光学系统可清晰成像的范围就越广。由于光学镜头的景深限制,难以获得全聚焦图像,即其中往往存在一部分模糊区域。解决这一问题的有效方法之一是多聚焦图像融合(MFIF)。MFIF旨在将对同一场景中的不同物体分别进行聚焦得到的多幅局部聚焦图像进行融合,得到所有物体都清晰的全聚焦图像。MFIF可以有效的扩展光学镜头的景深,使成像系统突破景深限制,以获得更高质量的图像。

    目前,在MFIF领域中,深度学习方法的效果明显优于传统算法。近年来,基于深度学习的MFIF算法发展迅速,但科学家往往致力于设计越来越复杂的网络结构、模块和损失函数来提升算法的融合性能。这意味着必须花费大量的时间来设计巧妙的网络结构,并完成足够多的对比实验。而这不利于算法性能的提升,导致当前的MFIF算法性能遇到了瓶颈。

    为此,中国科学院苏州生物医学工程技术研究所付威威团队重新考虑了图像融合任务,并将其建模为一种条件生成模型。该团队结合当前图像生成领域效果最好的扩散模型(Diffusion Models),提出了一种基于扩散模型的MFIF算法——FusionDiff(FusionDiff的图像融合原理如图1所示)。这是该扩散模型在多聚焦图像融合领域的首次应用,为该领域的研究提供了新思路。

    经过实验验证,FusionDiff在融合效果和小样本学习性能上均优于其他MFIF算法。FusionDiff在8种评价指标上与13种代表性的MFIF算法进行了对比,取得了最好的融合效果(表1、2)。同时,FusionDiff是一种小样本学习的MFIF算法,仅需要100对训练集就能够取得良好的融合效果。表3展示了不同MFIF算法的训练集规模,FusionDiff的训练集规模降低为其他算法的2%以内。这意味着该算法可能适用于样本稀缺的应用场景,如显微图像融合。

    相关研究成果以FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models为题,发表在《专家系统与应用》(Expert Systems with Applications)上。研究工作得到山东省自然科学基金和中国科学院青年创新促进会的支持。

    图1. FusionDiff算法的图像融合原理示意图

    表1. 在Lytro公开测试集上所有算法的平均得分

    表2. 在MFFW公开测试集上所有算法的平均得分

    表3. 不同MFIF算法的训练集规模

相关报告
  • 《突破 | 苏州医工所在团簇发光荧光微球的研究中取得进展》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:husisi
    • 发布时间:2024-09-13
    • 白光发光二极管(WLED)作为一种节能、长寿命的固态照明技术,因其具有节能、寿命长、可靠性高、环境友好等诸多优点而得到广泛应用。相较基于无机发光体的WLED而言,聚合物发光二极管(PLED)提供了溶液处理的简化制造方案。通常,制造白光聚合物发光二极管(WPLED)需将多种荧光团加入聚合物基质以制得白光,这种多荧光团方法要求精确控制不同单体的比例,以确保各种荧光团的发射强度达到适当的平衡,增加了生产的复杂度,而开发单荧光团白光聚合物能显著简化WPLED制造工艺。最近研究发现一些非共轭荧光材料(Materials Today,2020,32: 275-292),虽无π共轭结构,但在聚集状态下能发射可见光,称为团簇发光(CL)。这些基于CL的非传统发光聚合物(NPLs)具备多重发射特性,适用于白光发射。不过,相较于共轭荧光材料,大部分NPLs主要发射蓝光,只有少数能发射红光或白光。 为了实现长波长NPLs的制备,苏州医工所白鹏利团队通过交联和磺化反应制备了发白色和橙色光的聚苯乙烯微球,该材料具有覆盖整个可见光范围的宽发射光谱。利用这一发现,仅使用单一类型的磺化多孔聚(苯乙烯-二乙烯基苯)微球(SPDMs)便成功制造了性能优异的WPLEDs。同时,这些单分散的SPDMs在多个流式通道上展示出低荧光分布(CV < 5%),对流式校准材料领域的应用展现了巨大潜力。在另一实验中,通过将磺酸基团用钠磺酸盐转换,还获得了绿色荧光SPDMs,并使用三种(白色、绿色和橙色)SPDMs微球构建了Cu2+和pH响应的微阵列,用于加密和解码重要信息。这项工作为设计长波长NLPs提供了一种新颖、经济、有效的策略,并拓宽了NLPs在流式校准、防伪和LED制造中的应用。 图1.单分散团簇发光SPDMs的制备及应用示意图 图2.不同磺化度SPDMs微球的荧光性能 图3.单分散SPDMs-50-3微球的荧光显微镜与流式测试
  • 《突破 | 半导体所在氮化物位错演化机制及光电神经网络器件研究领域取得新进展》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:husisi
    • 发布时间:2024-07-24
    • III-族氮化物多采用蓝宝石衬底异质外延生长,由于大的晶格失配和热失配,导致高密度穿透位错(108-1010),极大地影响氮化物发光器件、电子电力器件性能。中国科学院半导体研究所刘志强研究员团队长期聚焦氮化物生长界面研究并形成系列研究成果,明确了原子尺度氮化物/蓝宝石生长界面构型,阐明了原子尺度界面应力释放机制。近期,半导体所刘志强研究员团队与北京大学高鹏教授,福州大学吴朝兴教授、郭太良教授,韩国汉阳大学Tae Whan Kim教授团队合作,在氮化物位错演化机制及光电神经网络器件研究领域取得新进展。 当前对于穿透位错的有效抑制手段有限且低效。为了进一步揭示氮化物生长界面的原子尺度位错演化过程,有效降低穿透性刃位错密度,半导体所刘志强研究员团队与北京大学高鹏教授团队开展合作,对GaN /Al2O3界面进行了平面高分辨透射电子显微镜(HRTEM)分析,同时观察到了摩尔图案(Moiré patterns)变形和失配位错的终止;并对摩尔图案变形区域进行原子级表征,基于原子结构以及伯格斯矢量分析,确定导致摩尔图案变形的缺陷类型为穿透刃位错,从而证明外延层中的穿透刃位错起源于界面处失配位错的融合反应(图1-2)。 基于此氮化物穿透位错演化机制的新理解,研究人员构建了滑移界面,降低了滑移势垒,引入了新的应力释放途径,从而揭示了氮化物生长界面位错原子级演化过程,提出了从源头上抑制位错生成的外延新思路,最终实现GaN外延层穿透刃位错密度降低近一个数量级。 基于高质量外延材料的氮化物光电器件是实现类脑神经网络的技术路线之一。半导体所刘志强研究员团队与福州大学吴朝兴教授,郭太良教授、韩国汉阳大学Tae Whan Kim教授团队合作,构建了基于高质量nano-LED的人工感知神经网络,模拟了人类神经系统中的多通路信号传递过程。 人脑神经元的应答是即时、高度并行、复杂输出的,构建仿生神经形态电子系统是类脑计算领域的重要研究课题。在交流脉冲驱动下,nano-LED生成具有记忆效应的电致光信号脉冲,利用光脉冲波形中的特征波峰对多个分布式传感器的电信号进行编码,并在人工感知神经网络中无串扰同步传输。构建的人工感知神经网络成功模拟了人脑的触觉感知,识别准确率达到98.88%。 图1 GaN/Al2O3界面STEM-HAADF刃位错直接观测图像及原子结构示意 图2 GaN/Al2O3界面穿透刃位错演化机制 图3 基于记忆电致发光的传入神经系统示意