《MDF-Net通过融合X射线和临床数据进行异常检测》

  • 来源专题:重大疾病防治
  • 编译者: 蒋君
  • 发布时间:2023-10-12
  • 本研究调查了在胸部X射线图像中包含患者的临床信息对深度学习(DL)分类器对疾病定位性能的影响。尽管目前的分类器仅使用胸部X射线图像就可以实现高性能,但与执业放射科医生的协商表明,临床数据信息丰富,对于解释医学图像和做出正确诊断至关重要。在这项工作中,我们提出了一种由两种融合方法组成的新架构,使模型能够同时处理患者的临床数据(结构化数据)和胸部X射线(图像数据)。由于这些数据模态位于不同的维度空间中,我们提出了一种空间排列策略,即空间化,以促进Mask R-CNN模型中的多模态学习过程。我们使用MIMIC Eye进行了广泛的实验评估,该数据集包括不同的模式:MIMIC-CXR(胸部X射线图像)、MIMIC IV-ED(患者临床数据)和REFLACX(胸部X光中疾病位置的注释)。结果表明,与单独使用胸部X射线的标准Mask R-CNN相比,将患者的临床数据与所提出的融合方法结合在DL模型中,可以将胸部X射线中的疾病定位平均精度提高12%。进一步的消融研究还强调了多模式DL结构的重要性,以及在疾病定位中结合患者的临床数据。
相关报告
  • 《同时发射检测》

    • 来源专题:集成电路
    • 编译者:Lightfeng
    • 发布时间:2020-10-24
    • 中国和日本的研究人员一直在探索多量子阱(MQW)III氮化物二极管阵列的同时发射检测能力。研究团队希望可以用这种多功能设备,开发用于物联网(IoT)部署的先进整体式III族氮化物信息系统。 III族氮化物二极管具有发射和检测光的能力。研究人员成功地组合了这些功能,同时执行了这些功能。 MQW二极管阵列是在蓝宝石材料上使用2英寸直径的III型氮化物制造的。使用感应耦合等离子体反应离子蚀刻将n-GaN接触层暴露到750nm的深度。通过蒸发技术将氧化铟锡透明导体材料施加到p-GaN接触层上,然后进行退火。剥离工艺用于沉积和构图用于n电极和p电极的铬/铂/金金属。 4x4阵列中的设备通过填充有二氧化硅绝缘层的沟槽,结合垫和金属线由钛/铂/金形成。各个MQW二极管的尺寸为1mmx1mm。 442nm波长的电致发光峰与光响应光谱的尾部有36nm的重叠。两个阵列元素之间的通信通过伪随机二进制序列(PRBS)调制达到了每秒2k位的速率。二进制脉冲调制的峰谷电压差为1.6V。检测到的信号约为1.5mV高。 研究人员实现了自动光亮度控制设置,其中405nm激光指示器可以发出编码的脉冲序列,该脉冲序列将被阵列检测到,然后由控制电路进行解释,以考虑环境光条件将光输出调整到所需的水平通过反馈。 该团队正在开发电路,以有效提取光电流,同时这些器件也同时作为LED工作。同时照明成像系统具有三种操作模式:照明、成像和同时照明成像。这意味着micro-LED屏幕可以同时显示图像。环境光条件的变化会在芯片内部产生光电流,从而允许反馈信号来控制操作。
  • 《通用电气医疗保健推出了新的人工智能套件,用于检测胸部x光异常》

    • 来源专题:生物安全网络监测与评估
    • 编译者:yanyf@mail.las.ac.cn
    • 发布时间:2020-06-28
    • GE医疗推出了胸科护理套件,这是Lunit INSIGHT CXR的8种人工智能(AI)算法的集合,以帮助缓解COVID-19的临床菌株。AI套件快速分析胸部x光检查结果,并向放射科医生提示异常情况,包括肺炎(可能提示COVID-19)以及结核病、肺结节和其他放射学检查结果。 通用电气医疗集团总裁兼首席执行官Kieran Murphy说:“推出胸腔护理套件是通用电气医疗集团更大努力的一部分,目的是帮助确保一线的临床医生和合作伙伴拥有快速诊断和有效治疗COVID-19患者所需的设备。”“这场大流行已经证明,数据、分析、人工智能和连接在提供医疗服务方面只会变得更加重要。”对于GE医疗,这意味着继续推进智能健康和提供创新技术。在最现代的疾病威胁中,x射线和人工智能如何维护最高标准的病人护理,这项新服务是最新的例子。” 迄今为止,全世界已确诊800多万例新冠肺炎[4]病例,占了放射学家、技术人员和医生的绝大多数。随着病毒的传播趋于稳定,临床医生继续需要工具来帮助管理病毒引起的新病例和并发症——包括肺炎和急性呼吸窘迫——这进一步增加了放射科医生快速阅读胸部x光检查的压力。 [5]每年大约进行14.4亿次胸部x光检查,放射科医生都应接不暇,特别是当他们可能要在每次检查中寻找多种适应症时。 胸科护理套件利用人工智能的力量,通过自动分析8种异常放射检查结果的图像来帮助缓解这些压力,其中包括疑似结核病和肺炎,这可能是COVID-19的指示。当在图像存档和通信系统(PACS)中阅读标记报告时,放射科医师可以快速找到8种可能异常中的每一种的异常评分、图像叠加和书面位置描述,以帮助加快诊断和治疗。 “临床医生正在寻找在临床上被证明行之有效的方法,来帮助识别和确定哪些患者早期症状并发症的风险较高,需要积极监控,“费格斯格里森教授解释说,顾问专家,牛津大学的放射学教授和2020年的欧洲社会的胸成像。“人工智能可以帮助识别这些区别,使医院资源针对那些在医院期间和出院后需要它们的人。” 胸科护理套件提供了急需的支持,以帮助快速识别高风险病例,并监测患者显示进展和回归的轻度呼吸症状。凭借97-99%的准确率(曲线下面积- AUC),人工智能套件背后的强大算法已经被训练成可以在几秒钟内检测出放射学结果。在一项研究中,结果显示每个[6]的阅读时间减少了34%。 除了检测肺炎,胸部护理套件还支持结核、肺不张、钙化、心脏肿大、纤维化、纵隔增宽、肺结节和胸腔积液的检测。 胸护理套房可以通用电气医疗集团的成千上万的全球固定,移动和富力地产x射线销售点的客户,这意味着技术可以更快地部署在市场和在医院没有年费的恐惧——一个重要的考虑如果第二波COVID-19发生。此外,该技术的安装不需要客户参与任何企业IT项目,这有助于降低采用人工智能的门槛。 ”我们的AI提供市场领先厂商如通用电气医疗集团,特别是作为胸保健套件的一部分,是一个重大进步交付解决方案通用电气医疗集团内各种客户的安装基础,让我们更近一步拥抱AI的今天的标准治疗,”布兰登Suh说Lunit的首席执行官。 为了提供这项技术,GE医疗保健公司与韩国医疗AI软件公司Lunit合作,该公司开发了通过胸部x光图像对肺部疾病进行人工智能分析的技术。Lunit成立于2013年,在包括ImageNet、TUPAC和Camelyon在内的国际比赛中以其先进的、最先进的技术和医疗成像应用而获得认可。 通用电气医疗保健公司和Lunit的合作,是将医用人工智能初创公司的商用人工智能产品带给现有x光设备制造商的首次合作。