2023年12月28日,美国华盛顿大学和美国斯坦福大学医学院的研究人员在Nature Biomedical Engineering杂志发表了一篇题为Auditing the inference processes of medical-image classifiers by leveraging generative AI and the expertise of physicians的论文。
大多数用于医学人工智能的机器学习模型的推论很难解释。本文报告了一个用于模型审核的通用框架,它将医学专家的见解与可解释人工智能的高度表达形式相结合。具体来说,利用皮肤科医生在临床任务中的专业知识,即根据皮肤镜和临床皮肤图像区分黑色素瘤和黑色素瘤 "相似物",并利用生成模型渲染 "反事实 "图像的能力,来理解五个医学图像分类器的 "推理 "过程。
通过改变图像属性,生成能引起分类器不同预测的类似图像,并要求医生识别图像中具有医学意义的特征,反事实图像揭示了分类器既依赖于人类皮肤科医生使用的特征(如病变色素沉着模式),也依赖于不受欢迎的特征(如背景皮肤纹理和色彩平衡)。该框架可应用于任何专业医学领域,使机器学习模型的强大推理过程在医学上易于理解。