登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《Nature | 基于真实世界数据的数字病理学的全幻灯片基础模型》

  • 编译者： 李康音
  • 发布时间：2024-05-26

  • 2024年5月22日，华盛顿大学等机构的研究人员在 Nature 期刊发表了题为A whole-slide foundation model for digital pathology from real-world data的文章。

    数字病理学提出了独特的计算挑战，因为一个标准的十亿像素的幻灯片可能包含成千上万的图像块。先前的模型通常会对每张幻灯片的一小部分贴图进行子采样，从而错过了重要的幻灯片级别上下文。

    该研究展示了provi - gigapath，这是一个全玻片病理基础模型，在来自普罗维顿斯(Providence)的171189张全玻片中的13亿个256 × 256病理图像块上进行了预训练。普罗维顿斯是一个由28个癌症中心组成的大型美国健康网络。这些载玻片来自3万多名患者，涵盖31种主要组织类型。为了预训练prof -GigaPath，研究人员提出了一种新的视觉转换器架构GigaPath，用于预训练十亿像素的病理切片。为了将GigaPath扩展到具有数万个图像块的幻灯片级学习，GigaPath将新开发的LongNet方法应用于数字病理学。为了评估provi - gigapath，研究人员构建了一个数字病理基准，包括9个癌症亚型任务和17个病理任务，使用普罗维顿和TCGA数据。通过大规模预训练和超大上下文建模，provi - gigapath在26个任务中的25个任务上达到了最先进的性能，在18个任务上比第二好的方法有了显著的改进。通过结合病理报告，研究人员进一步证明了prof - gigapath在病理学视觉语言预训练方面的潜力。

    总之，prof - gigapath是一种开重基础模型，可在各种数字病理任务中实现最先进的性能，证明了真实世界数据和全切片建模的重要性。

65浏览量
原文链接
相关报告

  • 《Nature | 病理学图像分析多模态AI助手》
    • 编译者：李康音
    • 发布时间：2024-06-14
    • 2024年6月12日，哈佛医学院Faisal Mahmood通讯在Nature发表题为A Multimodal Generative AI Copilot for Human Pathology的文章，开发了PathChat，这是一款开创性的用于人类病理学的多模态生成AI Copilot。PathChat将最先进的病理学视觉编码器与大型语言模型（LLM）相结合，该编码器在超过1亿个组织学图像块上进行了预训练。这种融合使PathChat能够理解和响应涉及视觉和自然语言输入的复杂病理学相关查询。 研究人员广泛评估了PathChat在多个方面的能力。首先，他们评估了它在不同器官部位和疾病模型的多项选择诊断问题上的表现。PathChat实现了卓越的准确性，优于最先进的开源和商业解决方案，包括ChatGPT-4（由GPT4V支持）。值得注意的是，当提供额外的临床背景时，PathChat的准确性进一步提高，突出了其有效利用多模式信息的能力。 此外，研究人员策划了一个高质量的、专家策划的开放式病理学问答基准，以评估PathChat在对各种查询生成连贯、临床相关响应方面的表现。与包括GPT4V在内的其他模型相比，PathChat的反应在相关性、正确性和简洁推理方面是最优级别。病理学家的客观评估显示，PathChat在达成共识的开放式问题上获得了令人印象深刻的78.7%的准确率，比亚军GPT4V提高了26.4%。值得注意的是，PathChat在需要组织学图像检查的类别中表现出色，显著优于GPT4V。 研究人员进一步展示了PathChat在病理学教育、研究和人在环临床决策中的潜在应用。PathChat可以分析和描述组织学图像中的形态学细节，回答需要病理学和生物医学背景知识的问题，并在诊断指南的背景下解释研究结果。此外，其交互式多回合对话功能使PathChat能够作为鉴别诊断的顾问，在那里，可以通过额外的临床背景和测试结果来完善初始人工智能辅助评估。 研究人员承认需要进一步改进，例如减少幻觉，并与不断发展的医学术语和指南保持一致，同时强调PathChat作为病理学的交互式多模式人工智能副驾驶的巨大潜力。通过使获得专家级指导的途径大众化，并缩小医疗保健提供方面的地区差异，PathChat为病理学教育、研究和临床决策的变革性应用铺平了道路。
    77浏览量
    原文链接

  • 《中国国内医学相关的类GPT语言模型》
    • 来源专题：数智化图书情报
    • 编译者：闫亚飞
    • 发布时间：2023-12-01
    • 1、华佗GPT 华佗GPT 有免费体验网站，可直接访问对话，无需注册登录账户。目前处于测试阶段，还在不断完善优化中，由香港中文大学(深圳)和深圳市大数据研究院联合开发。 是一个基于大量中文医疗语料训练的大语言模型(LLM)，目的是让语言模型具有医生的专业知识和患者的友好态度，为医疗咨询场景提供便捷有效的服务。目前处于测试阶段，生成结果正确性目前没有额外机制保证，结果仅供参考，请遵医嘱。界面中有上传图片和语音按钮，但这两个功能实际效果如何还待验证。 2、左医GPT 左医医疗大语言模型 不免费，但可申请短期体验。该对话页面需要用API key，底部有API key申请平台入口，在平台通过客服或联系电话或企业微信号等多种方式申请可获得key，申请就直接给，会给一个有试用期的API密钥，在左医GPT对话页面输入即可体验。目前主要对医院等医疗相关单位机构合作使用。我上次申请体验的是有2天试用期，不知现在能试用多久。 补充：百度搜索“左医GPT”，有介绍，平台申请直接获得key，因为医疗比较严肃，所以加一道，保证使用安全。——来自本文评论区 张超(左手医生创始人 CEO) 左医GPT不是基于GPT-3的，而是基于Transforme架构的自研模型。听译机器人的底层技术用的是左医GPT，和openAI没有任何关系。可通过语音识别和自然语言理解技术，实时记录医患对话，并自动生成电子病历。还可通过语言模型和知识图谱技术，为医生提供智能辅助功能，如用药指导、诊断建议、随访管理等。左医GPT是左手医生公司的核心产品之一，目前已经部署在全国近百家头部医院，提供智慧服务。 官网产品介绍地址(可申请API key) 左手医生开放平台-助力智慧医疗服务建设 3、岐黄问道GPT 大经中医岐黄问道大模型 (dajingtcm.com) 中医大模型，大经中医出品。目前对医疗机构开放申请内测。三个子模型：基于已确诊疾病的临床诊疗大模型，仅基于症状体征的临床诊疗大模型，中医养生调理大模型。 落地应用：在“学习强国”App中的中医智能健康助手就是基于此模型，只需要选择一些不舒服的表现，就能推荐中医调理方案。广东省中医院、上海中医药大学附属龙华医院等医疗机构单位；南京市江宁区、淄博市高青县等区域中医医联体，上海长宁区“为老服务中心”，下沉到山东吉林等地村卫生室这种基层医疗机构。 训练呢数据集：1100万条中医知识图谱数据；1500本中医古籍和文献数据；10万份真实中医专家医案数据；10万条脉象、舌象、经络、穴位数据；200万条真实的中医临床诊疗数据。 大经中医官网：大经中医 (dajingtcm.com) 4、本草(别名华驼,另有Med-ChatGLM) 中医大模型，免费开源，但目前无法直接使用，需下载在高性能计算机上进行复杂本地部署，也没有线上网站可体验。 哈尔滨工业大学开发的一款基于中医药知识图谱的人工智能系统，可提供中医药相关的问答、推理、分析等服务，赋能中医药行业的各个场景。 项目介绍地址(需翻墙才能访问) 本草(华驼) https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese Med-ChatGLM https://github.com/SCIR-HI/Med-ChatGLM 5、医联MedGPT 公司官网 成都医云科技有限公司 (medlinker.com) 个人无法直接使用，目前与各大医院及机构合作面向患者使用。是国内首个进行线下医院实际问诊等流程场景使用测评的大模型。已进入内部测试阶段，2023年5月正式发布。已拥有近3000种疾病的首诊能力，覆盖80%以上的成年人疾病和90%以上的0-12岁儿科疾病。突破AI医生无法与真实患者连续自由对话的难点，并在医疗问诊场景中支持多模态的输入和输出，在疾病的预防、诊断、治疗、康复四个重要环节全面实现智能化。MedGPT模型相关介绍文章如下： 文章一：医疗版ChatGPT直播评测！治疗方案与真人医生96%一致 文章二：鏖战一天，与三甲主治医师医学一致性达到96% 医联 MedGPT 通过首次公开大考！ 在微信公众号“医联Medlinker”中有个“医联MedGPT 媒体沟通会”的发布会视频，里面详细讲解了模型具体情况。 6、砭石 中医大模型，不免费，可简单体验。智慧眼开发的医疗领域大模型砭石，是一款支持多模态（文本、图像、视频和音频）输入的人工智能医生，可以提供智能问诊、辅助诊断、智能用药等服务，赋能医疗健康行业的各个场景。 体验方法：扫描智慧眼官网上的二维码，体验互联网医院的服务，包括智能导诊、在线问诊、处方流转、药物配送等。扫描后进入小程序进行微信登陆，添加就诊人并实名认证，后自动跳转到“急速问诊”页面，该问诊就是基于砭石模型问答。下次再次使用时在小程序首页上的“问诊购药”或“复诊续方”功能按钮进入问答界面。("砭"读bian一声) 产品介绍官网(页面下滑找到微信小程序二维码) 智慧眼-人工智能/医疗健康-AI计算驱动生命健康 7、京东JDH 京医千询 基于京东自己的言犀大模型打造，投喂了京东互联网医院积累了上亿级的医疗问诊数据。远程医疗两个场景：一是药师的问答；二是医患问答。目前与互联网医院及医疗机构合作面向患者使用，个人目前无法直接使用。没有找到官网相关链接及信息，欢迎评论补充。感兴趣的可通过京东云网站客服等渠道咨询就行。 京医千询_百度百科 (baidu.com) 8、腾讯健康医疗大模型，面向B端医院企业商业，不对个人开放，官网：腾讯健康 9、百度灵医智惠，面向B端医院企业商业，不对个人开放，官网：灵医智惠 10、华为云盘古医疗，网址：盘古大模型_panguLM_大模型_华为云，药物分子大模型，医疗大模型。 11、清华药物研发助手ChatDD，详情介绍网址：水木分子发布ChatDD 新一代对话式药物研发助手，引领药物研发第四范式 将于2023年10月中旬邀请测试基础版本。清华系初创团队水木分子宣布发布新一代对话式药物研发助手ChatDD(Drug Design)，覆盖药物立项、临床前研究、临床试验的各阶段，作为制药专家的得力AI助手，提升药物研发效率。千亿参数多模态生物医药对话大模型ChatDD-FM 100B。“制药版 ChatGPT”。兼具多模态和对话双重特点，能给医药界学生“解个惑”。主要给国内医药行业“打辅助”，侧重中文对话能力，融入了更多专家的对话模式和经验。 12、清华BioMedGPT，项目开源地址：https://github.com/taokz/BiomedGPT 生物医药版ChatGPT。清华大学聂再清教授带领团队着手构建的多模态生物医药领域基础模型，旨在将生物世界分子、文本与知识进行统一表示学习以达到在各项下游任务上能力的整体提升。通过打造的干湿闭环和专家在环的双闭环体系，使得BioMedGPT能够从真实世界学习、向人类专家学习有望成为生物医药研发基础大模型，支撑诸如高通量虚拟筛选、分子生成与优化、个性化药物重定位、生物医药知识检索等多项应用。主要用于科研领域，更擅长英文生物医药科研任务，适合直接拿来作为生物医药领域的相关科研任务的基础模型。
    1773浏览量
    原文链接