《国内首个“产业级”医疗AI大模型发布》

  • 来源专题:数智化图书情报
  • 编译者: 闫亚飞
  • 发布时间:2023-10-17
  • 9月19日,百度正式发布国内首个“产业级”医疗AI大模型——灵医大模型。发布会上,百度正式宣布面向大健康上下游产业开放灵医大模型测评、试用。

    灵医大模型主要面向医疗场景提供临床决策支持、眼底筛查、智慧病案、智能审方、慢病管理、医疗大数据服务等AI(人工智能)医疗解决方案,服务于医院、政府机关、患者及医药器械企业等。

    “老百姓往往排队几小时、就医两分钟,这是大家就医的一大痛点。”健康之路集团副总裁陈成春介绍说。基于AI的预问诊,患者在候诊的阶段,就可以收集病人的病情、症状、过往用药等相关信息,事先生成结构化的病历。不仅大大提升线上诊疗的效率,改善了就医秩序,也提高了患者的就医满意度。

    据了解,灵医大模型能够结合自由文本秒级生成结构化病历,根据医患对话分析生成主诉、现病史等内容。

    医疗行业大模型的应用具有很大的发展潜力,将为医疗健康行业带来变革性的推动。

    中国信通院云计算与大数据研究所副所长闵栋表示:一方面,医疗行业大模型有助于开创行业发展的新格局,多模态、多病种、全病程的智能诊疗大模型在医学的影像分析、病历书写、临床决策支持等场景具有丰富的应用潜力,将打造智能诊疗的新范式。另一方面医疗行业大模型有助于提升导诊、分诊、科普教育、健康监测等患者服务智能化水平,改善患者的就医体验,满足人民群众多层次、多样化和个性化的健康服务需求。

    未经过医疗领域训练的通用大模型想要在严肃的医疗领域去应用,会面临不小的挑战。百度大健康事业群AI产业部总经理刘军伟指出:一方面通过预训练模型掌握的是通识性共识,缺乏专业深度的医学知识,并不能成为行业专家;另一方面医疗行业本身需要比较高的安全要求,和生命息息相关,要避免医疗事故,需要在这个行业有足够的积累。

  • 原文来源:https://mp.weixin.qq.com/s/98bn1Es-tiAbUKuDterRcw
相关报告
  • 《医疗AI与GPT | 梳理全球医疗大模型》

    • 来源专题:数智化图书情报
    • 编译者:闫亚飞
    • 发布时间:2023-09-27
    • 一、国外医疗大模型 1、谷歌医疗大模型(Med-PaLM) 谷歌和DeepMind的科研人员在《自然》杂志上发表了一项研究,根据其研究结果,一组临床医生对谷歌和DeepMind团队的医疗大模型Med-PaLM回答的评分高达92.6%,与现实中人类临床医生的水平(92.9%)相当。 2、BioMedLM(PubMedGPT) 斯坦福基础模型研究中心(CRFM)和MosaicML联合开发了BioMedLM (PubMedGPT)模型,一种经训练可以解释生物医学语言的大型语言模型。CRFM使用MosaicML平台,根据PubMed的生物医学数据训练了2.7B 参数 GPT,在美国医疗执照考试 (USMLE)的医疗问答文本上取得了最先进的结果。在Pile数据集的 PubMed Abstracts 和 PubMed Central 部分上训练了 BioMedLM。该数据集包含约 50B 个标记,涵盖由美国国立卫生研究院策划的生物医学文献中的 1600 万篇摘要和 500 万篇全文文章。 3、GatorTron GatorTron是由佛罗里达大学开发的电子病历(EHR)大数据模型,从头开始开发了一个LLM(没有基于其他预训练模型),使用89亿个参数和来自电子健康记录的>900亿字的文本来改进5个临床自然语言处理任务,包括医疗问题回答和医疗关系提取。 虽然比Med-PaLM的模型小得多,但这是第一个由学术医疗机构开发的医学基础模型,而不是像谷歌、OpenAI或Meta这样的大型科技公司。 这个数据来源是从UF Health综合数据存储库(IDR)——UF Health系统的企业数据仓库中提取了来自247万名患者的总计2.9亿份临床笔记。这些笔记是在2011-2021年创建的,来自超过126个临床科室和约5千万次接触,涵盖了医疗环境,包括但不限于住院病人、门诊病人和急诊部门的访问。经过预处理和去识别,该语料库包括超过820亿个医疗词汇。 4、CLINICAL QA BIOGPT (JSL) John Snow Labs 长期以来一直是自然语言处理(NLP)工具和算法在医疗用例中的领先者。除了数据标记和提取之外,他们还拥有用于去标识化临床笔记和医疗数据的工具。JSL 最近宣布了一种基于 BioGPT(一个较旧、较小的医疗信息训练的大型语言模型)的LLM(BIOGPT (JSL) ),通过基于JSL数据和NLP工具的微调。该模型在患者去标识化、实体解析(如提取操作代码和医疗术语)以及临床摘要的准确性等领域可能表现更好,甚至可能优于ChatGPT。 https://nlp.johnsnowlabs.com/2023/04/12/biogpt_chat_jsl_en.html 5、ChatDoctor ChatDoctor:使用医学领域知识在大型语言模型LLaMA上进行微调的医疗大模型。 收集了 700 多种疾病及其对应的症状 + 所需医学检查 + 推荐的药物, 以此生成了 5k 次医患对话数据集。此外, 还从在线问答医疗咨询网站获得了 200k 条真实的医患对话数据集。 使用 205k 条医患对话数据集对 LLM 进行微调, 生成的模型在理解患者需求, 提供合理建议并在各种医疗相关领域提供帮助方面能力显著提高。 此外,为了提高模型的可信度,该项目还设计了一个基于Wikipedia和医疗领域数据库的知识大脑,它可以实时访问权威信息,并根据这些可靠信息回答患者的问,这对容错率较低的医疗领域至关重要。 实验表明,医生患者对话的微调模型在精度、召回率和F1方面超过ChatGPT。 https://www.yunxiangli.top/ChatDoctor/ 二、中文医疗大模型 1、DoctorGLM 基于 ChatGLM-6B的中文问诊模型 基于 ChatGLM-6B的中文问诊模型,通过中文医疗对话数据集进行微调,实现了包括lora、p-tuningv2等微调及部署。 Github地址:https://github.com/xionghonglin/DoctorGLM 2、BenTsao 开源了经过中文医学指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集,并在此基础上对LLaMA进行了指令微调,提高了LLaMA在医疗领域的问答效果。 地址:https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese 3、BianQue 一个经过指令与多轮问询对话联合微调的医疗对话大模型,基于ClueAI/ChatYuan-large-v2作为底座,使用中文医疗问答指令与多轮问询对话混合数据集进行微调。 地址:https://github.com/scutcyr/BianQue 4、HuatuoGPT 开源了经过中文医学指令精调/指令微调(Instruct-tuning)的一个GPT-like模型 地址:https://github.com/FreedomIntelligence/HuatuoGPT 5、Med-ChatGLM 基于中文医学知识的ChatGLM模型微调,微调数据与BenTsao相同。 地址:https://github.com/SCIR-HI/Med-ChatGLM 6、QiZhenGPT 该项目利用启真医学知识库构建的中文医学指令数据集,并基于此在LLaMA-7B模型上进行指令精调,大幅提高了模型在中文医疗场景下效果,首先针对药品知识问答发布了评测数据集,后续计划优化疾病、手术、检验等方面的问答效果,并针对医患问答、病历自动生成等应用展开拓展。 地址:https://github.com/CMKRG/QiZhenGPT 7、ChatMed 该项目推出ChatMed系列中文医疗大规模语言模型,模型主干为LlaMA-7b并采用LoRA微调,具体包括ChatMed-Consult : 基于中文医疗在线问诊数据集ChatMed_Consult_Dataset的50w+在线问诊+ChatGPT回复作为训练集;ChatMed-TCM : 基于中医药指令数据集ChatMed_TCM_Dataset,以开源的中医药知识图谱为基础,采用以实体为中心的自指令方法(entity-centric self-instruct),调用ChatGPT得到2.6w+的围绕中医药的指令数据训练得到。 地址:https://github.com/michael-wzhu/ChatMed 8、XrayGLM,首个会看胸部X光片的中文多模态医学大模型 该项目为促进中文领域医学多模态大模型的研究发展,发布了XrayGLM数据集及模型,其在医学影像诊断和多轮交互对话上显示出了非凡的潜力。 地址:https://github.com/WangRongsheng/XrayGLM 三、国内产业界的医疗大模型 1、百度灵医大模型 2023年9月19日,百度正式发布国内首个“产业级”医疗大模型——灵医大模型。灵医大模型聚焦智能健康管家、智能医生助手、智能企业服务三大方向,为患者、医院、企业等提供AI原生应用。 灵医大模型能够结合自由文本秒级生成结构化病历,根据医患对话精准分析生成主诉、现病史等内容。此外,灵医大模型也是业内唯一支持多篇中英文文献同时解析的大模型,基于文献解析内容实现智能问答。在辅助诊疗方面,灵医大模型可实现通过多轮对话了解病人病情,实时辅助医生确诊疾病,推荐治疗方案,提升就诊全流程的效率和体验,并成为患者的24小时“健康管家”,提供智能客服服务。此外,灵医大模型还能为药企提供多项赋能,包括专业培训、医药信息支持等等。 2、京东京医千询 京东健康发布了“京医千询”医疗大模型,可快速完成在医疗健康领域各个场景的迁移和学习,实现产品和解决方案的全面AI化部署。 3、腾讯混元医疗大模型 腾讯混元大模型预训练用到的数据高达2万亿tokens,比不少模型高出一个量级。训练数据涵盖285万医学实体、1250万医学关系,覆盖98%医学知识的医学知识图谱和中英文医学文献。这些知识既对大量论文、百科全书、用药说明书中的知识进行了萃取,又纳入了腾讯医典中各个医学专家撰写的针对性的医学文章。所有知识来源都已经过验证,因而可为大模型输出的结果提供权威依据。 一方面来源于患者场景,如线上问诊、医学问答、导诊、预问诊;另一方面来源于医生场景,如医学考题、病历生成、出院小结、检查建议、诊断结果和用药建议。 4、医联MedGPT 预训练阶段使用了超过20亿的医学文本数据,微调训练阶段使?了800万条的高质量结构化临床诊疗数据,并投入超过100名医生参与人工反馈监督微调训练。 5、商汤 “大医”大模型 基于海量医学知识和临床数据打造了中文医疗语言大模型“大医”,可以提供导诊、健康咨询、辅助决策等多场景多轮会话能力。此外,商汤科技同样推出了医疗影像大模型、生信大模型等多种垂类基础模型群,覆盖CT、MRI、超声、内镜、病理、医学文本、生信数据等不同医疗数据模态。 6、云知声山海大模型 云知声将以山海大模型为基础,增强物联、医疗等行业能力,为客户提供更智能、更灵活的解决方案。在医疗场景,发布手术病历撰写助手、门诊病历生成系统、商保智能理赔系统三大医疗产品应用。 7、微脉CareGPT CareGPT 致力于在真实的医疗服务场景中充分发挥健康管理价值,实现预防、咨询、预约、康复的全周期智能化健康管理能力。目前参数规模为 70 亿,可支持医疗健康场景下的多模态输入和输出。 8、东软添翼医疗 医生通过自然语言与添翼交互,快速、精准地完成医疗报告与病历、医嘱开立;面向患者,添翼让问诊更便捷,成为患者全天私人专属医生,提供全面的诊后健康饮食、营养与运动建议等服务。添翼的多模态数据融合能力,也将为医院管理者提供对话式交互与数据洞察,简化数据利用,让医院管理更精细。 9、叮当健康HealthGPT 叮当HealthGPT可以作为AI健康助手,为用户提供全方位的健康相关问题解答和专业建议。无论用户对就医流程、疾病治疗、药品使用、检查结果解读感兴趣,还是关注疾病预防、养生保健、饮食营养、美容健身、家庭医疗护理、心理健康和压力管理,叮当HealthGPT都能满足用户的需求。 10、水木分子ChatDD 新一代对话式药物研发助手ChatDD 及全球首个千亿参数多模态生物医药对话大模型ChatDD-FM 100B,ChatDD (Chat Drug Discovery & Design) 基于大模型能力,则能够对多模态数据进行融合理解,与专家自然交互人机协作,将人类专家知识与大模型知识联结,具备问题理解、任务拆解、工具调用等能力,或有可能重新定义药物研发模式。 11、华为云盘古药物分子大模型 华为云盘古大模型已经深入金融、制造、政务、电力、煤矿、医疗、铁路等10多个行业,支撑400多个业务场景的AI应用落地。2021年发布的华为云盘古药物分子大模型,是由华为云联合中国科学院上海药物研究所共同训练而成的大模型,可以实现针对小分子药物全流程的人工智能辅助药物设计。实验验证结果表明,盘古药物分子大模型的成药性预测准确率比传统方式高20%,进而提升研发效率,让先导药的研发周期从数年缩短至一个月,同时降低70%的研发成本。 12、智云健康:ClouD GPT 依托大数据平台、机器学习平台、模型开发平台、模型训练平台等基础平台,智云健康开发出医疗行业模型ClouD GPT,已经落地在智云AI辅助诊断和AI药物、器械研发的医疗应用场景。 13、卫宁健康:WiNEX Copilot 卫宁健康已于2023年1月开展了医疗垂直领域的大语言模型WiNGPT的研发和训练工作,截至4月、6月和9月的模型训练参数量达到或将达到60亿、156亿、650亿,目前正在探索更多的医疗应用场景,计划于10月正式发布由GPT技术加持的新产品WiNEX Copilot。 14、创业慧康BSoftGPT BSoftGP将以API调用结合本地部署的方式聚合利用通用GPT模型,同时通过本地部署embedding向量数据库以及公司自有的领域知识库,通过医疗垂直领域的语言模型训练和微调逐步实现产品力,并向公司内外部的应用场景,比如在医疗服务和个人健康等场景中输出AI智能服务。 在临床医疗服务方面,BSoftGPT可以根据医生提供的病历信息和临床数据,自动化生成临床决策建议和治疗方案,从而辅助医生进行临床决策,提升现有的临床决策支持系统CDSS的智能化水平;在面向患者服务方面,BSoftGPT可以通过与患者进行自然语言交互,实现贯穿患者诊前诊中诊后全流程的智能导诊、管理。 15、科大讯飞:星火认知 基于星火认知大模型升级的讯飞医疗诊后康复管理平台,将专业的诊后管理和康复指导延伸到了院外。根据患者健康画像自动分析,平台可为患者智能生成个性化康复计划,并督促患者按计划执行。目前,讯飞诊后康复管理平台试点已取得显著效果:提高合作医院医生的管理效率10倍以上,患者康复过程中的随访率和咨询回复率达到100%,出院患者满意度达到98%以上。 16、中国科学院自动化研究所紫东太初 “紫东太初”定位为跨模态通用人工智能平台,于2021年正式发布。今年6月16日,紫东太初发布2.0版本,目前,“紫东太初”大模型已展现出广阔的产业应用前景,在神经外科手术导航、短视频内容摘要、法律咨询、医疗多模态鉴别诊断、交通图像研读等领域开始了一系列引领性、示范性应用。 在医疗领域,基于紫东太初大模型开放服务平台,实现数据智能标注、高效模型训练、模型灵活部署,实现骨科器械/耗材的自动识别和清点,实现智能化、精细化管理,效率相比传统方式提升了6倍,准确率高达97%以上。 17、深圳市大数据研究院&香港中文大学(深圳)华佗GPT 今年6月,华佗GPT的最新的内测版本在深圳发布。由深圳市大数据研究院和香港中文大学(深圳)联合研发的华佗GPT,使用一亿问答(50G)和10-20T医疗文本,是最大的医疗问答数据集。主要应用于医疗咨询和情感陪伴,包括患者培训、健康咨询、就医分诊等。 华佗GPT是通过融合ChatGPT生成的 “蒸馏数据”和真实世界医生回复的数据,训练并开源了一个新的医疗大模型。自动与人工评测结果显示,华佗GPT在单轮与多轮问诊场景都优于现有中文医疗人工智能模型和GPT-3.5,充分证明其处理复杂问诊对话的能力。下一步,华佗GPT将支持多模态输入。 18、北京智谱华章科技有限公司&北京中医药大学东方医院:基于“GLM-130B”的数字中医大模型 6月27日,北京市首批10个人工智能行业大模型应用案例发布,其中包括北京智谱华章科技有限公司和北京中医药大学东方医院共同开发的数字中医大模型示范应用。该项目项目选用了基于智谱华章高精度千亿中英双语稠密模型“GLM-130B”,面向中医领域名医经验挖掘整理需求,构建数字中医服务平台,探索高危肺结节人工智能临床诊疗和临床评价研究等解决方案,实现中医临床经验的智慧化复制新模式。项目已初步研发了医疗垂直领域的问答功能,支持对医疗、健康问题进行智能化知识问答;同时开发了根据症状生成中医处方,并提供处方主治症候医学解释等辅助诊疗功能。 19、哈尔滨工业大学:“本草”中文医学大模型(原名:华驼) 据今年5月报道,哈尔滨工业大学的研究团队训练出中文医学大模型,命名为“华驼”,后更名为“本草”。“本草”团队主要利用了中文医学知识图谱CMeKG和2023年关于肝癌疾病的中文医学文献,借助OpenAI API,分别构造了8000条问答数据和1000条多轮对话训练数据。然后,基于LLaMA-7B基座模型,进行有监督的微调,构建了“本草”中文医学大模型。 20、上海人工智能实验室:OpenMEDLab浦医 6月29日,由上海人工智能实验室牵头,并联合国内外顶级科研机构、高校及医院共同发布全球首个医疗多模态基础模型群“OpenMEDLab浦医”,并逐步开源。“OpenMEDLab浦医”融合了全球顶尖的AI研发能力、海量医学数据以及医学专家知识,首批发布的基础模型群中,包含基于医学图像、医学文本、生物信息、蛋白质工程等10余种数据模态训练而成的基础模型。该模型将促进基于医疗基础模型的跨领域、跨疾病、跨模态科研突破,同时助力解决医疗领域的长尾问题,推动医疗大模型的产业落地。
  • 《百度发布首个量子领域大模型》

    • 来源专题:数智化图书情报
    • 编译者:闫亚飞
    • 发布时间:2023-09-27
    • 9月23-24日,以“协同创新 量点未来”为主题,2023量子产业大会在安徽合肥召开。量子领域院士专家、智库机构、产业界嘉宾汇聚一堂,探讨量子产业化之路。 作为主旨报告嘉宾,百度量子计算研究所所长段润尧带来百度量子软硬件和解决方案等方面的最新成果,重磅发布首个量子领域大模型,及百度量子助手和量子写作助手两大AI原生应用,加速量子技术与大模型深度融合。他还发布了量子领域大模型白皮书,展望量子领域大模型的未来发展趋势和技术潜力。 当前,量子计算带来后摩尔时代算力革命,广阔市场空间随之打开。有数据显示,2031年69%的全球大型企业计划将采用量子计算。 依托百度量子平台和文心大模型的双重底座优势,百度发布首个量子领域大模型,旨在芯片层、框架层、模型层及应用层等全栈技术上加速量子技术与大模型深度融合,充分激发两大技术各自的潜力。 据段润尧介绍,该量子领域大模型是在文心一言基础上,使用量子领域高质量数据进行更有针对性的训练和优化而构建的量子领域大模型,能更好地理解量子知识,专业执行量子任务。百度量子领域大模型将充分发挥技术协同效应,在数据、算法和算力等各方面取长补短,实现双向赋能,将在训练速度、模型性能、训练成本、交互效率和数据隐私等各个维度全面加持现有大模型的技术能力。 百度量子助手是依托百度量子知识库与产业级知识增强文心大模型,基于7800万原始数据、22万精调数据训练打造。作为百度量子平台的统一入口,百度量子助手打通了百度量子平台量子硬件、量子软件、量子应用的技术全链条,持续降低百度量子平台的使用门槛。 量子写作助手实现了量子领域知识和技术准确且高效的输出,让量子知识触手可及,降低量子计算学习门槛,提高量子计算科研效率。只需输入6个变量,量子写作助手可在5分钟内撰写一篇13000字符合格式要求的专利文档,高效帮助企业将量子领域的研究成果与知识产权沉淀为企业资产。 段润尧进一步分享,量子领域大模型的未来发展将会呈现出多个代表性阶段。从近期以适配量子领域的行业大模型开始,大幅降低量子教育行业门槛;逐渐过渡为经典和量子混合大模型,再发展到通用量子领域大模型,有望实现大模型技术在数据、算法、算力等各维度的全面量子化;最终,量子领域大模型将会成为新时代的操作系统,在量子互联网的基础上互联互通,成为社会发展的基础设施。 现场,段润尧重磅发布量子领域大模型白皮书。报告指出,量子科技与大模型成为技术变革主引擎,量子计算是有效模拟大规模量子系统的利器,量子领域大模型或将成为量子人工智能的最终形式。交互式机制建立起“能力”传递的纽带,而量子纠缠有望将这种机制发挥至极致。 此外,段润尧公布了百度在量子芯片、软硬一体化解决方案等核心领域的最新进展。 百度量子平台近一年进行了持续大规模更新,在金融科技、光量子和量子芯片三大领域均有新功能发布。在金融科技领域,百度量子计算研究所推出量子金融工具集QFinance,提供全面且多功能的量子期权定价工具,整合众多前沿量子算法,包括量子蒙特卡洛、量子傅里叶变换和量子相位估计算法,既确保了计算的高度准确性,也显著缩短了算法运行时间,为资产配置带来了新的高效解决方案。 在光量子领域,百度推出光量子计算模拟器PQS(Photonic Quantum Simulator),为光量子芯片设计和算法研发提供了宝贵的工具和资源。该模拟器支持基于Gaussian态和Fock态的光量子线路模拟,并包含了近20种量子门和测量操作,可模拟多种光量子计算算法,是国内首款可以自由搭建光量子计算线路的模拟工具。 百度量子瞄准超导量子芯片研发“设计、流片、测控” 闭环中的核心技术,旨在研发具有业界核心竞争力的高性能量子芯片。目前,百度量子已完成一款 2D 含耦合器量子芯片的“流片验证”,以及一款 3D flipchip 含耦合器量子芯片的版图设计和仿真验证。近期,“高性能量子芯片的设计、流片与测控全栈技术” 项目荣获「2023 百度十大科技前沿发明」。高性能量子芯片研发将对人工智能、材料科学、药物研发、金融科技等领域带来高潜价值。 去年8月,百度推出全球首个全平台量子软硬一体化解决方案“量羲”,打造出量子计算产业落地的可行路径。量羲平台与百度云计算进行深度融合,并采纳了"四算合一"的战略布局,实现了量子计算、高性能计算、云计算及人工智能计算的有机融合。这使得平台能够根据不同业务需求,灵活调配算力资源。近期“量羲”已完成首个商业化合同的PoC部署。 在量子生态与知识产权方面,百度已申请高质量专利超过280项,已授权120项,覆盖量子算法与应用、量子通信与网络等热门研究方向。今年3月,百度牵头成立国内首个量子计算产业知识产权联盟,并设立国内首个量子计算专利池,在关键量子专利领域进行布局,以推动量子产业高效发展。 “量子产业化和产业量子化已成为未来发展的必然趋势,量子领域大模型有望进一步加速这些目标的实现。百度将持续为用户开放量子资源,为客户提供量子升级培训,与伙伴一起共创量子生态,期待携手用户、客户、伙伴,一同迈向量子计算产业化之路,实现人人皆可量子的时代。”段润尧表示。