《腾讯AI Lab研究团队发布scBERT模型,攻克单细胞测序数据分析痛点》

  • 来源专题:生物安全网络监测与评估
  • 编译者: 闫亚飞
  • 发布时间:2022-11-25
  • 据生物世界公众号9月27日消息,腾讯AI Lab研究团队研发出关于单细胞注释的 scBERT 算法模型,实现了高解释性、高泛化性、高稳定性的单细胞类型注释技术。该团队研发的基于大规模预训练语言模型的单细胞转录组细胞类型注释算法“scBERT”将自然语言处理算法经典计算单元transformer运用到单细胞转录组测序数据分析领域,并基于BERT范式,将细胞中基因的表达信息转化成可被计算机理解、学习的语言对细胞进行精准标注。该模型通过了覆盖17种主要人体器官的50万个细胞和主流测序技术组成的大规模benchmarking测试数据集,其优越性均得以验证。该成果对单细胞转录组测序数据分析领域未来研究具有深远意义。相关研究成果发表于Nature Machine Intelligence期刊。
  • 原文来源:https://mp.weixin.qq.com/s/dGNeXmK1v7uZBYsQIzwG-w
相关报告
  • 《单细胞转录组测序数据分析COVID-19患者恢复期的免疫细胞》

    • 来源专题:实验室生物安全
    • 编译者:苑晓梅
    • 发布时间:2020-05-28
    • 单细胞转录组数据:分别从10个COVID-19和5个健康个体中获得PBMC细胞后,进行单细胞转录组分析,同时分析了BCR和TCR,患者来自于恢复期患者。根据基因的特异性表达,将PBMC中的细胞分为三种来源的免疫细胞:髓系细胞、NK和T细胞以及B细胞。进一步对其进行划分,共计获得20种不同的免疫细胞cluster。 首先对三种大类免疫细胞在COVID-19患者中的变化进行分析,结果表明相对于健康个体,患者中髓系细胞的比例显著增加,NK和T细胞的比例降低,同时发现在恢复后期患者中B细胞以及NK和T细胞的比例高于恢复早期患者,但是髓系细胞的比例低于恢复早期患者。以上结果表明在感染患者PBMC中淋巴细胞和髓系细胞的比例具有显著的变化。同时作者分析了在感染前后不同免疫细胞的基因表达差异分析,结果表明在患者免疫细胞中炎症因子和趋化因子显著增加。 接下来作者对髓系细胞进行分析,根据特异性基因的表达,将髓系细胞分为6种细胞,分别命名为Classical CD14++ monocytes (M1),non-classical CD16++ (FCGR3A) CD14−/+ monocytes (M2),intermediate CD14++ CD16+ monocytes (M3),CD1C+ cDC2 (M4), CLEC9A+ cDC1 (M5)和 pDC(CLEC4C+CD123+) (M6) 。接下来作者分别对比了不同髓系细胞在感染前后的变化,结果发现M1在恢复早期患者种显著高于健康个体,同时发现CD14+细胞中IL-1β和TNF显著增加。进一步发现在患者中促炎因子和干扰素刺激基因显著增加,但是一炎基因显著降低。同时对比了恢复前后期IL-1β的变化情况,结果表明在前期显著增加,后期降低。同时对M1高表达基因进行功能通路富集,发现与细胞因子信号和炎症因子激活相关。 接下来作者对NK细胞和T细胞进行分析,根据基因表达差异分析,将其分为 不同的10个细胞亚群,包括2种不同的NK细胞亚群和8种不同的T细胞。分别比较了在感染前后不同细胞亚群的变化情况,在患者中效应CD8+ T细胞核NK细胞显著降低,CD4+ T细胞比较稳定。接下来作者分析了在不同NK和T细胞中基因表达差异,发现在感染患者中炎症相关因子和干扰素刺激基因显著增加,与髓系细胞类似。同时根据TCR测序分析发现在恢复早期患者中T细胞的增殖显著降低。 接下来作者对PBMC中B细胞亚群进行分析,根据基因特异性表达,将B细胞分成4个不同的cluster,并根据基因表达进行定义,并对比了患者和健康个体之间的差异,发现浆细胞在患者中显著增加,但是naive B细胞显著降低。同时发现在恢复早期患者的MPB细胞中B细胞活化相关基因在感染患者中显著增加,在浆细胞和抗体分泌细胞中也存在相同的现象,说明抗体分泌细胞在病毒感染过程中发挥关键的功能。同样的,作者分析了不同B细胞亚群基因表达分析,发现相对于健康个体,患者中炎症因子显著增加。 最后作者研究在感染患者中PBMC中各种细胞之间的相互关系来分析以上发现的在患者中不同细胞亚群发生的变化。在感染患者中发现了单核细胞活化,增殖以及炎症相关的信号,同时发现T细胞-单核细胞之间的相互作用可能在提高患者免疫应答中发挥重要作用。
  • 《中文大语言模型赶考:商汤与上海AI Lab等新发布「书生·浦语」》

    • 来源专题:数智化图书情报
    • 编译者:黄雨馨
    • 发布时间:2023-06-17
    • 今天,一年一度的高考正式拉开帷幕。 与往年不同的是,当全国考生奔赴考场的同时,还有一些大语言模型也成为了这场角逐中的特殊选手。 随着 AI 大语言模型越来越多地表现出接近人类智能,面向人类设计的高难度、综合性考试被越来越多地引入到对语言模型的智能水平进行评测。 比如,在关于 GPT-4 的技术报告中,OpenAI 就主要通过各领域的考试对模型能力进行检验,而 GPT-4 展现出的优秀「应试能力」也是出人意料。 中文大语言模型挑战高考卷的成绩如何?是否能够赶超 ChatGPT ?让我们来看看一位「考生」的答题表现。 综合 “大考”:“书生?浦语” 多项成绩领先于 ChatGPT 近日,商汤科技、上海 AI 实验室联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型 “书生?浦语”(InternLM)。 “书生?浦语” 具有 1040 亿参数,是在包含 1.6 万亿 token 的多语种高质量数据集上训练而成。 全面评测结果显示,“书生?浦语” 不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀,而且具备很强的综合能力,因而在综合性考试中表现突出,在多项中文考试中取得超越 ChatGPT 的成绩,其中就包括中国高考各个科目的数据集(GaoKao)。 “书生?浦语” 联合团队选取了 20 余项评测对其进行检验,其中包含全球最具影响力的四个综合性考试评测集: 由伯克利加州大学等高校构建的多任务考试评测集 MMLU;微软研究院推出的学科考试评测集 AGIEval(含中国高考、司法考试及美国 SAT、LSAT、GRE 和 GMAT 等);由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集 C-Eval;以及由复旦大学研究团队构建的高考题目评测集 Gaokao; 实验室联合团队对 “书生?浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试,针对上述四个评测集的成绩对比如下(满分 100 分)。 “书生?浦语” 不仅显著超越了 GLM-130B 和 LLaMA-65B 等学术开源模型,还在 AGIEval、C-Eval,以及 Gaokao 等多个综合性考试中领先于 ChatGPT;在以美国考试为主的 MMLU 上实现和 ChatGPT 持平。这些综合性考试的成绩反映出 “书生?浦语” 扎实的知识掌握程度和优秀的综合能力。 虽然 “书生?浦语” 在考试评测上取得优秀成绩,但在测评中也可以看到,大语言模型仍然存在不少能力局限性。“书生?浦语” 受限于 2K 的语境窗口长度(GPT-4 的语境窗口长度为 32K),在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外,在实际对话中,大语言模型还普遍存在幻觉、概念混淆等问题。这些局限使得大语言模型在开放场景中的使用还有很长的路要走。 四个综合性考试评测数据集结果 MMLU 是由伯克利加州大学(UC Berkeley)联合哥伦比亚大学、芝加哥大学和 UIUC 共同构建的多任务考试评测集,涵盖了初等数学、物理、化学、计算机科学、美国历史、法律、经济、外交等多个学科。 细分科目结果如下表所示。 图中粗体表示结果最佳,下划线表示结果第二 AGIEval 是由微软研究院在今年新提出的学科考试评测集,主要目标是通过面向的考试来评估语言模型的能力,从而实现模型智能和人类智能的对比。 这个评测集基于中国和美国各类考试构建了 19 个评测大项,包括了中国各科高考、司法考试以及美国的 SAT、LSAT、GRE 和 GMAT 等重要考试。值得一提的是,在这 19 个大项有 9 个大项是中国高考,通常也列为一个重要的评测子集 AGIEval (GK)。 下列表格中,带 GK 的是中国高考科目。 图中粗体表示结果最佳,下划线表示结果第二 C-Eval 是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集。 它包含了 52 个科目的近 14000 道考题,涵盖数学、物理、化学、生物、历史、政治、计算机等学科考试,以及面向公务员、注册会计师、律师、医生的职业考试。 测试结果可以通过 leaderboard 获得。 https://cevalbenchmark.com/static/leaderboard.html Gaokao 是由复旦大学研究团队构建的基于中国高考题目的综合性考试评测集,包含了中国高考的各个科目,以及选择、填空、问答等多种题型。 在 GaoKao 测评中,“书生?浦语” 在超过 75% 的项目中均领先 ChatGPT。 分项评测:阅读理解、推理能力表现出色 为避免 “偏科”,研究人员还通过多个学术评测集,对 “书生?浦语” 等语言模型的分项能力进行了评测对比。 结果显示,“书生?浦语” 不仅在中英文的阅读理解方面表现突出,并且在数学推理、编程能力等评测中也取得较好成绩。 知识问答方面,“书生?浦语” 在 TriviaQA 和 NaturalQuestions 两项评测上得分为 69.8 和 27.6,均超越 LLaMA-65B(得分为 68.2 和 23.8)。 阅读理解(英语)方面,“书生?浦语” 明显领先于 LLaMA-65B 和 ChatGPT。浦语在初中和高中英语阅读理解中得分为 92.7 和 88.9,ChatGPT 得分为 85.6 和 81.2,LLaMA-65B 则更低。 中文理解方面,“书生?浦语” 成绩全面超越主要的两个中文语言模型 ERNIE-260B 和 GLM-130B。 多语翻译方面,“书生?浦语” 在多语种互译中的平均得分为 33.9,显著超越 LLaMA (平均得分 15.1)。 数学推理方面,“书生?浦语” 在 GSM8K 和 MATH 这两项被广泛用于评测的数学考试中,分别取得 62.9 和 14.9 的得分,明显领先于 Google 的 PaLM-540B(得分为 56.5 和 8.8)与 LLaMA-65B(得分为 50.9 和 10.9)。 编程能力方面,“书生?浦语” 在 HumanEval 和 MBPP 这两项最具代表性的考评中,分别取得 28.1 和 41.4 的得分 (其中经过在代码领域的微调后,在 HumanEval 上的得分可以提升至 45.7),明显领先于 PaLM-540B(得分为 26.2 和 36.8)与 LLaMA-65B(得分为 23.7 和 37.7)。 此外,研究人员还对 “书生?浦语” 的安全性进行评测,在 TruthfulQA(主要评价回答的事实准确性) 以及 CrowS-Pairs(主要评价回答是否含有偏见)上,“书生?浦语” 均达到领先水平。 关于 “书生?浦语” 的技术报告已在公开,报告对模型的技术特点以及测试结果进行了详细阐述,了解更多可访问:https://github.com/InternLM/InternLM-techreport