登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《技术动态 | 东北大学发布TechGPT2.0大语言模型》

  • 来源专题：数智化图书情报
  • 编译者： 于彰淇
  • 发布时间：2023-12-01

  • 文本数据分析的利器----TechGPT-2.0大语言模型

    引言随着大模型时代的到来，大模型与知识图谱融合的工作日益成为当前研究的热点。为了对这项工作提供研究基础，东北大学知识图谱研究组于2023年6月发布了TechGPT-1.0大模型。

    在TechGPT-1.0基础上，经过几个月的努力，东北大学知识图谱研究组发布功能更全、性能更好的TechGPT-2.0大模型。TechGPT-2.0延续了TechGPT-1.0以“知识图谱构建”与“智能问答”为核心的构建目标，在继承TechGPT-1.0全部功能的基础上，对其多项功能进行了增强，同时扩充了新的功能。

    01基本介绍Introduction

    TechGPT-2.0 为TechGPT-1.0 基础上的改进版本，其采用华为昇腾服务器（4机*8卡-32G 910A）、华为MindSpore框架、采用全量微调方式训练完成。此次共发布两个7B版本的TechGPT-2.0模型，分别为TechGPT2-Alpaca、TechGPT2-Atom。

    TechGPT-2.0 较TechGPT-1.0 新加了许多领域知识。除了TechGPT-1.0 所具备的计算机科学、材料、机械、冶金、金融和航空航天等十余种垂直专业领域能力，TechGPT-2.0 还在医学、法律等领域文本处理上展现出优秀的能力，并扩充了对地理地区、运输、组织、作品、生物、自然科学、天文对象、建筑等领域文本的处理能力。TechGPT-2.0还对幻觉、不可回答、长文本处理等问题进行了能力增强。同时，TechGPT-2.0对部署的硬件要求更低，使用NVIDIA 4090单机单卡、或昇腾910A单机单卡就可完成TechGPT-2.0模型部署。亮点介绍TechGPT-2.0 在继承了TechGPT-1.0 的能力上进行了重要的改进，具有以下几项新增亮点功能：

    一、TechGPT-2.0 对医学领域文本的处理能力取得了显著提升。TechGPT-2.0在处理医学文本时能够更全面地理解上下文信息，能够对疾病、药物、专业术语等实体的进行更准确识别，还能够理解医学文本中的复杂关系、疾病诊断、治疗方案等内容。这种全面的医学分析能力使得模型可以用于协助医生阅读医学文献、提供患者诊断建议等应用场景，从而提高医学领域的信息处理效率和准确性。

    二、TechGPT-2.0 能够更好地理解和解释法律文本，包括法规、合同和案例法等。TechGPT-2.0通过学习法律用语和结构，能够更准确地捕捉文本中的法律关系和条款，为用户提供更有深度和专业性的法律分析。这使得TechGPT-2.0模型在法律领域中的应用前景更为广泛，可以用于解决自动化合同审查、法规遵循检查等任务。

    三、TechGPT-2.0 增强了对嵌套实体的抽取能力。即TechGPT-2.0可以更灵活地处理实体之间的复杂关系，深入挖掘文本中的层次结构，提高了对复杂文本的理解和生成能力。例如，在医学文献中，可能存在嵌套的实体关系，如疾病的亚型、药物的剂量信息等，TechGPT-2.0 能够更好地捕捉这些信息，并在生成回应时更准确地反映上下文的语境。

    四、TechGPT-2.0 在幻觉、不可回答问题、长文本处理、以及与人类价值观对齐方面进行了强化。TechGPT-2.0通过对话和理解上下文，能够更好地理解人类的感受和价值观，并在回应中考虑这些因素。此外，TechGPT-2.0能够支持最大长度12K的文本输入，这使得模型能够更好地与人类用户进行交互，更好地满足用户的需求和期望，进一步提升了人机交互的质量和用户体验。

    五、TechGPT-2.0使用华为昇腾910A服务器、华为Mindspore框架、以及Mindformer套件进行开发，采用分布式训练方案，使用服务器数量为4机*8卡（32G），具有更低的部署硬件要求。目前TechGPT-2.0的部署在使用NVIDIA的显卡并使用float16的情况下显存仅需15G，INT8量化下显存占用8G，INT4量化下显存仅需5G。因此，用户使用NAVID 4090单机单卡、或昇腾910A单机单卡就可以部署TechGPT-2.0模型。

    总体而言，TechGPT 2.0 在继承了 TechGPT 1.0 的全部特性的同时，通过增加多领域、多任务的数据，展现出了嵌套实体的抽取、幻觉回答、回答不可回答问题和回答长文本问题的能力。这些改进使得模型更适用于广泛的应用场景，为用户提供了更准确、更深入的信息处理和生成能力。/////    02模型说明Model

    TechGPT2-Alpaca使用HFL发布的Chinese-Alpaca-2-7B模型，Chinese-Alpaca-2-7B模型是在Chinese-LLaMA-2-7B的基础上进一步通过指令精调获得。Chinese-LLaMA-2-7B为基座模型，是在LLaMA-2的基础上进行中文增量训练获得。

    TechGPT2-Atom 使用Llama中文社区联合AtomEcho（原子回声）共同发布的Atom-7B-chat，并在此基础上进行全量微调后获得。

    我们TechGPT-2的两个7B版本的模型、以及使用QLora线性插值法微调的长文本模型都已经在Hugging Face和GitHub上开源。后续在这些模型基础上的改进，也将开源到相同账号，欢迎大家使用并提出宝贵的意见。

    HuggingFace地址：https://huggingface.co/neukg/TechGPT-2.0-alpaca-hf

    https://huggingface.co/neukg/TechGPT-2.0-atom-hf


    GitHub地址：

    https://github.com/neukg/TechGPT-2.0


    03体验地址Link

    我们目前对外提供TechGPT-1.0与TechGPT2-Atom版本的在线服务：http://techgpt.neukg.com/

    作为一个学术组织，我们无法长期提供模型的在线服务功能，当前的体验系统存在着随时下线的可能。因此建议大家后续通过开源权重自行体验，共同创建更好的中文大模型开源环境。/////

    04模型样例Example

    TechGPT-2.0 在保留了TechGPT-1.0 模型的通用能力、实体识别能力以及三元组抽取能力的基础上，能够完成更为复杂的嵌套实体识别，并在医学、法律领域展现出优秀的能力，此外对幻觉、不可回答问题以及长文本问题有着较好的解决能力。

  • 原文来源：https://mp.weixin.qq.com/s/mnYD4-0gHW3_ITsQADjXgA
528浏览量
原文链接
相关报告

  • 《海洋大语言模型“瀚海智语”正式发布》
    • 来源专题：中国科学院文献情报系统—海洋科技情报网
    • 编译者：熊萍
    • 发布时间：2025-04-29
    • 国家海洋环境预报中心联合海洋出版社有限公司和三六零数字安全科技集团有限公司，以360智脑13B和Deepseek-R1-70B大模型为基座成功开发了海洋垂直领域大语言模型——“瀚海智语”（英文名称OceanDS）。“瀚海智语”已顺利通过专家评审，得到与会多位院士和行业专家的高度肯定，于近日正式发布。“瀚海智语”的正式发布，标志着我国在海洋领域人工智能技术应用方面迈出了重要一步，将为海洋行业的智慧化转型提供强有力的技术支撑。 相比通用大语言模型，“瀚海智语”在海洋领域理论知识、专业术语和行业应用等方面的表现更为出色。 一是“智语精准”，海洋专业测试成绩排名第一。该模型是海洋领域首个业务化垂域大模型，具备高度专业化的AI能力，能够准确高效地完成本领域内容生成、知识问答、信息检索、政策分析、科普宣传等任务；在专业领域试题回答的第三方测试中，“瀚海智语”的成绩较司南榜单排名前三的开源通用大模型相比分别高7.15%、18.22%和25.30%。 二是“学富瀚海”，具备全球内容最丰富的海洋专业中文知识。该模型基于增量式向量数据库技术构建了内容丰富的海洋领域专业知识库，其中包含精选专业图书、专业科技文献以及巨量的公告、标准和政策文件，词元总量超过18亿，为海洋领域形成了一笔宝贵的数字资产；数据库采用元数据加密技术，能够有力保证专业知识的信息安全。 三是“安全易用”，“瀚海智语”注重保护知识产权和人工智能安全，在使用便利性方面做了特别优化。大模型服务系统采用业界领先的风险检测模型内容安全框架搭建，具有成熟稳健、运行稳定、接入形式多样等优势，可为海洋科研、教育、业务和管理等用户提供价值正面、安全合规、灵活易用的专业AI服务。 目前，“瀚海智语”已在多家海洋业务机构、高校和科研单位开展试用并获得高度评价。未来，研究团队将持续推动大模型技术向自然资源相关领域拓展，适时推出面向自然资源各行业的以中文内容为特色的专业大模型，进一步推动行业智慧化转型。
    102浏览量
    原文链接

  • 《中文大语言模型赶考：商汤与上海AI Lab等新发布「书生·浦语」》
    • 来源专题：数智化图书情报
    • 编译者：黄雨馨
    • 发布时间：2023-06-17
    • 今天，一年一度的高考正式拉开帷幕。 与往年不同的是，当全国考生奔赴考场的同时，还有一些大语言模型也成为了这场角逐中的特殊选手。 随着 AI 大语言模型越来越多地表现出接近人类智能，面向人类设计的高难度、综合性考试被越来越多地引入到对语言模型的智能水平进行评测。 比如，在关于 GPT-4 的技术报告中，OpenAI 就主要通过各领域的考试对模型能力进行检验，而 GPT-4 展现出的优秀「应试能力」也是出人意料。 中文大语言模型挑战高考卷的成绩如何？是否能够赶超 ChatGPT ？让我们来看看一位「考生」的答题表现。 综合 “大考”：“书生?浦语” 多项成绩领先于 ChatGPT 近日，商汤科技、上海 AI 实验室联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型 “书生?浦语”（InternLM）。 “书生?浦语” 具有 1040 亿参数，是在包含 1.6 万亿 token 的多语种高质量数据集上训练而成。 全面评测结果显示，“书生?浦语” 不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越 ChatGPT 的成绩，其中就包括中国高考各个科目的数据集（GaoKao）。 “书生?浦语” 联合团队选取了 20 余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集： 由伯克利加州大学等高校构建的多任务考试评测集 MMLU；微软研究院推出的学科考试评测集 AGIEval（含中国高考、司法考试及美国 SAT、LSAT、GRE 和 GMAT 等）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集 C-Eval；以及由复旦大学研究团队构建的高考题目评测集 Gaokao； 实验室联合团队对 “书生?浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试，针对上述四个评测集的成绩对比如下（满分 100 分）。 “书生?浦语” 不仅显著超越了 GLM-130B 和 LLaMA-65B 等学术开源模型，还在 AGIEval、C-Eval，以及 Gaokao 等多个综合性考试中领先于 ChatGPT；在以美国考试为主的 MMLU 上实现和 ChatGPT 持平。这些综合性考试的成绩反映出 “书生?浦语” 扎实的知识掌握程度和优秀的综合能力。 虽然 “书生?浦语” 在考试评测上取得优秀成绩，但在测评中也可以看到，大语言模型仍然存在不少能力局限性。“书生?浦语” 受限于 2K 的语境窗口长度（GPT-4 的语境窗口长度为 32K），在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等问题。这些局限使得大语言模型在开放场景中的使用还有很长的路要走。 四个综合性考试评测数据集结果 MMLU 是由伯克利加州大学（UC Berkeley）联合哥伦比亚大学、芝加哥大学和 UIUC 共同构建的多任务考试评测集，涵盖了初等数学、物理、化学、计算机科学、美国历史、法律、经济、外交等多个学科。 细分科目结果如下表所示。 图中粗体表示结果最佳，下划线表示结果第二 AGIEval 是由微软研究院在今年新提出的学科考试评测集，主要目标是通过面向的考试来评估语言模型的能力，从而实现模型智能和人类智能的对比。 这个评测集基于中国和美国各类考试构建了 19 个评测大项，包括了中国各科高考、司法考试以及美国的 SAT、LSAT、GRE 和 GMAT 等重要考试。值得一提的是，在这 19 个大项有 9 个大项是中国高考，通常也列为一个重要的评测子集 AGIEval (GK)。 下列表格中，带 GK 的是中国高考科目。 图中粗体表示结果最佳，下划线表示结果第二 C-Eval 是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集。 它包含了 52 个科目的近 14000 道考题，涵盖数学、物理、化学、生物、历史、政治、计算机等学科考试，以及面向公务员、注册会计师、律师、医生的职业考试。 测试结果可以通过 leaderboard 获得。 https://cevalbenchmark.com/static/leaderboard.html Gaokao 是由复旦大学研究团队构建的基于中国高考题目的综合性考试评测集，包含了中国高考的各个科目，以及选择、填空、问答等多种题型。 在 GaoKao 测评中，“书生?浦语” 在超过 75% 的项目中均领先 ChatGPT。 分项评测：阅读理解、推理能力表现出色 为避免 “偏科”，研究人员还通过多个学术评测集，对 “书生?浦语” 等语言模型的分项能力进行了评测对比。 结果显示，“书生?浦语” 不仅在中英文的阅读理解方面表现突出，并且在数学推理、编程能力等评测中也取得较好成绩。 知识问答方面，“书生?浦语” 在 TriviaQA 和 NaturalQuestions 两项评测上得分为 69.8 和 27.6，均超越 LLaMA-65B（得分为 68.2 和 23.8）。 阅读理解（英语）方面，“书生?浦语” 明显领先于 LLaMA-65B 和 ChatGPT。浦语在初中和高中英语阅读理解中得分为 92.7 和 88.9，ChatGPT 得分为 85.6 和 81.2，LLaMA-65B 则更低。 中文理解方面，“书生?浦语” 成绩全面超越主要的两个中文语言模型 ERNIE-260B 和 GLM-130B。 多语翻译方面，“书生?浦语” 在多语种互译中的平均得分为 33.9，显著超越 LLaMA (平均得分 15.1)。 数学推理方面，“书生?浦语” 在 GSM8K 和 MATH 这两项被广泛用于评测的数学考试中，分别取得 62.9 和 14.9 的得分，明显领先于 Google 的 PaLM-540B（得分为 56.5 和 8.8）与 LLaMA-65B（得分为 50.9 和 10.9）。 编程能力方面，“书生?浦语” 在 HumanEval 和 MBPP 这两项最具代表性的考评中，分别取得 28.1 和 41.4 的得分 (其中经过在代码领域的微调后，在 HumanEval 上的得分可以提升至 45.7)，明显领先于 PaLM-540B（得分为 26.2 和 36.8）与 LLaMA-65B（得分为 23.7 和 37.7）。 此外，研究人员还对 “书生?浦语” 的安全性进行评测，在 TruthfulQA（主要评价回答的事实准确性） 以及 CrowS-Pairs（主要评价回答是否含有偏见）上，“书生?浦语” 均达到领先水平。 关于 “书生?浦语” 的技术报告已在公开，报告对模型的技术特点以及测试结果进行了详细阐述，了解更多可访问：https://github.com/InternLM/InternLM-techreport
    249浏览量
    原文链接