登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《OpenAI发布基于GPT-4的最新模型CriticGPT》

  • 来源专题：数智化图书情报
  • 编译者： 程冰
  • 发布时间：2024-07-20

  • 6月28日凌晨，OpenAI在官网发布了，基于GPT-4的最新模型CriticGPT。

    与以往模型不同的是，CriticGPT是一款面向开发人员的产品，可以增强RLHF（人类反馈强化学习）的效率培育出质量更好的训练数据。所以，CriticGPT也被OpenAI称为“评论GPT”，主要用来审核ChatGPT输出的代码等内容，并解释内容到底错在哪里。例如，让ChatGPT用Python写一个函数，表示文件路径的字符串路径作为输入，并在“path”处返回文件的file对象。ChatGPT很快就能给出完整代码，但是这段代码是有很大的安全漏洞，例如，使用“Startswitch（）”检查文件的绝对路径是否在目录中非常不安全。

    因为，用户可以通过符号链接或类似地命名目录来利用此漏洞。而CriticGPT就是专门用来查找这种错误。

    论文地址：https://cdn.openai.com/llm-critics-help-catch-llm-bugs-paper.pdf

  • 原文来源：https://mp.weixin.qq.com/s/8_E6nwEEG2n32KBFTXxPuA
52浏览量
原文链接
相关报告

  • 《中文大语言模型赶考：商汤与上海AI Lab等新发布「书生·浦语」》
    • 来源专题：数智化图书情报
    • 编译者：黄雨馨
    • 发布时间：2023-06-17
    • 今天，一年一度的高考正式拉开帷幕。 与往年不同的是，当全国考生奔赴考场的同时，还有一些大语言模型也成为了这场角逐中的特殊选手。 随着 AI 大语言模型越来越多地表现出接近人类智能，面向人类设计的高难度、综合性考试被越来越多地引入到对语言模型的智能水平进行评测。 比如，在关于 GPT-4 的技术报告中，OpenAI 就主要通过各领域的考试对模型能力进行检验，而 GPT-4 展现出的优秀「应试能力」也是出人意料。 中文大语言模型挑战高考卷的成绩如何？是否能够赶超 ChatGPT ？让我们来看看一位「考生」的答题表现。 综合 “大考”：“书生?浦语” 多项成绩领先于 ChatGPT 近日，商汤科技、上海 AI 实验室联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型 “书生?浦语”（InternLM）。 “书生?浦语” 具有 1040 亿参数，是在包含 1.6 万亿 token 的多语种高质量数据集上训练而成。 全面评测结果显示，“书生?浦语” 不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越 ChatGPT 的成绩，其中就包括中国高考各个科目的数据集（GaoKao）。 “书生?浦语” 联合团队选取了 20 余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集： 由伯克利加州大学等高校构建的多任务考试评测集 MMLU；微软研究院推出的学科考试评测集 AGIEval（含中国高考、司法考试及美国 SAT、LSAT、GRE 和 GMAT 等）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集 C-Eval；以及由复旦大学研究团队构建的高考题目评测集 Gaokao； 实验室联合团队对 “书生?浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试，针对上述四个评测集的成绩对比如下（满分 100 分）。 “书生?浦语” 不仅显著超越了 GLM-130B 和 LLaMA-65B 等学术开源模型，还在 AGIEval、C-Eval，以及 Gaokao 等多个综合性考试中领先于 ChatGPT；在以美国考试为主的 MMLU 上实现和 ChatGPT 持平。这些综合性考试的成绩反映出 “书生?浦语” 扎实的知识掌握程度和优秀的综合能力。 虽然 “书生?浦语” 在考试评测上取得优秀成绩，但在测评中也可以看到，大语言模型仍然存在不少能力局限性。“书生?浦语” 受限于 2K 的语境窗口长度（GPT-4 的语境窗口长度为 32K），在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等问题。这些局限使得大语言模型在开放场景中的使用还有很长的路要走。 四个综合性考试评测数据集结果 MMLU 是由伯克利加州大学（UC Berkeley）联合哥伦比亚大学、芝加哥大学和 UIUC 共同构建的多任务考试评测集，涵盖了初等数学、物理、化学、计算机科学、美国历史、法律、经济、外交等多个学科。 细分科目结果如下表所示。 图中粗体表示结果最佳，下划线表示结果第二 AGIEval 是由微软研究院在今年新提出的学科考试评测集，主要目标是通过面向的考试来评估语言模型的能力，从而实现模型智能和人类智能的对比。 这个评测集基于中国和美国各类考试构建了 19 个评测大项，包括了中国各科高考、司法考试以及美国的 SAT、LSAT、GRE 和 GMAT 等重要考试。值得一提的是，在这 19 个大项有 9 个大项是中国高考，通常也列为一个重要的评测子集 AGIEval (GK)。 下列表格中，带 GK 的是中国高考科目。 图中粗体表示结果最佳，下划线表示结果第二 C-Eval 是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集。 它包含了 52 个科目的近 14000 道考题，涵盖数学、物理、化学、生物、历史、政治、计算机等学科考试，以及面向公务员、注册会计师、律师、医生的职业考试。 测试结果可以通过 leaderboard 获得。 https://cevalbenchmark.com/static/leaderboard.html Gaokao 是由复旦大学研究团队构建的基于中国高考题目的综合性考试评测集，包含了中国高考的各个科目，以及选择、填空、问答等多种题型。 在 GaoKao 测评中，“书生?浦语” 在超过 75% 的项目中均领先 ChatGPT。 分项评测：阅读理解、推理能力表现出色 为避免 “偏科”，研究人员还通过多个学术评测集，对 “书生?浦语” 等语言模型的分项能力进行了评测对比。 结果显示，“书生?浦语” 不仅在中英文的阅读理解方面表现突出，并且在数学推理、编程能力等评测中也取得较好成绩。 知识问答方面，“书生?浦语” 在 TriviaQA 和 NaturalQuestions 两项评测上得分为 69.8 和 27.6，均超越 LLaMA-65B（得分为 68.2 和 23.8）。 阅读理解（英语）方面，“书生?浦语” 明显领先于 LLaMA-65B 和 ChatGPT。浦语在初中和高中英语阅读理解中得分为 92.7 和 88.9，ChatGPT 得分为 85.6 和 81.2，LLaMA-65B 则更低。 中文理解方面，“书生?浦语” 成绩全面超越主要的两个中文语言模型 ERNIE-260B 和 GLM-130B。 多语翻译方面，“书生?浦语” 在多语种互译中的平均得分为 33.9，显著超越 LLaMA (平均得分 15.1)。 数学推理方面，“书生?浦语” 在 GSM8K 和 MATH 这两项被广泛用于评测的数学考试中，分别取得 62.9 和 14.9 的得分，明显领先于 Google 的 PaLM-540B（得分为 56.5 和 8.8）与 LLaMA-65B（得分为 50.9 和 10.9）。 编程能力方面，“书生?浦语” 在 HumanEval 和 MBPP 这两项最具代表性的考评中，分别取得 28.1 和 41.4 的得分 (其中经过在代码领域的微调后，在 HumanEval 上的得分可以提升至 45.7)，明显领先于 PaLM-540B（得分为 26.2 和 36.8）与 LLaMA-65B（得分为 23.7 和 37.7）。 此外，研究人员还对 “书生?浦语” 的安全性进行评测，在 TruthfulQA（主要评价回答的事实准确性） 以及 CrowS-Pairs（主要评价回答是否含有偏见）上，“书生?浦语” 均达到领先水平。 关于 “书生?浦语” 的技术报告已在公开，报告对模型的技术特点以及测试结果进行了详细阐述，了解更多可访问：https://github.com/InternLM/InternLM-techreport
    190浏览量
    原文链接

  • 《中国国内医学相关的类GPT语言模型》
    • 来源专题：数智化图书情报
    • 编译者：闫亚飞
    • 发布时间：2023-11-03
    • 1、华佗GPT 华佗GPT 有免费体验网站，可直接访问对话，无需注册登录账户。目前处于测试阶段，还在不断完善优化中，由香港中文大学(深圳)和深圳市大数据研究院联合开发。 是一个基于大量中文医疗语料训练的大语言模型(LLM)，目的是让语言模型具有医生的专业知识和患者的友好态度，为医疗咨询场景提供便捷有效的服务。目前处于测试阶段，生成结果正确性目前没有额外机制保证，结果仅供参考，请遵医嘱。界面中有上传图片和语音按钮，但这两个功能实际效果如何还待验证。 2、左医GPT 左医医疗大语言模型 不免费，但可申请短期体验。该对话页面需要用API key，底部有API key申请平台入口，在平台通过客服或联系电话或企业微信号等多种方式申请可获得key，申请就直接给，会给一个有试用期的API密钥，在左医GPT对话页面输入即可体验。目前主要对医院等医疗相关单位机构合作使用。我上次申请体验的是有2天试用期，不知现在能试用多久。 补充：百度搜索“左医GPT”，有介绍，平台申请直接获得key，因为医疗比较严肃，所以加一道，保证使用安全。——来自本文评论区 张超(左手医生创始人 CEO) 左医GPT不是基于GPT-3的，而是基于Transforme架构的自研模型。听译机器人的底层技术用的是左医GPT，和openAI没有任何关系。可通过语音识别和自然语言理解技术，实时记录医患对话，并自动生成电子病历。还可通过语言模型和知识图谱技术，为医生提供智能辅助功能，如用药指导、诊断建议、随访管理等。左医GPT是左手医生公司的核心产品之一，目前已经部署在全国近百家头部医院，提供智慧服务。 官网产品介绍地址(可申请API key) 左手医生开放平台-助力智慧医疗服务建设 3、岐黄问道GPT 大经中医岐黄问道大模型 (dajingtcm.com) 中医大模型，大经中医出品。目前对医疗机构开放申请内测。三个子模型：基于已确诊疾病的临床诊疗大模型，仅基于症状体征的临床诊疗大模型，中医养生调理大模型。 落地应用：在“学习强国”App中的中医智能健康助手就是基于此模型，只需要选择一些不舒服的表现，就能推荐中医调理方案。广东省中医院、上海中医药大学附属龙华医院等医疗机构单位；南京市江宁区、淄博市高青县等区域中医医联体，上海长宁区“为老服务中心”，下沉到山东吉林等地村卫生室这种基层医疗机构。 训练呢数据集：1100万条中医知识图谱数据；1500本中医古籍和文献数据；10万份真实中医专家医案数据；10万条脉象、舌象、经络、穴位数据；200万条真实的中医临床诊疗数据。 大经中医官网：大经中医 (dajingtcm.com) 4、本草(别名华驼,另有Med-ChatGLM) 中医大模型，免费开源，但目前无法直接使用，需下载在高性能计算机上进行复杂本地部署，也没有线上网站可体验。 哈尔滨工业大学开发的一款基于中医药知识图谱的人工智能系统，可提供中医药相关的问答、推理、分析等服务，赋能中医药行业的各个场景。 项目介绍地址(需翻墙才能访问) 本草(华驼) https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese Med-ChatGLM https://github.com/SCIR-HI/Med-ChatGLM 5、医联MedGPT 公司官网 成都医云科技有限公司 (medlinker.com) 个人无法直接使用，目前与各大医院及机构合作面向患者使用。是国内首个进行线下医院实际问诊等流程场景使用测评的大模型。已进入内部测试阶段，2023年5月正式发布。已拥有近3000种疾病的首诊能力，覆盖80%以上的成年人疾病和90%以上的0-12岁儿科疾病。突破AI医生无法与真实患者连续自由对话的难点，并在医疗问诊场景中支持多模态的输入和输出，在疾病的预防、诊断、治疗、康复四个重要环节全面实现智能化。MedGPT模型相关介绍文章如下： 文章一：医疗版ChatGPT直播评测！治疗方案与真人医生96%一致 文章二：鏖战一天，与三甲主治医师医学一致性达到96% 医联 MedGPT 通过首次公开大考！ 在微信公众号“医联Medlinker”中有个“医联MedGPT 媒体沟通会”的发布会视频，里面详细讲解了模型具体情况。 6、砭石 中医大模型，不免费，可简单体验。智慧眼开发的医疗领域大模型砭石，是一款支持多模态（文本、图像、视频和音频）输入的人工智能医生，可以提供智能问诊、辅助诊断、智能用药等服务，赋能医疗健康行业的各个场景。 体验方法：扫描智慧眼官网上的二维码，体验互联网医院的服务，包括智能导诊、在线问诊、处方流转、药物配送等。扫描后进入小程序进行微信登陆，添加就诊人并实名认证，后自动跳转到“急速问诊”页面，该问诊就是基于砭石模型问答。下次再次使用时在小程序首页上的“问诊购药”或“复诊续方”功能按钮进入问答界面。("砭"读bian一声) 产品介绍官网(页面下滑找到微信小程序二维码) 智慧眼-人工智能/医疗健康-AI计算驱动生命健康 7、京东JDH 京医千询 基于京东自己的言犀大模型打造，投喂了京东互联网医院积累了上亿级的医疗问诊数据。远程医疗两个场景：一是药师的问答；二是医患问答。目前与互联网医院及医疗机构合作面向患者使用，个人目前无法直接使用。没有找到官网相关链接及信息，欢迎评论补充。感兴趣的可通过京东云网站客服等渠道咨询就行。 京医千询_百度百科 (baidu.com) 8、腾讯健康医疗大模型，面向B端医院企业商业，不对个人开放，官网：腾讯健康 9、百度灵医智惠，面向B端医院企业商业，不对个人开放，官网：灵医智惠 10、华为云盘古医疗，网址：盘古大模型_panguLM_大模型_华为云，药物分子大模型，医疗大模型。 11、清华药物研发助手ChatDD，详情介绍网址：水木分子发布ChatDD 新一代对话式药物研发助手，引领药物研发第四范式 将于2023年10月中旬邀请测试基础版本。清华系初创团队水木分子宣布发布新一代对话式药物研发助手ChatDD(Drug Design)，覆盖药物立项、临床前研究、临床试验的各阶段，作为制药专家的得力AI助手，提升药物研发效率。千亿参数多模态生物医药对话大模型ChatDD-FM 100B。“制药版 ChatGPT”。兼具多模态和对话双重特点，能给医药界学生“解个惑”。主要给国内医药行业“打辅助”，侧重中文对话能力，融入了更多专家的对话模式和经验。 12、清华BioMedGPT，项目开源地址：https://github.com/taokz/BiomedGPT 生物医药版ChatGPT。清华大学聂再清教授带领团队着手构建的多模态生物医药领域基础模型，旨在将生物世界分子、文本与知识进行统一表示学习以达到在各项下游任务上能力的整体提升。通过打造的干湿闭环和专家在环的双闭环体系，使得BioMedGPT能够从真实世界学习、向人类专家学习有望成为生物医药研发基础大模型，支撑诸如高通量虚拟筛选、分子生成与优化、个性化药物重定位、生物医药知识检索等多项应用。主要用于科研领域，更擅长英文生物医药科研任务，适合直接拿来作为生物医药领域的相关科研任务的基础模型。
    2996浏览量
    原文链接