登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《OpenAI发布基于GPT-4的最新模型CriticGPT》

  • 来源专题：数智化图书情报
  • 编译者： 程冰
  • 发布时间：2024-07-20

  • 6月28日凌晨，OpenAI在官网发布了，基于GPT-4的最新模型CriticGPT。

    与以往模型不同的是，CriticGPT是一款面向开发人员的产品，可以增强RLHF（人类反馈强化学习）的效率培育出质量更好的训练数据。所以，CriticGPT也被OpenAI称为“评论GPT”，主要用来审核ChatGPT输出的代码等内容，并解释内容到底错在哪里。例如，让ChatGPT用Python写一个函数，表示文件路径的字符串路径作为输入，并在“path”处返回文件的file对象。ChatGPT很快就能给出完整代码，但是这段代码是有很大的安全漏洞，例如，使用“Startswitch（）”检查文件的绝对路径是否在目录中非常不安全。

    因为，用户可以通过符号链接或类似地命名目录来利用此漏洞。而CriticGPT就是专门用来查找这种错误。

    论文地址：https://cdn.openai.com/llm-critics-help-catch-llm-bugs-paper.pdf

  • 原文来源：https://mp.weixin.qq.com/s/8_E6nwEEG2n32KBFTXxPuA
196浏览量
原文链接
相关报告

  • 《中文大语言模型赶考：商汤与上海AI Lab等新发布「书生·浦语」》
    • 来源专题：数智化图书情报
    • 编译者：黄雨馨
    • 发布时间：2023-06-17
    • 今天，一年一度的高考正式拉开帷幕。 与往年不同的是，当全国考生奔赴考场的同时，还有一些大语言模型也成为了这场角逐中的特殊选手。 随着 AI 大语言模型越来越多地表现出接近人类智能，面向人类设计的高难度、综合性考试被越来越多地引入到对语言模型的智能水平进行评测。 比如，在关于 GPT-4 的技术报告中，OpenAI 就主要通过各领域的考试对模型能力进行检验，而 GPT-4 展现出的优秀「应试能力」也是出人意料。 中文大语言模型挑战高考卷的成绩如何？是否能够赶超 ChatGPT ？让我们来看看一位「考生」的答题表现。 综合 “大考”：“书生?浦语” 多项成绩领先于 ChatGPT 近日，商汤科技、上海 AI 实验室联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型 “书生?浦语”（InternLM）。 “书生?浦语” 具有 1040 亿参数，是在包含 1.6 万亿 token 的多语种高质量数据集上训练而成。 全面评测结果显示，“书生?浦语” 不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越 ChatGPT 的成绩，其中就包括中国高考各个科目的数据集（GaoKao）。 “书生?浦语” 联合团队选取了 20 余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集： 由伯克利加州大学等高校构建的多任务考试评测集 MMLU；微软研究院推出的学科考试评测集 AGIEval（含中国高考、司法考试及美国 SAT、LSAT、GRE 和 GMAT 等）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集 C-Eval；以及由复旦大学研究团队构建的高考题目评测集 Gaokao； 实验室联合团队对 “书生?浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试，针对上述四个评测集的成绩对比如下（满分 100 分）。 “书生?浦语” 不仅显著超越了 GLM-130B 和 LLaMA-65B 等学术开源模型，还在 AGIEval、C-Eval，以及 Gaokao 等多个综合性考试中领先于 ChatGPT；在以美国考试为主的 MMLU 上实现和 ChatGPT 持平。这些综合性考试的成绩反映出 “书生?浦语” 扎实的知识掌握程度和优秀的综合能力。 虽然 “书生?浦语” 在考试评测上取得优秀成绩，但在测评中也可以看到，大语言模型仍然存在不少能力局限性。“书生?浦语” 受限于 2K 的语境窗口长度（GPT-4 的语境窗口长度为 32K），在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等问题。这些局限使得大语言模型在开放场景中的使用还有很长的路要走。 四个综合性考试评测数据集结果 MMLU 是由伯克利加州大学（UC Berkeley）联合哥伦比亚大学、芝加哥大学和 UIUC 共同构建的多任务考试评测集，涵盖了初等数学、物理、化学、计算机科学、美国历史、法律、经济、外交等多个学科。 细分科目结果如下表所示。 图中粗体表示结果最佳，下划线表示结果第二 AGIEval 是由微软研究院在今年新提出的学科考试评测集，主要目标是通过面向的考试来评估语言模型的能力，从而实现模型智能和人类智能的对比。 这个评测集基于中国和美国各类考试构建了 19 个评测大项，包括了中国各科高考、司法考试以及美国的 SAT、LSAT、GRE 和 GMAT 等重要考试。值得一提的是，在这 19 个大项有 9 个大项是中国高考，通常也列为一个重要的评测子集 AGIEval (GK)。 下列表格中，带 GK 的是中国高考科目。 图中粗体表示结果最佳，下划线表示结果第二 C-Eval 是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集。 它包含了 52 个科目的近 14000 道考题，涵盖数学、物理、化学、生物、历史、政治、计算机等学科考试，以及面向公务员、注册会计师、律师、医生的职业考试。 测试结果可以通过 leaderboard 获得。 https://cevalbenchmark.com/static/leaderboard.html Gaokao 是由复旦大学研究团队构建的基于中国高考题目的综合性考试评测集，包含了中国高考的各个科目，以及选择、填空、问答等多种题型。 在 GaoKao 测评中，“书生?浦语” 在超过 75% 的项目中均领先 ChatGPT。 分项评测：阅读理解、推理能力表现出色 为避免 “偏科”，研究人员还通过多个学术评测集，对 “书生?浦语” 等语言模型的分项能力进行了评测对比。 结果显示，“书生?浦语” 不仅在中英文的阅读理解方面表现突出，并且在数学推理、编程能力等评测中也取得较好成绩。 知识问答方面，“书生?浦语” 在 TriviaQA 和 NaturalQuestions 两项评测上得分为 69.8 和 27.6，均超越 LLaMA-65B（得分为 68.2 和 23.8）。 阅读理解（英语）方面，“书生?浦语” 明显领先于 LLaMA-65B 和 ChatGPT。浦语在初中和高中英语阅读理解中得分为 92.7 和 88.9，ChatGPT 得分为 85.6 和 81.2，LLaMA-65B 则更低。 中文理解方面，“书生?浦语” 成绩全面超越主要的两个中文语言模型 ERNIE-260B 和 GLM-130B。 多语翻译方面，“书生?浦语” 在多语种互译中的平均得分为 33.9，显著超越 LLaMA (平均得分 15.1)。 数学推理方面，“书生?浦语” 在 GSM8K 和 MATH 这两项被广泛用于评测的数学考试中，分别取得 62.9 和 14.9 的得分，明显领先于 Google 的 PaLM-540B（得分为 56.5 和 8.8）与 LLaMA-65B（得分为 50.9 和 10.9）。 编程能力方面，“书生?浦语” 在 HumanEval 和 MBPP 这两项最具代表性的考评中，分别取得 28.1 和 41.4 的得分 (其中经过在代码领域的微调后，在 HumanEval 上的得分可以提升至 45.7)，明显领先于 PaLM-540B（得分为 26.2 和 36.8）与 LLaMA-65B（得分为 23.7 和 37.7）。 此外，研究人员还对 “书生?浦语” 的安全性进行评测，在 TruthfulQA（主要评价回答的事实准确性） 以及 CrowS-Pairs（主要评价回答是否含有偏见）上，“书生?浦语” 均达到领先水平。 关于 “书生?浦语” 的技术报告已在公开，报告对模型的技术特点以及测试结果进行了详细阐述，了解更多可访问：https://github.com/InternLM/InternLM-techreport
    398浏览量
    原文链接

  • 《百度发布首个量子领域大模型》
    • 来源专题：数智化图书情报
    • 编译者：闫亚飞
    • 发布时间：2023-09-27
    • 9月23-24日，以“协同创新 量点未来”为主题，2023量子产业大会在安徽合肥召开。量子领域院士专家、智库机构、产业界嘉宾汇聚一堂，探讨量子产业化之路。 作为主旨报告嘉宾，百度量子计算研究所所长段润尧带来百度量子软硬件和解决方案等方面的最新成果，重磅发布首个量子领域大模型，及百度量子助手和量子写作助手两大AI原生应用，加速量子技术与大模型深度融合。他还发布了量子领域大模型白皮书，展望量子领域大模型的未来发展趋势和技术潜力。 当前，量子计算带来后摩尔时代算力革命，广阔市场空间随之打开。有数据显示，2031年69%的全球大型企业计划将采用量子计算。 依托百度量子平台和文心大模型的双重底座优势，百度发布首个量子领域大模型，旨在芯片层、框架层、模型层及应用层等全栈技术上加速量子技术与大模型深度融合，充分激发两大技术各自的潜力。 据段润尧介绍，该量子领域大模型是在文心一言基础上，使用量子领域高质量数据进行更有针对性的训练和优化而构建的量子领域大模型，能更好地理解量子知识，专业执行量子任务。百度量子领域大模型将充分发挥技术协同效应，在数据、算法和算力等各方面取长补短，实现双向赋能，将在训练速度、模型性能、训练成本、交互效率和数据隐私等各个维度全面加持现有大模型的技术能力。 百度量子助手是依托百度量子知识库与产业级知识增强文心大模型，基于7800万原始数据、22万精调数据训练打造。作为百度量子平台的统一入口，百度量子助手打通了百度量子平台量子硬件、量子软件、量子应用的技术全链条，持续降低百度量子平台的使用门槛。 量子写作助手实现了量子领域知识和技术准确且高效的输出，让量子知识触手可及，降低量子计算学习门槛，提高量子计算科研效率。只需输入6个变量，量子写作助手可在5分钟内撰写一篇13000字符合格式要求的专利文档，高效帮助企业将量子领域的研究成果与知识产权沉淀为企业资产。 段润尧进一步分享，量子领域大模型的未来发展将会呈现出多个代表性阶段。从近期以适配量子领域的行业大模型开始，大幅降低量子教育行业门槛；逐渐过渡为经典和量子混合大模型，再发展到通用量子领域大模型，有望实现大模型技术在数据、算法、算力等各维度的全面量子化；最终，量子领域大模型将会成为新时代的操作系统，在量子互联网的基础上互联互通，成为社会发展的基础设施。 现场，段润尧重磅发布量子领域大模型白皮书。报告指出，量子科技与大模型成为技术变革主引擎，量子计算是有效模拟大规模量子系统的利器，量子领域大模型或将成为量子人工智能的最终形式。交互式机制建立起“能力”传递的纽带，而量子纠缠有望将这种机制发挥至极致。 此外，段润尧公布了百度在量子芯片、软硬一体化解决方案等核心领域的最新进展。 百度量子平台近一年进行了持续大规模更新，在金融科技、光量子和量子芯片三大领域均有新功能发布。在金融科技领域，百度量子计算研究所推出量子金融工具集QFinance，提供全面且多功能的量子期权定价工具，整合众多前沿量子算法，包括量子蒙特卡洛、量子傅里叶变换和量子相位估计算法，既确保了计算的高度准确性，也显著缩短了算法运行时间，为资产配置带来了新的高效解决方案。 在光量子领域，百度推出光量子计算模拟器PQS（Photonic Quantum Simulator），为光量子芯片设计和算法研发提供了宝贵的工具和资源。该模拟器支持基于Gaussian态和Fock态的光量子线路模拟，并包含了近20种量子门和测量操作，可模拟多种光量子计算算法，是国内首款可以自由搭建光量子计算线路的模拟工具。 百度量子瞄准超导量子芯片研发“设计、流片、测控” 闭环中的核心技术，旨在研发具有业界核心竞争力的高性能量子芯片。目前，百度量子已完成一款 2D 含耦合器量子芯片的“流片验证”，以及一款 3D flipchip 含耦合器量子芯片的版图设计和仿真验证。近期，“高性能量子芯片的设计、流片与测控全栈技术” 项目荣获「2023 百度十大科技前沿发明」。高性能量子芯片研发将对人工智能、材料科学、药物研发、金融科技等领域带来高潜价值。 去年8月，百度推出全球首个全平台量子软硬一体化解决方案“量羲”，打造出量子计算产业落地的可行路径。量羲平台与百度云计算进行深度融合，并采纳了"四算合一"的战略布局，实现了量子计算、高性能计算、云计算及人工智能计算的有机融合。这使得平台能够根据不同业务需求，灵活调配算力资源。近期“量羲”已完成首个商业化合同的PoC部署。 在量子生态与知识产权方面，百度已申请高质量专利超过280项，已授权120项，覆盖量子算法与应用、量子通信与网络等热门研究方向。今年3月，百度牵头成立国内首个量子计算产业知识产权联盟，并设立国内首个量子计算专利池，在关键量子专利领域进行布局，以推动量子产业高效发展。 “量子产业化和产业量子化已成为未来发展的必然趋势，量子领域大模型有望进一步加速这些目标的实现。百度将持续为用户开放量子资源，为客户提供量子升级培训，与伙伴一起共创量子生态，期待携手用户、客户、伙伴，一同迈向量子计算产业化之路，实现人人皆可量子的时代。”段润尧表示。
    369浏览量
    原文链接