登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《Meta发布多轮多语言基准Multi-IF：覆盖8种语言，超4500种任务》

  • 来源专题：中国科学院自动化所所级服务
  • 编译者： 张桂英
  • 发布时间：2024-11-25
  • Meta全新发布的基准Multi-IF涵盖八种语言、4501个三轮对话任务，全面揭示了当前LLM在复杂多轮、多语言场景中的挑战。所有模型在多轮对话中表现显著衰减，表现最佳的o1-preview模型在三轮对话的准确率从87.7%下降到70.7%；在非拉丁文字语言上，所有模型的表现显著弱于英语。 在大语言模型（LLMs）不断发展的背景下，如何评估这些模型在多轮对话和多语言环境下的指令遵循（instruction following）能力，成为一个重要的研究方向。 现有评估基准多集中于单轮对话和单语言任务，难以揭示复杂场景中的模型表现。 最近，Meta GenAI团队发布了一个全新基准Multi-IF，专门用于评估LLM在多轮对话和多语言指令遵循(instruction following)中的表现，包含了4501个三轮对话的多语言指令任务，覆盖英语、中文、法语、俄语等八种语言，以全面测试模型在多轮、跨语言场景下的指令执行能力。 论文链接：https://arxiv.org/abs/2410.15553 Multi-IF下载链接：https://huggingface.co/datasets/facebook/Multi-IF 实验结果表明，多数LLM在多轮对话中表现出显著的性能衰减。
  • 原文来源：http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652543105&idx=3&sn=0e07e36c2f1700496963fa793545336c&scene=0
126浏览量
原文链接
相关报告

  • 《联发科技试图在基准作弊指控尚未发布之前就予以反驳》
    • 来源专题：宽带移动通信
    • 编译者：张卓然
    • 发布时间：2020-05-23
    • 本周早些时候，我们报道了联发科技在其产品上所推出的令人震惊的新“基准作弊服务”(BCaaS)操作模式。今天，我们发现在Anandtech公布调查结果之前，联发科技就已经试图用自己的文章来反驳这一说法。 专家提示:如果一家公司在一本著名的刊物上在一篇文章产生影响之前对其发表了回应，那么他们一定是在试图用自己的方式抢占话语权以摆脱困境。 让我们仔细研究一下联发科技的声明，我将各种不诚实的陈述，虚假陈述和一些毫无根据的谎言都用斜体来标注。 “几乎每一款现代智能手机都被设计成在不同的环境下以不同的方式运行，这意味着设备已经过优化，可以根据正在运行的应用程序来调整电源和性能。联发科技以其智能节能创新而闻名，它涵盖了多种技术，用于动态管理设备的计算资源，以便提供一个持续的用户体验。这意味着，只有在必须获得良好的用户体验时，设备才会全速运转(这会消耗电池寿命)。” 这是一个谎言，Andrei Frumusanu一开始发现问题是因为他注意到了PCMark得分存在巨大差异（下图是在Oppo Reno3 Pro P95上运行的作弊和不作弊的结果）： 非作弊得分是6781，而作弊得分是9048，或者在一个与任何人的“良好用户体验”毫无关系的应用程序中性能提高了1.33倍。实际上，对像PCMark这样的应用程序进行超频处理是非常糟糕的，因为PCM的全部目的是创建一个更逼真的测试环境，在这个环境中，延迟、加载时间等都将被记入结果。这并不意味着它像一些移动基准测试那样是一个严格的综合测试或单一功能测试。 “当运行最严格的应用程序时，我们的芯片组提供大功率，使人们可以享受更流畅的游戏体验，并从最新的AI应用程序中获得最大收益。另一方面，当你在做如查看电子邮件之类的轻任务时，我们的芯片组将在一个超省电模式下运行。” 联发科技可能指的是目前某些手机上所提供的“高功率”模式选项，但这与该公司正在超频的白名单是完全不同的功能。“高性能”模式是您在Android中能启用的一种功能，通常在单击后可能会一个对手机的电池寿命和SoC寿命产生影响的警告。此外，除非您的目标是依靠SoC的性能，否则所有列入白名单的应用程序都不是游戏或用户能“充分利用”的首选应用程序。 我加上了最后一句话，因为这句话不是谎言。在这种写作风格中，常见的公关策略是将公然的虚假陈述和明显真实的陈述混合在一起，半真半假。 “有趣的是，当在行业中广泛使用这些类型的配置时，我们确实发现AnandTech对联发科技电力设备的基准测试优化提出了质疑。如果他们审查其他设备，他们会像我们一样，看到我们的主要竞争对手的芯片组是以完全相同的方式运行——AnandTech会认为这是在设备基准测试中作弊。” 这段话的全部暗示言论都是谎话，在过去的7年里，Anandtech调查了华硕、荣耀、HTC、华为、谷歌、LG、摩托罗拉、Nvidia、三星和小米制造的设备上的移动基准作弊行为(不是每家公司都有自己的报道，也不是每家公司都作弊，但上面的链接涵盖了所有存在问题的公司的报告)。 有些公司比其他公司作弊更多，有些根本就没有被发现作弊。自从被发现作弊以来，三星和华为都已改正了自己的做法。 公司试图掩盖自己不当行为的最常见方式之一，就是声称调查人员有偏见、不称职，或两者兼而有之。在此，联发科技断然宣称Anandtech未能尽职调查，并暗示这是该网站发表了这篇烂文章的原因。他们不是坏人，确切地说——他们只是不了解移动行业的来龙去脉，或者公司实际上是如何开发产品的。“我们确实觉得这很有趣”这样的短语最好的地方在于，联发科技无法提出任何可以反驳的具体指控。“我们确实觉得这很有趣”的意思是“我们希望你相信我们的暗示，即Anandtech针对我们的理由是无效的，但你必须自己解释为什么会这样。”也许你会选择种族主义、沙文主义或专业无能，问题是，联发科技希望你能考虑一下。 我意识到很多人对公司沟通的细节不是特别感兴趣，这也是问题的一部分。联发科技知道，大多数人永远不会去进行一个调查，以查明它的反诉是否正确。它知道有许多人倾向于认为媒体即是错误的，并将站在公司的一边。它知道，提出歧视的想法将会引起自己客户群的共鸣，从而强调在中美关系日益紧张之际，美国网站是如何对中国公司挑刺的。 我认为很重要的一点是，我们要展示公司是如何通过真假参半的陈述来操纵围绕其产品的谈话的。在这种情况下，联发科技预先发表了对一篇它甚至没有读过的文章的回应，再加上对文章本身的仔细阅读，说明这篇博客文章中有多少是由虚假的声明所构成的。
    33浏览量
    原文链接

  • 《中文大语言模型赶考：商汤与上海AI Lab等新发布「书生·浦语」》
    • 来源专题：数智化图书情报
    • 编译者：黄雨馨
    • 发布时间：2023-06-17
    • 今天，一年一度的高考正式拉开帷幕。 与往年不同的是，当全国考生奔赴考场的同时，还有一些大语言模型也成为了这场角逐中的特殊选手。 随着 AI 大语言模型越来越多地表现出接近人类智能，面向人类设计的高难度、综合性考试被越来越多地引入到对语言模型的智能水平进行评测。 比如，在关于 GPT-4 的技术报告中，OpenAI 就主要通过各领域的考试对模型能力进行检验，而 GPT-4 展现出的优秀「应试能力」也是出人意料。 中文大语言模型挑战高考卷的成绩如何？是否能够赶超 ChatGPT ？让我们来看看一位「考生」的答题表现。 综合 “大考”：“书生?浦语” 多项成绩领先于 ChatGPT 近日，商汤科技、上海 AI 实验室联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型 “书生?浦语”（InternLM）。 “书生?浦语” 具有 1040 亿参数，是在包含 1.6 万亿 token 的多语种高质量数据集上训练而成。 全面评测结果显示，“书生?浦语” 不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越 ChatGPT 的成绩，其中就包括中国高考各个科目的数据集（GaoKao）。 “书生?浦语” 联合团队选取了 20 余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集： 由伯克利加州大学等高校构建的多任务考试评测集 MMLU；微软研究院推出的学科考试评测集 AGIEval（含中国高考、司法考试及美国 SAT、LSAT、GRE 和 GMAT 等）；由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集 C-Eval；以及由复旦大学研究团队构建的高考题目评测集 Gaokao； 实验室联合团队对 “书生?浦语”、GLM-130B、LLaMA-65B、ChatGPT 和 GPT-4 进行了全面测试，针对上述四个评测集的成绩对比如下（满分 100 分）。 “书生?浦语” 不仅显著超越了 GLM-130B 和 LLaMA-65B 等学术开源模型，还在 AGIEval、C-Eval，以及 Gaokao 等多个综合性考试中领先于 ChatGPT；在以美国考试为主的 MMLU 上实现和 ChatGPT 持平。这些综合性考试的成绩反映出 “书生?浦语” 扎实的知识掌握程度和优秀的综合能力。 虽然 “书生?浦语” 在考试评测上取得优秀成绩，但在测评中也可以看到，大语言模型仍然存在不少能力局限性。“书生?浦语” 受限于 2K 的语境窗口长度（GPT-4 的语境窗口长度为 32K），在长文理解、复杂推理、撰写代码以及数理逻辑演绎等方面还存在明显局限。另外，在实际对话中，大语言模型还普遍存在幻觉、概念混淆等问题。这些局限使得大语言模型在开放场景中的使用还有很长的路要走。 四个综合性考试评测数据集结果 MMLU 是由伯克利加州大学（UC Berkeley）联合哥伦比亚大学、芝加哥大学和 UIUC 共同构建的多任务考试评测集，涵盖了初等数学、物理、化学、计算机科学、美国历史、法律、经济、外交等多个学科。 细分科目结果如下表所示。 图中粗体表示结果最佳，下划线表示结果第二 AGIEval 是由微软研究院在今年新提出的学科考试评测集，主要目标是通过面向的考试来评估语言模型的能力，从而实现模型智能和人类智能的对比。 这个评测集基于中国和美国各类考试构建了 19 个评测大项，包括了中国各科高考、司法考试以及美国的 SAT、LSAT、GRE 和 GMAT 等重要考试。值得一提的是，在这 19 个大项有 9 个大项是中国高考，通常也列为一个重要的评测子集 AGIEval (GK)。 下列表格中，带 GK 的是中国高考科目。 图中粗体表示结果最佳，下划线表示结果第二 C-Eval 是由上海交通大学、清华大学和爱丁堡大学合作构建的面向中文语言模型的综合性考试评测集。 它包含了 52 个科目的近 14000 道考题，涵盖数学、物理、化学、生物、历史、政治、计算机等学科考试，以及面向公务员、注册会计师、律师、医生的职业考试。 测试结果可以通过 leaderboard 获得。 https://cevalbenchmark.com/static/leaderboard.html Gaokao 是由复旦大学研究团队构建的基于中国高考题目的综合性考试评测集，包含了中国高考的各个科目，以及选择、填空、问答等多种题型。 在 GaoKao 测评中，“书生?浦语” 在超过 75% 的项目中均领先 ChatGPT。 分项评测：阅读理解、推理能力表现出色 为避免 “偏科”，研究人员还通过多个学术评测集，对 “书生?浦语” 等语言模型的分项能力进行了评测对比。 结果显示，“书生?浦语” 不仅在中英文的阅读理解方面表现突出，并且在数学推理、编程能力等评测中也取得较好成绩。 知识问答方面，“书生?浦语” 在 TriviaQA 和 NaturalQuestions 两项评测上得分为 69.8 和 27.6，均超越 LLaMA-65B（得分为 68.2 和 23.8）。 阅读理解（英语）方面，“书生?浦语” 明显领先于 LLaMA-65B 和 ChatGPT。浦语在初中和高中英语阅读理解中得分为 92.7 和 88.9，ChatGPT 得分为 85.6 和 81.2，LLaMA-65B 则更低。 中文理解方面，“书生?浦语” 成绩全面超越主要的两个中文语言模型 ERNIE-260B 和 GLM-130B。 多语翻译方面，“书生?浦语” 在多语种互译中的平均得分为 33.9，显著超越 LLaMA (平均得分 15.1)。 数学推理方面，“书生?浦语” 在 GSM8K 和 MATH 这两项被广泛用于评测的数学考试中，分别取得 62.9 和 14.9 的得分，明显领先于 Google 的 PaLM-540B（得分为 56.5 和 8.8）与 LLaMA-65B（得分为 50.9 和 10.9）。 编程能力方面，“书生?浦语” 在 HumanEval 和 MBPP 这两项最具代表性的考评中，分别取得 28.1 和 41.4 的得分 (其中经过在代码领域的微调后，在 HumanEval 上的得分可以提升至 45.7)，明显领先于 PaLM-540B（得分为 26.2 和 36.8）与 LLaMA-65B（得分为 23.7 和 37.7）。 此外，研究人员还对 “书生?浦语” 的安全性进行评测，在 TruthfulQA（主要评价回答的事实准确性） 以及 CrowS-Pairs（主要评价回答是否含有偏见）上，“书生?浦语” 均达到领先水平。 关于 “书生?浦语” 的技术报告已在公开，报告对模型的技术特点以及测试结果进行了详细阐述，了解更多可访问：https://github.com/InternLM/InternLM-techreport
    190浏览量
    原文链接