《 国际机器学习会议(ICML)关于LLM的政策声明》

  • 来源专题:科技期刊发展智库
  • 编译者: 郭林林
  • 发布时间:2023-03-31
  •   项目主席团在2023年的ICML论文征集中包含了以下声明:

      禁止包含从大规模语言模型(LLM)(如ChatGPT)生成的文本的论文,除非生成的文本作为论文实验分析的一部分。

      ICML 2023 的大型语言模型 (LLM) 政策禁止完全由 LLM 生成的文本。这并不禁止作者使用 LLM 来编辑或润色作者撰写的文本。

      LLM政策在很大程度上基于保守原则,防止使用LLM的包括剽窃在内的潜在问题。

      LLM政策适用于ICML 2023。随着更好地了解LLM及其对科学出版的影响,预计这一政策可能会在未来的会议中演变。

      (1)意向

      在过去的几年中,我们观察到大规模语言模型(LLM)在研究和部署方面的快速进展,并参与其中。在过去几个月里,这一进展不仅没有减缓,反而加快了。包括我们自己在内的许多人都注意到,过去几个月发布的LLM,如ChatGPT,现在能够生成文本片段,这些片段通常很难与人工撰写的文本区分开来。毫无疑问,这是自然语言处理和生成方面令人振奋的进步。

      如此迅速的发展往往伴随着意想不到的后果和未解决的问题。如大规模生成模型生成的文本和图像是否被认为是新颖的或仅仅是现有工作的衍生物。还有一个关于文本片段、图像或从这些生成模型中采样的任何媒体的所有权的问题:是生成模型的用户、培训模型的开发人员,还是制作培训示例的内容创建者?可以肯定的是,随着这些大规模生成模型被更广泛地采用和时间的推移,这些问题以及更多问题将得到解答。然而,对于这些问题,我们目前还没有任何明确的答案。

      由于我们如何回答这些问题直接影响到我们的审查过程,进而影响到我们研究社区的成员和他们的职业生涯,因此在考虑这项新技术时,我们必须谨慎且有些保守。距离OpenAI在2022年11月底发布ChatGPT的测试版还不到两个月。不幸的是,我们没有足够的时间观察、调查和考虑其对我们审查和出版过程的影响。因此,我们决定今年(2023年)禁止使用大规模语言模型制作/生成ICML纸质文本。

      尽管我们今年禁止LLM生成文本,但我们计划调查和讨论LLM对机器学习和AI领域的审查和发布的积极和消极影响。这一决定将在ICML的未来迭代中重新考虑。

      (2)实施和执行

      众所周知许多作者使用外部辅助技术。这种辅助技术包括半自动编辑工具,如Grammarly,以及各种形式的在线词典和机器翻译系统。根据这些原则,我们并不禁止作者使用LLM对自己的文本进行轻度编辑。换句话说,只要这些LLM工具被类似地用于自动化语法检查、单词自动更正和其他编辑工具,这个新策略就不适用。

      正如一些人指出而我们也自知很难检测任何给定的文本片段是否由语言模型生成。ICML领导团队不计划在今年(2023年)实施任何自动化或半自动化系统,以检查是否违反LLM政策。相反,我们计划针对提交的文件有重大违规嫌疑而引起我们的注意时,调查任何可能违反LLM政策的行为。任何被标记为可能违反本LLM政策的提交都将经历与其他被标记为抄袭的提交相同的过程。

      随着我们在学术出版物中进一步了解LLM的后果和影响,以及在未来会议(ICML 2023之后)中重新设计LLM政策,我们将考虑在未来更新中通过不同的方法和技术实施最新LLM政策。

相关报告
  • 《做出更重要的决策:IFLA发表关于开放和良好治理的声明》

    • 来源专题:图书情报
    • 编译者:luoluo
    • 发布时间:2021-02-01
    • 国际图联(International Federation of Library Associations and Institutions,简称IFLA)发表了关于图书馆和信息服务在改善社会治理方式中作用的新声明,包括通过政府内部的最佳决策、议会和广大民众的有效审查和参与。 信息可以帮助当权者代表他们统治者做出最佳决策,可以确保议会可以要求政府负责和参与立法程序,可以为公民提供了参与公民和政治生活的重要工具。需要信息的地方就需要图书馆,图书馆通过提供核心服务,可以帮助确保人们以所需的形式获得所需的信息。 国际图联关于图书馆开放与良好治理的新声明强调了这一点,并就如何实现这一潜力向政府和其他组织提出了建议。 该声明重点强调了以下四个方面:强调图书馆和信息服务对政府和议会的价值,以及在其他图书馆中得到适当支持的政府信息收集;呼吁通过在公共领域放置此类信息以及全面的管理、保留、保存和存档政策来公开访问公共数据和信息;推荐有效的信息自由法,并呼吁公共图书馆和其他图书馆参与实施;主张更容易获得法律教育和对图书馆的支持,以帮助所有人行使自己的权利。
  • 《公共政策中的机器学习:可解释性的危险和承诺》

    • 来源专题:数智化图书情报
    • 编译者:闫亚飞
    • 发布时间:2023-07-11
    • 机器学习 (ML) 可以通过对复杂关系进行建模和增强人类决策来对公共政策产生重大影响。然而,对结果的过度自信和错误解释的算法可能导致危险,例如结构性不平等的永久化。在此观点中,作者概述了ML并讨论了其可解释性的重要性。此外,他们还提供了以下建议,这将有助于政策制定者制定可信、透明和负责任的信息,从而做出更客观、更公平的政策决策:(1)通过协调投资改善数据;(2)接近ML期望可解释性,并具有批判性;(3)利用可解释的ML来理解政策价值并预测政策影响。