项目主席团在2023年的ICML论文征集中包含了以下声明:
禁止包含从大规模语言模型(LLM)(如ChatGPT)生成的文本的论文,除非生成的文本作为论文实验分析的一部分。
ICML 2023 的大型语言模型 (LLM) 政策禁止完全由 LLM 生成的文本。这并不禁止作者使用 LLM 来编辑或润色作者撰写的文本。
LLM政策在很大程度上基于保守原则,防止使用LLM的包括剽窃在内的潜在问题。
LLM政策适用于ICML 2023。随着更好地了解LLM及其对科学出版的影响,预计这一政策可能会在未来的会议中演变。
(1)意向
在过去的几年中,我们观察到大规模语言模型(LLM)在研究和部署方面的快速进展,并参与其中。在过去几个月里,这一进展不仅没有减缓,反而加快了。包括我们自己在内的许多人都注意到,过去几个月发布的LLM,如ChatGPT,现在能够生成文本片段,这些片段通常很难与人工撰写的文本区分开来。毫无疑问,这是自然语言处理和生成方面令人振奋的进步。
如此迅速的发展往往伴随着意想不到的后果和未解决的问题。如大规模生成模型生成的文本和图像是否被认为是新颖的或仅仅是现有工作的衍生物。还有一个关于文本片段、图像或从这些生成模型中采样的任何媒体的所有权的问题:是生成模型的用户、培训模型的开发人员,还是制作培训示例的内容创建者?可以肯定的是,随着这些大规模生成模型被更广泛地采用和时间的推移,这些问题以及更多问题将得到解答。然而,对于这些问题,我们目前还没有任何明确的答案。
由于我们如何回答这些问题直接影响到我们的审查过程,进而影响到我们研究社区的成员和他们的职业生涯,因此在考虑这项新技术时,我们必须谨慎且有些保守。距离OpenAI在2022年11月底发布ChatGPT的测试版还不到两个月。不幸的是,我们没有足够的时间观察、调查和考虑其对我们审查和出版过程的影响。因此,我们决定今年(2023年)禁止使用大规模语言模型制作/生成ICML纸质文本。
尽管我们今年禁止LLM生成文本,但我们计划调查和讨论LLM对机器学习和AI领域的审查和发布的积极和消极影响。这一决定将在ICML的未来迭代中重新考虑。
(2)实施和执行
众所周知许多作者使用外部辅助技术。这种辅助技术包括半自动编辑工具,如Grammarly,以及各种形式的在线词典和机器翻译系统。根据这些原则,我们并不禁止作者使用LLM对自己的文本进行轻度编辑。换句话说,只要这些LLM工具被类似地用于自动化语法检查、单词自动更正和其他编辑工具,这个新策略就不适用。
正如一些人指出而我们也自知很难检测任何给定的文本片段是否由语言模型生成。ICML领导团队不计划在今年(2023年)实施任何自动化或半自动化系统,以检查是否违反LLM政策。相反,我们计划针对提交的文件有重大违规嫌疑而引起我们的注意时,调查任何可能违反LLM政策的行为。任何被标记为可能违反本LLM政策的提交都将经历与其他被标记为抄袭的提交相同的过程。
随着我们在学术出版物中进一步了解LLM的后果和影响,以及在未来会议(ICML 2023之后)中重新设计LLM政策,我们将考虑在未来更新中通过不同的方法和技术实施最新LLM政策。