《期刊如何检测论文中的AI生成文本?使用AI工具的要注意了》

  • 来源专题:数智化图书情报
  • 编译者: 于彰淇
  • 发布时间:2023-12-21
  • 人工智能生成内容(Artificial intelligence-generated content, AIGC)和 AIGC 模型已成为内容创作领域的强大工具。这些人工智能系统旨在以超乎想象的速度和规模生成文本,包括学术论文。虽然人工智能技术显示出了巨大的潜力,但它也引发了一系列问题,尤其是在学术写作方面。



    在本文中,我们将定义 AIGC 及其模型,探讨其在学术界日益广泛的应用,及其引发的问题,并讨论期刊如何检测未披露的AIGC。此外,还会讨论未披露 AIGC 使用情况的后果,并强调学术出版中使用人工智能的透明度和道德的重要性。



    1AIGC的定义及其模型


    AIGC 是指人工智能系统制作的书面、视觉或听觉材料,通常由先进的语言生成模型驱动。这些模型进过了大量数据集的训练,能够模仿人类语言,生成各种主题的内容。近年来,人工智能生成的内容已进入新闻、营销和学术等各个领域。



    在学术领域,AIGC 模型被用来起草研究论文、摘要和期刊文章,这些人工智能系统能够生成近似人类写作的文本。



    2AIGC在学术写作中的常见问题


    在学术写作中越来越多地使用人工智能引起了一些关注。这些问题包括:



    a. 作者身份和所有权:当人工智能系统生成内容时,就会产生作者归属的问题。是程序员、用户还是人工智能本身?内容归谁所有?



    b. 创造性:人工智能生成的内容往往缺乏人类作者为其作品带来的创造性火花和独特视角。这可能会导致学术写作中个人风格和研究视角的缺失。



    c. 虚假参考文献和偏见:人工智能生成的论文可能会引用不存在的资料来源或提供有偏见的信息。这对研究的完整性构成重大风险。



    3期刊对使用AIGC的规定


    大多数学术期刊对人工智能生成器的使用都有严格的规定。虽然这些期刊通常禁止将人工智能生成器列为作者,但它们要求全面披露其使用情况。例如,有些期刊要求使用人工智能技术的作者全面介绍所使用的工具、方法以及评估所生成数据可信度的手段。透明地使用人工智能被认为是保持研究完整性的关键。




    如果作者没有在稿件中声明使用了人工智能生成工具,期刊会设立机制来识别未披露的AI工具。




    4期刊采用哪些方法检测AIGC?


    1. 同行评审:审稿人可以利用他们的专业知识发现稿件中不寻常或可疑的写作风格。人工智能生成的内容可能表现出句子重复和结构不连贯等模式。查重检测软件也可用于分析文本与已知 AIGC 的宏观相似性。



    2. AI文本识别工具(AI Text Classifiers):机器学习算法和自然语言处理技术用于分析大量研究文章,包括已知的 AIGC 生成的内容。这些算法经过训练,可以识别人工智能生成的文章所特有的独特模式,从而区分人类和人工智能撰写的内容。



    3. 元数据分析(Metadata Analysis):对文章的作者、发表日期和发表期刊等进行检查。将这些信息与 AIGC 生成的内容进行比较,可以发现相似之处。



    4. 查重检查:查重工具将稿件文本与现有文章进行比较。与已知 AIGC 的高度相似性可能表明使用了AI生成器。



    5.  无监督机器学习:聚类算法把与 AIGC 生成内容相似的研究文章进行分组,帮助检测。



    6.  人工审核:使用 AI生成工具可能性较高的文章可能会经过人工审核,确保AI检测工具的准确性。




    5未披露AIGC使用情况的后果


    如果学术期刊发现稿件中使用了AIGC,但是论文中没有说明,可能会给作者带来不利后果。这种行为被认为是不道德的,会对作者的诚信造成不良影响。



    1. 伦理影响:学术写作中未披露 AIGC 会引发严重的伦理问题。它破坏了诚实、透明和学术诚信的原则。



    2. 损害作者声誉:这可能会造成长期的后果,因为诚信和信誉在学术界至关重要,学者和同事可能会对这类作者产生怀疑,他们今后的贡献也可能会受到质疑。



    3. 期刊拒稿:如果在编辑审核或同行评审过程中发现未披露AIGC,期刊可能会直接拒稿。



    4. 对期刊公信力的影响:读者和整个学术界都依赖期刊坚持严格的标准,这方面的任何疏忽都会对期刊的声誉造成不利影响。



    5. 法律影响:在极端情况下,未披露AIGC 使用情况可能会导致法律后果。抄袭和学术不端行为会受到严肃处理,受此类行为影响的机构或个人可能会追究法律责任。

  • 原文来源:https://mp.weixin.qq.com/s/Rt0F8AgxdeMxwBb78W4Akw
相关报告
  • 《人工智能工具可检测研究论文和同行评审中大模型生成的文本》

    • 来源专题:数智化图书情报
    • 编译者:程冰
    • 发布时间:2025-10-19
    • 学术圈惊人发现:近四分之一论文摘要可能由AI生成,多数作者隐瞒使用情况一项最新研究显示,人工智能正在悄然改变学术论文的写作方式——但很多研究者选择了隐瞒。 美国癌症研究协会(AACR)通过AI检测工具对大量投稿分析后发现,2024年其接收的论文中,近23%的摘要和5%的审稿报告含有AI生成文本,但只有不到四分之一的作者主动披露使用了AI。 这一趋势自ChatGPT于2022年11月公开后出现显著增长。尽管AACR明确禁止审稿人使用AI,2024年初AI生成的审稿意见数量却不减反增,比禁令刚实施时增加了一倍以上。 “我们看到结果时非常震惊,”AACR期刊运营总监Daniel Evanko表示,“尤其是在方法部分使用AI非常危险——稍加改写就可能引入科学错误。” 检测由纽约Pangram实验室开发的AI工具完成,其准确率高达99.85%,误判率仅为万分之一。该工具能识别出ChatGPT、DeepSeek、LLaMa、Claude等不同AI模型生成的文本,但尚无法区分“完全由AI生成”和“经AI润色”的文本。 研究还发现,非英语国家的作者使用AI辅助写作的比例是英语国家作者的两倍以上。而被检测出使用AI的论文,在初审阶段被拒稿的概率也比未使用AI的论文高一倍。尽管期刊要求作者披露任何AI使用情况,但2025年上半年提交的论文中,超过三分之一被检测出使用AI,却只有不到十分之一的作者主动说明。 芝加哥西北大学的研究伦理专家Mohammad Hosseini提醒,这些发现应谨慎解读:“无法百分百确定被标记的文本就一定来自AI。”但他也强调,如果出版社不对违规行为采取行动,“学术出版政策将成为一纸空文”。他建议期刊应要求违规论文重新审稿,必要时甚至撤稿:“论文的生命并不止于发表。”学术界正在迎来AI时代的真正考验——如何在不牺牲科学严谨性的前提下,合理使用新技术,将成为每一位研究者的必答题。
  • 《AI生成内容正在污染预印本:审核人员如何反击》

    • 来源专题:数智化图书情报
    • 编译者:程冰
    • 发布时间:2025-10-19
    • 预印本服务器上,疑似由论文工厂产出或借助人工智能工具生成的投稿数量正不断攀升。 这篇预印本的标题——《自我实验报告:生成式人工智能界面在梦境状态中的出现》——引起了心理学家奥利维亚·柯特利的怀疑。 当她点开查看时,疑虑更深了。这篇2024年7月发布在PsyArXiv(一个心理学领域非同行评审研究的发布平台)上的手稿仅几页长,且只列出了一位作者,还未标注所属机构。比利时鲁汶天主教大学的柯特利表示,文中描述的人工智能实验“实在太离谱了”。 于是,她将这篇预印本及其他类似的稿件标记给了PsyArXiv的管理人员,这些稿件随后被移除。PsyArXiv科学顾问委员会主席、爱尔兰梅努斯大学的心理学家德莫特·利诺特称,这篇关于梦境状态的手稿在研究方法中使用了人工智能,却未明确说明人工智能的使用方式,也未说明是否在作品的其他部分使用了人工智能,这违反了该平台的使用条款。 在回应《自然》的询问时,所列作者刘佳正(音译)的邮箱回复称,人工智能在这篇预印本的生成过程中仅起到了有限作用。 PsyArXiv只是众多面临可疑投稿困扰的预印本服务器——以及期刊——之一。有些论文带有论文工厂的痕迹,这些机构会按需生成科学论文;另一些则有由人工智能系统撰写的证据,比如虚假参考文献,这可能是人工智能“幻觉”的表现。 这类内容给预印本服务机构带来了难题。许多机构都是非营利组织,致力于让科学家更便捷地发表成果,而筛查低质量内容既耗费资源,又会拖慢投稿处理进度。这种筛查还会引发关于哪些手稿应被允许发布的争议,且大量可疑内容的涌入本身也存在风险。 “如何在保证质量的同时,保持相对宽松的审核方式,避免整个系统陷入瘫痪?”美国心理科学改进协会执行委员会派驻PsyArXiv科学顾问委员会的联络人凯蒂·科克问道,“没人希望看到这样一个世界:读者得自己去判断某篇文章是否属于正当学术成果。” 人工智能生成内容激增 《自然》联系的几家预印本服务机构表示,在其收到的投稿中,看似由大型语言模型(如驱动OpenAI的ChatGPT的模型)生成的比例相对较小。例如,预印本服务器arXiv的运营方估计,约2%的投稿因出自人工智能、论文工厂或两者共同作用而被拒。 位于纽约的openRxiv负责运营生命科学预印本服务器bioRxiv和生物医学服务器medRxiv,其负责人理查德·塞弗表示,这两个平台每天会拒收超过10篇看似模式化、可能由人工智能生成的手稿。这两个平台每月收到约7000份投稿。 但有人表示,情况似乎正变得更糟。arXiv的审核人员注意到,2022年底ChatGPT推出后不久,人工智能撰写的内容就有所增加,而“在过去三个月左右,我们才真正意识到这成了一场危机”,arXiv的科学总监、宾夕法尼亚州立大学的天体物理学家斯泰因·西古德松说。 2024年7月25日,位于华盛顿特区的非营利组织开放科学中心(PsyArXiv的托管方)发布声明称,“注意到明显增多的投稿似乎是由人工智能工具生成或在其大量辅助下完成的”。利诺特证实,PsyArXiv上的这类投稿“略有增加”,平台正采取措施减少此类内容。 柯特利标记的那篇关于梦境状态的手稿,凸显了预印本审核工作的挑战:该预印本被移除后不久,一篇标题和摘要几乎完全相同的预印本又出现在该平台上。与作者相关联的邮箱回复称,“人工智能的作用仅限于数学推导、符号计算、整合和应用现有数学工具、公式验证”等八项任务。发件人自称是“一位来自中国的独立研究者”,没有高等教育学位,“唯一的工具是一部二手智能手机”。这第二篇预印本也已被下架。 聊天机器人助手 上周发表在《自然·人类行为》上的一项研究1估计,2024年9月,在ChatGPT推出近两年后,大型语言模型生成的内容占arXiv上计算机科学摘要内容的22%,占bioRxiv上生物学摘要文本的约10%(见“聊天机器人的崛起”)。相比之下,一项针对2024年期刊发表的生物医学摘要的分析2发现,14%的摘要包含大型语言模型生成的文本。 该研究中提到的一些人工智能生成文本,可能出自那些原本难以用英文撰写手稿的科学家之手,加州斯坦福大学的计算机科学家、《自然·人类行为》那篇论文的合著者邹自强(音译)说。 塞弗表示,这些合理用途使得“划清界限”颇具挑战,他还称这些数字并不令人意外,预印本平台必须向作者明确,他们要对自己发布的内容负责。 arXiv计算机科学部门主席、机器学习领域先驱托马斯·迪特里希说,许多向arXiv提交计算机科学预印本的研究者并非以英语为母语,他们很可能会借助大型语言模型来改进写作。他认为22%这一数字“非常合理,但这并不意味着存在欺诈行为”。 加强防控 华盛顿大学研究科学学的沙汉·阿里·梅蒙表示,在信息高速传播的时代,有问题的预印本可能会被迅速分享。“这为虚假信息、炒作打开了大门……此外,(预印本)还会被谷歌搜索收录,”梅蒙补充道,“所以人们在谷歌上搜索信息时,可能会把这些预印本当作信息来源。” 一些预印本服务器,如PsyArXiv,会下架被标记为可疑内容的手稿。另一些则会将内容标记为“已撤回”,除非法律要求,否则不会移除。它们会使用各种自动化工具和人工审核员来识别可疑内容。例如,据拥有Research Square并出版《自然》的施普林格·自然集团介绍,预印本服务器Research Square使用一种名为Geppetto的工具来检测人工智能生成文本的痕迹。 但问题论文的增多意味着,许多服务器正努力加强防控。 例如,arXiv的运营方希望收紧综述类论文(综合特定主题文献的论文)的发布标准,因为西古德松称收到了大量他所谓的“超低质量综述”,“很明显是在线生成或在其辅助下完成的,目的是给作者的发表履历添砖加瓦”。开放科学中心表示,正考虑一系列措施,包括“在投稿流程中增加新步骤,以阻止低质量内容”。 一直依赖人工审核员的openRxiv团队,如今正着手开发自动化工具,以识别人工智能生成内容的特征。但塞弗表示,这样的努力就像“一场军备竞赛”。“我们非常担心,在不久的将来,会出现无法区分完全人造内容和真实内容的情况。这是我们所有人都将面临的挑战。”