《人工智能工具可检测研究论文和同行评审中大模型生成的文本》

  • 来源专题:数智化图书情报
  • 编译者: 程冰
  • 发布时间:2025-10-19
  • 学术圈惊人发现:近四分之一论文摘要可能由AI生成,多数作者隐瞒使用情况一项最新研究显示,人工智能正在悄然改变学术论文的写作方式——但很多研究者选择了隐瞒。

    美国癌症研究协会(AACR)通过AI检测工具对大量投稿分析后发现,2024年其接收的论文中,近23%的摘要和5%的审稿报告含有AI生成文本,但只有不到四分之一的作者主动披露使用了AI。

    这一趋势自ChatGPT于2022年11月公开后出现显著增长。尽管AACR明确禁止审稿人使用AI,2024年初AI生成的审稿意见数量却不减反增,比禁令刚实施时增加了一倍以上。

    “我们看到结果时非常震惊,”AACR期刊运营总监Daniel Evanko表示,“尤其是在方法部分使用AI非常危险——稍加改写就可能引入科学错误。”

    检测由纽约Pangram实验室开发的AI工具完成,其准确率高达99.85%,误判率仅为万分之一。该工具能识别出ChatGPT、DeepSeek、LLaMa、Claude等不同AI模型生成的文本,但尚无法区分“完全由AI生成”和“经AI润色”的文本。

    研究还发现,非英语国家的作者使用AI辅助写作的比例是英语国家作者的两倍以上。而被检测出使用AI的论文,在初审阶段被拒稿的概率也比未使用AI的论文高一倍。尽管期刊要求作者披露任何AI使用情况,但2025年上半年提交的论文中,超过三分之一被检测出使用AI,却只有不到十分之一的作者主动说明。

    芝加哥西北大学的研究伦理专家Mohammad Hosseini提醒,这些发现应谨慎解读:“无法百分百确定被标记的文本就一定来自AI。”但他也强调,如果出版社不对违规行为采取行动,“学术出版政策将成为一纸空文”。他建议期刊应要求违规论文重新审稿,必要时甚至撤稿:“论文的生命并不止于发表。”学术界正在迎来AI时代的真正考验——如何在不牺牲科学严谨性的前提下,合理使用新技术,将成为每一位研究者的必答题。

  • 原文来源:https://www.nature.com/articles/d41586-025-02936-6
相关报告
  • 《Nature|32 门大学课程中对话人工智能的感知、性能和可检测性》

    • 来源专题:战略生物资源
    • 编译者:李康音
    • 发布时间:2023-09-25
    • 2023年,纽约大学的研究人员在Nature发表题为Perception, performance, and detectability of conversational artificial intelligence across 32 university courses的论文。研究人员发现,在9个专业中,ChatGPT的课堂表现超过普通学生。教授认为,在学校中使用ChatGPT,能让自己更好地教学。但是对于让学生使用ChatGPT学习,完成作业,却非常不支持,会将使用ChatGPT的学生视为作弊或者抄袭。 研究人员通过将ChatGPT与来自8个学科的32门大学水平课程的学生的表现进行比较,来研究ChatGPT作为抄袭工具的潜力。此外,研究人员评估了专门用于检测ChatGPT生成文本的现有算法,并评估了可用于逃避此类算法的混淆攻击的有效性。为了更好地了解学生和教育工作者对ChatGPT的效用以及使用ChatGPT所产生的道德和规范问题的看法,研究人员调查了来自五个国家的参与者:巴西、印度、日本、英国和美国。此外,研究人员对作者所在机构的151名本科生和60名教授进行了更广泛的调查,以探索不同学科对ChatGPT的看法差异。 研究人员发现,ChatGPT的表现与32门课程中的9门课程的学生相当,甚至更好。此外,研究人员发现当前的检测算法倾向于将人类答案错误地分类为人工智能生成的答案,并将ChatGPT答案错误地分类为人工生成的答案。更糟糕的是,混淆攻击使这些算法无效,无法检测95%的ChatGPT答案。最后,在学生和教育工作者之间似乎都有一个共识,即他们打算在他们的作业中使用ChatGPT,而将其视为剽窃。这两者之间的内在冲突给教育机构提出了紧迫的挑战,要求他们制定与生成式人工智能相关的适当的学术诚信政策,特别是与ChatGPT相关的政策。 研究人员的研究结果提供了及时的见解,可以指导围绕生成式人工智能时代教育改革的政策讨论。 本文内容转载自“新智元”微信公众号。 原文链接: https://mp.weixin.qq.com/s/Zi3opb60g4Bo5LmGNWWrvQ
  • 《期刊如何检测论文中的AI生成文本?使用AI工具的要注意了》

    • 来源专题:数智化图书情报
    • 编译者:于彰淇
    • 发布时间:2023-12-21
    • 人工智能生成内容(Artificial intelligence-generated content, AIGC)和 AIGC 模型已成为内容创作领域的强大工具。这些人工智能系统旨在以超乎想象的速度和规模生成文本,包括学术论文。虽然人工智能技术显示出了巨大的潜力,但它也引发了一系列问题,尤其是在学术写作方面。 在本文中,我们将定义 AIGC 及其模型,探讨其在学术界日益广泛的应用,及其引发的问题,并讨论期刊如何检测未披露的AIGC。此外,还会讨论未披露 AIGC 使用情况的后果,并强调学术出版中使用人工智能的透明度和道德的重要性。 1AIGC的定义及其模型 AIGC 是指人工智能系统制作的书面、视觉或听觉材料,通常由先进的语言生成模型驱动。这些模型进过了大量数据集的训练,能够模仿人类语言,生成各种主题的内容。近年来,人工智能生成的内容已进入新闻、营销和学术等各个领域。 在学术领域,AIGC 模型被用来起草研究论文、摘要和期刊文章,这些人工智能系统能够生成近似人类写作的文本。 2AIGC在学术写作中的常见问题 在学术写作中越来越多地使用人工智能引起了一些关注。这些问题包括: a. 作者身份和所有权:当人工智能系统生成内容时,就会产生作者归属的问题。是程序员、用户还是人工智能本身?内容归谁所有? b. 创造性:人工智能生成的内容往往缺乏人类作者为其作品带来的创造性火花和独特视角。这可能会导致学术写作中个人风格和研究视角的缺失。 c. 虚假参考文献和偏见:人工智能生成的论文可能会引用不存在的资料来源或提供有偏见的信息。这对研究的完整性构成重大风险。 3期刊对使用AIGC的规定 大多数学术期刊对人工智能生成器的使用都有严格的规定。虽然这些期刊通常禁止将人工智能生成器列为作者,但它们要求全面披露其使用情况。例如,有些期刊要求使用人工智能技术的作者全面介绍所使用的工具、方法以及评估所生成数据可信度的手段。透明地使用人工智能被认为是保持研究完整性的关键。 如果作者没有在稿件中声明使用了人工智能生成工具,期刊会设立机制来识别未披露的AI工具。 4期刊采用哪些方法检测AIGC? 1. 同行评审:审稿人可以利用他们的专业知识发现稿件中不寻常或可疑的写作风格。人工智能生成的内容可能表现出句子重复和结构不连贯等模式。查重检测软件也可用于分析文本与已知 AIGC 的宏观相似性。 2. AI文本识别工具(AI Text Classifiers):机器学习算法和自然语言处理技术用于分析大量研究文章,包括已知的 AIGC 生成的内容。这些算法经过训练,可以识别人工智能生成的文章所特有的独特模式,从而区分人类和人工智能撰写的内容。 3. 元数据分析(Metadata Analysis):对文章的作者、发表日期和发表期刊等进行检查。将这些信息与 AIGC 生成的内容进行比较,可以发现相似之处。 4. 查重检查:查重工具将稿件文本与现有文章进行比较。与已知 AIGC 的高度相似性可能表明使用了AI生成器。 5.  无监督机器学习:聚类算法把与 AIGC 生成内容相似的研究文章进行分组,帮助检测。 6.  人工审核:使用 AI生成工具可能性较高的文章可能会经过人工审核,确保AI检测工具的准确性。 5未披露AIGC使用情况的后果 如果学术期刊发现稿件中使用了AIGC,但是论文中没有说明,可能会给作者带来不利后果。这种行为被认为是不道德的,会对作者的诚信造成不良影响。 1. 伦理影响:学术写作中未披露 AIGC 会引发严重的伦理问题。它破坏了诚实、透明和学术诚信的原则。 2. 损害作者声誉:这可能会造成长期的后果,因为诚信和信誉在学术界至关重要,学者和同事可能会对这类作者产生怀疑,他们今后的贡献也可能会受到质疑。 3. 期刊拒稿:如果在编辑审核或同行评审过程中发现未披露AIGC,期刊可能会直接拒稿。 4. 对期刊公信力的影响:读者和整个学术界都依赖期刊坚持严格的标准,这方面的任何疏忽都会对期刊的声誉造成不利影响。 5. 法律影响:在极端情况下,未披露AIGC 使用情况可能会导致法律后果。抄袭和学术不端行为会受到严肃处理,受此类行为影响的机构或个人可能会追究法律责任。