《 GPTZero:AI检测工具》

  • 来源专题:科技期刊发展智库
  • 编译者: 孟美任
  • 发布时间:2023-03-31
  • 普林斯顿大学22岁的大四学生Edward Tian 开发了一款应用程序,用于检测文本是否由ChatGPT 编写,这款病毒式聊天机器人引发了学术界对其潜在不道德用途的担忧。

    Tian主修计算机科学,辅修新闻学,他利用寒假的部分时间创建了GPTZero,可以“快速有效地”监测一篇文章是人类还是ChatGPT撰写的。他创建该机器人的动机是为了对抗AI的剽窃行为——自2022年11月下旬发布ChatGPT以来,有报道称学生开始使用AI编写的作业冒充自己的作业。

    Tian于2023年1月2日在网上发布GPTZero后,许多老师都联系了他表示从测试中看到了积极结果。GPTZero 推出一周内,已有超过30,000人试用,它非常受欢迎以至于应用程序崩溃了。Streamlit是托管GPTZero的免费平台,已为Tian提供了更多内存和资源。

    GPTZero 的工作原理

    为了确定摘录是否由机器人编写,GPTZero使用“困惑度”和“突发性”两个指标。困惑度衡量文本的复杂性,如果GPTZero对文本感到困惑,那么它具有很高的复杂性并且更有可能是人为编写的。然而,如果文本对机器人来说更熟悉——因为它已经被此类数据训练——那么它的复杂性就会很低,因此更有可能是由AI生成的。另外,使用突发性比较句子的变化。人类倾向于以更大的突发性写作,例如,一些较长或复杂的句子与较短的句子一起使用。AI的句子往往更统一。

    在一段演示视频中,该应用程序对《纽约客》和ChatGPT撰写的LinkedIn帖子进行分析,并成功地区分了人类和人工智能的写作。Tian仍在努力提高模型的准确性。Tian表示,长期以来,人工智能一直是一个黑匣子,我们真的不知道里面发生了什么。

    OpenAI的AI安全研究员 Scott Aaronson透露,该公司一直在研究一种方法,用“不易察觉的秘密信号”为GPT生成的文本“加水印”,以识别其来源。开源AI社区Hugging Face推出了一种工具检测文本是否由GPT-2创建。纽约市教育部门表示,由于担心“对学生学习的负面影响,以及对内容的安全性和准确性的担忧”,它正在阻止在学校网络和设备上访问ChatGPT。

相关报告
  • 《出版商应谨慎使用AI检测工具》

    • 来源专题:科技期刊发展智库
    • 编译者:张恬
    • 发布时间:2024-01-02
    •   《学术厨房》(The Scholarly Kitchen)2023年9月14日发表文章指出,人工智能(AI)系统存在误判风险,即完全无辜的学生被指控作弊。机构和出版商需要认真对待这一风险,并认识到检测系统可能并非无懈可击。以下是文章内容:   用AI检测工具能否维护科研诚信   最近,AI技术在写作领域的发展突飞猛进,导致AI检测器在学术界的兴起和普及。这些检测器承诺通过打击抄袭和AI生成的内容,成为学术诚信的守门人。雄心壮志固然崇高,但在实际应用过程中却出现了不少重大缺陷。创建AI检测工具的基本假设似乎是,AI写作应该能够像检测抄袭一样被检测出来。然而,这两者之间有一个关键区别:剽窃只是为了寻找与现有作品完全匹配的作品,这是一个可以识别、测量和复制的客观标准。而AI写作本身就是原创的(即使取材于非原创的来源),不容易追溯其来源。我之所以反对学术出版商依赖检测工具,既有实用主义方面的原因,也有意识形态方面的原因。让我们先来谈谈实用性问题。 (1)假阳性问题   大型语言模型从人类写作输入中学习,其输出结果与人类写作相似。早在ChatGPT推出时,生成式AI就已经可以成功模仿人类写作。量化特定文档中人类和AI各自的成分具有挑战性,而且很多时候作者会将自己的文字与AI工具建议的文字混杂在一起。AI检测器的缺陷越来越明显,因为它们经常会误判真正的人工生成内容。研究表明,错误率高达9%,甚至更高,这个数字实在太高,让人难以接受。一个值得注意的案例是,一个AI工具将美国宪法标记为AI制作的,这一误报凸显了这些检测器的明显缺陷。Turnitin 在最近的一段视频中坦率承认,他们的AI检测软件应该被“谨慎对待”。此外,他们还表示,对于AI所生成的内容,教师需要“做出最终解释”。   这不正是教师们最开始使用这些工具的初衷吗?各大学开始意识到这些使用的影响,并开始采取行动,建议他们的教师不要使用这些工具。在范德堡大学发布的一份指导报告中,他们指出剽窃软件供应商 Turnitin 在推出AI检测工具时,最初声称其AI作品的阳性率为1%,但后来经过更广泛的使用和测试,阳性率提高到了4%。即使这些数字有所提高,但对于居心不良的作者来说,通过将AI输出内容再用软件进行转译,以去除原文痕迹也并非难事。OpenAI 就关闭了一个试图检测自己输出结果的项目!许多大学已经改弦更张,正在寻找替代政策。 (2)错误指控的附带损害   AI检测器的谬误会带来现实世界的后果。分布式AI研究所(DAIR)创始人兼执行董事 Timnit Gebru 最近分享了她收到的一封令人痛心的电子邮件,其中一位作家被不公正地指控使用了AI。此类事件会给研究人员造成不必要的精神痛苦,并有可能玷污其职业声誉。其连锁反应可能导致不信任、怀疑和学术生涯的脱轨,更不用说漫长的法律诉讼了。更糟糕的是,与母语为英语的同行相比,这些检测器更倾向于将英语为第二语言(EAL)的作者的作品标记为AI生成的。任何出版商都不应该冒着进一步嵌入对EAL作者的偏见和歧视的风险。   为什么我们再次要禁止使用AI辅助写作?   学术出版应该谨慎地采用AI检测工具,原因不仅仅是研究完整性。虽然大多数出版商可能不愿意出版明显由ChatGPT生成的研究,但采用AI检查器作为标准的政策也在传达一种教育和价值观,即我们如何看待生成性AI在表达学术成果中的使用。除了在学术写作中拒绝AI工具外,如果我们将它们用作教育工具和为EAL学者创造公平竞争环境的手段呢?耶鲁大学(Yale University)等机构正在开创性地利用AI来强化写作过程。沃顿商学院的Ethan和Lilach Mollick夫妇为课堂设计了一整套在线实用AI课程,包括如何将GPT整合到作业中。这些进步突显了一条可能的道路,即AI在学术写作中的辅助作用而不是阻碍作用。   结论   虽然将AI检测器集成到学术评论中的动机是善意的,但它们所带来的挑战需要采取不同的方法。学术出版业必须保持警惕,权衡潜在的隐患与前景,探索如何将AI和谐地融入学术文献中。
  • 《美国科学家拟开发基因工程微生物检测工具》

    • 来源专题:生物安全知识资源中心 | 领域情报网
    • 编译者:huangcui
    • 发布时间:2019-09-19
    • 据EurecAlert网站5月21日报道,美国麻省的一名化学工程助理教授Eric Young正在开发一种可以检测出基因工程微生物的生物安全工具。这种检测工具主要依托基因工程微生物独特的DNA特征:大多数基因工程生物体都具有一个或多个独特的DNA片段,这些片段使它们得以区别于其非基因工程近亲,将这些DNA片段作为标记物可快速检测出野外出现的基因工程微生物。 Eric Young表示希望这个项目能为人们带来一个低成本的检测工具,确保每个相关人员都能作出努力防止基因工程生物体进入自然环境。