普林斯顿大学22岁的大四学生Edward Tian 开发了一款应用程序,用于检测文本是否由ChatGPT 编写,这款病毒式聊天机器人引发了学术界对其潜在不道德用途的担忧。
Tian主修计算机科学,辅修新闻学,他利用寒假的部分时间创建了GPTZero,可以“快速有效地”监测一篇文章是人类还是ChatGPT撰写的。他创建该机器人的动机是为了对抗AI的剽窃行为——自2022年11月下旬发布ChatGPT以来,有报道称学生开始使用AI编写的作业冒充自己的作业。
Tian于2023年1月2日在网上发布GPTZero后,许多老师都联系了他表示从测试中看到了积极结果。GPTZero 推出一周内,已有超过30,000人试用,它非常受欢迎以至于应用程序崩溃了。Streamlit是托管GPTZero的免费平台,已为Tian提供了更多内存和资源。
GPTZero 的工作原理
为了确定摘录是否由机器人编写,GPTZero使用“困惑度”和“突发性”两个指标。困惑度衡量文本的复杂性,如果GPTZero对文本感到困惑,那么它具有很高的复杂性并且更有可能是人为编写的。然而,如果文本对机器人来说更熟悉——因为它已经被此类数据训练——那么它的复杂性就会很低,因此更有可能是由AI生成的。另外,使用突发性比较句子的变化。人类倾向于以更大的突发性写作,例如,一些较长或复杂的句子与较短的句子一起使用。AI的句子往往更统一。
在一段演示视频中,该应用程序对《纽约客》和ChatGPT撰写的LinkedIn帖子进行分析,并成功地区分了人类和人工智能的写作。Tian仍在努力提高模型的准确性。Tian表示,长期以来,人工智能一直是一个黑匣子,我们真的不知道里面发生了什么。
OpenAI的AI安全研究员 Scott Aaronson透露,该公司一直在研究一种方法,用“不易察觉的秘密信号”为GPT生成的文本“加水印”,以识别其来源。开源AI社区Hugging Face推出了一种工具检测文本是否由GPT-2创建。纽约市教育部门表示,由于担心“对学生学习的负面影响,以及对内容的安全性和准确性的担忧”,它正在阻止在学校网络和设备上访问ChatGPT。