强大的对话式人工智能（AI）聊天机器人的崛起，如OpenAI的生成式预训练模型（GPT），放大了对真实与虚假文本进行辨别的需求。一项新的同行评议研究评估了人类对OpenAI的GPT聊天机器人所产生的文本的识别能力。该项研究与已有的研究相比，具有更真实的场景。
2023年2月，宾夕法尼亚大学工程与应用科学学院的研究人员在“第37届人工智能促进会会议”（AAAI Conference 2023）上展示了他们的研究。
该研究小组——计算机和信息科学系（CIS）副教授Chris Callison-Burch及其团队（包括：Liam Dugan, Daphne Ippolito, Arun Kirubarajan等研究人员）在报告中指出：“一个日益增长的担忧是神经语言模型（LM）能够生成越来越自然的文本，行为不端者可能试图将自动生成的文本冒充为真实的文本。”
研究人员指出，人工智能生成的虚假新闻文章和对产品和服务的欺诈性评论存在潜在的欺诈和错误信息传播的风险，“随着语言模型变得更好，部署成本更低，这些危害将不可避免地变得越来越普遍。”
专业人士开始在工作中使用ChatGPT。2023年1月，由Fishbowl（2021年被Glassdoor收购的专业人士社交网络）对4500名专业人士进行的调查显示，27%的人已经使用ChatGPT来协助完成与工作有关的任务，使用率最高的是市场营销、广告和技术部门。受访者中包括在谷歌、推特、亚马逊、Meta、IBM、爱德曼、麦肯锡、摩根大通、耐克以及其他数千家公司工作的专业人士。
研究人员写道：“随着大型语言模型生成的文本激增，了解人类如何接触这些文本，以及他们是否能够检测到他们正在阅读的文本并非源自人类作者，变得至关重要。”
为了回答这个问题，该团队采取了一种独特的方法，他们没有测试人类是否能检测出整个段落是否由人工智能机器学习产生，而是采用了一种更细微的方法。超过240名研究参与者是在宾夕法尼亚大学学习人工智能课程的高年级本科生或研究生。
该团队在报告中说：“在本文中，我们研究了一个更现实的环境，即文本开始是由人类书写的，并过渡到由最先进的神经语言模型生成。”
为了实现对过渡点的检测，该团队试图测量人类在过渡点边界检测任务中的能力，而不是分类。通过这种方式，可以评估出各种生成系统的性能，并同时对人工智能模型的风险进行量化。
该团队研究人员使用RoFT（Real or Fake Text，真实或虚假文本）收集人类注释，这是一个由该团队创建的工具，用于测量人类对人工智能生成的文本的检测，该工具在2020年自然语言处理经验方法会议中被展示。RoFT被设定为一个游戏，玩家每次看到一个句子，如果猜到该文本是人工智能生成的而不再是人类写的，就可以获得分数，然后选择一个他们做出这个决定的原因。
RoFT使用的数据来自1987-2007年期间《纽约时报》发表的180万篇文章、1789-2015年期间美国总统的963次演讲、Reddit网站Writing Prompts版块中的短篇故Recipe1M+数据集（一个大规模结构化语料库，是最大的公开食谱数据集合）中的食谱，以及AI机器学习模型GPT2、GPT2-XL和CTRL。
研究人员写道：“除了产生有价值的数据用于分析可检测性外，我们的研究是首次大规模尝试使用游戏化平台来分析生成文本的可检测性。”
在超过7.8万个不同的游戏回合中，科学家们收集了超过4.2万个注释，这些注释经过进一步过滤，产生了一个最终的数据集，包括2.1万个注释。
研究人员报告说：“我们发现玩家在过渡点边界检测任务方面明显优于随机机会，在23.4%的时间里正确选择边界句子（随机机会是10%）。对于至少有一个人工智能生成的句子的游戏回合，玩家有72.3%的时候选择了人工智能生成的句子作为边界句子。”
研究人员发现玩家的技能水平差异很大，随着时间的推移，随着额外的指导和与他们的游戏分数成比例的额外学分，准确性会提高。阅读包含提示和示例的帮助指南是注释者最具预测性的功能。
科学家们总结道：“研究表明，虽然注释者经常在这项任务中挣扎，但他们的技能有很大的差异，如果给予适当的激励，注释者可以随着时间的推移在这项任务上表现更好。
