2024年2月15日Joost de Winter等人在《Scientometrics》发表文章,本研究探索了ChatGPT这一大型语言模型在科学计量学中的潜力,通过评估其预测引用次数、Mendeley读者数量和社交媒体参与度的能力。在这项研究中,分析了2022年初几个月内发表在PLOS ONE上的2222篇摘要,使用ChatGPT-4根据一套60个标准来评估每个摘要。通过主成分分析,识别出三个组成部分:质量与可靠性、可访问性与可理解性、以及新颖性与参与度。摘要的可访问性与可理解性与更高的Mendeley读者数量相关,而新颖性与参与度以及可访问性与可理解性与引用次数(Dimensions、Scopus、Google Scholar)和社交媒体关注度相关。质量与可靠性与引用和替代指标结果的相关性最小。最后,发现基于ChatGPT评估的预测相关性超过了传统的可读性指标。这些发现突显了大型语言模型在科学计量学中的潜力,可能为AI辅助同行评审铺平了道路。