登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《透明的同行评议意味着什么？》

  • 来源专题：科技期刊发展智库
  • 编译者： 李涵霄
  • 发布时间：2022-10-19

  •   自2018年以来，Wiley的透明同行评议倡议不断发展，支持越来越多的期刊。与Web of Science审稿人识别服务（此前被称为Publons）以及Clarivate合作，现在有80多家Wiley期刊向作者提供透明同行评议。

      透明的同行评议可以公开透明地发布文章的完整同行评审过程，从最初的评审和响应到修订和最终发布决策。除了已发表的文章，读者现在可以回顾全面的同行评议历史。同行评议过程的每个元素都分配了自己的数字对象标识符（DOI），使未来的作者能够轻松引用相关同行评议内容。论文从提交到发表过程中的透明度体现了编辑和审稿人在同行评议中的努力和影响，期刊也将从更好的同行评议与满意的作者间受益。

      《盆地研究》（Basin Research）主编认为，透明同行评审的积极作用包括：出版过程的开放性和透明度；当审稿人知道评论是公开的时，他们有额外的动机去给予更具建设性的意见；是一个资源和学习池，供缺乏经验的审稿人使用，他们可以看到别人是如何写评论的。

619浏览量
原文链接
相关报告

  • 《为什么越来越多期刊加入Wiley的透明同行评议试点？》
    • 来源专题：科技期刊发展智库
    • 编译者：李涵霄
    • 发布时间：2022-10-19
    •   在2018年同行评议周期间，Wiley宣布与Web of Science的Publons和ScholarOne启动世界上第一个可扩展的透明同行评议（TPR）方法。Wiley以《临床遗传学》（Clinical Genetics）期刊作为试点开始，让作者选择与文章同时发布同行评议报告、作者回复以及编辑决定信，并由Publons主持并公开发布。读者能够通过作者发表文章中的链接访问同行评审历史，同时，Wiley为所有内容提供了完全可引用的DOI。首项试点结果完全成功，因此在2019年1月，Wiley又增加了10种试点期刊。   在试验的11种期刊中，有7种完全没有采用过透明同行评议的期刊，他们过去仅提供单盲或双盲同行评审。Wiley评估了2019年2月至5月的数据，并将TPR下的文章与前一年相同期刊上的文章进行了比较，发现：①很高比例的作者选择了透明的同行评审。2,107位作者中有1,841位选择了TPR，这意味着87%的作者同意让同行评议报告、他们自己的回复以及编辑的决定书与他们的文章一起发布。②平均而言，编辑们没有发送更多的邀请来确保他们所寻找的同行评审员的数量。四种期刊的受邀审稿人数量略有减少；其中两个略有增加（为确保所需的同行评审员数量，邀请的评审员增加了不到0.5人）；有一种期刊（投稿数量较少、样本量较小的期刊）平均每篇论文邀请1.6名审稿人。③同行评审后，与作者分享初步决定所花费的时间没有改变。总的来说，平均而言，在所有期刊中，根据TPR做出第一个决策所花费的时间没有显著差异。在这一总体结果中，两种期刊确实显示出有意义的差异：它们的速度快了大约20天。④编辑通过为作者做出更直接的决定，改变了他们的行为。当与TPR合作时，更多的决定是由编辑直接做出的，而不是将文章发送出去进行审查。平均而言，62%的稿件编辑拒绝发送稿件进行同行评审，而此前这一比例为53%。当然，除了TPR之外，我们报告的观察结果可能还有其他原因，没有控制其他可能产生影响的因素。   大多数作者选择了透明的同行评审，而没有发现对评审过程的任何负面影响。这表明Wiley的选择是正确的。因此在2019年同行评审周，Wiley宣布，有29家Wiley期刊将加入试点，并于2019年9月和10月开始提供TPR，这将使Wiley使用TPR方法的期刊达到40种。Wiley认为，以这种方式向研究人员提供TPR将为同行评议如何在广泛学科中发挥作用带来新的见解，并将为主流期刊提供新的开放性。
    363浏览量
    原文链接

  • 《ChatGPT和生成AI对科研意味着什么？》
    • 来源专题：科技期刊发展智库
    • 编译者：孟美任
    • 发布时间：2023-03-31
    • 2022年12月，计算生物学家Casey Greene和 Milton Pividori开展了一项实验：他们邀请一名非科学家助理润色了三篇研究论文。该助理在几秒钟内就修改完成，每篇论文大约用了五分钟审阅完成。在一份生物学论文中，该助手还发现了公式参考文献的错误。除了实验过程存在些许不顺利，但论文最终的可读性更强，并且每篇论文成本不到0.50 美元。Greene 和Pividori 在2023 年1 月23 日的预印本论文中表示，该助理不是一个人，而是一种名为GPT-3的人工智能算法，该算法于2020 年首次发布。它是一种生成式人工智能聊天机器人工具，无论是创作散文、诗歌、计算机编程，还是编辑研究论文都非常擅长。 这类工具也被称为大型语言模型（Large Language Models, LLM），其中最有名的是GPT-3的一个衍生版本——ChatGPT。由于其免费且易于访问，在2022年11月发布后一举成名。 美国宾夕法尼亚大学的Pividori表示，此类工具将帮助我们提高研究人员的工作效率。 其他科学家表示，他们现在经常使用大型语言模型，不仅用于修改论文，还用于编写、检查代码等工作。冰岛大学计算机科学家Hafsteinn Einarsson表示，每天都使用大型语言模型，最早使用的是GPT-3，后来改用ChatGPT辅助编写PPT、改学生试卷和课程作业，还能将学生作为转为学术论文。此外，许多人将其作为数字秘书或助理。 但LLM也引发了广泛的讨论，包括回答内容的真实性、用AI生成内容冒充自己的创作等。《自然》采访科研人员有关聊天机器人（如ChatGPT）的潜在用途（尤其在科学领域）时，他们兴奋中夹杂着忧虑。科罗拉多大学医学院的Greene表示，如果相信这项技术具有变革的潜力，那么必须对此感到紧张。科研人员认为，很多方面都将取决于未来的监管指南对 AI 对话机器人的使用限制。 （1）流畅但不真实 有学者认为，大型语言模型很适合用来提高写论文或写基金的效率，但需要严格把关。伦敦软件咨询公司InstaDeep的工程师表示，大型语言模型就像一个进阶版的Stack Overflow（一个程序员互问互答的热门论坛），每天都可以用来写代码。 与此同时，研究人员强调，大型语言模型给出的回答从根本上说是不可靠的，有时候还是错的。这种不可靠已经深入大型语言模型的构建方式。ChatGPT和它的竞争对手都是通过学习庞大在线文本数据库中的语言统计模式来运作的，这些文本中不乏谣言、偏见和已经过时的信息。当大型语言模型接到提示（即 prompt，如Greene等使用精心组织的语言提出重写论文部分章节的要求）后，它们会一字一句地吐出看上去符合语言习惯的任何回复，只要能让对话继续下去。结果就是大型语言模型很容易给出错误或误导人的信息，尤其是那些训练数据很有限的技术性话题。还有一点是大型语言模型无法给出准确的信息来源。如果你让它写论文，它会把参考文献给你编出来。《自然-机器智能》在2023年1月发表的一篇关于ChatGPT的社论中写道，这个工具在事实核查或提供可靠参考文献方面是不能被信任的。 如果研究人员有足够专业知识发现问题或能很容易验证答案对错，比如他们能判断某个解释或对代码的建议是否正确，那么ChatGPT和其他大型语言模型就能成为真正意义上的助手。不过，这些工具可能会误导一些初级用户。如2022年12月，Stack Overflow临时禁用了ChatGPT，因为管理者发现一些用户上传了大量由大型语言模型生成的回答，错误率很高。 （2）缺陷如何解决？ 有些搜索引擎工具能解决大型语言模型在来源引用上的不足，例如面向科研人员的 Elicit能先根据提问搜索相关参考文献，再对搜索引擎找到的各个网站或文献进行概括归纳，生成看上去全带参考来源的内容（但是大型语言模型对不同文献的归纳仍有可能不准确）。 一些科研人员表示，目前来看，ChatGPT在技术性话题上还没有足够且专业的训练数据，所以用处并不大。哈佛大学的生物统计学博士生应用ChatGPT后表示其很难达到所需的专业水平。 一些科技公司开始使用专业的科研文献训练对话机器人。2022年11月，科技巨头Meta 发布了名为Galactica的大型语言模型，用学术摘要进行训练，有望在生成学术内容和回答科研问题方面具备一技之长。但是，其测试版在被用户拿来生成不准确和种族歧视的内容后即被下架（但代码依旧公开）。 （3）安全与责任 如果不对输出内容进行把控，大型语言模型就能被用来生成仇恨言论和垃圾信息，以及训练数据中可能存在种族歧视、性别歧视等其他有害联想。OpenAI在决定公开发布 ChatGPT时，曾试图回避很多这些问题。OpenAI让ChatGPT 的信息库截至到 2021 年为止，不让它浏览互联网，还通过安装过滤器防止 ChatGPT 对敏感或恶意的提示做出回应。不过，做到这一点需要人类管理员对庞杂的有害文本进行人工标记。 一个学术团队发布了另一个名叫 BLOOM 的大型语言模型。该团队试着用更少的精选多语言文本库来训练这个机器人。该团队还把它的训练数据完全公开。研究人员呼吁大型科技公司参照这种做法，但目前不清楚这些公司是否愿意。 还有一些研究人员认为学术界应该完全拒绝支持商用化的大型语言模型。除了偏见、安全顾虑和劳动剥削等问题，这些计算密集型算法还需要大量精力来训练，引发人们对它们生态足迹的关注。进一步的担忧还包括把思考过程交给自动化聊天机器，研究人员可能会丧失表达个人想法的能力。 另一个不明确的问题是一些大型语言模型的法律状态，这些大型语言模型是用网上摘录内容训练的，有些内容的权限处于灰色地带。版权法和许可法目前只针对像素、文本和软件的直接复制，但不限于对它们风格上的模仿。当这些由 AI 生成的模仿内容是通过输入原版内容来训练的，问题也随之而来。 (4)强制诚信使用 因此，一些研究人员相信，给这些工具设立边界可能十分必要。当前关于歧视和偏见的法律（以及对 AI 恶意用途实施有计划的监管）有助于维护大型语言模型使用的诚信、透明、公正。与此同时，人们也在倡导大型语言模型的使用需要更透明的披露。学术出版机构（包括《自然》的出版商）已经表示，科研人员应当在论文中披露大型语言模型的使用。《科学》则更进一步，要求所有论文中都不得使用ChatGPT 或其他任何 AI 工具生成的文本。 这里有一个关键的技术问题：AI 生成的内容是否能被发现。许多科研人员正在进行这方面的研究，核心思路是让大型语言模型自己去“揪” AI 生成的文本。 2022 年 12 月，美国普林斯顿大学的计算机科学研究生Edward Tian推出了GPTZero，这是一个 AI 检测工具，能从困惑度和突发性两个角度分析文本。OpenAI 本身已推出了 GPT-2 的检测器，并在 今年1月发布了另一个检测工具。不过，这些工具中还没有哪个敢自称绝不出错，尤其是在 AI 生成的文本经过人工编辑的情况下。OpenAI表示，在测试中，其最新工具将人类写的文本误判为 AI 生成文本的错误率为 9%，而且只能正确辨认出 26%的 AI 生成文本。 与此同时，大型语言模型的开发者正在构建更大型的数据集，打造更智能的聊天机器人（OpenAI 拟在今年推出 GPT-4），包括专门面向学术或医疗领域的机器人。2022 年12 月底，谷歌和 DeepMind 发布了一篇预印本论文，提前预告了名为 Med-PaLM 的临床专业大型语言模型。这个工具可以回答一些开放式的医学问题，水平与普通人类医师相当，但仍有缺陷和不可靠的问题。美国加州斯克利普斯研究所主任 Eric Topol 表示，他希望将来整合了大型语言模型功能的 AI 能将全身扫描与学术文献中的内容进行交叉验证，帮助诊断癌症，甚至理解癌症。但他强调，这一切都需要专业人士的监督。 生成式 AI 背后的计算机科学发展迅速，基本每个月都会有新成果。研究人员如何使用这些工具不仅决定了它们的未来，也决定了人类的未来。 参考文献：1. Nature Portfolio. ChatGPT与科研：革新与隐患共存| 《自然》长文. https://mp.weixin.qq.com/s/qHYbDfDY8S47mXK65TsF_A. 2. Pividori, M. & Greene, C. S. Preprint at bioRxiv https://doi.org/10.1101/2023.01.21.525030 (2023). 3. GPT, Osmanovic Thunstr?m, A. & Steingrimsson, S. Preprint at HAL https://hal.science/hal-03701250 (2022). 4. Nature Mach. Intell. 5, 1 (2023). 5. Glaese, A. et al. Preprint at https://arxiv.org/abs/2209.14375 (2022). 6. Thorp, H. H. Science379, 313 (2023). 7. Kirchenbauer, J. et al. Preprint at https://arxiv.org/abs/2301.10226 (2023). 8. Singhal, K. et al. Preprint at https://arxiv.org/abs/2212.13138 (2022).
    434浏览量
    原文链接