《如何衡量预印本的可信度》

  • 来源专题:科技期刊发展智库
  • 编译者: 刘敬仪
  • 发布时间:2022-12-29
  •   预印本的可信度跨度较大,但有一些方法可以衡量它们的可信度和质量,包括查看与手稿、审稿人评论、作者声誉以及预印本在同行评议过程中的状态相关的任何可用数据——如果预印本服务器提供这些数据的话。预印本的筛选标准、质量控制和其他功能也有助于把控这些预印本的整体质量。

      哪些数据与预印本的科学发现相关?如果预印本服务器允许,一些研究人员将上传与其预印本相关的数据,包括研究数据、材料、代码和其他补充文件。这些文件备份与研究相关的数据、结果和其他部分,并允许复制分析。当作者在预印本中分享他们的数据和其他补充信息时,会增强其研究的可信度。

      科学界对预印本有什么评论?一些专用的预印本平台以及 Research Square 等预印本服务器允许发表评论。评论者可以是该领域的知名研究员、相关领域的研究人员,甚至是爱好者。这些“社区评论”可以提供重要的背景信息,并指出论文的优缺点。强有力的反馈——即使该反馈包括分歧——不应被视为论文弱点的标志。

      下图1是 Research Square 上的评论示例。这一特别评论强调了这项行星引力场研究作为“预测地震的新评估策略”的重要性。



    图 1 Research Square 上的评论示例

    图片来源:https://images.prismic.io/researchsquare/9602221d-9e2f-47e2-a99e-a662c028397c_Research+SquareExample+of+Comments.png?auto=compress,format




      作者的声誉如何?所有预印本服务器都提供有关作者的信息。这可用于进一步调查作者本人。Google Scholar 可以提供有用的指标来帮助揭示作者的声誉(图2),例如:

    ●作者被引用的次数;

    ●作者的 h指数,以及发表文章的期刊影响因子;

    ●作者的 i10 指数——另一种对作者影响力的排名。



    图 2 Google Scholar 提供的作者声誉揭示示例

    图片来源:https://images.prismic.io/researchsquare/4dd50ea0-bb52-4f93-ae21-b656d48f546d_Google+Scholar+Profile+Example.png?auto=compress,format



      预印本在同行评议过程中的状态如何?越来越多的预印本平台提供与同行评议期刊的集成,允许读者在同行评议过程中查看他们的稿件状态。Research Square 的 In Review 服务就是一个例子。在作者提交他们的文章后,显示手稿状态的同行评议时间线,例如,“正在审查中”、“正在修订中”或“已发表”。“已发表”状态表示稿件已通过同行评议并已在合作期刊上发表。这也是预印本可信度最明确的指标,它表明手稿已通过同行评议。

      其他衡量可信度的方法:同行评议时间表上的其他信息可以帮助读者评估预印本的可信度。例如,同行评议专家是否对原始预印稿进行了主要或次要的编辑修改?如果修订很小,则该研究很可能总体上是可信的。如果需要进行重大修订,很可能表示至少预印本的第一个版本可能存在相当大的问题或可能丢失了重要信息。然而,在作者做出这些重大修改之后,这种可信度可能会在后续版本中增加。

      预印本是否显示质量或认证指标?在提交给期刊之前,研究人员可能会选择预先认证,以此来证明他们的手稿或其背后的数据和方法的可信度。这些通常是通过各种编辑服务提供的认证,例如编辑和科学评论。这些质量指标可能在预印本本身上可见。例如,Research Square 提供两种类型的徽章作为质量指标 :

    ●方法报告徽章 - 其方法报告的可重复性

    ●数据报告徽章 - 验证数据和统计数据以行业最高标准呈现

      预印本服务器及其在预印本可信度中的作用:预印本的可信度通常依赖于托管它们的预印本服务器的质量。查看服务器的预印本筛选流程、管理水平、编辑政策的详细信息以及其他标准。服务器之间的差异很大,以下是关于服务器可信度的线索:

    ①预印本服务器的筛选过程有多全面?在提交预印本发布之前,预印本服务器的工作人员可能会提出一系列严格的问题:

    ●作者是否遵守适当的研究和报告伦理?

    ●预印本提交是否包含适当的同意声明?

    ●是否有任何披露暴露了本研究的作者之间的任何利益冲突?

    ●……

      一些预印本服务器,例如由社团或专有组织运行的预印本服务器,可能会以其他方式限制提交。例如:

    ●AMRC Open Research 是医学研究慈善协会 (AMRC) 的预印本服务器,要求提交论文的至少一名作者在发表作品之前隶属于 AMRC。

    ●Gates Open Research是由比尔和梅琳达·盖茨基金会资助的预印本平台,也要求至少有一位作者隶属于该组织资助的项目。

    ②预印本服务器是否主动管理?预印本服务器应该有一个团队,他们确保适当的筛选和处理作者提交的内容,这个团队应该由明确的领导、编辑人员和编辑委员会指导。

    ③服务器是否权威?预印本服务器背后是否有明确的编辑负责人? 例如,是否有主编、创始人或其他个人积极管理内容、预印本服务器的日常运营,并可能担任预印本领域的思想领袖?这些将为预印本服务器提供可信度。

    ④服务器有专门的编辑人员:预印本未经同行评议,但在发布前应经过初步筛选。更重要的是,这些人应该具备一些相关专业知识。因此,可信预印本的另一个指标是专门的审稿人根据编辑政策和预印本筛选标准对其进行筛选。

    ⑤服务器有一个编辑或顾问委员会:编辑和顾问委员会也是可靠的预印本服务器的一个重要标志。这些董事会成员可以包括领先的研究人员、图书馆员、出版业专家和其他主要利益相关者。这些专家可以在平台上提供学术指导,并确保其满足目标研究社区的需求。

      关于预印本和预印本服务器可信度的结论:发布到预印本服务器的预印本不像向传统科学期刊投稿那样经过同行评议,但其中大多数确实是可信的。大多数提交的预印本都要经过编辑检查和质量标准筛选。社区评论有助于预印本的改进,并且大多数预印本能够通过同行评议程序继续在期刊上发表。


    编译:刘敬仪、杨恒

相关报告
  • 《预印本中的虚假作者和冒名顶替者:我们如何信任开放科学中的作者?》

    • 来源专题:科技期刊发展智库
    • 编译者:李涵霄
    • 发布时间:2022-12-29
    •   科学出版过程的核心假设是手稿由有资格的科学家撰写。但是,如果不是这样呢?“作者”是指“传达重大特权、责任和法律权利的想法的创造者或发起者”。一些期刊和社会指南明确禁止在出版物中使用虚构的作者姓名,但作者身份的完整性仍面临挑战——通过印刷厂、假冒同行评议专家和已发表论文中不存在的共同作者,可以将其称之为预印本作者中的虚假作者和冒名顶替者。   根据定义,虚假作者是一个虚构的人物,而不是基于一个已知的人。另一方面,冒名顶替者采用另一个人的身份并将其作为自己的身份。两种概念在实际出版工作中都有所体现,但产生不同的后果。虚假作者表面上是为了让一个想法被视为可信的研究而进行科学研究。冒名顶替者也会这样做,但要伪装成一个知名的、有资格的人。这两种行为都可能污染科学过程、讨论和结果,但冒名顶替者也可能损害经验证的科学家的声誉。   预印本中虚构作者的普遍性仍然未知,而且在大多数情况下作者的动机是不透明的。这种在开放科学领域的不端行为提出了许多需要讨论的问题。正如学术界许多人所知,作为开放科学研究的一部分,多个平台提供了快速分散预印本的机制。一些服务主要托管研究手稿,而一些服务支持更多样的学术工作(如图像、数据文件)。它们的质量检查标准各不相同。   信任指标   无论是预印本还是已发表的文章,许多科学家都会通过内部检查来判断是否信任研究出版物。他们通过各种高级检查(如查看和验证作者的机构关系、检查引文以及调查作者的其他已发表作品)来确定出版物信息的真实性与有效性。这表明了对科学的信任程度,将对其进行进一步审查。   信任不仅通过辨别个人标识符(例如ORCID ID、DOI),而且也在共享科学的实践中表现出来。由于科学生态系统中预印本和存储库集成的新颖性,目前还没有针对每篇论文只使用一个平台的既定指南。然而,这种在多个平台上多次发帖的做法——如果持续使用——似乎打破了开放科学的社会信任契约。   2020年,已有数千份手稿发布在预印本平台上,许多论文获得了媒体的广泛关注,显现出快速科学交流带来的好处,以及过度夸大科学工作和发表速度过快带来的弊端。由于对预印本的关注如此之多,因此认为预印本是为科学家而设计的,这项工作是值得信赖的,这是合乎逻辑的。然而,事实并非如此,这些平台上有虚假作者和冒名顶替者,他们提交作品来模仿科学研究。   新冠肺炎预印本中的虚假作者和冒名顶替者   通过一个例子来说明开放科学实践是如何通过虚假作者操纵的。根据跨平台(如figshare、Academia.edu和OSF)的多位作者简介,Kira Smith是一位具有医学学位和50多个领域专业知识的研究人员,在至少8个平台上发表了9篇独特的“研究”论文,共28篇论文均发表于2020年。他在ORCID上上传的作品中,仅有一篇与COVID19有关,一项介绍阿片类药物的表格。出版物大多发表于支持预印本的通用知识库,包括figshare、Authorea和SSRN,在掠夺性出版商openventio上,至少有一篇“已发表”的论文。Kira Smith的同一篇论文可能分布在多个平台上,但并非所有论文都在一个平台上。其中一些论文是两种语言之间的翻译版本,并算作同一篇论文。其每篇论文都很少被引用,现在的引用是COVID文献内外以及非科学网站上发表的科学作品的混合。   与Kira Smith一样,也有许多作者通过大量出版物成为COVID领域的“专家”。他们在12个月内在一个或多个预印本存储库上传了大量文章,其中许多人已经填写了ORCID档案。这些作者无法像去年之前的科学家一样被证实存在。   2020年期间可能只发表关于COVID的文章,却没有任何其他出版物,然后在一年内就一个主题撰写多篇稿件,这似乎很奇怪,即使对一名新的研究人员来说也是如此。作者在COVID之前几乎没有或没有关于任何主题的出版物;他们在同行评议期刊上没有出版物;而且,他们似乎是独立的研究人员。然而,他们利用了一些开放科学实践和标识领域,这些领域充当了对开放科学信任的代理:①在已知平台上公开发布初步工作,创建文章DOI;②通过ORCID填充唯一的作者标识符配置文件。发布到平台和获取ORCID ID都不需要验证;只需要一个电子邮件地址。   对开放科学的信任   同行评议研究中的已知挑战包括假冒同行评议专家、印刷厂和伪造的机构隶属关系。其他伦理问题也困扰着研究科学,如作者归属和一稿多投 。虽然COPE为解决“一稿多投”问题提供了指导和建议,但在与COPE理事会成员的通信中,他们尚未讨论预印本中的虚构作者。   由于作者的挑战,相关人员开始在Ripeta自动化作者检查,作为对研究手稿质量检查的一部分。他们发现,尤其是预印本,需要检查作者是否是科学家。由于需要定义“科学家”和出版所需的特定资格,这可能非常麻烦。需要探究对作者的信任如何定义,研究人员应该或需要具备什么资格?ORCID ID、学术机构、老牌公司还是以前的同行评议出版物?它们都有作为科学家凭证的优点和缺点。   自开始这项调查以来,Kira Smith和其他人在多个平台上多次更新了他们的个人资料,甚至在已发表的文献中被引用。虽然可以猜测其创作和分享论文的一些动机,但这些只是猜测,很难解释这些行为,但也不难说这些文章都不值得信任。然而,这些有问题的预印本已经被下载了数百到数千次。   这带来了一些问题——如何定义开放科学中的信任?对于科学生态系统的博弈,应该做些什么?开放科学的预期行为规范是什么?从开放科学网站报告和删除工作和简介的协议是什么?谁应该做出这些决定?这些问题为开始讨论制衡提供了充足的素材。现在是建立联盟的时候了——在开放科学生态系统中培养可信度和诚信。不同的视角将提供解决方案的平衡,并将包括支持储存库和预印本服务的利益相关者,出版商、机构和资助者,伦理学家和出版伦理的支持者。此外,这一讨论必须包含开放科学的全球驱动因素。通过这个开放科学联盟,将建立和检查对科学和科学家的信任。
  • 《bioRxiv预印本评论》

    • 来源专题:科技期刊发展智库
    • 编译者:于世博
    • 发布时间:2022-12-29
    • 1. 评论的意义。bioRxiv使得研究人员能立即公开研究成果,以支持科学研究的快速共享。bioRxiv评论面向所有公众开放,以期通过评论交流改进预印本,具体措施包括:允许读者公开评论有关预印本的反馈或疑问,允许公众提问并与作者或社区其他成员分享建设性的观点和意见,评论可以包含额外的参考资料、关于方法的问题或说明、向作者征寻额外信息的请求,甚至是完整的同行评议。   bioRxiv允许作者可以在评论区与读者互动,回复读者提出的任何问题或解释说明预印本的内容。此外,将私人通信(一般指电子邮件)转移到公开评论论坛可使整个社区受益,作者只需回复一次类似的问题以节省时间,读者也可立即访问到原本耗时很久才可获取的信息。 2. 如何发表评论。读者使用 Disqus 平台发表评论(见图6),点击评论图标(在摘要上方的启动栏左起第一个),可打开评估仪表板中的评论选项卡。评论者选择以下任一方式(Disqus、Facebook、Twitter、Google)登录或以访客身份发帖(选择 Disqus 图标并选择“我愿意以访客身份发帖”复选框),同时也可以单击现有评论下方的“回复”链接,直接对先前评论的进行回复。 图6 bioRxiv的评论界面 图片来源:https://connect.biorxiv.org/news/images/comments1.png 3.社区准则。评论的目的是丰富预印本的对话,并提供一个讨论预印本的场所,因此: ●评论必须与预印本相关。 ●评论必须以英文撰写。 ●评论必须是唯一的(不能重复发布)。 ●评论不包括审稿人姓名或期刊名称。 ●评论可包含需要经过筛选后的链接。 ●评论必须文明道德,尊重他人。包含以下内容的评论将不会发布:   辱骂、人身攻击、种族主义/性别歧视/仇外心理/绝对主义/宗教诽谤、淫秽、粗俗、亵渎、诽谤、煽动暴力、商业宣传、教唆、冒名顶替、语无伦次(以及任何不利于科学讨论的言论)。 编译:于世博、刘敬仪