预印本的可信度跨度较大,但有一些方法可以衡量它们的可信度和质量,包括查看与手稿、审稿人评论、作者声誉以及预印本在同行评议过程中的状态相关的任何可用数据——如果预印本服务器提供这些数据的话。预印本的筛选标准、质量控制和其他功能也有助于把控这些预印本的整体质量。
哪些数据与预印本的科学发现相关?如果预印本服务器允许,一些研究人员将上传与其预印本相关的数据,包括研究数据、材料、代码和其他补充文件。这些文件备份与研究相关的数据、结果和其他部分,并允许复制分析。当作者在预印本中分享他们的数据和其他补充信息时,会增强其研究的可信度。
科学界对预印本有什么评论?一些专用的预印本平台以及 Research Square 等预印本服务器允许发表评论。评论者可以是该领域的知名研究员、相关领域的研究人员,甚至是爱好者。这些“社区评论”可以提供重要的背景信息,并指出论文的优缺点。强有力的反馈——即使该反馈包括分歧——不应被视为论文弱点的标志。
下图1是 Research Square 上的评论示例。这一特别评论强调了这项行星引力场研究作为“预测地震的新评估策略”的重要性。
图 1 Research Square 上的评论示例
图片来源:https://images.prismic.io/researchsquare/9602221d-9e2f-47e2-a99e-a662c028397c_Research+SquareExample+of+Comments.png?auto=compress,format
作者的声誉如何?所有预印本服务器都提供有关作者的信息。这可用于进一步调查作者本人。Google Scholar 可以提供有用的指标来帮助揭示作者的声誉(图2),例如:
●作者被引用的次数;
●作者的 h指数,以及发表文章的期刊影响因子;
●作者的 i10 指数——另一种对作者影响力的排名。
图 2 Google Scholar 提供的作者声誉揭示示例
图片来源:https://images.prismic.io/researchsquare/4dd50ea0-bb52-4f93-ae21-b656d48f546d_Google+Scholar+Profile+Example.png?auto=compress,format
预印本在同行评议过程中的状态如何?越来越多的预印本平台提供与同行评议期刊的集成,允许读者在同行评议过程中查看他们的稿件状态。Research Square 的 In Review 服务就是一个例子。在作者提交他们的文章后,显示手稿状态的同行评议时间线,例如,“正在审查中”、“正在修订中”或“已发表”。“已发表”状态表示稿件已通过同行评议并已在合作期刊上发表。这也是预印本可信度最明确的指标,它表明手稿已通过同行评议。
其他衡量可信度的方法:同行评议时间表上的其他信息可以帮助读者评估预印本的可信度。例如,同行评议专家是否对原始预印稿进行了主要或次要的编辑修改?如果修订很小,则该研究很可能总体上是可信的。如果需要进行重大修订,很可能表示至少预印本的第一个版本可能存在相当大的问题或可能丢失了重要信息。然而,在作者做出这些重大修改之后,这种可信度可能会在后续版本中增加。
预印本是否显示质量或认证指标?在提交给期刊之前,研究人员可能会选择预先认证,以此来证明他们的手稿或其背后的数据和方法的可信度。这些通常是通过各种编辑服务提供的认证,例如编辑和科学评论。这些质量指标可能在预印本本身上可见。例如,Research Square 提供两种类型的徽章作为质量指标 :
●方法报告徽章 - 其方法报告的可重复性
●数据报告徽章 - 验证数据和统计数据以行业最高标准呈现
预印本服务器及其在预印本可信度中的作用:预印本的可信度通常依赖于托管它们的预印本服务器的质量。查看服务器的预印本筛选流程、管理水平、编辑政策的详细信息以及其他标准。服务器之间的差异很大,以下是关于服务器可信度的线索:
①预印本服务器的筛选过程有多全面?在提交预印本发布之前,预印本服务器的工作人员可能会提出一系列严格的问题:
●作者是否遵守适当的研究和报告伦理?
●预印本提交是否包含适当的同意声明?
●是否有任何披露暴露了本研究的作者之间的任何利益冲突?
●……
一些预印本服务器,例如由社团或专有组织运行的预印本服务器,可能会以其他方式限制提交。例如:
●AMRC Open Research 是医学研究慈善协会 (AMRC) 的预印本服务器,要求提交论文的至少一名作者在发表作品之前隶属于 AMRC。
●Gates Open Research是由比尔和梅琳达·盖茨基金会资助的预印本平台,也要求至少有一位作者隶属于该组织资助的项目。
②预印本服务器是否主动管理?预印本服务器应该有一个团队,他们确保适当的筛选和处理作者提交的内容,这个团队应该由明确的领导、编辑人员和编辑委员会指导。
③服务器是否权威?预印本服务器背后是否有明确的编辑负责人? 例如,是否有主编、创始人或其他个人积极管理内容、预印本服务器的日常运营,并可能担任预印本领域的思想领袖?这些将为预印本服务器提供可信度。
④服务器有专门的编辑人员:预印本未经同行评议,但在发布前应经过初步筛选。更重要的是,这些人应该具备一些相关专业知识。因此,可信预印本的另一个指标是专门的审稿人根据编辑政策和预印本筛选标准对其进行筛选。
⑤服务器有一个编辑或顾问委员会:编辑和顾问委员会也是可靠的预印本服务器的一个重要标志。这些董事会成员可以包括领先的研究人员、图书馆员、出版业专家和其他主要利益相关者。这些专家可以在平台上提供学术指导,并确保其满足目标研究社区的需求。
关于预印本和预印本服务器可信度的结论:发布到预印本服务器的预印本不像向传统科学期刊投稿那样经过同行评议,但其中大多数确实是可信的。大多数提交的预印本都要经过编辑检查和质量标准筛选。社区评论有助于预印本的改进,并且大多数预印本能够通过同行评议程序继续在期刊上发表。
编译:刘敬仪、杨恒