2022年9月，Elsevier的国际研究中心实验室(ICSR Lab)发布了一个重要数据集——Elsevier期刊三年的文献和同行评议数据，其中包含超过500万作者、审稿人和编辑的关联信息。感兴趣的研究人员还可以获取到编辑部决议和评审时间表，包括提交和决议日期，以及作者、编辑和审稿人的元数据。所有数据都存放在虚拟实验室的一个特殊位置，称为同行评议工作台（Peer Review Workbench）。推进所有领域研究评估的发展是ICSR的重要使命之一，而ICSR实验室是履行这一使命的基地。该基于云计算的平台使研究人员能够分析大型结构化数据集，包括支持Elsevier解决方案（如Scopus和PlumX）的数据集。
Elsevier的同行评议专家体验负责人Mehmani博士表示，该项目有一个非常明确的目标：支持对同行评议的系统研究。与其他研究主题不同，同行评议研究总是较为分散，且往往基于有限的证据，这主要是因为研究人员难以大规模获取文献和同行评议数据。Elsevier会定期收到有关同行评议的研究方案，例如，研究人员希望了解哪种同行评议模型在他们的领域中最有效，或者想从性别角度研究同行评议。Elsevier会尽力支持研究者，但现有的工作流程难以满足这些需求。作为PEERE同行评议工作组成员，Mehmani与ICSR实验室团队联系，提议利用Elsevier文献和同行评议数据补充他们现有的数据集。
Elsevier科研评估副总裁兼ICSR主席Plume博士表示，以期刊为媒介的文献同行评议通常被认为是专家评审的黄金标准，但缺乏对其全面的研究。通过安全和匿名的方式将这些数据开放，将有助于改进同行评议。此外，我们希望它能为严重依赖专家评审的其他领域提供信息，例如研究评估实践。
(1) 有哪些可用数据？
对于此次发布的初始版本，同行评议工作台将包含Elsevier在线稿件提交系统中三年稿件元数据，包括有关编辑部决议、稿件作者和同行评议专家的信息。
“由于每年向Elsevier期刊提交的稿件数量庞大，” Mehmani说，“我们选择从三年的数据开始，逐年扩充语料库，以提高数据在趋势分析中的效用。所以明年，将有四年的数据可用，依此类推。”虽然只有三年的数据，但至少包括500万人的信息，Elsevier已经对这些信息进行了匿名、汇总和丰富。此外，每个研究小组的访问权限仅限于解决他们自己的研究问题所需的变量和数据子集。
Elsevier确保无法从数据中识别出任何人。研究人员只能访问该数据集独有的一组ID号。特别删除“异常”案例，例如，可能通过其国家或机构识别出的作者或同行评议专家。此外，制定了相关机制以及明确的研究方案指南，以确保研究遵循道德伦理和统计保密规则。
同行评议工作台提供了丰富的数据选项，这些选项将根据每个方案的范围进行定制包括：①Scopus作者简介的汇总数据。例如，特定作者群的出版历史数据。②推断性别。性别分配算法可以提供富有洞察力的模式，并在Elsevier的性别报告编制中发挥重要作用。然而，它们也有局限性——在推断非欧洲名字的性别方面效率较低，而且不能反映完整的性别频谱。③PlumXMetrics，可深入了解在线出版物的范围和影响。④SciValTopics，提供了超越期刊界限的研究主题的细粒度视图。⑤联合国可持续发展目标分类，用于标记与可持续性相关的期刊文章。
研究人员可以查看一份文献有多少位作者，每个共同作者有多少前期出版物，以及这些共同作者中有多少人曾为Elsevier期刊进行过同行评审。对于数据集中的每个同行评审专家，可以查看提交的评审数量或接受的评审邀请数量。此外，研究人员可以参与到扩充数据集，例如，调查反馈或项目资金。
(2) 研究人员可以进行什么样的分析？
同行评议工作台数据集可以帮助解决各种潜在的研究问题。例如，将疫情前两年的数据作为基线数据，以在疫情期间开展同行评议的恢复性研究。事实上，Mehmani博士已经使用类似数据集与米兰大学的Squazzoni教授、瓦伦西亚大学的Grimaldo教授合作，以研究COVID封锁措施对全球女性学者的影响。
Mehmani博士认为研究不同群体中审稿人的表现会非常有趣，这些群体的划分标准可能是国家、职业阶段、学科，甚至是同行评议模型。这将有助于了解同行评议专家的不同特征如何影响同行评议的质量和结果，也有助于期刊了解如何更好地参与和支持不同群体的同行评议。
Mehmani博士还希望看到研究人员提交有关“研究的重复验证”的研究方案，因为“可重复性非常重要”。此外，还希望收到跟踪早期研究的请求，即研究人员将能够查看到最初始的研究建议，以及相关期刊是否进行了处理以及处理效果。
(3) 研究人员如何申请？
Elsevier欢迎研究人员通过ICSR实验室网站提交研究方案。ICSR团队将检查每一项的完整性和真实性，然后再与由四位学者组成的独立委员会共享以供同行评议。他们分别是来自克罗地亚斯皮特大学医学院生物医学与健康研究系和循证医学中心主任、《全球健康杂志》联合主编Ana Maru?i?教授，瓦伦西亚大学工程学院副院长兼副教授，PEERE副主席 Francisco Grimaldo教授，哈佛大学公共卫生学院生物统计学、人口和数据科学教授Francesca Dominici，以及斯坦福大学META研究员、Springer Nature Research Integrity and Peer Review主编Mario Mali?ki博士。
研究方案被接受后，研究人员将获得相关数据的访问权限。尽管研究在同行评议工作台环境中进行，但研究人员可以导出他们的汇总数据和相关代码。他们还将被鼓励登记他们的研究假设和方法，并将他们项目的每个阶段与最初的研究方案关联起来。为此，预印本服务器SSRN开辟了一条新通道。出版物可以采用多种格式，包括会议报告和论文、工作论文、预印本和同行评议的期刊文章。ICSR实验室网站上提供了完整的数据访问要求列表。
该项工作开创数据共享的新方法，这是出版商第一次为了研究目的而采取共享文献和同行评议数据。2015～2018年，Elsevier与出版商Wiley、Springer Nature、皇家学会只是汇总了一些同行评议数据供PEERE工作组使用。Mehmani博士认为这个新数据集将有助于了解和改进同行评议，但是仍然有其局限性。学者通常在多家出版商发表文章，评审也是如此。如果其他出版商也能够通过某种方式分享文献和同行评议数据，那么出版商联合起来创建一个单子数据集将是最终愿景。
