Digital Science 的 Mike Taylor 讨论了替代计量如何适应不断变化的研究影响测量格局
在推出 13 年后,altmetrics 发现自己处于另一个拐点。随着社交媒体格局的变化和新平台的出现,该领域面临着新的问题,即如何在日益分散的数字生态系统中有意义地衡量研究影响。
Digital Science 数据洞察主管 Mike Taylor 利用三十年的学术出版经验来研究替代计量如何适应这些变化。
为什么替代计量对于衡量研究影响仍然至关重要
尽管已有十多年的历史,但替代计量学在当今的研究领域仍然具有重要意义。泰勒的职业生涯跨越了学术出版的转型,他指出开放获取的兴起是这种持续相关性的关键驱动力。“15-20 年来,我们看到的最重要的事情是开放获取的兴起。它付出了很多代价,造成了很多破坏,“他说。“OA 背后的很多想法都是道德的,让所有人都能获得科学是正确的。Altmetric 为我们提供了一种量化成功的好方法。
除了衡量开放获取的影响之外,altmetrics 还提供了对研究翻译速度的前所未有的见解。将临床指南纳入 Altmetric 的数据源中为研究人员和出版商提供了一个窗口,了解学术研究从发表到实际应用的速度,这是了解现实世界影响的关键指标。
追踪学术平台迁移:从 X 到 BlueSky
也许 Altmetric 的适应性在最近添加的 BlueSky 跟踪中表现得最为明显。此举正值学术交流领域经历前所未有的剧变,研究人员从传统平台迁移之际。“我从未想过看到 X 像现在这样下降,”泰勒说。“尽管自马斯克退出政坛以来出现了小幅复苏,但我们看到很多时候 Bluesky 拥有比 X 更大的活跃社区。”
这种平台迁移提供了对学术社区行为模式的洞察。泰勒指出了一个悖论:“它教会了我两件事,这是相反的:首先,一个稳定的社区移动的速度有多快,其次,社区对破坏的抵抗力有多大!数据表明,虽然学术界在推动下可以迅速动员起来,但他们也表现出相当大的变革韧性,泰勒认为这一现象值得进一步研究关注。
对多个平台的跟踪引发了更广泛的问题,即学术话语发生在哪里以及如何全面地捕捉它。
应对长期存在的技术挑战
一项重大发展解决了一个持续存在的技术挑战:对科学内容进行有意义的情感分析。传统的情绪分析工具长期以来一直在与研究相关的帖子中苦苦挣扎,经常误解积极的发现。“你会发布一篇关于癌症幸存率增加的帖子,它会说'哦不,癌症,这很糟糕,'”泰勒解释道。“标准工具仍然这样做。”
该解决方案涉及开发一个专门的系统,以满足人们在社交媒体上讨论科学的方式。在 Carlos Areia 博士的领导下,该团队花了三年时间创建和完善了这种情绪分析方法。“数据很棒,我们在过去几年里一直在完善这一点,并倾听客户的意见,”泰勒解释道。这一发展不仅代表了在理解研究关注量方面取得的进展,而且代表着在理解其定性维度方面取得了进展。
为发布商提供基准智能
对于寻求竞争情报和作品集优化的出版商来说,Altmetric 的新期刊基准仪表板解决了一个持续存在的挑战。Taylor 在爱思唯尔工作了 20 年,他亲身了解了比较期刊或与学科进行基准比较的困难。“尽管大型出版商现在拥有数据科学团队,并且可以访问 Dimensions 和 Altmetric 数据,但仍然很难进行简单的比较,”他说。
Journal Benchmark 仪表板源于 Taylor 的个人愿景,即通过清晰、可作的数据支持期刊社区。无论出版商是管理旗舰期刊还是开发新兴期刊,该工具都能提供编辑友好的可视化效果,促进有意义的比较和战略决策。“我想帮助像我这样的人,那些热爱他们的期刊、热爱社区并希望用良好、清晰的数据支持编辑委员会的人,”泰勒说。
人工智能在研究指标中的前景和危险
展望未来,泰勒认为人工智能在使研究评估民主化方面具有巨大潜力。提供上下文丰富的见解的能力,例如确定一篇论文是“去年在哮喘领域发表的讨论最多的第三篇论文”,并且“在患者权益倡导者中讨论”或“在主流媒体上报道”,代表了在使指标更易于理解和有意义方面取得的重大进步。
然而,泰勒指出了这种权力所带来的责任。“研究评估的用户大多是学者;他们期望得到稳固的答案,牢牢植根于数据,“他说。随着人工智能越来越多地影响晋升和任期决策,透明度变得至关重要。“无论是推广、文章拒绝还是授权批准,我们都不能陷入'算法说不'的境地:我们的工作对此来说太重要了。”
这一观点反映了 Altmetric 支持而不是取代人类判断的更广泛理念,这一原则植根于泰勒的信念,即该领域应该“始终重视异议和破坏”。
揭秘替代注意力分数 (AAS)
尽管 altmetrics 已经成熟,但误解仍然存在。泰勒经常遇到社交媒体指标毫无意义或维基百科等来源缺乏可信度的说法。最近的研究挑战了这些假设。使用 Altmetric 的情绪分析,该团队可以展示社交媒体研究对话的意义。此外,调查数据显示,学者确实倾向于信任其学科领域内的维基百科文章。
“Altmetrics 意味着事物(复数),这需要理解和分析,”泰勒说。“Altmetric 注意力分数是告诉人们更仔细地查看数据的绝佳工具,它本身并不是一个答案。”
未来之路
Taylor 还暗示了重大发展,这些发展将为 Altmetric Explorer 带来更多数据和见解。这些新增功能显然满足了长期存在的用户需求,有望进一步增强该平台对出版商、研究人员和机构的实用性。
随着研究传播格局的不断发展,Altmetric 结合了平台敏捷性、复杂的分析工具和对透明度的承诺,使其成为了解研究影响的重要资源。在仅靠传统指标无法捕捉学术影响力的时代,Altmetric 跟踪从临床指南到新兴社交平台等不同来源的注意力的综合方法为明智决策提供了必要的细致入微的见解。