《推进代替计量学——最佳实践和新兴想法》

  • 来源专题:图书情报
  • 编译者: mawutong
  • 发布时间:2018-02-15
  • 近年来,代替计量学已成为热点研究领域。因此,图书馆投入了大量时间、经历以及金钱来研究这门学科。如何找到最合适、最有用的数据证明代替计量学的重要作用呢,这是一个非常值得探讨的话题。此外,最为正确使用代替计量学的时间,以及如何使用代替计量学也是目前的热门话题。

    NISO的代替计量学工作组已经对现有的代替计量学的使用案例进行了分析,他们提出:视图和下载的使用指标是否足以评估数据集的有用性?COUNTER,SUSHI和SUSHI Lite的研究可以提供什么样的例子? 为确保科学数据集的可发现性、可用性和可重复性,需要或培育哪些替代方法?

    本次视频会议将对这些问题进行详细的探讨,欢迎参加。

相关报告
  • 《替代计量学如何重塑科研影响力评估》

    • 来源专题:数智化图书情报
    • 编译者:程冰
    • 发布时间:2025-10-19
    • Digital Science 的 Mike Taylor 讨论了替代计量如何适应不断变化的研究影响测量格局 在推出 13 年后,altmetrics 发现自己处于另一个拐点。随着社交媒体格局的变化和新平台的出现,该领域面临着新的问题,即如何在日益分散的数字生态系统中有意义地衡量研究影响。 Digital Science 数据洞察主管 Mike Taylor 利用三十年的学术出版经验来研究替代计量如何适应这些变化。 为什么替代计量对于衡量研究影响仍然至关重要 尽管已有十多年的历史,但替代计量学在当今的研究领域仍然具有重要意义。泰勒的职业生涯跨越了学术出版的转型,他指出开放获取的兴起是这种持续相关性的关键驱动力。“15-20 年来,我们看到的最重要的事情是开放获取的兴起。它付出了很多代价,造成了很多破坏,“他说。“OA 背后的很多想法都是道德的,让所有人都能获得科学是正确的。Altmetric 为我们提供了一种量化成功的好方法。 除了衡量开放获取的影响之外,altmetrics 还提供了对研究翻译速度的前所未有的见解。将临床指南纳入 Altmetric 的数据源中为研究人员和出版商提供了一个窗口,了解学术研究从发表到实际应用的速度,这是了解现实世界影响的关键指标。 追踪学术平台迁移:从 X 到 BlueSky 也许 Altmetric 的适应性在最近添加的 BlueSky 跟踪中表现得最为明显。此举正值学术交流领域经历前所未有的剧变,研究人员从传统平台迁移之际。“我从未想过看到 X 像现在这样下降,”泰勒说。“尽管自马斯克退出政坛以来出现了小幅复苏,但我们看到很多时候 Bluesky 拥有比 X 更大的活跃社区。” 这种平台迁移提供了对学术社区行为模式的洞察。泰勒指出了一个悖论:“它教会了我两件事,这是相反的:首先,一个稳定的社区移动的速度有多快,其次,社区对破坏的抵抗力有多大!数据表明,虽然学术界在推动下可以迅速动员起来,但他们也表现出相当大的变革韧性,泰勒认为这一现象值得进一步研究关注。 对多个平台的跟踪引发了更广泛的问题,即学术话语发生在哪里以及如何全面地捕捉它。 应对长期存在的技术挑战 一项重大发展解决了一个持续存在的技术挑战:对科学内容进行有意义的情感分析。传统的情绪分析工具长期以来一直在与研究相关的帖子中苦苦挣扎,经常误解积极的发现。“你会发布一篇关于癌症幸存率增加的帖子,它会说'哦不,癌症,这很糟糕,'”泰勒解释道。“标准工具仍然这样做。” 该解决方案涉及开发一个专门的系统,以满足人们在社交媒体上讨论科学的方式。在 Carlos Areia 博士的领导下,该团队花了三年时间创建和完善了这种情绪分析方法。“数据很棒,我们在过去几年里一直在完善这一点,并倾听客户的意见,”泰勒解释道。这一发展不仅代表了在理解研究关注量方面取得的进展,而且代表着在理解其定性维度方面取得了进展。 为发布商提供基准智能 对于寻求竞争情报和作品集优化的出版商来说,Altmetric 的新期刊基准仪表板解决了一个持续存在的挑战。Taylor 在爱思唯尔工作了 20 年,他亲身了解了比较期刊或与学科进行基准比较的困难。“尽管大型出版商现在拥有数据科学团队,并且可以访问 Dimensions 和 Altmetric 数据,但仍然很难进行简单的比较,”他说。 Journal Benchmark 仪表板源于 Taylor 的个人愿景,即通过清晰、可作的数据支持期刊社区。无论出版商是管理旗舰期刊还是开发新兴期刊,该工具都能提供编辑友好的可视化效果,促进有意义的比较和战略决策。“我想帮助像我这样的人,那些热爱他们的期刊、热爱社区并希望用良好、清晰的数据支持编辑委员会的人,”泰勒说。 人工智能在研究指标中的前景和危险 展望未来,泰勒认为人工智能在使研究评估民主化方面具有巨大潜力。提供上下文丰富的见解的能力,例如确定一篇论文是“去年在哮喘领域发表的讨论最多的第三篇论文”,并且“在患者权益倡导者中讨论”或“在主流媒体上报道”,代表了在使指标更易于理解和有意义方面取得的重大进步。 然而,泰勒指出了这种权力所带来的责任。“研究评估的用户大多是学者;他们期望得到稳固的答案,牢牢植根于数据,“他说。随着人工智能越来越多地影响晋升和任期决策,透明度变得至关重要。“无论是推广、文章拒绝还是授权批准,我们都不能陷入'算法说不'的境地:我们的工作对此来说太重要了。” 这一观点反映了 Altmetric 支持而不是取代人类判断的更广泛理念,这一原则植根于泰勒的信念,即该领域应该“始终重视异议和破坏”。 揭秘替代注意力分数 (AAS) 尽管 altmetrics 已经成熟,但误解仍然存在。泰勒经常遇到社交媒体指标毫无意义或维基百科等来源缺乏可信度的说法。最近的研究挑战了这些假设。使用 Altmetric 的情绪分析,该团队可以展示社交媒体研究对话的意义。此外,调查数据显示,学者确实倾向于信任其学科领域内的维基百科文章。 “Altmetrics 意味着事物(复数),这需要理解和分析,”泰勒说。“Altmetric 注意力分数是告诉人们更仔细地查看数据的绝佳工具,它本身并不是一个答案。” 未来之路 Taylor 还暗示了重大发展,这些发展将为 Altmetric Explorer 带来更多数据和见解。这些新增功能显然满足了长期存在的用户需求,有望进一步增强该平台对出版商、研究人员和机构的实用性。 随着研究传播格局的不断发展,Altmetric 结合了平台敏捷性、复杂的分析工具和对透明度的承诺,使其成为了解研究影响的重要资源。在仅靠传统指标无法捕捉学术影响力的时代,Altmetric 跟踪从临床指南到新兴社交平台等不同来源的注意力的综合方法为明智决策提供了必要的细致入微的见解。
  • 《从 ChatGPT 看生成式 AI 对情报学研究与实践的影响》

    • 来源专题:数智化图书情报
    • 编译者:闫亚飞
    • 发布时间:2023-07-11
    • 一般地,情报学理论范式指导情报实践工作。有研究将情报学理论范式分为 4 种,并阐释了每种范式下的情报工作重点和发展趋向,分别是:泛信息论范式下的知识管理与综合性知识服务;学术信息服务范式下的信息检索与服务;决策情报服务范式下的战略情报支持;社会信息服务范式下的企业 竞争情报、社会情报、舆情传播等。鉴于这4种范式较为全面地覆盖了情报实践工作的内容,因此本文将以此为视角,分析生成式AI将对情报实践产生的影响。 1.  拓宽知识资源建设渠道,打造知识服务新生态 知识服务是各类情报机构的一项重要职能,而智慧型知识服务是人工智能时代的产物。生成式AI又将推进智慧型知识服务向高级阶段的进化。从知识生产层面,传统的知识资源多出自出版社、数据库商以及情报机构的自建数据库和知识库。生成式AI的出现将拓宽情报机构知识资源建设的渠 道,AI辅助用户内容创作、AI自动生成内容成为 新的知识生产模式。一方面,每个用户可参与到知 识生产过程中,通过AI辅助获取知识创作的灵感、素材,由AI生成文本、图像、代码、3D模型等多模态知识,实现内容续写、跨模态内容生成( 文字 合成图片或视频等),可极大提升用户体验;另一 面,生成式AI能够通过学习数据的底层模式再自动生成新内容。但就目前最先进的生成式AI技术ChatGPT而言,一大特点就是无法保证生成内容的准确性,这与知识的属性相斥。近期发表在Nature上的文章《ChatGPT:五大优先研究问题》中,研究者指出,ChatGPT 被用于科学界,必须要 坚持人类审查的原则。这无疑对情报机构提出 了新的挑战,即缺少前端的专家审核,情报机构需要承担对AI生成知识内容的人工审核与质量把控 的任务。从知识服务层面,随着元宇宙概念的提 出,情报服务机构致力于构建结合 AR、VR、人工智能等技术的超现实空间与现实空间融合的虚实共生的知识服务场景,而生成式 AI 技术也将为此贡献巨大力量,比如利用AIGC生成虚拟人或数字人,利用“ChatGPT+虚拟人”技术打造人机交互新入口,为用户提供沉浸式、立体化知识体验,有助于拓宽情报机构知识服务的范畴,构建知识服务新生态。 2.  塑造学术信息检索新范式,优化学术信息服务模式 ChatGPT的出现对搜索引擎业务构成了较大威胁,但百度指出生成式AI并不能替代搜索引擎,两者是一种互补的关系,并提出了融合两者功能的“生成式搜索”概念,这对情报领域的学术信息搜索发出了信号。一方面,针对以 Web of Science、中国知网、情报机构自建知识库等为代表的学术信息搜索平台,如果借鉴ChatGPT与WebGPT的联动效应,将生成式AI整合至学术搜索平台中,使其实时根据数据库内容更新,生成的内容参考了某篇学术论文则注明其来源。用户关于某一研究主题 得到的检索结果将不仅是文献列表,也能呈现由生成式AI筛选、整合、总结生成的文献综述,又或是根据读者描述的研究思路,基于对海量文献中图表、图像数据的学习,生成技术路线图以供参考,甚至是针对某领域的研究成果,利用生成式AI抽取细粒度知识,自动生成学术知识图谱,把复杂的关 联研究直观地呈现给读者,以交互式问答方式回答读者的问题,并通过连续对话提升读者体验;另一方面,对于学术科研互动社区,生成式AI在学习了 科研用户海量的问答数据之后,可针对用户搜索或提问生成答案。由此可以预测,生成式 AI 将会重塑 学术信息检索新范式,有助于优化信息服务模式, 但其能力边界与训练时被投喂的数据数量、质量、丰富度有很大关系,这将是情报实践工作中着重考 虑的问题。此外,最重要的是,基于 AI 的学术信息 服务需在明确的使用规范前提下开展,避免被错误和虚假信息误导而产生学术不端等后果,这一问题 正是当前学术圈讨论的热点。 3.  挑战决策情报服务体系,驱动情报效能提升 决策支持服务是情报工作的一项重要内容,主要面向国家科技战略、产业发展与产业结构政策、学科发展等战略决策型关键问题,通过文本挖掘、科学计量等方法深度剖析科技发展态势、学科演化、政策布局,形成战略咨询报告。ChatGPT 发布 以后,被尝试用于生成行业分析报告、市场调研报 告等。其使用了来自人类反馈的强化学习方案,具备良好的思维链能力,能够针对特定问题自主生成解决方案。虽然从目前来看,生成的报告内容仍然 不够专业可信,并不能直接用于指导决策,但随着不断地反馈学习以及模型算法的优化,性能会极大地提升。这对面向决策支持的情报服务产生了较大的冲击和挑战,然而并不会完全取代情报人员的工作,而是作为辅助工具加速推进决策支持服务的智能化,驱动情报效能的提升。因为,即便是在Zero-shot设置下执行下游任务,也需要向AI输入提示。换言之,在决策支持服务中,最基本也是最重 要的环节是情报分析对象、方向、预期的情报产物 形式与内容(比如战略报告的框架)的确定,生成 式AI仅作为辅助情报分析与内容生成的工具,前提是情报人员向其输入合适的问题,这意味着情报人员需要对用户需求有深刻的理解并承担情报产品 的设计工作。从另一方面来看,生成式AI有助于将情报人员从琐碎的分析、撰写任务中解放出来,更多地投入创新性研究工作中。比如,在利用科学计量学分析方法辅助制定科技发展战略规划时,AI可以依据已有的理论和方法,针对特定问题基于数据挖掘生成分析报告,但探索计量学新理论、新律,具体到更加科学有效的新的指标体系构建等创造性工作中,仍然需要专业人员的深入研究和持续创新。 4.  增加社会信息服务压力,凸显情报价值引领 在社会信息服务范式下,情报工作在企业竞争情报服务、安全情报服务、舆情风险预警与治理、数据治理等领域发挥着重要作用。生成式AI在赋能情报收集、处理与分析的同时,也会带来一系列负面影响,增加情报服务的压力。比如,在社会安全和舆情治理方面,ChatGPT可能会成为谣言制造者或舆论引导者的辅助工具,在一些误导性、充斥阴谋论的提问下大量改编信息,引导社会舆论向片 面、极端的方向发展。这在一定程度上会加大风险的情报感知与情报预警的难度。在数据治理方面,近年来关于科研大数据治理、企业大数据治理、政府大数据治理等问题愈发重要,治理的维度涉及数据安全、数据标准、数据质量等。伴随着 ChatGPT等生成式AI的快速发展,海量AI生成数据涌向经济、科研、政务等各个领域,由此带来的数据治理 压力是巨大的。从生成式AI模型的工作原理来看,生成数据的质量取决于训练时被投喂的数据质量和输入提示的有效性。因此,数据治理不仅涉及到AI创造的内容,同样涉及训练数据和提示数据。可以预见,情报学在数据治理领域将面临较大挑战,具体包括AI生成数据的质量管理、标准化、数据归类、数据产权归属等各类问题。然而,从另一个角度来看,生成式AI在增加社会情报服务压力的同时,也更加凸显情报的价值和社会效用,如 何充分发挥情报在综合研判、监测预警、信息汇聚 与治理等方面的作用,更好地服务社会发展,是情报工作在AI冲击下保持优势地位的关键。