登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《利用机器学习方法创建关于同行评议质量的评价指标》

  • 来源专题：科技期刊发展智库
  • 编译者： 李玉
  • 发布时间：2022-12-09

  •   同行评议是当今学术评价的金指标，但评议本身也需要评议，这是目前的一个趋势。但研究同行评议的难度相比一般科学问题一点都不小，主要是缺乏透明度，全面资料获取并不容易。2022年8月，来自瑞士伯尔尼大学的安娜·塞维林（Anna Severin）博士在arXiv发表论文Journal Impact Factor and Peer Review Thoroughness and Helpfulness: A Supervised Machine Learning Study，利用机器学习研究了万份生物医学领域期刊的同行评议，并创建了关于同行评议质量的评价指标，他们称之周全且有用（thoroughness and helpfulness）。

      他们发现，与影响力较低的期刊相比，影响力较高的期刊的评议过程似乎花了更多时间讨论论文的方法，但在提出改进建议上花的时间较少。然而，高影响期刊和低影响期刊之间的差异并不大，而且非常不稳定。这表明期刊的影响因子不能有效预测单篇论文的评审质量。


    来源：http://www.ircip.cn/web/993896-1711299.html?id=26645&newsid=4046633

73浏览量
原文链接
相关报告

  • 《利用机器学习方法对不同脑转移瘤亚型进行准确分类》
    • 来源专题：脑科学与类脑研究
    • 编译者：苑亚坤
    • 发布时间：2023-09-28
    • 近日，来自西班牙国家癌症研究中心（CNIO）的M. Valiente团队等在Cancer Cell 杂志上合作发表了一篇题为“Machine learning identifies experimental brain metastasis subtypes based on their influence on neural circuits 的文章，他们通过构建不同类型的脑转移瘤小鼠模型，证实了对大脑回路的影响与肿瘤占位效应无关，并利用机器学习方法对体内电生理学特征进行分析以定义依赖于转移癌类型的大脑改变，为无创诊断的新策略提供灵感。
    116浏览量
    原文链接

  • 《 国际机器学习会议（ICML）关于LLM的政策声明》
    • 来源专题：科技期刊发展智库
    • 编译者：郭林林
    • 发布时间：2023-03-31
    •   项目主席团在2023年的ICML论文征集中包含了以下声明：   禁止包含从大规模语言模型（LLM）（如ChatGPT）生成的文本的论文，除非生成的文本作为论文实验分析的一部分。   ICML 2023 的大型语言模型 (LLM) 政策禁止完全由 LLM 生成的文本。这并不禁止作者使用 LLM 来编辑或润色作者撰写的文本。   LLM政策在很大程度上基于保守原则，防止使用LLM的包括剽窃在内的潜在问题。   LLM政策适用于ICML 2023。随着更好地了解LLM及其对科学出版的影响，预计这一政策可能会在未来的会议中演变。   （1）意向   在过去的几年中，我们观察到大规模语言模型（LLM）在研究和部署方面的快速进展，并参与其中。在过去几个月里，这一进展不仅没有减缓，反而加快了。包括我们自己在内的许多人都注意到，过去几个月发布的LLM，如ChatGPT，现在能够生成文本片段，这些片段通常很难与人工撰写的文本区分开来。毫无疑问，这是自然语言处理和生成方面令人振奋的进步。   如此迅速的发展往往伴随着意想不到的后果和未解决的问题。如大规模生成模型生成的文本和图像是否被认为是新颖的或仅仅是现有工作的衍生物。还有一个关于文本片段、图像或从这些生成模型中采样的任何媒体的所有权的问题：是生成模型的用户、培训模型的开发人员，还是制作培训示例的内容创建者？可以肯定的是，随着这些大规模生成模型被更广泛地采用和时间的推移，这些问题以及更多问题将得到解答。然而，对于这些问题，我们目前还没有任何明确的答案。   由于我们如何回答这些问题直接影响到我们的审查过程，进而影响到我们研究社区的成员和他们的职业生涯，因此在考虑这项新技术时，我们必须谨慎且有些保守。距离OpenAI在2022年11月底发布ChatGPT的测试版还不到两个月。不幸的是，我们没有足够的时间观察、调查和考虑其对我们审查和出版过程的影响。因此，我们决定今年（2023年）禁止使用大规模语言模型制作/生成ICML纸质文本。   尽管我们今年禁止LLM生成文本，但我们计划调查和讨论LLM对机器学习和AI领域的审查和发布的积极和消极影响。这一决定将在ICML的未来迭代中重新考虑。   （2）实施和执行   众所周知许多作者使用外部辅助技术。这种辅助技术包括半自动编辑工具，如Grammarly，以及各种形式的在线词典和机器翻译系统。根据这些原则，我们并不禁止作者使用LLM对自己的文本进行轻度编辑。换句话说，只要这些LLM工具被类似地用于自动化语法检查、单词自动更正和其他编辑工具，这个新策略就不适用。   正如一些人指出而我们也自知很难检测任何给定的文本片段是否由语言模型生成。ICML领导团队不计划在今年（2023年）实施任何自动化或半自动化系统，以检查是否违反LLM政策。相反，我们计划针对提交的文件有重大违规嫌疑而引起我们的注意时，调查任何可能违反LLM政策的行为。任何被标记为可能违反本LLM政策的提交都将经历与其他被标记为抄袭的提交相同的过程。   随着我们在学术出版物中进一步了解LLM的后果和影响，以及在未来会议（ICML 2023之后）中重新设计LLM政策，我们将考虑在未来更新中通过不同的方法和技术实施最新LLM政策。
    478浏览量
    原文链接