《Springer Nature:ChatGPT 等工具威胁着科学的透明性》

  • 来源专题:科技期刊发展智库
  • 编译者: 张恬
  • 发布时间:2023-03-31
  •   施普林格·自然(Springer Nature)于2023年1月24日在《自然》发表社论称:“随着研究人员进入先进的人工智能聊天机器人新世界,出版商需要承认它们的合法用途,并制定明确的指导方针以避免滥用。”

      社论中指出,近几年来,人工智能(AI)正在获得生成流畅语言的能力,一些科学家已经在使用聊天机器人作为研究助手,帮助组织他们的思维、对他们的工作产生反馈、协助编写代码和总结研究文献。但2022年11月发布的人工智能聊天机器人ChatGPT将大型语言模型(Large Language Models,LLMs)带给了大众,它的开发者——加州旧金山的OpenAI让不具备技术专长的人也能轻松使用。数以百万计的人正在使用它,其结果是有趣的,但有时也是可怕的——写作实验的爆炸性增长,使人们对这些工具越来越感到兴奋和不安。

      ChatGPT可以写出可观的学生作文,总结研究论文,很好地回答问题以通过医学考试,并生成有用的计算机代码。它产生的研究摘要足够好,以至于科学家们很难发现其出自AI。对社会来说,令人担忧的是它也可能使垃圾邮件、勒索软件和其他恶意输出更容易产生。尽管OpenAI试图为聊天机器人的行为设置护栏,但用户已经找到了绕过护栏的方法。

      研究界最大的担忧是学生和科学家可以欺骗性地把LLM写的文本当作自己的文本,或者以简单化的方式使用LLM(比如进行不完整的文献综述),产生不可靠的工作。有几篇预印本论文和已发表的文章已经将ChatGPT署名为正式作者。

      社论指出:“现在是研究人员和出版商制定关于以道德方式使用LLM的基本规则的时候了。”Springer Nature旗下期刊在其作者指南中制定了以下两条原则:

      (1)任何LLM工具都不会被接受为研究论文的署名作者。这是因为任何作者的归属都伴随着对工作的责任,而AI工具不能承担这种责任。

      (2)使用LLM工具的研究人员应该在方法或致谢部分记录这种使用。如果论文不包括这些部分,可以用引言或其他适当的部分来记录LLM的使用。

      目前,ChatGPT的原始输出经仔细检查是可以发现的,特别是当涉及几个段落以上,并且主题与科学工作有关时。这是因为LLMs根据其训练数据中的统计关联和所看到的提示产生单词模式,这意味着其输出可能看起来平淡无奇,或者包含简单的错误。此外,他们还不能引用来源以记录他们的输出。但在未来,AI研究人员可能会解决这些问题,例如,已经有一些实验将聊天机器人与来源引用工具联系起来,还有一些实验在专门的科学文本上训练聊天机器人。

      因此,《自然》社论认为,编辑和出版商并不能确保检测出LLM产生的文本。一些工具承诺可以发现LLM产生的输出,Springer Nature也在开发这方面的技术,但是,LLMs将得到改善,而且很快。人们希望LLM的创造者能够以某种方式为其工具的输出内容打上水印,尽管这在技术上可能也不是万无一失。

      社论指出,从最早期开始,无论哪种技术流行,科学的运作都是方法和证据的公开和透明。研究人员应该扪心自问,如果他们或他们的同事使用的软件从根本上是不透明的,那么产生知识的过程所依赖的透明度和信任度如何能够得到维持?

      这就是《自然》制定上述规则的原因:最终,研究必须有方法的透明度,以及作者的诚信和真实,这毕竟是科学赖以进步的基础。

相关报告
  • 《Nature | 社会习得性威胁的独特皮层代码》

    • 来源专题:战略生物资源
    • 编译者:李康音
    • 发布时间:2024-02-08
    • 2024年2月7日,美国国立卫生研究院的研究人员在Nature在线发表题为A distinct cortical code for socially learned threat的文章。 动物可以通过观察他人对威胁的反应来了解危险源,同时将自己的风险降至最低。然而,通过社会观察(称为观察性恐惧学习(OFL))来学习威胁以产生针对此类威胁的行为反应的独特神经机制仍然知之甚少。背内侧前额叶皮层 (dmPFC) 执行可能是 OFL 基础的几个关键功能,包括处理社会信息和消除威胁线索的歧义。 该研究表明 dmPFC 是小鼠 OFL 招募和必需的。使用细胞分辨率显微内窥镜钙成像,研究人员证明了 dmPFC 神经元编码观察恐惧,并且以一种不同于直接经验的方式进行编码。研究人员发现dmPFC神经元活动预测了威胁引发的冻结和移动状态之间的即将到来的切换。通过结合神经元回路映射、钙成像、电生理记录和光遗传学,研究人员发现 dmPFC 投射到中脑导水管周围灰色 (PAG) 限制了观察者冻结,而杏仁核和海马输入到 dmPFC 相反地调节观察者冻结。总之,该研究结果表明,dmPFC神经元计算观察恐惧的独特代码,并协调远程神经回路以选择行为反应。
  • 《谷歌参与设计开源安全芯片 想打破行业不透明性》

    • 来源专题:集成电路
    • 编译者:shenxiang
    • 发布时间:2019-11-19
    • 据国外媒体报道,日前谷歌加入了一个名为OpenTitan的项目,旨在设计开源安全芯片,从而撼动目前芯片基于硬件的安全性。 随着黑客对操作系统、处理器甚至固件展开更多的复杂攻击,制造商们通过将整个处理器或者其一部分设计成防篡改来阻止各种攻击。这种处理器内部的区域通常被称为“安全飞地”。制造商把“信任根”放在不可变的芯片上,依靠其在每次启动时运行密码检查,确保系统没有受到任何微妙的恶意篡改。如果出现错误,安全飞地将阻止机器启动。 虽然“信任根”在许多方面真正改善了系统安全性,但研究人员一再强调,这些芯片仍有可能遭到破坏。这就是为什么谷歌和一个由公司、非营利组织和学术机构组成的联盟签署了一项倡议,旨在不断改善“安全飞地”的透明度和安全性。鉴于现在的“信任根”并不能够让所有处理器都完全信任,这个被称为OpenTitan项目旨在消除私有机器代码和秘密制造的不透明度,由开源硬件非营利组织lowRISC CIC管理和指导。 lowRISC联合创始人和董事加文·费里斯(Gavin Ferris)说:“我们相信,透明度和安全性是相辅相成的,一切都与建立信任的开源基础相一致。现有供应商的芯片是不透明的,里面有很多神秘。你可以从你的操作系统和它们对话,但是底层是什么呢?底层组件和整个体系结构是什么?这些都是看不见的。” 目前的OpenTitan项目大致基于谷歌在其Pixel 3和Pixel 4智能手机上使用的一种专有“信任根”芯片。但OpenTitan拥有自己的芯片架构和原理图,由lowRISC的工程师与苏黎世联邦理工学院、G+D移动安全公司、Nuvoton Technology、西部数据以及谷歌的合作伙伴开发。 OpenTitan的结构非常类似于高质量、高可靠性的开源软件项目,就像芯片领域的Linux。该联盟将利用社区反馈和贡献来开发和改进工业级芯片设计,而lowRISC将管理OpenTitan项目,并保证不会随意进行变更。 目前用户、可以查看OpenTitan Github存储库,但是原理图还没有完成。该联盟希望在项目进行到一半时就发布,以便从早期公众监督和投资中获益。用户也可以在现场可编程门阵列的特殊类型可再编程处理器上测试OpenTitan部分架构,但是完整的OpenTitan芯片并不能马上制造出来。发布的确切时间取决于项目收到多少社区反馈,以及解决这些问题有多困难。 是否真的有人会生产OpenTitan芯片还有待观察。但是,寻找“信任根”的制造商可以在OpenTitan中同时获得安全性和经济利益。这种选择可能会让公司绕过ARM等芯片设计公司征收的授权费。OpenTitan的设计将揭开芯片设计中固件和数据处流程等漏洞百出的部分。 与此同时,任何希望使用OpenTitan的公司都需要进行正确调试,并且避免引入新的漏洞,以便与现有软件进行兼容。OpenTitan还面临着来自微软等重量级企业的竞争,微软最近宣布了自己的专有硬件,以绕过固件建立安全的“信任根”。 谷歌负责技术基础设施的高级副总裁乌尔斯·霍尔泽勒(Urs Holzle)说:“成功意味着它会变得规模更大——我们的目标是能将其标准化。”“我们认为OpenTitan是生态系统的基础。ARM、AMD和英特尔都提供这类芯片,但它们都是不透明的。我们不想从那里开始,因为我们无法验证它。”