1. OUP 最新报告:利用人工智能的潜力来改革教育需要更多支持

郭林林

  报告摘要： (1)虽然一半（49%）的教师对人工智能的影响没有做好准备，政府应支持学校利用人工智能的潜力来改革教育； (2)牛津大学出版社的一份新报告称，如果没有足够的支持，学生和教师的实验质量标准可能会受到影响； (3)随着暴露于错误信息和加剧数字鸿沟的风险，牛津大学出版社呼吁在未来围绕人工智能的使用进行讨论时，将人工智能对教育的影响作为重点。   牛津大学出版社（OUP）已向政府、学校领导和教育商业领袖提出建议，支持在学校使用人工智能，并优先考虑教育中的优质资源。   该出版社的一份新报告承认，人工智能在改变教育方面有巨大潜力，但强调教育应该推动技术，而不是相反。报告显示，一半（49%）的教师对其影响感到没有准备，并表示应当做更多的工作来增强教师的能力并帮助他们为学生迎接人工智能的未来做好准备。   OUP在报告中警告说，如果当前的教育系统不适应人工智能的时代，学生可能会在人工智能的普及过程中遭遇不平等的状况，并在为未来发展更广泛的认知技能时受阻，从而严重影响学习结果。报告还警告说，如果没有适当考虑人工智能的风险和影响，也没有关于如何使用人工智能的明确指导，教学标准可能会在不可避免的、必要的实验期内受到影响。   该报告包括了关于该主题的现有研究，并补充了OUP在英国、中国香港、日本、意大利、澳大利亚、阿联酋和其他国家或地区的全球教师网络调查数据。主要发现包括： （1）88%的教师将受益于在一个地方收集的有关人工智能的相关见解和研究，这表明当前有关该主题的信息过载对时间匮乏的教师来说可能是压倒性的，并揭示了人工智能已经在多大程度上成为全世界教育系统的一部分； （2）一半（47%）的英国教师认为他们的学生已经在作业中使用了人工智能。这一比例上升到全球教师的54%； （3）相比之下，只有三分之一（35%）的英国教师和38%的全球教师在使用机器学习驱动的工具。   根据这项研究，OUP向学校领导、教育商业领袖和政策制定者提出了如何制定在教学中使用人工智能的原则和法规的建议，包括： （1）继续优先考虑教师作为指导、顾问和支持者的角色，承认人工智能技术在学校的理想用途是支持教师，而不是取代他们； （2）为教师提供如何安全、合乎道德地使用人工智能技术的全面支持和指导。这可能包括在学校内引入专门的人工智能教育领导以及培训资源； （3）优先考虑优质教育资源，而不是可能降低教育质量的免费资源； （4）在整个课程中嵌入“独特的人类”技能，包括批判性思维、创造性问题解决和数字素养，以确保学生准备好应对人工智能世界的挑战，例如更多地接触错误信息。   该报告还考察了世界各地对人工智能在教育系统中的使用的不同反应。一些国家，如意大利，去年暂时禁止了ChatGPT，而另一些国家正在接受这项技术，西班牙是第一个成立人工智能政策特别工作组的国家，中国正在制定详细的法规。   由于当地文化、政策和社会需求，这种差异可能会持续下去，OUP警告说，这可能会加剧国家之间和国家内部现有的差异。   下个月，英国将在布莱切利公园举办全球人工智能安全峰会。OUP呼吁世界各国政府在未来围绕人工智能的讨论中考虑教育问题，并采取行动确保教师和学生能够安全使用人工智能，从而对教学产生积极影响。   OUP首席执行官奈杰尔·波特伍德表示：“我们的研究表明，教师和学生对人工智能在教育中的作用持乐观态度，并认识到它如何有潜力对学习产生积极影响。然而，与这项先进技术相关的还有许多未回答的问题和潜在风险。随着越来越多的人开始采用、接受和试验人工智能，政府和教育领导人需要迅速采取行动，为学生和教师提供必要的技能，使他们能够在人工智能的未来茁壮成长。凭借我们对教育学的深入了解和对教师和学生不断变化的需求的理解，OUP致力于与教师和学生一起找到在这一过程中前进的最佳方式。”

展开更多

发布时间: 2024-02-22

2. 人工智能开发人员为科学家面对大量文献提供支持

郭林林

  有报道称人工智能（AI）提供的新工具可以帮助科研人员处理文献，这让在KTH皇家理工工学院学习的Iosif Gidiotis非常感兴趣。随着论文数量的迅速增长，去年所有科学领域共发表了近300万篇论文，人工智能研究助理“听起来很棒”。 Gidiotis希望人工智能能找到比其他搜索工具更多的相关论文，并总结它们的亮点。   但结果令他有点失望。当他尝试使用像Elicit这样的人工智能工具时，他发现返回的论文只有一部分是相关的，而Elicit的摘要不足以准确到令他满意。“你本能地会去阅读实际的论文以验证总结是否正确，因而并不会节省时间。”Elicit表示正在为其25万名普通用户继续改进算法，在一项调查中，Elicit的用户认为它平均每周为他们节省了90分钟的阅读和搜索时间。   Elicit由一家非营利研究组织于2021年创建，是一款日益稳定的人工智能工具，旨在帮助科学家浏览文献。Andrea Chiarelli说：“这些平台正在爆炸式增长。此类工具提供内容的生成系统容易因为虚假内容“产生幻觉”，而且搜索到的许多论文都在付费墙后面。开发商也在寻找可持续的商业模式。目前，许多网站提供入门级的免费服务。很难预测哪些人工智能工具会占上风，虽然有一定程度的炒作，但它们显示出了巨大的前景。”   与ChatGPT和其他大型语言模型（LLM）一样，新工具在大量文本样本上进行“训练”，学习识别单词关系。这些关联使算法能够对搜索结果进行总结。它们还根据论文中的上下文识别相关内容，产生比仅使用关键词查询更广泛的结果。世界上最大的开放获取论文库CORE的主管Petr Knoth表示，除了最富有的组织之外，从头开始建立和培训LLM的成本太高。因此，Elicit使用现有的开源LLM，这些LLM经过了广泛的文本培训，其中许多文本是非科学的。   另一个名为Scim的工具有助于吸引读者关注论文中最相关的部分。非营利组织艾伦人工智能研究所创建的语义阅读器工具具有的一个功能，其工作原理就像一个自动墨水荧光笔，用户可以自定义它，将不同的颜色应用于关于新颖性、目标和其他主题的陈述。密歇根大学的信息科学家Eytan Adar表示，它提供了“一种关于（论文）是否值得参与的快速诊断和分诊”，这“非常有价值”，他在上个月推出扩展版之前尝试了早期版本。一些工具还用摘要所依据的论文摘录来注释摘要，允许用户自己判断其准确性。   为了避免产生错误的回答，艾伦研究所使用一套LLM来操作语义阅读器，其中包括经过科学论文培训的LLM。但这种方法的有效性很难衡量。麻省理工学院的计算机科学家Michael Carbin说：“这些都是我们理解的核心技术难题。”他帮助开发了一种总结医学文献的算法。艾伦研究所语义学者论文库的首席科学家Dan Weld表示，“当前我们最佳的标准是让受过良好教育的人进行检查（人工智能的输出）并仔细分析。”该研究所已经收集了300多名付费研究生和数千名志愿测试人员的反馈。质量检查显示，将Scim应用于非计算机科学论文会出现差错，因此该研究所目前仅为约55万篇计算机科学论文提供Scim。   其他研究人员强调，只有在开发者和用户能够基于访问论文全文来为搜索结果和内容分析提供信息的情况下，人工智能工具才能发挥其潜力。皇家墨尔本理工大学的计算语言学家Karin Verspoor说：“如果我们不能访问文本，那么我们对这些文本中所包含的知识的看法是有限的。”   即使是世界上最大的科学出版商爱思唯尔，也将其人工智能工具限制在论文摘要上。2023年8月，这家商业公司在其Scopus数据库中首次推出了人工智能辅助搜索功能，该数据库列出了9300万份研究出版物，使其成为科学家中最大的数据库之一。作为对查询的响应，其算法识别最相关的摘要，并使用ChatGPT的一个版本来提供总体摘要。Scopus AI还按概念对摘要进行分组。爱思唯尔负责分析产品和数据平台的高级副总裁Maxim Khan表示，仅使用摘要的方法与爱思唯尔与其他出版商的许可协议条款一致，这些协议允许他们的论文摘要在Scopus中列出。这种方法足以帮助跨学科领域的研究人员快速了解特定主题。   艾伦研究所采取了不同的方法：它与50多家出版商谈判达成协议，允许其开发者对付费论文的全文进行数据挖掘。Weld表示，几乎所有的出版商都提供免费访问服务，因为人工智能为他们带来了流量。即便如此，许可限制限制了Semantic Reader用户只能访问Semantic Scholar 6000万篇全文论文中的800万篇全文。Knoth表示这样的谈判对他的组织来说非常耗时。Knoth说：“这很难被视为一个公平、公平的竞争环境。”他的大学资助知识库致力于开发工具，帮助科学家探索其内容。   实现大规模的数据挖掘还需要让更多的作者和出版商采用非PDF格式，帮助机器有效地消化论文内容。美国白宫2022年的一项指令要求，由联邦资金资助撰写的论文必须是机器可读的，但各机构尚未提出细节。   尽管面临挑战，计算机科学家已经在寻求开发更复杂的人工智能，能够从文献中收集更丰富的信息。他们希望获得线索以加强药物发现并不断更新系统综述。美国国防部高级研究计划局支持的研究探索了能够通过识别已发表论文中揭示的现有知识空白来自动生成科学假设的系统。   但马萨诸塞大学阿默斯特分校研究交互式信息访问系统的Hamed Zamani表示，目前，使用人工智能工具的科学家需要保持适当的怀疑态度。LLM肯定会变得更好。但现在，它们有很多局限性。它们会提供错误的信息。因此科学家应该非常清楚这一点，并仔细检查它们的输出结果。”

展开更多

发布时间: 2024-02-22

3. OpenAI与出版商Axel Springer达成“首例”协议——在ChatGPT中使用其新闻内容

孟美任

  OpenAI将向出版巨头Axel Springer支付费用，以便在该公司的人工智能产品中使用其新闻内容，这标志着一项“首创”的全球出版交易，将允许ChatGPT创建者在新闻机构的报道中训练其人工智能模型。   2023年12月13日，作为协议的一部分，ChatGPT用户将收到来自Axel Springer旗下品牌（包括Politico、Business Insider、Bild和Welt）的新闻报道摘要，并附有原始报道来源和链接。该协议将使OpenAI的模型能够在聊天机器人的回答中利用出版商提供的更高质量、更及时的信息。   Axel Springer首席执行官Mathias D?pfner在一份声明中说：“我们很高兴Axel Springer与OpenAI建立了全球合作伙伴关系，这在同类合作中尚属首次。我们希望探索人工智能赋能新闻业的机遇——将新闻业的质量、社会相关性和商业模式提升到一个新的水平。”   OpenAI首席运营官Brad Lightcap在一份声明中说：“与Axel Springer的合作将有助于通过我们的人工智能工具为人们提供获取高质量实时新闻内容的新途径。我们坚定地致力于与世界各地的出版商和创作者合作，确保他们从先进的人工智能技术和新的营收模式中获益。”   去年ChatGPT风靡全球，成为史上增长最快的消费者应用之一，拥有约1亿活跃用户。该聊天机器人因其宣传不实信息而引起了人们的警惕，有时它在回复中会散布虚假和不实的断言。   一些在线新闻机构也试图在其报道中利用这一新生技术，但有时却造成了灾难性的结果，导致了令人尴尬的公开更正和道歉。尽管早期出现了一些失误，但人工智能似乎有望颠覆新闻出版业。   ChatGPT创建者与Axel Springer达成协议的前一天，《纽约时报》宣布设立一个新的新闻编辑室领导职位，专注于人工智能计划，这标志着快速发展的技术将在新闻生产中发挥关键作用。   2023年早些时候，OpenAI还宣布与美联社达成协议，获得授权使用该新闻集团的报道档案。

展开更多

发布时间: 2024-02-22

4. OpenAI首席科学家：创造ChatGPT，担忧AI安全

王传清

  OpenAI的首席科学家Ilya Sutskever在开发ChatGPT等改变社会的AI对话系统方面发挥了核心作用。然而，他对于AI的未来也抱有深深的担忧，特别是在安全问题上。   Sutskever在十几岁时，怀揣着对人工智能的无限热爱，勇敢地敲响了现代人工智能领域的先驱者Geoffrey Hinton位于加拿大多伦多大学的家门，寻求一份工作机会。Hinton对这位年轻人的抱负和决心留下了深刻印象,“他在暑假期间靠炸薯条赚钱，但他更愿意为我效力，投身人工智能的研究。”   Hinton为他提供了一些论文资料。Sutskever在深入阅读后，对其中未被探讨的显而易见的问题感到困惑不解。Hinton赞叹道：“他的直觉总是那么敏锐。他被认为是深度学习和大型语言模型(LLMs)领域的卓越先驱，这正是如今风靡全球的ChatGPT等对话式人工智能机器人的基石。他的与众不同之处不仅在于他的智慧，更在于他对待工作的紧迫感和热情。”   Sutskever后来成为OpenAI的首席科学家，在ChatGPT的开发过程中起到了举足轻重的作用。然而，他也对人工智能的未来充满了忧虑。2023年7月，他决定将工作重心转移到OpenAI一项为期四年的“超对齐”（superalignment）项目。该公司计划投入20%的计算资源来研究如何“引导和控制那些远比我们聪明的人工智能系统”。   然而，商业发展的快速与安全考量之间的矛盾在2023年11月引发了一场风波。在这场风波中，Sutskever在OpenAI首席执行官Sam Altman的解雇和重新聘用过程中扮演了关键角色。事件过后，他选择拒绝了Nature杂志的采访请求。   尽管有人对Sutskever的远见卓识表示钦佩，认为他具有强烈的道德责任感和对人工智能安全的深切关注；但也有人指出，过度关注尚未出现的人工智能控制问题可能会使人们忽视该技术当前存在的实际风险。纽约市政策研究机构AI Now Institute总经理Sarah Myers West警告说：“这样的做法将干预措施推到了遥远的地平线之外。”她主张我们需要更多地关注“解决眼前的危害”，例如人工智能系统在训练数据中可能强化了偏见和潜在的隐私泄露问题。   同时，人工智能系统缺乏透明度也引发了广泛担忧。OpenAI和其他一些公司对其代码和训练数据严格保密，这引发了公众对其背后意图和潜在影响的质疑。Sutskever本人也承认，从长远来看，封闭系统可能是避免他人制造出强大人工智能的一种负责任的做法。他在2023年4月的一份声明中指出：“随着时间的推移，人工智能的能力将变得如此强大，以至于开源模型显然是不负责任的选择。”   为了吸引更多资金以支持计算能力的提升，OpenAI团队在2019年将公司从非营利模式转变为“上限营利”模式。这一举措成功吸引了科技巨头微软的数十亿美元投资和计算资源支持。随着资金的注入和技术的不断突破，LLM得到了显著改进。2022年11月发布的ChatGPT更是引起了轰动效应，将OpenAI推向了新的高度。   自始至终，Sutskever对人工智能问题的言论仍然大胆而前瞻。他在2022年宣称人工智能可能已经“稍有知觉”，这一观点引发了人们的广泛关注和争议。他坚信AGI甚至超越人类智力总和的“超级智能”有可能在数年或数十年内被开发出来。人工智能研究员Andrew Ng说：“时至今日，我仍对他的乐观态度感到惊讶。”   Ng评价道：“Sutskever有一个令人钦佩的特质那就是无论别人是否同意他的观点，他都能选择一个方向并坚持不懈地追求下去。”这种勇气和决心正是他在人工智能领域取得如此多成就的关键所在。

展开更多

发布时间: 2024-02-22

5. 大型语言模型兴起，我们究竟应该关注什么？

王传清

  牛津大学计算机科学教授Michael Wooldridge在英国广播公司（BBC）的英国皇家学会圣诞讲座上谈论人工智能的危险与前景。   随着大型语言模型（LLM）如ChatGPT的崛起，学术界、政府、企业和媒体都陷入了热烈的争论。这个讨论涵盖了从就业和政治影响，到对人类生存的潜在威胁等各种议题。   Wooldridge形容这些大语言模型（LLM）的出现，就像是从外太空传送到地球上的神秘力量，突然间让AI领域充满了无限可能。而在三年前，这些事情还只是哲学上的争论。对于wooldridge而言，人工智能对人类生存的威胁被过度夸大了。他认为，它们已经造成的实际伤害——甚至是致命伤害——被低估了。而它们所带来的潜力却令人心动。   人工智能的真正风险是什么？   2023年12月12日，在英国皇家学会圣诞讲座上，wooldridge发表演讲，他强调了对人工智能（AI）生存威胁的担忧是不切实际的。他表示，尽管ChatGPT等AI技术引发了一些关于其潜在风险的讨论，但这些担忧在很大程度上是没有根据的。   Wooldridge指出：深入了解ChatGPT的工作原理会让人明白它并不会像人们担心的那样从电脑中“爬出来接管一切”。他强调，尽管存在关于生存威胁的讨论，但从未有人给出合理的方案来证明AI如何成为一种生存风险。   相反，Wooldridge认为对AI生存威胁的过度关注分散了人们的注意力，使得其他更直接的风险被忽视。他警告说，目前存在滥用和伤害的风险，这些都需要关注、监管和治理。   Wooldridge概述了这样一种情况：即有医学症状的青少年可能因为尴尬而不愿去看医生或与护理人员讨论自己的症状。在这种情况下，这些青少年可能会寻求AI的帮助，但得到的建议质量可能很差。   “负责任的医疗机构会尽量拦截这样的询问，并说‘我不提供医疗建议’。但要绕过这些护栏并不难，当技术扩散时，会有很多不负责任的提供者出现，”Wooldridge说：“人们会因此而死亡，因为所发布的产品没有得到适当的保护。”   Wooldridge认为，技术在没有防护措施的情况下扩散是AI的主要风险。AI本身不会造成伤害，但滥用AI的人可能会造成伤害。他强调了英国政府一直在非常积极地研究人工智能的风险，并总结了一种被称为“狂野西部”（Wild West）的情况。在这种情况下，每个人都可以获得AI技术而没有任何防护措施，导致技术变得无法控制。   “这就把强大的工具交到了潜在的坏人手中，他们会利用这些工具做坏事。”Wooldridge警告说，“我们即将迎来英国、美国和印度的大选，在这些国家中，错误信息的传播将会造成严重的问题。”   最大的挑战是什么?我们该如何应对?   Wooldridge将这一挑战概括为：如何支持创新者，同时防止技术扩散至无法控制的境地。当前，尚无简单答案。然而，Wooldridge认为社交媒体公司应采取更多措施，实施能够有效发现并防止错误信息传播的系统。当被问及这是否可能侵犯言论自由时，他回应说：“通常的反对意见是，如果你试图解决这个问题，你就是在扼杀言论自由。但我认为，当有明显的虚假信息被传播时，社交媒体公司有义务做得更多。”   Wooldridge强调在防止伤害与促进创新之间寻找平衡至关重要。他观察到，LLMs领域对于研究人员而言是一个极具潜力的迷人领域。这些新模型的诞生仿佛是一个超级黑洞，彻底改变了整个计算结构，对整个科学界产生了深远影响。Wooldridge进一步指出，他所在大学系里的所有10个研究小组都受到了LLMs进展的影响。在某些情况下，这甚至重塑了他们的研究议程，而在其他情况下，由于相关工作已变得不再相关，他们正在进行收尾工作。   Wooldridge对多代理系统特别感兴趣，在这种系统中，多个AI系统相互作用解决单个系统无法解决的问题。他对大型语言模型表示出极大热情，这些模型代表了一个诱人的机会，使这些模型能够相互交互而不必使用人类语言。他举例说明，可以通过大型语言模型处理幻觉问题。这些模型基本上处于相互竞争的状态，一个模型提出文案，另一个模型对文案进行批判。其目标是在这一过程中就事实陈述达成某种一致。   面对这些人工智能模型所代表的剧变，Wooldridge强调科学交流至关重要。作为爱思唯尔出版的《人工智能》（Artificial Intelligence）杂志的联合主编，他深谙如何在研究人员之间交流研究成果。同时，皇家学院的圣诞讲座也为更广泛地传播人工智能知识提供了一个平台。他认为这是他的重要职责，并已经持续了好几年。他说：“随着围绕人工智能的讨论越来越多，我认为有必要尝试让公众了解什么是人工智能。如果我的工作接受公共资助，我就有义务站出来谈论它，因为这是科学的一部分。”   Wooldridge特别指出公众对AI的误解：人们常常误以为AI拥有自己的意图或思考能力。其中一个最大的误解是人们想象屏幕的另一端有一个大脑，但实际上并不存在。AI并不能思考你的问题。当你深入了解其工作原理时，哪怕只是浅显的了解，你就会明白这只是一种统计算法。这是一种非常先进且令人印象深刻的算法，但它并不会思考或产生任何意识。有些人惊讶地发现，它根本没有 “思想”。围绕人工智能的语言可能会助长这种误解——它 “寻找”信息，它可以被“欺骗”，或者它“想要”提供某种答案。   “我们使用这种语言是因为它很方便”   Wooldridge说，“但将人工智能拟人化的危险在于，我们对它的解读远远超出了实际情况。”   尽管存在诸多讨论、过度解读和潜在的错误信息风波，Wooldridge仍对AI的研究充满热情。他认为这是一个非常有趣的发展阶段。我们已经拥有了非常强大的工具，而我们对它们的探索刚刚开始。这些工具的功能强大且神奇，但我们并不完全清楚它们为何在某些方面会出现问题或其具体的能力范围是什么。探索并绘制出这些工具的能力范围是一项引人入胜的旅程。

展开更多

发布时间: 2024-02-22

6. 人工智能系统影响力（2023）——机遇与挑战并存

王传清

  生成式人工智能软件ChatGPT已成为2023年的热门话题。作为一个令人惊叹的人类模仿者，它开启了全新的研究时代，但也带来了潜在的风险。   它参与撰写科学论文，有时甚至悄无声息。它不仅为演讲、拨款提案和课程制定大纲，编写计算机代码，还成为了研究想法的传播者。然而，它也曾编造参考文献，捏造事实，甚至发表过激言论。重要的是，它已经引发了人们的无限想象：ChatGPT时而顺从、时而引人入胜、时而寓教于乐、时而甚至令人生畏，它扮演着对话者所期望的任何角色，有些甚至是他们未曾设想过的。   为何要将一个计算机程序列入2023年影响科学的人物名单？ChatGPT并不是一个人。然而，在过去一年里，它在诸多方面对科学产生了深远而广泛的影响。   ChatGPT的目标是以其训练数据的风格继续进行似是而非的对话。然而，在这个过程中，它和其他生成式人工智能（AI）程序正在改变科学家的工作方式。它们还重新引发了关于人工智能的局限性、人类智能的本质以及如何最好地规范两者之间互动的争论。这便是为什么今年的Nature’s 10榜单中增加了非人类成员。   一些科学家早已意识到大型语言模型（LLM）的潜力。然而，对于许多人来说，2022年11月ChatGPT作为免费使用的对话程序发布后，才迅速揭示了这项技术的威力和缺陷。该程序由加利福尼亚州旧金山OpenAI的研究人员创建，其中包括Ilya Sutskever，他也是Nature’s 10之一。它建立在一个拥有数千亿个参数的神经网络上，该网络是在一个巨大的在线书籍和文档语料库上训练出来的，估计耗资数千万美元。此外，还雇用了大量员工来编辑或评价机器人的回复，进一步提升机器人的输出。今年，OpenAI已升级ChatGPT的底层LLM，并将其与其他程序连接起来，使该工具能接收和创建图像，并使用数学和编码软件提供帮助。其他公司也纷纷推出了竞争对手程序。   对于一些研究人员来说，这些应用程序已经成为无价的实验室助手——帮助总结或撰写手稿、润色应用软件和编写代码。马萨诸塞州波士顿哈佛医学院从事人工智能医学研究的Marinka Zitnik表示，ChatGPT和相关软件可以帮助人们集思广益，增强科学搜索引擎，找出文献中的研究空白。Zitnik补充说，以类似方式对科学数据进行训练的模型可以帮助建立指导研究的人工智能系统，也许可以设计出新的分子或模拟细胞行为。   然而，这项技术也充满危险。自动对话程序可能会帮助作弊者和剽窃者；如果不加以控制，它们可能会对科学知识造成不可逆转的破坏。未公开的人工智能内容已经开始在互联网上传播，一些科学家已经承认使用ChatGPT生成文章，但却没有对此声明。   此外，还有错误和偏见问题。这些都源于生成式人工智能的工作原理。LLM通过映射语言的相互联系来建立一个世界模型，然后从这个分布中抽取可信的样本，但没有评估真假的概念。这导致程序在训练数据中重现历史偏见或不准确之处，并编造信息，包括不存在的科学参考文献。   华盛顿大学西雅图分校的计算语言学家Emily Bender认为，很少有合适的方法来使用她所说的“合成文本挤压机”（synthetic text-extruding machines）。她说：“ChatGPT对环境的影响很大，而且存在问题性偏见，会误导用户认为其输出来自于人。此外，OpenAI还因窃取数据而被起诉，并被指控存在剥削劳动力的行为（以低工资雇佣自由职业者）。”   LLM的规模和复杂性意味着它们本质上是“黑盒子”，但当它们的代码和训练语料不公开时，就很难理解它们为什么会产生这样的结果。以ChatGPT为例，其训练数据集本身就是一个黑盒子。开源LLM运动正在发展壮大，但到目前为止，这些模型的能力还不如大型专有程序。   一些国家正在开发国家人工智能研究资源，让大公司之外的科学家也能构建和研究大型生成式人工智能。但目前仍不清楚监管能在多大程度上迫使LLM开发者披露专有信息或建立安全功能。   没人知道类似ChatGPT的系统还能提供多少能量。它们的能力可能还会受到计算能力或新训练数据的限制。然而，生成式人工智能革命已经开始，而且没有退路。

展开更多

发布时间: 2024-02-22

7. 期刊如何识别AIGC在论文中的使用，以及当使用被发现后会发生什么？

郭林林

  人工智能生成内容（AIGC）和AIGC模型已成为内容创建领域的强大工具。这些人工智能系统旨在以一度难以想象的速度和规模生成文本，包括学术论文。尽管人工智能技术显示出巨大的潜力，但它也引发了许多担忧，尤其是在学术写作的背景下。在这篇文章中，我们将定义AIGC及其模型，探索其在学术界日益增长的用途，讨论围绕作者身份、所有权、创造力、虚假参考文献和偏见的潜在问题，并研究期刊如何检测未公开的AIGC。我们还将讨论未披露AIGC使用的后果，并强调在学术出版中使用人工智能的透明度和伦理的重要性。   定义AIGC及其模型   AIGC是指由人工智能系统产生的书面、视觉或听觉材料，通常由高级语言生成模型生成。这些模型是在庞大的数据集上训练的，使它们能够模仿类似人类的语言，并生成广泛主题的内容。近年来，人工智能生成的内容已进入各个领域，包括新闻、营销和学术界。   在学术领域，AIGC模型被用于起草研究论文、摘要和期刊文章。这些人工智能系统能够生成与人类书写非常相似的文本，这在学术界引起了好奇和警觉。   学术写作中最常见的问题   人工智能在学术写作中的日益使用引发了一些担忧。其中包括： （1）作者和所有权：当人工智能系统生成内容时，会出现关于合法作者的问题。是程序员、用户还是人工智能本身？谁拥有这些内容，应该如何对其进行归属？ （2）创造力：人工智能生成的内容往往缺乏人类作者为其作品带来的创造性火花和独特视角。这可能会导致学术写作中个人风格和研究视角的丧失。 （3）虚假参考文献和偏见：人工智能生成的论文可能引用不存在来源的参考文献或提供有偏见的信息。这对研究的完整性构成了重大风险。   期刊对AIGC的评价   大多数学术期刊对人工智能生成器的使用都有严格的政策。虽然这些期刊通常禁止人工智能生成器被列为作者，但它们要求全面披露其使用情况。例如，一些期刊要求使用人工智能技术的作者全面介绍所使用的工具、所使用的方法以及评估生成数据可信度的方法。人工智能的透明使用被认为对保持研究的完整性至关重要。   如果作者没有在他们的手稿中声明人工智能生成器的使用，期刊就有机制来识别未公开的人工智能生成内容。   期刊检测AIGC遵循哪些检测方法   期刊采用各种方法来识别未公开的AIGC，包括： （1）同行评审：同行评审可以利用他们的专业知识来发现手稿中不寻常或可疑的写作风格。人工智能生成的内容可能表现出重复句子和不连贯结构等模式。剽窃检测软件也被用于分析文本与已知AIGC的宏级别相似性。 （2）人工智能文本分类器：使用机器学习算法和自然语言处理技术来分析大量研究文章，包括已知的人工智能文本分类生成的内容。这些算法经过训练，可以识别人工智能生成的文章特有的模式，从而区分人类和人工智能创作的内容。 （3）元数据分析：检查文章的作者、发表日期和发表期刊的信息。将这些信息与有关AIGC生成内容的已知数据进行比较可以发现相似之处。 （4）剽窃检测：剽窃检测工具用于将手稿的文本与现有文章进行比较。与已知AIGC高度相似可能表明未公开使用AI生成器。 （5）无监督机器学习：聚类算法将研究文章分组，这些文章与已知的AIGC生成的内容有相似之处，有助于检测。 （6）人工审核：人工智能生成可能性高的文章可能会进行人工审核，以确认人工智能检测工具的准确性。   未声明AIGC的后果   当学术期刊在手稿中发现未公开的AIGC时，可能会给作者带来不利后果。这种行为被认为是不道德的，并对提交人的诚信造成负面影响。 （1）伦理影响：学术写作中未声明的AIGC造成了严重的伦理问题，它破坏了诚实、透明和学术诚信的原则。 （2）对作者声誉的损害：这可能会产生长期的后果，因为信任和可信度在学术界至关重要。学者和同行可能会对这些作者持怀疑态度，他们未来的贡献可能会受到怀疑。 （3）期刊拒稿：如果在编辑过程或同行评审中发现未公开的AIGC，期刊可能会直接拒绝稿件。 （4）对期刊可信度的影响：读者和整个学术界都依赖期刊来维护严格的标准，而这方面的任何失误都可能对期刊的声誉产生不利影响。 （5）法律影响：在极端情况下，未披露的AIGC使用可能会导致法律问题。剽窃和学术不端行为将受到严肃对待，受此类行为影响的机构或个人会追究法律责任。   人工智能在学术写作中的应用既带来了令人兴奋的机遇，也带来了伦理挑战。AIGC模型有可能加快研究进程，帮助非英语母语者，并改进论文的起草。然而，有道德地使用人工智能生成内容必须是首要任务。透明度至关重要，因此作者必须遵循期刊关于AIGC披露的指南。

展开更多

发布时间: 2024-02-22

8. 创新建立在有组织的数据基础之上

张恬

  美国东部时间 2023年11月8日，SciBite 领导人Joe Mullen博士与人工智能和数据专家一起参加网络研讨会“用于研发的生成式人工智能的危险和陷阱”。这是名为 "创新中的人工智能 "的四部分中的第一部分：专家们探讨了用于研发的生成式人工智能的危险、陷阱和前景。从贫乏的数据到框架问题、RAG 和基于向量的 IR，他们概述了可能使您的人工智能项目脱轨的问题，并回答了关于Elsevier如何许可、提供和更新用于生成式人工智能的数据的问题。   虽然生成式人工智能正在风靡全球，但数据科学的一个更基本的方面却让 Joe Mullen 博士更加兴奋。他说：“人工智能技术来来去去，但基础数据管理却是永恒的。”数据管理井然有序，可以让人快速掌握最新的创新技术，并从中获益——无论是机器学习、大语言模型（LLM） 还是其他技术。 来源： FAIR Principles，SciBite 制图   Joe Mullen是SciBite的数据科学与专业服务总监，SciBite是一家语义分析软件公司，于2020年被Elsevier收购。   聚焦问题   “我们坚信数据能促进发现，我们一直致力于应用最新的技术应用来帮助加速科学突破。”Joe Mullen说，“当然，数据不能是任何旧数据，数据需要有出处，因此需要妥善管理。只有这样，您才能做出基于证据的决策，提出假设——这是科学进步的基石。数据必须建立在 FAIR 的基础上：可查找、可访问、可互操作和可重复使用。只有这样，才能真正有所收获。”   Joe Mullen举例指出，SciBite 能够为生命科学领域的研发工作提供支持，如目标优先排序、市场监测、不良事件检测和药物重新定位机会等，“基本上，我们的团队通过最大限度地利用数据帮助客户解决问题。这不仅关系到提高洞察力，还关系到降低客户的准入门槛，使他们能够充分利用我们提供的服务。虽然我们使用最新的机器学习技术来帮助实现这一目标，但这一切都基于这样一种认识，即所有最好的数字战略都建立在强大的数据基础之上。而大量数据正等待着我们去构建和挖掘其价值。”   激发激情   Joe Mullen表示，他总是以解决问题为导向：“我总是着眼于问题，并努力找出解决问题的最佳方法。起初，我对生物学非常感兴趣——了解人体是如何工作的。但在我攻读生物学学位时，一个小模块激发了我对数据分析的深厚感情。”   这种热情促使他完成了硕士学位，然后又取得了博士学位。“我发现，如何将一个充满人类水平噪音的文件加以处理，然后找出潜在的假设，这一点非常吸引人。如今，生成这种假设的技术已经得到了极大的发展。我们分析数据的方式也在不断发展。但归根结底，我们的目标仍然是以尽可能自动化和无缝的方式了解数据能告诉我们什么。”Joe Mullen说。   Joe Mullen拥有语义数据整合方面的博士学位——开发知识图谱以推动现有药物新用途的识别——他是初创公司 SciBite 的最佳人选：“我是作为 13 号被聘用的。“他回忆道，“六年后的今天，我们有大约 80 名员工。作为这个令人难以置信的数据科学团队的一员，我现在有幸领导着这个团队。”   天作之合的结构化数据   “我们一直是一家让客户从数据中获得最大价值的软件公司。”Joe Mullen说，“自从我们被Elsevier收购后（Elsevier拥有数据和数据平台方面的黄金标准），我们能够为客户提供更好的解决方案。SciBite 总是小而灵活。我们总是能够随心所欲地左转或右转，这一点没有太大变化，我们仍然作为一个独立的业务部门运营，但我们之间存在着巨大的协同效应和合作机会，无论是从技术角度还是从业务角度来看，这一切都非常合理。Elsevier不仅拥有数据，还拥有人类的专业知识。人类的专业知识是不会过时的，我非常赞同这样的说法‘人工智能不会取代人类，但拥有人工智能的人类将取代没有人工智能的人类。’”   问：怎样才能获得高质量的数据？答：学科专家   “显然，每个人都拥有大量数据。”Joe Mullen说，“现在，为了理解这些数据，需要学科专家（SMEs）对其进行整理：建立定义和标准——本体论——这样我们才能识别数据中的不同实体，可能是一种药物、一种疾病、一种蛋白质或一种表型。在生命科学领域，我们一直拥有很多中小型企业。现在，Elsevier在化学和工程等其他垂直领域也拥有中小企业，为我们打开了局面。Elsevier因拥有大量这样的中小企业而闻名。这些人深知建立基于 FAIR 数据原则的公共标识符的重要性。是的，技术可以加快这些任务的完成，但你需要人来验证信息。   数据为王   SciBite 保持着初创企业的心态，这与拥有强大的基础数据管理的理念不谋而合。“归根结底，技术可能来来去去，但数据是始终如一的。有了高质量的基础数据管理，就能在下一个最先进的技术出现时，灵活地加以利用”。   大型语言模型（LLM）就是一个很好的例子。当然，其最广为人知的版本 ChatGPT 将数据科学作为一个令人兴奋的领域推向了大众视野。然而，在一个以专业知识为基础的行业中，这种通用的解决方案根本无法发挥作用。Joe Mullen承认，SciBite 围绕组织数据所做的许多工作对某些人来说可能显得枯燥乏味，但这些工作仍然是基础性的。事实上，一旦你把数据整理得井井有条，事情就会变得令人兴奋起来。   令人兴奋的新阶段   “通常，我们现在要处理的是更深层次的科学问题，需要许多不同的证据。”Joe Mullen说：“我们正处于一个令人兴奋的阶段，在这个阶段，我们拥有了基础组件，可以更好地连接多个数据源——可能是Elsevier广泛的数据库、客户内部数据库，也可能是许多开放数据源。”   “但与此同时，客户在研发过程中的每一个环节都需要向监管机构提交资料。因此，你需要确切地知道你是从哪里获得这些假设的——你是从哪里真正识别出这些信息的。”   换句话说，这涉及到科学的试金石：远见、可重复性和透明度——这些都是目前LLM的不足之处：“OpenAI 拒绝透露任何有关 GPT4 的信息，这也是一种讽刺。还有太多问题有待解决。”   透明度就是一切   “但这并不能抹杀 LLM 的潜力，对于某些任务来说，它们已经是一个了不起的工具。”Joe Mullen补充道。   在未来的道路上，他认为LLMs有潜力帮助降低用户探索机器学习算法所发现的所有信息和相互关系的门槛。   “这将是一个大事件：由于 LLM 将自然语言转换为相关的查询语法，客户能够使用自然语言与所有这些数据库进行交互。这将是数据民主化的一大进步。但同样，你也始终需要人在环路中验证信息。”   是的，我们还没有做到这一点。事实上，在某些方面，LLM正在分散人们的注意力。   “太多的人将 LLM 视为全能解决方案。”Joe Mullen说，“我们需要重新调整，将重点重新放在手头的具体问题上。最后，LLM可能是解决方案的一部分，但我们不应该以此为主导。我们需要时间来找出最佳方案。但我们只有通过高质量的数据管理才能做到这一点。然后，我们才能准备好迎接下一个技术突破。”

展开更多

发布时间: 2024-02-22

9. 美国出版业的人工智能 (AI)——统计数据与事实

张恬

  人工智能虽早已应用于出版业，但ChatGPT的发布标志着一个新时代的到来，引发了全球范围内的炒作、恐慌以及关于人工智能如何/为何能在各行各业得到应用的焦灼问题。2021 年底进行的一项调查显示，出版商预计 2022 年将在新闻编辑室的一些任务中使用人工智能。2022年年底，ChatGPT 推出，并在全球积累了数百万用户。ChatGPT 的月活跃用户数量预计将激增，该服务对学生、职场人士、记者和图书作者都非常有用。然而，这并不是说生成式人工智能工具没有受到质疑。那么，业界及其受众是怎么看的呢？   出版业对人工智能的主要担忧   出版商对在新闻中使用人工智能的主要担忧是信息的不准确性和内容的质量，抄袭也是一个令人担忧的问题。事实上，在新闻日益集中的情况下，消费者有可能遇到错误和虚假信息、有偏见的内容和深度伪造的内容，记者面临着提供准确、可信和可靠信息的压力。一项调查显示，对于人工智能撰写的新闻对新闻行业的影响，美国成年人的态度大多是负面的，与政治派别无关。鉴于党派身份往往会严重影响人们对新闻媒体客观性的看法，所有选民都对人工智能新闻抱有同样的看法，这多少有些出人意料，也表明人们普遍缺乏准备。   在图书行业，情况也很紧张。人工智能书籍的爆炸式增长引起了作者们的恐慌，并呼吁加强监管和提高透明度。在那些书籍被用来训练人工智能的作者中，报酬也是一个争议点。美国公众同样担心人工智能写书对图书行业的影响，约有40%的成年人认为其结果会是负面的。   新技术一般都会引起褒贬不一的评价，当然，就人工智能在新闻领域的应用而言，对新闻媒体信任度的下降可能是消费者担忧的原因之一。与此同时，世界各地的新闻编辑室已经开始投资并使用人工智能开展工作。   新闻编辑室使用人工智能：现状   根据一项全球研究，超过 30% 的新闻编辑室高管认为，在他们的新闻编辑室中，有 5% -15% 的记者至少每周使用一次 ChatGPT。同一份报告还显示，出版商认为人工智能生成工具在新闻编辑室中大有可为，50% 以上的出版商已经将人工智能生成工具用于文本创作，30% 以上的出版商将其用于内容创作、主题构思和翻译。近 40% 的出版商打算利用 GenAI 工具发挥辅助作用并提高质量，只有 4% 的出版商表示不会将人工智能用于这些任务。   随着出版商尝试新的方法来精简员工工作流程、提高效率、加快或简化日常任务，人工智能在新闻领域的应用将不断增加。在图书领域，人工智能不太可能很快取代人类作者。不过，对于创作者来说，透明度将是帮助消费者区分哪些是人工智能所写、哪些不是人工智能所写的关键所在，因为抗拒人工智能的虔诚读者和热衷于尝试此类出版物的读者很可能会分为两个阵营。总而言之，人工智能原生创作者和使用人工智能提升产品的传统媒体在这个新时代必须牢记：获得并保持消费者的信任对于推动媒体参与度非常重要。

展开更多

发布时间: 2024-02-22

10. Science改变对使用生成式人工智能和大型语言模型的政策

张恬

  采用ChatGPT及相关大型语言模型来支持研究和生成学术内容的速度不断加快。Science的政策一直认为在方法部分将使用上述工具适当予以披露是可以接受的。不过，Science最初对使用ChatGPT制作文本和图表采取了非常严格的限制态度，同时也在关注整个科学界的想法和反应，正如其在2023年早些时候表态：“我们认为，谨慎的做法是等待，直到我们更清楚地了解科学界认为哪些用途是被允许的。”   一些组织最近更新了它们的政策。例如，国际医学期刊编辑委员会（ICMJE）就如何在文本和图表的编写中使用人工智能提供了指导。世界医学编辑协会（World Association of Medical Editors）和科学编辑委员会（Council of Science Editors）也发布了类似的公告。   Science现已调整了关于图像和文本完整性的编辑政策，将以下内容纳入其中：   人工智能辅助技术，如：大型语言模型（LLM）、聊天机器人和图像创建器不符合Science的作者标准，因此不得列为作者或共同作者，期刊内容中引用的资料也不得由人工智能工具撰写或共同撰写。作者如果将人工智能辅助技术作为其研究的组成部分，或作为撰写或发表稿件的辅助工具，应在投稿信和稿件致谢部分注明。详细信息应在方法部分提供，应披露作品制作过程中所使用的完整提示词以及人工智能工具及其版本。作者应对作品的准确性负责，并确保没有抄袭行为。他们还必须确保适当引用所有资料来源，并应仔细审阅作品，防止人工智能可能带来的偏见。如果人工智能使用不当，编辑可能会拒绝继续处理稿件。审稿人在生成或撰写审稿意见时不得使用人工智能技术，因为这可能会破坏稿件的保密性。   未经编辑明确许可，Science不允许使用人工智能生成的图像和其他多媒体。在某些情况下可能会有例外，例如在专门涉及人工智能和/或机器学习的稿件中使用图像和/或视频。此类例外将逐案评估，并应在投稿时披露。Science认识到这一领域正在迅速发展，其对人工智能生成的多媒体的立场可能会随着版权法和行业道德使用标准的演变而改变。   Science将继续关注这一充满挑战的领域，并根据需要谨慎调整。

展开更多

发布时间: 2024-02-22

11. STM白皮书发布——学术交流中的生成式人工智能

孟美任

  2023年12月5日，STM发布了一份新白皮书《学术交流中的生成式人工智能》——在出版过程中使用生成式人工智能的伦理与实践指南。作为 STM于2021年4月发布的《学术交流中的人工智能伦理》的后续出版物，这份新出版物为学术出版领域的利益相关者提供了资源，并探讨了生成式人工智能技术日益重要的作用。   该白皮书探讨了生成式人工智能技术的伦理、法律和实践，强调了其改变学术交流的潜力，并涵盖了从知识产权到数字时代保持完整性的挑战等一系列主题。该白皮书为作者、编辑团队、审稿人和供应商提供了最佳实践原则和建议，确保以负责任和合乎道德的方式使用生成式人工智能工具。

展开更多

发布时间: 2024-02-22

12. ChatGPT生成虚假数据集以支持科学假设

孟美任

  《美国医学会眼科学杂志》（JAMA Ophthalmology）于2023年11月9日发表一篇论文，作者使用GPT-4和Python语言模型ADA（Advanced Data Analysis）执行统计分析并实现数据可视化。人工智能生成的数据比较了两种外科手术的结果，并错误地指出一种治疗方法优于另一种。   研究报告的合作者、意大利卡利亚里大学眼科外科医生Giuseppe Giannaccare说：“我们的目的是要强调，在几分钟内，你就可以创建一个没有真实原始数据支持的数据集，而且与现有的证据相比，它站在对立面上。”   人工智能编造令人信服的数据的能力增加了研究人员和期刊编辑对研究完整性的担忧。   加利福尼亚州旧金山的微生物学家兼独立研究诚信顾问Elisabeth Bik说：“生成式人工智能可以生成使用剽窃软件无法检测到的文本，并且它能够创建虚假但逼真的数据集，这就更令人担忧了。这将使任何研究人员或研究小组都能非常容易地对不存在的病人进行虚假检测，对问卷进行虚假回答，或在动物实验中生成大量的数据集”。   作者将这些结果描述为一个“看似真实的数据库”。但经专家检查后发现，这些数据未能通过真实性检查，并含有明显捏造迹象。   手术对比   作者要求 GPT-4和ADA创建一个有关角膜炎患者的数据集，角膜炎会导致角膜变薄，从而影响聚焦和视力。对于15-20%的角膜炎患者来说，治疗方法包括角膜移植手术和穿透性角膜移植手术。第一种方法是穿透性角膜移植术（Penetrating Keratoplasty, PK），通过手术切除所有受损的角膜层，并用捐献者的健康组织替换。第二种方法是深前板层角膜移植术（Deep Anterior Lamellar Keratoplasty, DALK），只替换角膜的前层，保留最内层。   作者指示大型语言模型编造数据，以支持DALK比PK效果更好的结论。为此，他们要求该模型在一项评估角膜形状和检测不规则角膜的成像测试中显示出统计学差异，并显示出试验参与者在手术前后视力的差异。   人工智能生成的数据包括160名男性和140名女性。结果显示，接受DALK手术的人在视力和成像测试中的得分都比接受PK手术的人高，这一结果与真正的临床试验显示的结果不符。   “创建至少表面上可信的数据集似乎很容易。”——英国曼彻斯特大学的生物统计学家Jack Wilkinson说。Wilkinson对检测不真实数据的方法很感兴趣，他检查了几个由大型语言模型早期版本生成的数据集，他说这些数据集在仔细检查时缺乏令人信服的元素，因为它们难以捕捉变量之间的真实关系。   更严密的审查   应Nature新闻团队的要求，Wilkinson和他的同事Zewen Lu使用一种旨在检查真实性的筛选方案对假数据集进行评估。结果显示，术前和术后的视力测量结果与眼成像测试结果之间没有相关性。他们还检查了数据集中的数据分布情况，以检查是否存在非随机模式。眼成像值通过了这一检验，但一些参与者的年龄值以一种在真实数据集中极为罕见的方式聚集在一起（年龄值以7或8结尾的参与者人数过多）。   研究报告的作者承认，只要仔细观察就能发现他们的数据集存在缺陷。但尽管如此，Giannaccare说，“如果你快速查看数据集，就很难识别出数据源的非人类来源。”   EMBO Reports杂志主编Bernd Pulverer也认为这是一个值得关注的问题，“现实中的同行评审通常不会对数据进行全面的重新分析，也不太可能发现人工智能精心设计的完整性漏洞。期刊需要更新质量检查，以识别人工智能生成的合成数据。”   Wilkinson正在开展一个合作项目，设计统计和非统计工具来评估可能存在问题的研究。“人工智能可能是问题的一部分，同样，也可能有基于人工智能的解决方案。我们也许可以自动进行一些检查。人工智能生成技术的进步可能很快就会提供规避这些协议的方法。”Pulverer对此表示同意：“只要知道筛查的目的，人工智能就可以很容易地将这些东西作为武器。”

展开更多

发布时间: 2024-02-22