《OpenAI首席科学家:创造ChatGPT,担忧AI安全》

  • 来源专题:科技期刊发展智库
  • 编译者: 王传清
  • 发布时间:2024-02-22
  •   OpenAI的首席科学家Ilya Sutskever在开发ChatGPT等改变社会的AI对话系统方面发挥了核心作用。然而,他对于AI的未来也抱有深深的担忧,特别是在安全问题上。

      Sutskever在十几岁时,怀揣着对人工智能的无限热爱,勇敢地敲响了现代人工智能领域的先驱者Geoffrey Hinton位于加拿大多伦多大学的家门,寻求一份工作机会。Hinton对这位年轻人的抱负和决心留下了深刻印象,“他在暑假期间靠炸薯条赚钱,但他更愿意为我效力,投身人工智能的研究。”

      Hinton为他提供了一些论文资料。Sutskever在深入阅读后,对其中未被探讨的显而易见的问题感到困惑不解。Hinton赞叹道:“他的直觉总是那么敏锐。他被认为是深度学习和大型语言模型(LLMs)领域的卓越先驱,这正是如今风靡全球的ChatGPT等对话式人工智能机器人的基石。他的与众不同之处不仅在于他的智慧,更在于他对待工作的紧迫感和热情。”

      Sutskever后来成为OpenAI的首席科学家,在ChatGPT的开发过程中起到了举足轻重的作用。然而,他也对人工智能的未来充满了忧虑。2023年7月,他决定将工作重心转移到OpenAI一项为期四年的“超对齐”(superalignment)项目。该公司计划投入20%的计算资源来研究如何“引导和控制那些远比我们聪明的人工智能系统”。

      然而,商业发展的快速与安全考量之间的矛盾在2023年11月引发了一场风波。在这场风波中,Sutskever在OpenAI首席执行官Sam Altman的解雇和重新聘用过程中扮演了关键角色。事件过后,他选择拒绝了Nature杂志的采访请求。

      尽管有人对Sutskever的远见卓识表示钦佩,认为他具有强烈的道德责任感和对人工智能安全的深切关注;但也有人指出,过度关注尚未出现的人工智能控制问题可能会使人们忽视该技术当前存在的实际风险。纽约市政策研究机构AI Now Institute总经理Sarah Myers West警告说:“这样的做法将干预措施推到了遥远的地平线之外。”她主张我们需要更多地关注“解决眼前的危害”,例如人工智能系统在训练数据中可能强化了偏见和潜在的隐私泄露问题。

      同时,人工智能系统缺乏透明度也引发了广泛担忧。OpenAI和其他一些公司对其代码和训练数据严格保密,这引发了公众对其背后意图和潜在影响的质疑。Sutskever本人也承认,从长远来看,封闭系统可能是避免他人制造出强大人工智能的一种负责任的做法。他在2023年4月的一份声明中指出:“随着时间的推移,人工智能的能力将变得如此强大,以至于开源模型显然是不负责任的选择。”

      为了吸引更多资金以支持计算能力的提升,OpenAI团队在2019年将公司从非营利模式转变为“上限营利”模式。这一举措成功吸引了科技巨头微软的数十亿美元投资和计算资源支持。随着资金的注入和技术的不断突破,LLM得到了显著改进。2022年11月发布的ChatGPT更是引起了轰动效应,将OpenAI推向了新的高度。

      自始至终,Sutskever对人工智能问题的言论仍然大胆而前瞻。他在2022年宣称人工智能可能已经“稍有知觉”,这一观点引发了人们的广泛关注和争议。他坚信AGI甚至超越人类智力总和的“超级智能”有可能在数年或数十年内被开发出来。人工智能研究员Andrew Ng说:“时至今日,我仍对他的乐观态度感到惊讶。”

      Ng评价道:“Sutskever有一个令人钦佩的特质那就是无论别人是否同意他的观点,他都能选择一个方向并坚持不懈地追求下去。”这种勇气和决心正是他在人工智能领域取得如此多成就的关键所在。

相关报告
  • 《ChatGPT创造者谈最大担忧 吁美政府加强人工智能监管》

    • 来源专题:人工智能
    • 编译者:高楠
    • 发布时间:2023-06-09
    •  中新网 5月17日电 据外媒报道,当地时间16日,开发ChatGPT的美国人工智能公司OpenAI的首席执行官(CEO)山姆·阿尔特曼在参议院一场听证会上,呼吁美国政府加强对快速发展的人工智能领域的监管。  据报道,阿尔特曼在参议院司法委员会下属的隐私、技术和法律委员会举办的听证会上就人工智能监管表示,他支持成立一个联邦机构,对具有某些“关键能力”的人工智能模型设立许可证制度。如果模型不符合政府制定的安全准则,则可以撤销其许可。  他还建议,政府应为高性能人工智能模型制定安全标准,并制定模型必须通过的特定功能测试。 当地时间2023年5月16日,OpenAI首席执行官山姆·阿尔特曼 (Samuel Altman) 出席参议院司法委员会下属的隐私、技术和法律委员会举办的听证会。  阿尔特曼虽未明确说明监管门槛的标准,但他表明,“政府监管、干预对于降低人工智能工具所带来的风险至关重要”。  当被问及他对人工智能的最大担忧时,阿尔特曼表示,“我最担心的是,我们——这个领域、这项技术、这个行业——会对世界造成重大伤害。我认为这可能会以很多不同的方式发生……我认为,如果这项技术出了问题,它可能会出很大的问题。”  他说,“我们希望对此发表意见。我们希望与政府合作,防止这种情况发生。但我们必须对此保持清醒的头脑。”  OpenAI2022年发布了聊天机器人程序ChatGPT。ChatGPT能够通过理解和学习人类语言来进行对话,甚至撰写文案等。  ChatGPT发布后立刻引发各界关注。有教育工作者担心ChatGPT会导致学生在完成作业时作弊,也有专家担忧ChatGPT会误导公众、违反版权保护法规等。  今年3月,美国推特公司CEO马斯克和人工智能领域顶尖专家本吉奥等千人联名签署了一封公开信,主张在开发强大的AI系统之前,应先确认其带来影响是积极的、风险是可控的,并呼吁暂停开发比GPT-4更强大的AI系统至少6个月,称其“对社会和人类构成潜在风险”。  5月初,美国副总统哈里斯会见了微软、谷歌和另外两家开发人工智能的公司的负责人,讨论人工智能的潜在风险。拜登政府明确向这些企业高层表示,他们必须在推出产品之前确保其安全性。  随着ChatGPT等人工智能应用快速发展,部分国家政府机构开始重视该应用并对其加强监管。据此前报道,3月,意大利个人数据保护局宣布,暂时禁止使用ChatGPT。美欧多所大学已禁止学生使用ChatGPT,纽约市教育局禁止当地的公立学校电脑以及网络使用ChatGPT。
  • 《ChatGPT被列为研究论文的作者:许多科学家不赞成》

    • 来源专题:科技期刊发展智库
    • 编译者:王传清
    • 发布时间:2023-03-31
    •   风靡全球的人工智能Artificial Intelligence聊天机器人ChatGPT在科学文献中正式亮相,在已发表的论文和预印本上至少获得了4份作者署名。   期刊编辑、研究人员和出版商现在正在讨论这类人工智能工具在已发表文献中的地位,以及将机器人作为作者是否合适。2022年11月,作为一款免费工具,加州旧金山的科技公司OpenAI发布了这款聊天机器人,出版商们正在竞相为它制定政策。   ChatGPT是一个大型语言模型(Large Language Models,LLM),它通过模仿从互联网上搜集的巨大文本数据库中的语言统计模式来生成令人信服的语句。该机器人已经颠覆了包括学术界在内的多个领域:特别是,它给未来的大学论文和研究成果带来许多挑战。   《自然》新闻团队联系的出版商和预印本平台一致认为,ChatGPT等人工智能工具不符合研究作者的标准,因为它们无法对科学论文的内容和完整性负责。但一些出版商表示,人工智能对论文写作的贡献可以在作者署名以外的部分进行说明。(《自然》杂志的新闻团队在编辑上独立于期刊团队及其出版商,施普林格自然。)   在一个案例中,一位编辑告诉《自然》杂志, ChatGPT被列为合著者,该杂志将纠正这一错误。   Artificial Intelligence   ChatGPT是2022年12月在医学预印本平台medRxiv上发布的关于在医学教育中使用该工具的预印本文章[1]的12位作者之一。   纽约冷泉港实验室出版社(Cold Spring Harbor Laboratory press)副主任、联合创始人理查德·塞弗(Richard Sever)表示,该平台及其bioRxiv平台的团队正在讨论在撰写研究报告时使用和信任ChatGPT等人工智能工具是否合适。惯例可能会改变,他补充道。   塞弗说:“我们需要区分学术手稿作者的正式角色和更一般的文档作者的概念。”作者对他们的学术作品承担法律责任,所以只有人应该被列为作者。“当然,人们可能会试图偷偷摸摸地把它写进来——这已经在medRxiv上发生过了——就像过去人们在期刊文章中把宠物、虚构的人物等列为作者一样,但这是一个检查问题,而不是政策问题。”(这篇预印本的通讯作者、加州山景城Ansible Health的医疗总监维克多·曾森(Victor Tseng)没有回应置评请求。)   2023年1月发表在《护士教育实践》(Nurse Education in Practice)杂志上的一篇社论[2]将人工智能与英国曼彻斯特大学的健康技术研究员西沃恩·奥康纳(Siobhan O 'Connor)列为合著者。该杂志的主编罗杰·沃森(Roger Watson)说,这是错误的,很快就会得到纠正。“这是我的疏忽,”他表示,因为社论与研究论文的管理体系不同。   香港一家人工智能药物研发公司Insilico Medicine的首席执行官亚历克斯·扎沃龙科夫(Alex Zhavoronkov)声称ChatGPT是上个月发表在《肿瘤科学》(Oncoscience)杂志上一篇观点文章[3]的合著者。他表示,他的公司已经发表了80多篇由生成式人工智能工具生成的论文。“我们对这个领域并不陌生,”他说。这篇最新的论文讨论了服用雷帕霉素药物(drug rapamycin)的利与弊,这是在“帕斯卡赌注(Pascal’s wager)”的哲学争论的背景下进行的。扎沃龙科夫说,ChatGPT写的文章比前几代生成式人工智能工具要好得多。   他说,在他要求编辑这样做之后,《肿瘤科学》(Oncoscience)杂志对这篇论文进行了同行评审。该杂志没有回应《自然》杂志的置评请求。   瑞典哥德堡Sahlgrenska大学医院的神经生物学家Almira Osmanovic Thunstr?m说,第4篇文章[4]是由早期的聊天机器人GPT-3共同撰写的,并于2022年6月发布在法国预印本服务器HAL上,将很快在同行评审期刊上发表。她说,一家期刊在审查后拒绝了这篇论文,但另一家期刊在她根据审稿人意见修改了文章后,以GPT-3作为作者接受了这篇论文。   出版商的政策   《自然》和《科学》的主编告诉《自然》的新闻团队,ChatGPT不符合作者的标准。伦敦《自然》杂志主编Magdalena Skipper表示:“作者身份意味着对学术成果负责,这不能有效地适用于LLMs。”她说,如果合适的话,作者在撰写论文时以任何方式使用LLMs都应该在方法或致谢部分说明它们的作用和贡献。   华盛顿特区《科学》(Science)系列期刊主编霍尔顿·索普(Holden Thorp)表示,“我们不会允许人工智能在我们出版的论文中被列为作者,而使用人工智能生成的文本,但没有恰当的说明可能会被视为抄袭。”   伦敦的Taylor & Francis出版社出版伦理和诚信主管Sabina Alam表示,他们正在重新审视自己的政策。她同意作者对其工作的有效性和完整性负责,并且应该在致谢部分说明对LLMs的使用。Taylor & Francis出版社目前还没有收到任何将ChatGPT列为合著者的意见书。   宾夕法尼亚州立大学的天文学家、科学总监斯坦恩·西于尔兹松(Steinn Sigurdsson)表示,物理科学预印本平台arXiv的董事会已经进行了内部讨论,并开始在使用生成式人工智能的方法上达成一致。他认同软件工具不能成为提交内容的作者,部分原因是它不能同意使用条款和分发内容的权利。西于尔兹松没有发现arXiv有任何将ChatGPT列为合著者的预印本文章,并表示即将发布作者指南。   生成式AI的伦理   英国研究诚信办公室(UK Research Integrity Office)的研究诚信主管马特·霍奇金森(Matt Hodgkinson)个人认为,根据已有的明确的作者指南,ChatGPT不应该被视为合著者。合著者需要对文章做出“重大的学术贡献”——这可以通过ChatGPT等工具实现,但它也必须有能力同意成为共同作者,并对一项研究承担责任——或者,至少是它贡献的部分。他认为:“让人工智能工具成为合著者的想法在第二部分真正遇到了障碍。”   扎沃龙科夫表示,当他试图让ChatGPT撰写比他之前发表的论文更技术性的论文时,它失败了。他表示:“它确实经常会反馈不一定正确的语句,如果你多次问它同一个问题,它会给你不同的答案。”“所以我肯定会担心这个系统在学术界被滥用,因为现在,没有专业知识的人也可以尝试写科学论文。” 参考文献: 1. Kung,T. H. et al. Preprint at medRxiv https://doi.org/10.1101/2022.12.19.22283643 (2022). 2. O’Connor, S. & ChatGPT Nurse Educ. Pract. 66, 103537 (2023). 3. ChatGPT & Zhavoronkov, A. Oncoscience 9, 82–84 (2022). 4. GPT,Osmanovic Thunstr?m,A. & Steingrimsson, S. Preprint at HAL https://hal.science/hal-03701250 (2022).