《张智雄 人工智能发展需要关注“复利效应”》

  • 来源专题:数智化图书情报
  • 编译者: 闫亚飞
  • 发布时间:2023-07-13
  • OpenAI在2022年11月推出ChatGPT,2023年3月推出GPT-4。这两个产品的出现,彻底打破了人类对当前人工智能所具备能力的认知。ChatGPT和GPT-4所表现出的学习知识、掌握知识、应用知识解决问题的能力让世人为之瞠目。

    1 ChatGPT为什么会这么“能”?

    在我们惊诧ChatGPT能力的时候,又不清楚它为什么会这样“能”。ChatGPT的能力为什么与之前类似产品相比竟有这样的大幅提升,对此人们有各自的见解。图灵奖获得者、Meta公司的首席人工智能科学家Yann LeCun在2023年初表示,虽然公众认为ChatGPT是一场革命,但它“没有什么革命性”,“从底层技术的角度来讲,ChatGPT并没有特别的创新”。LeCun进一步指出,ChatGPT以及GPT-3所依赖的多种关键技术,已由许多不同的团队开发了多年。LeCun认为ChatGPT之所以这么“能”,是因为ChatGPT很好地把关键技术组合在了一起,“它做得很好”  。笔者认为在解释ChatGPT为什么会这么“能”的问题上,除了关键技术组合得好之外,还应当考虑一个重要因素,就是人工智能的“复利效应”。由于“复利效应”的存在,ChatGPT的能力从量的积累到了质的飞跃。人工智能时代应关注“复利效应”的影响。


    2 不能低估的“复利效应”

    “复利”是经济学领域中计算利息的一种方法。复利是将本期的本金及其产生的利息作为下一期的本金来计算利息的方法,俗称“利滚利”。与单利计算不论投资周期有多长,只以原本金计取利息的方式不同,复利计算每一期本金的数额是上期末的本金与利息之和。复利计算的公式可以表示为S = P (1 + i) n。其中,S是利息,P是本金,i是利率,n是存储年限。经济学上的“复利效应”是指资产收益率以复利计息时,资产规模随期数成指数增长,经过若干期后资产规模(本利和)将大幅超过以单利计息时的情况。例如 (1+5%) 50=11.467,基于复利计算,若以资产每年增长率为5%,则50年之后,资产将会是本金的11倍多。复利效应意味着在持续迭代中再微小的积累和提升,随着时间的推移也能促成指数级的增长,最终实现跨越式的发展和突破。很多人将复利效应上升到了人生中的一个重要哲理,认为只要能积累的东西,复利效应都一样存在。例如,鼓励人们在知识学习时,如果每天进步一点,只要长期坚持,就会学富五车,涵今茹古,收获知识的复利。


    3 基于机器学习的人工智能,追求的是复利的迭代积累

    在人工智能的发展史上,有众多的学术派别,产生了不同的人工智能实现路径。ChatGPT和GPT-4走的是基于机器学习(深度学习)的人工智能路线。基于机器学习的人工智能路线,重点在于学习,目标就是制造一个能够比自己前一代聪明一点的机器,通过不断学习,提升智能。基于机器学习的人工智能路线早就存在。实际上,早在1948年,艾伦·图灵(Alan Turing)就在其著名的文章Intelligent Machinery中探讨了机器智能的潜在实现路径。图灵认为只有接受了适当的教育,人类隐藏的智能才会被挖掘出来、发挥作用。与此类似,真正的智能机器必须具有学习能力。机器只有用适当的方法,被充分训练之后,才能拥有智能。图灵在文中提出了一个“无组织机器”(unorganized

    machine)的概念,认为婴儿的大脑皮层就如同这种无组织机器一样,可以通过“训练”变得有组织化。图灵在文章中,重点分析了如何让机器实现学习的路径,并讨论了通过奖励和惩罚来教育机器的方法。在20世纪80年代,在符号主义人工智能停滞不前的时候,随着大卫·鲁姆哈特(David Rumelhart)等再次提起神经网络和联结主义,基于机器学习的人工智能得到了快速发展。与符号主义强调对人类逻辑推理的模拟不同,联结主义学派强调对人类大脑学习和训练机制的直接模拟,人工智能从被动输入知识转变为自动从数据中学习知识。这种学习能力使机器能够不断自我迭代、优化,制造比自己前一代更聪明的机器。基于机器学习的人工智能路线不是“授人以鱼”,而是“授人以渔”。其重点不在于立刻提升智能,而是让其“具有学习能力”,通过持续不断的、长时间的学习迭代,实现能力的复利积累,从而提升智能。

    4 借助集成化的“复利效应”ChatGPT实现从量变到质变的飞跃

    近10年来,人工智能的训练方法不断进步,出现了注意力机制、Transformer架构、预训练思想、大规模语言模型思路、强化学习模型机制等技术,机器学习能力不断提升。随着大样本高质量训练语料的涌现和大规模计算能力的提升,上述模型算法逐渐有了用武之地,机器学习能力达到新的高度。正如LeCun所说的,ChatGPT并不是从真空中创

    造出来的。它是算法模型、计算能力、高品质语料等各个方面不断点滴进步所带来的积累性成果,体现了典型的人工智能“复利效应”。为了让模型能够汲取更多知识,OpenAI收集、标注了更多的原始训练语料;为了实现更贴近人类的对话效果,OpenAI研发了基于人类反馈的强化学习方法;为了加速模型训练,OpenAI部署了拥有28万个CPU内核、1万个GPU的超级计算机来训练GPT-3。通过软件、硬件、技术、语料的有效集成, ChatGPT的知识学习能力获得了质的飞跃。虽然, ChatGPT在技术上并没有取得实质性的重大突破,但正是由于持续不断地突破点滴技术,持续不断地扩大语料训练规模、提升语料训练质量,持续不断地扩充模型容量、优化模型参数,才使得ChatGPT的学习能力与五六年前相比有了极大的进步。ChatGPT正是借助集成化的“复利效应”,实现了从量变到质变的飞跃。

    5 国内人工智能发展需充分认识“复利效应”


    相较于ChatGPT、GPT-4的能力,国内类似产品尚存在差距。华为公司首席战略架构师党文栓在“2030年技术发展趋势”论坛上表示,这是由基础研究、基础算力等多方面要素历史积累的差距所导致的。考虑到训练类ChatGPT模型需要非常大规模的数据、算力等资源,而国内很少有企业或机构具有这些资源和能力。因此,国内企业和机构应当充分认识和利用“复利效应”,积极发挥自身优势,在人工智能技术方面强化软件、硬件、技术、方法和语料等要素资源的对接和协同创新,充分发挥集成化“复利效应”的作用,为国内人工智能开拓发展新局面贡献智慧和力量。

    GPT系列的成功并非一朝一夕,而是软硬件以及各方面技术的长期积累和集成创新。人工智能的“复利效应”需要通过不断的积累和优化来实现,最终实现跨越式的发展和突破。这种积累和优化的过程,需要耐心和毅力,并且需要始终保持创新和进取的精神,不断开拓新的技术和应用领域,以推动人工智能技术的发展,为人类带来更多的福祉和便利。





  • 原文来源:https://kns.cnki.net/kcms2/article/abstract?v=3uoqIhG8C44YLTlOAiTRKu87-SJxoEJu6LL9TJzd50kT1YiVDziXgjSCbK6l3Q-Ydkzczhb00hX_R3iqhT69CcA8ITtKOLVC&uniplatform=NZKPT
相关报告
  • 《多国人工智能产业加速发展》

    • 来源专题:装备制造监测服务
    • 编译者:zhangmin
    • 发布时间:2020-12-29
    • 当前,以人工智能(AI)为代表的新兴信息技术蓬勃发展,人工智能应用技术正加速普及,特别是在医疗健康、教育、金融、安全防务等专业服务领域。咨询公司麦肯锡的一项最新研究发现,疫情防控以来,传统经济加快智能化转型,加速了以人工智能为代表的新技术转化速度,预计到2030年约有30%的工作岗位将实现自动化、智能化。   智能研发提速 机器人显身手   韩国MBN电视台近日推出本国第一位人工智能主播。外形和真人几乎完全相同的人工智能主播,模仿真人的声音和语调,顺利播报了当日的主要新闻和若干条快讯。MBN电视台表示,人工智能主播可以在发生灾难等紧急情况时,迅速向观众播报新闻内容,并可全天候持续工作,节省了大量人力、时间和费用成本。   德国的人工智能医疗机器人“阿达”一直备受关注。当人们在“阿达”的应用界面中输入症状后,“阿达”会通过人工智能算法分析评估病人的症状并给出治疗建议。“阿达”的诊疗“天赋”源于70多名医生、数学家、数据专家和计算机科学家的知识与经验。负责开发“阿达”的科技公司负责人纳特哈特表示:“我们用了7年时间专注研究人工智能的数据处理问题,并建了一个全球医学专家网络来提供医学支持。”目前,全球已有超过300万人使用过“阿达”。2017年,这家初创企业获得了4000万欧元投资。   去年11月,日本NTT公司和日本国立情报学研究所宣布,其研发的人工智能技术挑战当年日本“高考”英语满分200分的笔试题,获得了185分的高分。NTT公司称,他们一直致力于提高人工智能对英语笔试题的自动解答技术、提升其借助深度学习所获得的自然语言处理知识。自2011年起,日本国立情报学研究所和东京大学等合作发起人工智能项目,检验人工智能可在多大程度上模拟人类思考以及解决问题的能力。   不久前,第二届欧盟人工智能联盟大会集中展示了一批典型案例,介绍人工智能应用技术如何助力疫情防控。比如,训练智能机器人来照顾新冠肺炎患者,利用人工智能系统分析病人肺部CT,以减轻医护人员工作压力。比利时鲁汶大学医学影像研究中心主席兼教授苏艾腾表示,实践证明,人工智能比放射医师更能有效地分析肺部CT。   多国出台政策 力促产业发展   近年来,越来越多国家出台政策扶持人工智能产业发展。欧盟今年2月发布《人工智能白皮书》,力促人工智能产业发展。在过去3年里,欧盟用于人工智能研究和创新的资金增至15亿欧元,同比增长70%。欧盟近期还提出了一项重大的专项拨款,用于支持在“数字欧洲”计划下的人工智能研究项目。欧盟希望未来10年每年吸引超过200亿欧元的投资用于人工智能领域。   法国2018年5月出台“法国人工智能战略”,从政策层面力促研究机构将人工智能研发成果商业化。法国政府计划在2022年底前投入15亿欧元用于人工智能产业发展。仅2019年,法国新注册的人工智能企业就达102家。   2019年12月,韩国政府发布“人工智能国家战略”,提出九大领域100个课题,计划2030年时将韩国在人工智能领域的竞争力提升至世界前列。韩国政府力争到2021年成功打造人工智能开发平台、全面开放公共数据,到2024年建立光州人工智能园区,到2029年为新一代存算一体人工智能芯片研发投入约1万亿韩元(1美元约合1090韩元)。   去年6月,日本政府出台“人工智能战略2019”,旨在从全球范围内吸引人才,增强本国人工智能产业竞争力。去年12月,东京大学和软银公司签署协议,宣布将共同打造世界顶尖的人工智能研究所,致力于开展人工智能的基础研究和应用研究。软银将在今后10年为此投资200亿日元(1美元约合104日元)用于相关研究,促进日本人工智能研究及相关产业发展。   应用前景广阔 助益经济增效   专家表示,未来全球可持续增长越来越依赖于数据所创造的价值,而人工智能是数字经济中最重要的应用技术之一。人工智能将在精准农业、远程医疗、自动驾驶等方面大有作为。   普华永道的最新研究指出,到2030年,凭借运用人工智能技术的创新型产品与效率的提升,全球经济总量有望额外增长13.4万亿欧元。研究认为,德国大部分行业尤其是医疗、能源和汽车行业的生产率将因人工智能技术应用而显着提高,预计到2030年德国经济将实现11.3%的额外增加值。韩国政府预计,如果人工智能国家战略相关措施得以有效实施,到2030年,韩国将在人工智能领域创造455万亿韩元经济效益。   日本经济产业省对制造业及建筑业等大约2000家中小企业和提供人工智能服务的企业实施调查,并筛选出可用人工智能替代的业务,估算出如果中小企业引进人工智能技术,到2025年将产生11万亿日元的经济效益,可在一定程度上解决少子老龄化造成的劳动力缺口问题。   韩国延世大学教授金时镐指出,随着人工智能产业的发展,各国政府需要研究各种可能出现的新问题,包括以基本劳动力为中心的工作岗位消失、人工智能服务安全性、数据安全等问题,提前研究应对策略以及必要的法律和制度修订。 作者:牛瑞飞 马菲
  • 《人工智能助推能源产业高“智”发展》

    • 来源专题:能源情报网监测服务平台
    • 编译者:郭楷模
    • 发布时间:2025-02-17
    • 相关测试显示,DeepSeek用较低的成本达到全球人工智能领军企业OpenAI旗下主流产品的性能。这一进展不仅破解了全球人工智能产业长期以来“堆算力”的路径依赖,更在资本市场和社会应用层面引发多重震荡。能源行业高质量发展进程中,将与人工智能碰撞出怎样的火花? 实现全民级AI科普 此次引起热议的是深度求索先后推出两款大模型产品:DeepSeek V3和DeepSeek R1,V3为其自研MoE模型,应用场景包括聊天、编码、多语言自动翻译、图像生成和AI绘画等,其性能与世界顶尖模型GPT-4o不相上下;R1作为面向复杂推理任务的大模型,全球首次复现OpenAI o1模型且性能对比不分伯仲。两款模型是开源模型性能达到世界顶尖闭源模型的首例。 简单来说,DeepSeek像是一个聪明又懂你的生活助手,不光能回答问题,还能撰写文章、整理资料,甚至做一些复杂的推算。 “DeepSeek以惊艳的产品体验完成了全民级AI科普。”360集团创始人周鸿祎向《中国能源报》记者介绍,R1通过展示完整的思维链条增强用户信任,其推理过程呈现出类似人的逻辑缜密性与自然交互特性,极大降低了用户的使用门槛。不同于传统指令型模型,R1通过主动理解用户意图实现了需求响应的智能化突破,让用户真切感受到AI的技术变革。 DeepSeek应用的背后是算法和数据支持。大数据算法与分析技术国家工程实验室大数据算法测试与示范应用中心主任、西安交通大学计算机科学与技术学院教授田锋向《中国能源报》记者指出,DeepSeek实现硬件约束下的大模型高效优化,成本相对低且保持同时代大模型的性能,打破了当前大模型研制必须由大数据、大算力、大能耗、大资金支撑的研发范式,更打破外界认为“中国新一代人工智能技术落后第一梯队的美国半年甚至1年以上”的不实观点,给中国人工智能行业注入了一剂强心针,在世界范围产生一定引领作用和重要影响。近期,美国亚马逊、微软等公司都复刻DeepSeek并将其纳入到自己的产品中。 周鸿祎指出,DeepSeek实现了技术范式的重大突破,其核心是从预训练范式转向强化学习范式的推理模型,能够对复杂问题和任务进行逻辑拆解与规划,具备归纳总结和反思改进能力。R1基于强化学习技术减少了对人类数据和算力的依赖,为发展真正超越人类的AGI(通用人工智能)带来了可能性。 加速渗透至各行各业 值得一提的是,DeepSeek不仅实现了高性能与低成本的完美结合,更在于其选择了一条与OpenAI截然不同的路径——开源。DeepSeek的开发者在公开模型代码的同时,还通过论文详细阐释其技术原理。这意味着任何人都可以自由使用,并通过更改底层代码来改变其工作方式。 OpenAI首席执行官萨姆·奥特曼(Sam Altman)称,OpenAI在开源AI软件方面“一直站在历史的错误一边”。技术开源不但对全世界广泛的人工智能研究、应用起到鼓励技术创新与协作的正向推动作用,同时降低了各方的开发成本。 田锋指出,DeepSeek为资金有限、高端硬件不足的国家和地区、机构、研究者提供免费开源、高效能的基础大模型,从而使他们也可以享受新一代人工智能带来的各种机遇,打破了由美国资本堆积、科技宣传建立起来的“要用高端人工智能产品,必须向美国购买才能享用”的旧有思维。 “DeepSeek开创了商业模式的创新路径,以开源免费模式提供顶尖性能模型,打破了闭源垄断的市场格局,倒逼行业巨头转向开源生态。”周鸿祎指出,人工智能不仅是新一轮科技革命和产业变革的重要驱动力量,更是我国赢得全球科技竞争主动权的重要战略抓手。DeepSeek通过全栈开放,引发了开源社区、云平台、芯片企业、AI应用开发者纷纷转向DeepSeek,证明开源模式能快速突破国际技术封锁,降低行业壁垒,形成技术扩散的“蒲公英效应”。开源实践展示出一条“以开放破封锁、以协作促创新”的中国AI发展路径。 人工智能正以前所未有的速度渗透至各行各业。周鸿祎进一步指出,一方面优质的开源模型将吸引大量开发者与企业迁移至DeepSeek技术栈,重构AI应用市场格局,推动AI解决方案的爆发式创新;另一方面低门槛的开源模型促进私有化部署的普及,使AI能力真正渗透至企业与科研机构,产生更深远的社会影响。 能源行业配上“智慧大脑” DeepSeek在能源领域会有怎样的应用? 中国科学院院士、西安交通大学电子与信息学部主任管晓宏向《中国能源报》记者指出,人工智能技术早已在智慧能源、智慧矿山、油气勘测等领域开展应用,人工智能是进行新能源预测最有力的工具,可以推动能源生产与管理优化、效率提升,为能源行业转型升级带来智力支持。 管晓宏认为,智能化将为能源行业带来深刻变革,但其规模应用仍面临一系列挑战。能源行业的AI应用需要结合具体领域,开发定制化的垂直大模型,对技术团队的要求较高。能源系统的运行需要实时监控和响应,这对AI算法的计算效率和延迟提出了更高要求。许多能源场景需要边缘计算支持,模型需在计算能力和存储资源有限的条件下具备本地部署能力,面临技术复杂性问题。 能源行业事关国家安全和民生保障,对AI系统的可靠性和安全性要求极高,如何在数据共享和隐私保护之间找到平衡是一大难题。目前,能源行业AI应用还缺乏统一标准和规范,技术推广和应用效果参差不齐。初期投入高、回报周期长,新技术引入验证和评估周期长等问题都有待解决。 管晓宏认为,人工智能的发展离不开强大的算力支撑,而算力和数据基础设施的运行呈现高耗能,“双碳”目标下,如何实现绿色计算和绿色算力面临巨大挑战。DeepSeek展示了应用更“聪明”的算法和代码训练AI模型的巨大前景,同其他大模型相比,DeepSeek计算效率大大提高,更加绿色,通过针对行业的进一步开发和演进,更具分布式和实用性部署的优势。 管晓宏建议,尽快推进数字基础设施低碳化转型,算力电力协同发展,逐步解决绿电对算力中心的直供问题,大力推动零碳、低碳算力和数据中心的建设。尽快制定绿色能源直接应用政策,特别是电网与绿色算力配合的政策,积极开展算力网综合碳效的评估与碳排放治理工作。一方面应该充分利用区域资源优势,实现绿电在本地算力中心的有效利用;另一方面充分考虑算力基础设施区域性、结构性布局,围绕分布式绿色能源系统,尽快制定风、光、氢等绿能建设的规划。