OpenAI在2022年11月推出ChatGPT,2023年3月推出GPT-4。这两个产品的出现,彻底打破了人类对当前人工智能所具备能力的认知。ChatGPT和GPT-4所表现出的学习知识、掌握知识、应用知识解决问题的能力让世人为之瞠目。
1 ChatGPT为什么会这么“能”?
在我们惊诧ChatGPT能力的时候,又不清楚它为什么会这样“能”。ChatGPT的能力为什么与之前类似产品相比竟有这样的大幅提升,对此人们有各自的见解。图灵奖获得者、Meta公司的首席人工智能科学家Yann LeCun在2023年初表示,虽然公众认为ChatGPT是一场革命,但它“没有什么革命性”,“从底层技术的角度来讲,ChatGPT并没有特别的创新”。LeCun进一步指出,ChatGPT以及GPT-3所依赖的多种关键技术,已由许多不同的团队开发了多年。LeCun认为ChatGPT之所以这么“能”,是因为ChatGPT很好地把关键技术组合在了一起,“它做得很好” 。笔者认为在解释ChatGPT为什么会这么“能”的问题上,除了关键技术组合得好之外,还应当考虑一个重要因素,就是人工智能的“复利效应”。由于“复利效应”的存在,ChatGPT的能力从量的积累到了质的飞跃。人工智能时代应关注“复利效应”的影响。
2 不能低估的“复利效应”
“复利”是经济学领域中计算利息的一种方法。复利是将本期的本金及其产生的利息作为下一期的本金来计算利息的方法,俗称“利滚利”。与单利计算不论投资周期有多长,只以原本金计取利息的方式不同,复利计算每一期本金的数额是上期末的本金与利息之和。复利计算的公式可以表示为S = P (1 + i) n。其中,S是利息,P是本金,i是利率,n是存储年限。经济学上的“复利效应”是指资产收益率以复利计息时,资产规模随期数成指数增长,经过若干期后资产规模(本利和)将大幅超过以单利计息时的情况。例如 (1+5%) 50=11.467,基于复利计算,若以资产每年增长率为5%,则50年之后,资产将会是本金的11倍多。复利效应意味着在持续迭代中再微小的积累和提升,随着时间的推移也能促成指数级的增长,最终实现跨越式的发展和突破。很多人将复利效应上升到了人生中的一个重要哲理,认为只要能积累的东西,复利效应都一样存在。例如,鼓励人们在知识学习时,如果每天进步一点,只要长期坚持,就会学富五车,涵今茹古,收获知识的复利。
3 基于机器学习的人工智能,追求的是复利的迭代积累
在人工智能的发展史上,有众多的学术派别,产生了不同的人工智能实现路径。ChatGPT和GPT-4走的是基于机器学习(深度学习)的人工智能路线。基于机器学习的人工智能路线,重点在于学习,目标就是制造一个能够比自己前一代聪明一点的机器,通过不断学习,提升智能。基于机器学习的人工智能路线早就存在。实际上,早在1948年,艾伦·图灵(Alan Turing)就在其著名的文章Intelligent Machinery中探讨了机器智能的潜在实现路径。图灵认为只有接受了适当的教育,人类隐藏的智能才会被挖掘出来、发挥作用。与此类似,真正的智能机器必须具有学习能力。机器只有用适当的方法,被充分训练之后,才能拥有智能。图灵在文中提出了一个“无组织机器”(unorganized
machine)的概念,认为婴儿的大脑皮层就如同这种无组织机器一样,可以通过“训练”变得有组织化。图灵在文章中,重点分析了如何让机器实现学习的路径,并讨论了通过奖励和惩罚来教育机器的方法。在20世纪80年代,在符号主义人工智能停滞不前的时候,随着大卫·鲁姆哈特(David Rumelhart)等再次提起神经网络和联结主义,基于机器学习的人工智能得到了快速发展。与符号主义强调对人类逻辑推理的模拟不同,联结主义学派强调对人类大脑学习和训练机制的直接模拟,人工智能从被动输入知识转变为自动从数据中学习知识。这种学习能力使机器能够不断自我迭代、优化,制造比自己前一代更聪明的机器。基于机器学习的人工智能路线不是“授人以鱼”,而是“授人以渔”。其重点不在于立刻提升智能,而是让其“具有学习能力”,通过持续不断的、长时间的学习迭代,实现能力的复利积累,从而提升智能。
4 借助集成化的“复利效应”ChatGPT实现从量变到质变的飞跃
近10年来,人工智能的训练方法不断进步,出现了注意力机制、Transformer架构、预训练思想、大规模语言模型思路、强化学习模型机制等技术,机器学习能力不断提升。随着大样本高质量训练语料的涌现和大规模计算能力的提升,上述模型算法逐渐有了用武之地,机器学习能力达到新的高度。正如LeCun所说的,ChatGPT并不是从真空中创
造出来的。它是算法模型、计算能力、高品质语料等各个方面不断点滴进步所带来的积累性成果,体现了典型的人工智能“复利效应”。为了让模型能够汲取更多知识,OpenAI收集、标注了更多的原始训练语料;为了实现更贴近人类的对话效果,OpenAI研发了基于人类反馈的强化学习方法;为了加速模型训练,OpenAI部署了拥有28万个CPU内核、1万个GPU的超级计算机来训练GPT-3。通过软件、硬件、技术、语料的有效集成, ChatGPT的知识学习能力获得了质的飞跃。虽然, ChatGPT在技术上并没有取得实质性的重大突破,但正是由于持续不断地突破点滴技术,持续不断地扩大语料训练规模、提升语料训练质量,持续不断地扩充模型容量、优化模型参数,才使得ChatGPT的学习能力与五六年前相比有了极大的进步。ChatGPT正是借助集成化的“复利效应”,实现了从量变到质变的飞跃。
5 国内人工智能发展需充分认识“复利效应”
相较于ChatGPT、GPT-4的能力,国内类似产品尚存在差距。华为公司首席战略架构师党文栓在“2030年技术发展趋势”论坛上表示,这是由基础研究、基础算力等多方面要素历史积累的差距所导致的。考虑到训练类ChatGPT模型需要非常大规模的数据、算力等资源,而国内很少有企业或机构具有这些资源和能力。因此,国内企业和机构应当充分认识和利用“复利效应”,积极发挥自身优势,在人工智能技术方面强化软件、硬件、技术、方法和语料等要素资源的对接和协同创新,充分发挥集成化“复利效应”的作用,为国内人工智能开拓发展新局面贡献智慧和力量。
GPT系列的成功并非一朝一夕,而是软硬件以及各方面技术的长期积累和集成创新。人工智能的“复利效应”需要通过不断的积累和优化来实现,最终实现跨越式的发展和突破。这种积累和优化的过程,需要耐心和毅力,并且需要始终保持创新和进取的精神,不断开拓新的技术和应用领域,以推动人工智能技术的发展,为人类带来更多的福祉和便利。