《一场制造革命,正在半导体领域徐徐上演》

  • 来源专题:数控机床与工业机器人
  • 编译者: icad
  • 发布时间:2021-03-21
  • 自德州仪器工程师Jack Kilby在1958年发明集成电路以来,这个新产业在过去几十年里飞速发展,并逐渐走进了各个领域。因为其关系到国计民生的方方面面,这个“小东西”在近几年受到了全球的高度关注。尤其是近几年,因为缺货风波和地缘政治的影响,半导体的地位变得前所未有的重要。 

    然而,作为全球最大的半导体消耗国,我国在半导体领域却没有获得相应的地位。 

    据彭博社统计,2020年,中国大陆的芯片进口额攀升至近3800亿美元,约占国内进口总额的18%。知名分析机构IC Insights的数据则显示,2020年,中国大陆的集成电路市场增至1434亿美元,然而其中仅有15.9%是由中国大陆生产的。如果仅统计总部位于中国大陆的公司的产值,则只有83亿美元,仅占中国2020年IC市场总量的5.9%。

    由此可见,大力发展国内的芯片产业迫在眉睫。

    中国从各个地区进口芯片的统计(source:彭博社)

    作为一个坐拥全球最完整供应链的国家,中国在集成电路的设计、生产、封测、测试、材料和装备方面都有布局,但我们并没有获得相应的集成电路成绩。这一方面固然与我国上述领域都存在短板有关。更重要的是,在行业专家看来,缺乏以市场最优的成本、按时足量地生产出稳定、高品质半导体产品的能力,是中国半导体难以生产出具有市场竞争力产品的命门。

    复杂的半导体制造

    在集成电路产业链中,半导体制造是最重要的一环,是把设计落地、迈出走向应用的关键一步,但这又是极其复杂的一环。据相关资料显示,要制造一颗芯片,需要涉及到五十多个行业,2000-5000道工序。如下图所示,晶圆代工厂里繁复的制造步骤下每一个环节都给芯片制造厂商带来了巨大的挑战。

    芯片的主要制造步骤(source:西南电子)

    以芯片制造中的CMP(化学机械抛光)为例,这是一项用于去除沉积金属或介质材料并平坦化晶圆表面的技术,是晶圆生产中的关键制程。这个概念看似简单,但在实际生产中,CMP要同时满足材料去除的均匀性、更高生产效率和更低成本的严苛要求,这就使其复杂程度大增。

    CMP机台构造和工作原理(sourse:未来智库)

    相关资料显示,CMP制程中会出现沟槽深度、金属膜厚波动等几十种缺陷,这些异常对产品电性参数和良率产生极大的影响。其中,膜厚的稳定对制程来说尤为重要。

    统计显示,CMP膜厚异常、缺陷与包括前程工艺、本制程的设备与制程参数、甚至材料批次等生产过程中涉及的多种复杂因素有关。在如此海量的因子影响并且相互关联的情况下,工程师无法通过过去的工具和技术很好地单独分析出实际的影响因子,提升良率,保证工艺的稳定和产品的质量。

    良率决定竞争力

    行业专家同时也指出,提高生产良率,将直接影响和优化生产周期,极大降低生产成本,从而强化产品以及企业的市场竞争力。而随着半导体制造生产流程和工艺越来越复杂,制造过程也越来越具有挑战,良率提升变得异常困难。从相关分析看来,造成这种困难的主要原因有以下几点:

    1.制程工序复杂。产品需要经过几百道复杂的工序加工,每个工序都要求几乎100%的良率,否则,良率乘积关系会迅速破坏整体良率;

    2.制程高度重入。产品需要多次重复进入相同的制程进行加工,每次都将面临渐进偏移(Shift)或突变漂移(Drift)等变异现象,品质问题的根源在于高变异;

    3.品质实时控制难。良率故障只能通过抽检检测发现。检测本身的滞后性和抽检的概率性,严重影响品质数据的实时获得,进而影响品质的实时控制;

    受限于技术,这其实是过去多年来困扰行业的一个难题,但进入最近几年,从业者似乎已经找到了一个新的答案——那就是工业互联网。

    工业互联网助力升级

    根据工业和信息化部工业互联网专项工作组印发《工业互联网创新发展行动计划(2021-2023年)》,所谓工业互联网,是新一代信息通信技术与工业经济深度融合的全新工业生态、关键基础设施和新型应用模式。它以网络为基础、平台为中枢、数据为要素、安全为保障,通过对人、机、物全面连接,变革传统制造模式、生产组织方式和产业形态,构建起全要素、全产业链、全价值链全面连接的新型工业生产制造和服务体系,对支撑制造强国和网络强国建设,提升产业链现代化水平,推动经济高质量发展和构建新发展格局,都具有十分重要的意义。

    国内领先的高端制造业工业互联网公司——格创东智科技有限公司指出,将工业互联网技术、模式等与各行业的生产实践、行业特性、知识经验紧密结合,可以解决生产痛点问题,为生产带来真正的价值。其中,半导体制造正是他们聚焦的一个方向。

    还是以半导体制造中的CMP为例。其实要控制生产变异,提升半导体制造的良率,就要做到三点:第一,需要在生产过程中获得全面的数据,监控生产环境;第二,还需要获得品质全检数据,进而监控生产品质参数的变异性;第三,能实现实时工程过程反馈和控制,保障生产系统的波动处于稳定的最优受控状态也是关键。

    换而言之,就是形成一个全面实时数据分析和工程过程控制(Engineering Process Control,EPC)的品质控制闭环,通过持续地调整和优化操作变量来补偿生产变异对制程所造成的干扰与影响,保持输出产品品质的稳定。

    “这三点就构成了基于工业互联网的 R2R 批间控制(Run to Run Control,简称 R2R)方案的核心架构(详细架构见下图)。”格创东智强调。

    方案总架构

    格创东智继续指出,工业互联网能广泛连接各种半导体生产要素,全面获得、存储、管理和分析与品质相关的实时数据,解决数据缺失问题;而虚拟量测(Virtual Metrology,VM)通过人工智能算法对大量生产品质相关数据进行学习,利用抽检数据不断的修正和优化,取得品质关键指标与制程数据之间的关系预测模型,从而对生产品质进行预测,以数字化方式“实时”提供全检“量测”数据。

    至于R2R 智能控制器,则结合了统计过程控制(Statistical Process Control,SPC)和先进过程控制(Advance Process Control,APC)的优点,在全面生产要素数据和虚拟量测全检数据的驱动下,将反馈机制与前馈机制加入统计过程控制,根据前几批生产环境数据、量测数据以及生产数据来优化和调整生产设备上的制程参数,从而消除或减少环境、设备、制程参数的突变漂移、渐进偏移等生产变异现象对半导体产品品质所造成的影响,降低操作失误,达到提高产品品质的目的。

    国内某晶圆厂的R2R具体实施计划和步骤

    据格创东智介绍,他们在国内某晶圆厂中部署了其R2R方案,让客户产能、良率都获得了明显的提升,人力成本也同步下降。与此同时,借助其数据分析算法等多方面的能力,格创东智帮助客户的工作人员提升了数据分析能力与速度,还帮助企业培养了多因子分析师。这都是客户未来不可多得的财富。

      

    某晶圆厂R2R系统实施流程再造

    格创东智以该晶圆厂某产品Cu CMP制程改造前后的效果为例,说明了他们这个方案的价值。

    他们指出,在他们系统上线后,100% OOS(out of specification)异常样品可以通过系统找出根因进行参数调整,75%以上OOC(out of control)异常样品可以找出根因进行参数调整。而膜厚预测准确率>98%,平均值预测误差<1%,模型启用有效比100%。此外,产品实现系统自动对制程设备参数监控及修正,通过将制程数据和量测数据导入到R2R计算模型中,R2R系统计算的准确提高超过10%,性能优化明显。

    2021年SEMICON China格创东智展位位于N2馆No. 2703

    2020年底,格创东智携半导体制造R2R极致品质控制解决方案参加第二届中国工业互联网大赛,在1457个参赛团队中脱颖而出,获得全国二等奖。能在半导体制造领域获得如此优越表现,这与格创东智过去几年在工业物联网领域的积累密不可分。

    用智能平台赋能更多行业

    格创东智是一家由TCL战略孵化的企业,汇聚了业界顶尖人才1000+人,覆盖云计算、大数据、物联网、人工智能等领域。依托TCL40年的多场景生产制造经验和优秀的人才,格创东智自主研发丰富的产品家族——囊括多个核心能力平台和应用,为晶圆制造、先进显示、3C电子、新能源制造、钢铁制造、机械、医药、石化、装备制造、飞机制造、冶金等30+个行业提供服务。

    凭借出色的实力,格创东智在过去三年里服务了不少头部客户,东智工业应用智能平台是其主要抓手。

    东智工业应用智能平台架构图

    东智工业应用智能平台致力于提供面向工业现场设备的数据采集、数据分析和智能应用等一站式的制造业数字化解决方案。东智工业应用智能平台作为一个创新的赋能中台,可调用四大核心能力平台:IoT平台、大数据平台、AI平台、技术中台,帮助用户快速构建设备健康管理、设备预测性维护、产品质量分析及改善、AI视觉检测、供应链优化等丰富的工业应用。

    从格创东智提供的资料我们可以看到,东智IoT平台提供一站式数据采集、设备对接、数据存储、数据管理、数据展示及数据分析功能,帮助企业实现对工厂内外设备的实时监控和运维工作,降低设备异常停机时间,提升工厂运营效率。

    东智IoT平台架构

    东智大数据平台是一个综合型数据能力平台,能从后台及业务中台将数据汇入,进行数据的共享融合、组织处理、建模分析、管理治理和服务应用,统一数据标准口径,以API的方式提供服务。这样不但能让数据业务化,避免“数据孤岛”的出现,提升业务效率,更好地驱动业务发展和创新。同时还可以加速从数据导数据资产的价值转变,让决策模式由“经验驱动”向“分析驱动”转变。

    东智MFA多因子分析建模工具,能够快速确定生产异常根因,在某液晶面板厂应用效果显著:将液晶面板的不良品单位从批次缩小为单片。单厂年经济效益提升数百万。

    东智大数据平台

    东智AI平台则是基于深度学习算法的大数据应用平台,涵盖模型训练平台、资源调度平台和推理平台三大模块,实现算法模型自主学习、面向客户的应用管理和硬件资源的合理调配。

    基于东智AI平台开发的视觉缺陷识别系统,AI识别速度提升5-10倍,准确率从人眼的85%提升到90%以上;替代50%以上的人力,实现超千万每年的经济效益。

     

    东智AI平台

    基于上述平台和中台,格创东智能提供品质工艺优化、设备健康管理、能源管理优化、机器视觉检测、生产运营优化和供应链优化等服务,以设备健康管理为例,某机械加工企业订阅东智设备健康管理EHM不同功能套件,满足其对设备管理的全场景需求,实现设备智能诊断、维护保养、预测维护、远程维护、备件预测等。通过部署东智EHM,该企业生产产值提升3%-5%,设备异常停机时间降低10%-20%,设备维护成本降低10%-15%。

    基于在实践中不断积累的ITxOT融合能力,格创东智还为客户提供数字化工厂咨询和智能装备集成等支持。

    工业软件国产化替代

    2021年3月1日,作为行业领头羊之一的工业互联网企业,格创东智CEO何军受邀参加《工业互联网座谈会》,与工信部领导、其它领军企业代表一起为行业发展建言献策。在发言中,何军谈到目前工业互联网行业的挑战之一是补链,也就是完成高端装备国产化替代;另一个挑战则是高端产线装备要实现软硬件系统集成。“因此企业要加大自研力度,打造专属的设备研发制作机构,解决硬件”卡脖子“问题;坚定走国产化替代道路,解决软件”卡脖子“问题。”何军强调。

    对格创东智而言,如果按照上述的方式继续走下去,那么他们既定的成为工业互联网界的“谷歌”和打磨让中国人自豪的工业软件的目标将指日可待。

相关报告
  • 《ChatGPT:一场新的工业革命,会有多少人会因此失业?》

    • 来源专题:数控机床与工业机器人
    • 编译者:icad
    • 发布时间:2023-02-16
    • “我一生中从未见过,至少在我从事科技行业的30年中,美国西海岸的先进科技可以在几个月内以非常真实的方式出现在印度农村。我不认为在过往的工业革命中有过这种现象,对于知识型工作者来说,也许这一次完全等于工业革命。” 在瑞士达沃斯举行的世界经济论坛的一场对话中,现任微软公司CEO、董事长萨蒂亚·纳德拉曾这样表示。 让我们借用上帝的权柄来操纵时空,把一个生活在10世纪的罗马农民带到15世纪中国,虽然当地礼仪和语言有所不同,四周的农田和建筑仍能让他感到如归故土般熟悉。但如果把某位15世纪的哥伦布水手转移到21世纪的城市附近,他会发现自己完全无法理解周围几乎所有事物。因为在过去短短250年间,人类的科技和经济发生了三次爆炸性增长,几乎所有人(而不是一小撮精英人群)的物质生活都发生了翻天覆地的变化,我们把这种涉及几乎所有人的生产力变革称为“工业革命”。 ChatGPT出现的短短两个月内,我身边自然语言处理领域从业的朋友们就经历了两场深深的焦虑,一场是ChatGPT刚诞生时,对自己研究方向的反思,另一场则来自于现在的资本狂潮。固然,现在以ChatGPT为代表的AIGC(生成式人工智能)存在真实性、可控性、时效性和理解力问题(事实上微软新版Bing里已经解决了很多),但让人恐惧的是,这些问题仿佛并非无法可解,而是更让人心生害怕的是,未来近在眼前,如果不拥抱变化,也许便如那位来自15世纪的哥伦布水手,一夜之间,自己便几乎成为了变化本身。 我们不得不承认,正如纳德拉所言,一场新的、关于“智能”的工业革命的萌芽正破土而出。 对比从前,ChatGPT的优势并非“把信息分发给每一个需要的人”,而是“预测性地表示和调用信息”,也是因此,它不是传统互联网应用,比如搜索引擎、聊天工具或者新闻推荐的简单复刻。 如果把各类人工智能算法比作蒸汽时代的蒸汽机、电气时代的发电机、信息时代的计算机和互联网,作为人类历史上用户数最快过亿的消费级自然语言处理应用,ChatGPT就像初生的汽车、电话或者互联网网站,正以前所未有的速度让原本分散在各领域的自然语言处理算法“飞入寻常百姓家”,影响到几乎所有人的生活。 在最近这两个月里,随便一搜就可以看到,太多的科技领袖,从马斯克、纳德拉,到李开复、周鸿祎等,都在发声称ChatGPT即将改变世界;太多的互联网公司,比如谷歌,微软,阿里,百度正在抢占潮流;又有太多的学术机构、高校也开始讨论ChatGPT生成论文是否符合学术规范;而突然之间又有太多各行各业从业者燃起了被ChatGPT替代的担忧与焦虑…… 很多人开始问,这种生成式人工智能会像远古人类一样产生智慧吗?在这场由机器思维开启的工业革命里,ChatGPT是怎么发展到现在的?它的局限是什么?它对我们每个人的命运意味着什么?在这篇文章里,我尝试对上述几个问题作出回答。 或许此后,每位读者都会对“怎样对待ChatGPT”这个问题有自己的想法。 ChatGPT更像人, 它就一定更智能吗? “思维”帮助人类统治地球至今。不论你喜不喜欢,它都正粗暴地推着每个人的后背进入下一个房间,虽然我们并不知道房间里是天使还是魔鬼。” 回溯历史,自人类开始直立行走至今已有250万年光阴。在这漫长的进化过程中,我们的先祖使用火焰、工具和石头建造道路、城市和高塔,驾驭蒸汽、闪电和钢铁征服大地、海洋和天空。我们超越了儒勒·凡尔纳的想象,只需要48小时就能环游世界;我们完成了40亿年里地球生物从未完成的壮举,踏上了月球。越来越多的人类相信,思维是人和动物的本质区别,而7倍于同体重哺乳动物的大脑容量是人类先祖产生智力、开启长达7万年地球统治的关键。 人类一直在试图仿制自己,从神话到现实。 古希腊神话里,宙斯曾授命工匠之神赫菲斯托斯锻造一个力大无比、按照特定程式来运作的青铜巨人“塔罗斯”,用来保护克里特岛免受外来入侵。当时的塞浦路斯艺术家皮格马利翁精雕细琢后爱上了自己的雕像造物“伽拉忒亚”,幸运的是爱神最终成全了他们的爱情并使其成为活人。《列子·汤问》中也曾记载,匠人偃师用皮革、木头等材料制造了一个舞姿优雅、动作千变万化的艺人献给周穆王,周穆王信以为真,却因为吃醋差点杀了他。然而,在那时,这些想法只能停留在少数人的想象中。 这一切,直到两大信息巨头相遇。或许是冥冥之中的神灵指引,1942年末,阿兰·图灵被英国政府派遣到贝尔实验室参与安全通信研究,在这里,他遇到了正在数学组任职的克劳德·香农。当时,《论可计算数及其在判定性问题上的应用》已经发表,图灵也已经完成了“图灵机”这样的概念模型设计,试图以此模拟人类的计算能力。 在一次自助餐厅的相遇过程中,香农对这样的概念模型也表示了极大的兴趣,两人在不断讨论中认为,既然计算可以被机器模拟,那这样的概念模型是否能扩展到描述人类所有的“智能”行为?那么对人来说,什么是“智能”? 两位信息科学巨匠陷入了漫长的争论,直到图灵离开美国也没有得到确切结果,但正是这些富有价值的讨论,让人工智能这个概念开始生根发芽,从“神话”走向“科学”。在此后数年时间里,图灵开始逐渐意识到定义“智能”或许并非是合适的开端,因为这是个哲学问题,它并不能在现实中通过实验验证。那么,假如“智能机器”可以表现得和人类一样好,那么我们是不是也可以通过它的“模仿水平”判断“机器智能”程度? 答案是肯定的,这就是如今举世闻名的“图灵测试”。 所谓图灵测试,即:让计算机在不和人接触的情况下进行对话,如果人无法分辨对方是人还是机器,那即可认定机器存在智能。图灵在提出图灵测试时,不会意识到一个简单的思维实验会对后世产生如此重要的影响,以至于在此后几十年里,几乎每段时间都会有各种各样的人或公司声称自己的机器人通过了 “图灵测试”,即使这些“图灵测试”仅仅是“缩略版本”。例如在英国皇家学会的测试规矩里,如果某台机器在一系列时长为5分钟的键盘对话中,被误认为是人类的比例超过30%,那么这台机器就被认为通过了图灵测试。于是出现了很多“能够在5分钟长度对话里骗过人类”的对话机器人。历史上也有一些反对者曾经试图证明图灵测试只是“模仿”,而非智能的充分条件,比如“中文屋”问题:如果我们假设屋子里有一个不懂中文的人,和一本他的母语写的中文规则书,那么他就可以回答来自屋外的任何中文问题,但这个人本身并不具有对中文的理解能力。如果把这个屋里的人换成机器,那么反对者认为,即使机器可以通过中文描述的图灵测试,我们也不能称它具有“智能”。 “中文屋”能否成立其实很值得思考。因为如果图灵测试持续时间足够长、对话话题足够广,规则书就会因为需要包含过于多样的语法规则而无法真实存在。但是无论如何,“中文屋”、以及此后的“布洛克脑”等问题都让我们开始反思图灵测试本身。 机器智能真的会表现的和“人类智能”一样吗?完备的图灵测试可以判断机器能不能思考,但是不够完备的图灵测试又没有太多意义。它符合我们现在对机器智能的要求吗? 这两个问题的答案也许都是“并不能”。机器在计算能力上始终会高于人类,而我们也永远不会去追求机器智能和人类智能完全相等,比如让机器帮助人类判断“今天的菜是不是好吃”。强行追求机器和人类无差别或许在人工智能这条路上并非好标的。 然而,即便如此,ChatGPT通过图灵测试了吗? 并没有,这是ChatGPT自己说的。我测试了一下,对这个结果表示同意,因为它在某些关键问题上依然有点“智障”。 ChatGPT无法通过图灵测试的原因有很多,比如它其实并没有完全获得“世界常识”,而是更专注于“语言知识”;比如它只是寻找概率最大的回答和句子格式,这是联想而非真正的逻辑推理。但就一个专注于语言的大模型来说来说,它的“说话水平”毫无疑问已经超过其他领域的主流人工智能模型。 有意思的是,最近有项研究重新审视了经典图灵测试,并使用图灵测试的论文内容作为基础,使用ChatGPT生成了一份更可信的论文版本,来评估它的语言理解和生成能力。写作辅助工具 Grammarly 认为ChatGPT 生成的论文得分比图灵原始论文高出14%。这或许有一定象征意义。 考虑到图灵测试所追求的并非对ChatGPT们长处的最佳利用。那么我们更应该思索的是,我们在未来会有一个比图灵测试更好的评价标准吗?现代是否需要一种测试去衡量各类生成式人工智能的进步,而不是仅仅以它们模仿或愚弄人类的能力为标准? 这或许是更加迫在眉睫的问题。 大语言模型的开始:马尔科夫、香农和语言模型 问题继续回到“智能”,人类心智中最根深蒂固难以去除的乃是文字。文字来到世间,为的就是把知识和思维保留下,让其能跨越时空。历史正是有了文字才成为历史,过去之所以称为过去,全靠文字来纪录轨迹。 哪怕对于人类来说,掌握文字也需要一些特殊技巧。因为文字这类符号系统是人类获取和沉淀知识的途径,也是人类组织思维的手段。作为目前使用最广泛的语言,有记录的英语词汇早已超过百万,还正在不断增加,而通过英语记录下来的文本数据更是数不胜数。 既然文字记录着人类的知识,那机器能从过去的文本中获得智能吗?这就来到了现代自然语言处理的范畴。 1913年,俄国数学家马尔科夫坐在他圣彼得堡的书房里,拿起笔和草稿纸删去了《尤金·奥涅金》的所有标点和空格—这是普希金在100年前创作的诗歌小说。紧接着,他统计了剩下的前两万个字母中元音、辅音的个数。 马尔科夫发现,虽然这长串字母中有43%的元音,57%的辅音,但是元音与辅音之间的连接却截然不同,元音-元音、辅音-辅音、元音-辅音/辅音-元音连接分别出现了1104、3827和15069次。这意味着若随机抽取书中任何一个字母,如果结果是元音,那么下一个字母大概率是辅音,反之亦然。《尤金·奥涅金》的字母之间显然存在着某种可以被数学建模的统计特性。 上述过程中比较数学的说法就是,如果把字母当做随机变量,它上一个状态(上一个字母)与下一个状态(下一个字母)存在相关性。如果我们使用“转换概率”,即下一个字母出现元音/辅音的概率,来刻画这些相关性,这就形成了最简单的马尔科夫链特性,这也是最简单的“语言模型”。 我们之所以说最简单,是因为马尔科夫假设每一个字母出现的概率仅与前一个字母相关,这当然在现实世界里很少发生。因为通常真正理解一句话需要结合这句话的语境,也就是上下文里包含的信息。比如现在的网络流行语“YYDS”,可以翻译成“永远的神”,当然也可以认为是“远洋大厦”的缩写,这完全取决于语境本身。 那么,在数学上我们需要严格定义“上文”和“下文”都指什么。比如如果我们假设“上文”的范围是N,即一个词或者字母出现需要依赖往前数N个词的话,1948年香农提出的经典语言模型N-gram就进入了我们的视野。 如同上图中的例子,我们也可以简单把这个语言模型做的事用一句比较“人话”的方式总结: 考虑前N个词,如果一个词/句子出现的概率越大,它真正出现后人们会觉得越自然,也就越符合语言规律,整句话也就越“像一句人话”。 如果用流浪地球2的经典台词为例来解释这句表述,就是这样: 1. 我相信人类的勇气可以跨越时间,跨越每一个历史、当下和未来!2. 我相信勇气的人类可以跨越当下、时间和未来,跨越每一个历史!3. 勇气人类的相信跨越跨越时间、历史、每一个当下和未来! 相信很多人会觉得第一句台词通顺且优雅,第二句虽然语句不通,但是大概会明白什么意思,但是第三句就基本没什么道理了,基本不会存在于地球上的人类语言里。那么,从统计角度,在“人类语言模型”里,第一句话发生的概率最大,第二句话次之,第三句话几乎不可能发生。 这样,一段文本的合理性就得到了量化。 马尔科夫和香农的语言模型奠定了自然语言处理任务的基石。从那时起,单词、句子和段落之间的关系,也就是文本的合理性不再是虚无缥缈的概念,它变得可以被机器量化,也正是如此,“自然语言处理”正式成为“信息科学”的分支之一。机器翻译、自动问答、情感分析、文本摘要、文本分类、关系抽取等等自然语言处理的下游任务得以成立,并蓬勃发展。 很显然,越好的语言模型越是可以更好地理解一段文本的优劣,马尔科夫建立的语言模型来自一本书,那我们能找到更好的语言模型吗? 连接主义、神经网络语言模型——能从文本里读到真正的智能吗? 自从图灵测试被提出以来,关于如何模拟智能的探索就一直存在着多种不同的流派。 其中一派人被称为“符号主义”或“逻辑主义”,认为智能的基础是知识,知识可以用符号表示,探索让机器直接模拟智能的方法。 最开始这批科研人员并没有考虑“知识的来源”,只是尝试从现有的语言学知识分析文本结构,总结语言规律,进而完成较为复杂的文本推断等问题。然而,后来大家发现,智能的体现不能仅仅依靠推理本身,对一个智能系统来说,先验知识(对应人的记忆和经验)是更加重要的一环,但是仅依赖专家灌输先验知识分(专家系统)无论如何都比不上知识本身的膨胀速度,于是,知识工程,以及如何建立通用知识图谱就成了自然语言处理领域非常重要的研究方向之一。 事实上,在2013年以前,符号主义学派都是自然语言处理领域的主流。但是考虑到这里我们的主要话题是ChatGPT,这里不多做讨论,历史留给大家自行探索。 另一派人被称为“连接主义”,主张从人类大脑的神经结构出发,先让机器模拟人脑构造,再以此模拟智能。大家对这部分工作最熟知的应该是“神经网络”,这也是ChatGPT的开端。但在早期,神经网络在语言模型上远没有如今那么出色,它对很多文本任务的提升并不大,传统语言模型(比如N-gram模型)难以解决的问题,它依然无法可解。 直到神经网络开始加深。 2012年,杰弗里·辛顿和他的学生在ILSVRC2012上用AlexNet(深度神经网络的一种)以超过第二名准确率10%的压倒性优势夺冠,开启了深度学习对其他人工智能领域的革新。大家对被埋在故纸堆里的神经网络然语言处理模型开展了一波“再发掘”,挖出了迄今为止依然非常经典的“词嵌入”(Word Embeding)方法。 不过在这里,为了更深入解释“词嵌入”,我们需要继续请出马尔科夫和他的《尤金·奥涅金》。在本文的上一部分中,我们敬爱的马尔科夫先生对字母的发音方式做了统计建模,但考虑到发音方式和语言本身的关系并不明显。在这里我们稍微调整一下马尔科夫先生的目标,对《尤金·奥涅金》里的“单词”建立建模。 然而,鉴于《尤金·奥涅金》里的“单词”数目会远远多于字母的元音/辅音数目,如果使用前述的单词间关系作为表示的话,不同“单词-单词”的组合关系会多得不可思议,也变得难以计算。 此时,“词嵌入”的优势就体现了出来。同样是《尤金·奥涅金》,“词嵌入”向量和对应“词嵌入”向量的神经网络语言模型会比仅用“单词”进行统计建模更高效。仿佛黎明中看到了曙光,神经网络语言模型成了此后的改进重点。因为,如果我们把《尤金·奥涅金》这本书换成更通用、更泛化的训练数据集(或者叫做语料库),或者直接用人类所有文本数据来训练一个模型,这个模型也许就可以“精通人类语言”和“人类知识”。 于是,在此后的数年间,大量神经网络语言模型不断出现,比如循环神经网络模型 (RNN) ,比如长短期记忆模型 (LSTM)。但是总体上,都没有脱离神经网络语言模型+各类改进的“词嵌入”向量来完成统计建模的范畴。在此过程中,“词嵌入”方法所无法解决的“多义词”难题也逐渐被改进。 同时,自然语言处理相关研究也深受深度神经网络影响,试图不断增加神经网络语言模型的层数或者模型参数,但是这种努力比起其他方面的进展,其实并不能算得上非常成功。 当然,现在回想,原因可能是当时大多采用半监督训练方法,可供训练的标注数据不足,网络本身也没有采用生成式方法,这样即使神经网络语言模型的层数增加或者模型参数增加,其训练数据也不能支持语言模型充分训练;另一个可能是以RNN和LSTM为代表的模型特征抽取和语言表示能力不足,对训练数据的利用不够高效。 这一切,直到Transformer,和基于Transformer的大语言模型出现,人们才找到通往“通用语言模型的曙光”。 大语言模型,大即是正义 自从深度学习问世以来,因为其层数越来越高,标注一个高质量数据集所需要成本也越来越大,那么如何在标注数据有限的情况下高质量完成训练,就成了一个非常重要的问题。 一个非常主流的思想就是“迁移学习”。在图像处理领域,“迁移学习”是指利用大数据集完成预模型训练后,再针对特定任务微调参数(Fine-Tuning)以适应不同图像任务。而在语言模型极为重要的自然处理领域,如果拥有一个足够强大的“语言模型”,去储存基本的单词、语义知识,再根据特定任务调整,是不是可以让性能更加提升? 答案是:可以 2018年6月,OpenAI公司提出初代GPT模型。同年10月,谷歌公司公布了自己的BERT模型,大幅度刷新了自然语言处理领域几乎所有最优记录,从此开启了预训练大模型时代。 在此后的4年时间里,预训练语言模型如 BERT 和 GPT(GPT-1和GPT-2,这些ChatGPT的前身),已成为当前自然语言处理领域的主流技术趋势。这些模型参数从3亿到1.75万亿不等,也因此被称作大语言模型(Large Language Model)。 我必须在这一节强调,这些预训练大模型的本质是在使用更大的模型、更多的数据去找到对人类更好的、更通用的“语言模型”,就像我们的祖先在7万年前自豪的那样,大模型可以获得更多知识。也正是因此,包括BERT和GPT在内的大语言模型,在预训练过程中其实就已经获得了相当数量的词汇、句法和语义知识,仅仅只需要少量标记数据对模型细化,就可以完成各种各样的自然语言处理任务。 如果一定要问技术区别的话,BERT的训练过程更像让机器不断完成“完形填空”,而GPT的训练过程更像“单词接龙”,前者会更擅长语言理解问题,后者更擅长文本生成问题,这里存在一些技术区分。但是至少,他俩对普通人和各种文本处理任务,都已经“足够好”了。 大之后又如何,怎么让人用起来? 有了一个好的语言模型,剩下的就是让它“通用”。 我们现在生活在一个充满“人工智能算法”的社会,小度音箱、新闻推荐、有道翻译、Grammerly语法检查、美图增强,甚至图像风格转换随处可见。但是这些人工智能算法都只是“内嵌”在各种已有产品、或者功能里,从来没有外显到直接影响用户本身。 这就让越来越多人对“人工智能”这个词逐渐有了一个“思想钢印”,觉得它最合适的场景还是去处理某个垂直任务。如果打开某云平台网站,我们往往会看到在人工智能标签下琳琅满目的项目,人脸识别会被分为“人脸检测与五官定位、人脸属性识别、人体检测….”等等6种。 学术界也是如此,虽然自然语言处理的关键在于理解单词、句子的结构这些“语言知识”本身,但它依然会被分为“机器翻译,语言生成,文本归纳” 等等任务,而其评价标准和对应的产品形态各不相同。 预训练大模型的出现开始让这些下游领域产生被“一统江湖”的苗头,这些任务从原本的“设计模型,从零开始训练”,调整为“加载预训练模型,微调任务参数”。如果按照一贯思维,面向公司的“通用语言模型”到这种程度也就够了,模型开发商可以向下游产品厂商收取模型服务费用,而模型开发商可以专注于提升模型对的精度,简化开发难度。这就是Google对于BERT和后续模型的想法。 OpenAI与其他公司之间对 “大语言模型”的设计的根本分歧便在这里。他们希望让这套模型更普适,把“通用语言模型”做成一个直接面向用户的产品。而要达成这个目标,就必须考虑继续优化“微调”这一步,直到模型本身不需要任何调整干预即可直接执行所有自然语言处理任务。 移除“微调”,理解人类“命令/指示”,这就是从GPT2.0到GPT3.0,再到ChatGPT,OpenAI所遵循的设计思路。 因为对于人类用户,最好的方式就是语言模型可以直接理解我们对它的“指令”或者“示例”,根据指令去调用相应的自然语言处理下游任务。于是GPT选择了从“微调”到“提示学习(Prompt Learning)”,再到“指示学习(Instruct Learning)”的技术路径,一步一步降低了用户使用门槛,把“通用语言模型”调整到适配正常人类的习惯,这样才在现在获得巨大成功。 ChatGPT在大语言模型的基础上,一步一步通过带有人类反馈的增强学习(MOSS:人在回路)注入人类关于“命令”、“指示”、“友善”等先验知识,让“通用语言模型”的回答更“平易近人”、“更有用”、“更无害”,同时可以理解用户指令,应该是ChatGPT最大的贡献之一。 这也完美符合了我们对未来“通用人工智能”的期待。 ChatGPT和我们的未来 ChatGPT毫无疑问是人工智能领域的重大突破,正如很多人所说,它的突破或许并不显著的体现在技术进步,而是在于它成功让人工智能产品以一种用户可以接受的形态进入大家的生活。对大部分人来说,它比我们之前的任何产品都更接近“通用人工智能”。 同时,不可否认的是,ChatGPT依然存在很多问题。ChatGPT依然是一个基于统计规律的大语言模型,它有人类无懈可击的语言天赋,但是只能做联想而不能完成“逻辑推理”。从这个角度来讲,ChatGPT会倾向于制造出令人信服的回应,当然其中可能包含“生成的”几个事实错误、虚假陈述和错误数据,因为作为一个自然语言处理模型,它也不知道高达数十PB的无监督训练数据里什么是“事实”,这更像一个有点滑头的“虚拟助手”。另外,因为在训练过程中,为了识别人类指令而注入过大量“指令”知识,ChatGPT会对“指令”本身非常敏感,但同时会对一些上下文无关,需要“事实依据”做判断的歧义词识别不高。 但是这些问题似乎不难解决。目前的ChatGPT依然只是离线版本。在我们看到的bing(在线版本)的一些应用示例里,部分问题似乎已经被缓解。事实上,如果ChatGPT能够对信息源进行可信度分级,并且在生成的回答中列出参考信息源,回答的可信度问题应该会得到一定程度的规避。如果能在未来接入一些专家构建的专业知识库(比如金融知识图谱),它可以被转变为特定领域的专家。 对大多数普通人来说,ChatGPT都是一个合格的助手,因为所有关于人类语言的技能它都很精通(或者在可见的未来里会很精通),比如归纳总结、翻译、书写文章、风格修正、翻译、润色、写代码等等,因而,从事这些工作的劳动者,如果不能掌握将ChatGPT作为助手的技能,也许将会成为最早期被机器取代的人。 然而,即便如此,我始终认为, AI替代的不是简单的某个行业,而是不会使用AI的从业者。 AI带给人类的意义也不是替代我们的工作,而是让我们从一些重复性工作解放出来,让人类去真正思考“什么铸就了人类的唯一”。 这或许才是千万年以后,人类回望时间长河,在被历史冲刷下还能保留,甚至愈发辉煌的人类丰碑。(本文作者崔原豪为北京邮电大学信息与通信工程博士、中国计算机学会科学普及工作委员会主任助理,曾担任电影《流浪地球2》科学顾问。除特别注明外,文中图片由作者提供。) 来源:知识分子   注:除标明原创外,均为网友或机构投稿分享,如有宣发需求请联系dongxizhiku@163.com。           .
  • 《未来半导体设计和制造需要一套新剧本》

    • 来源专题:中国科学院文献情报制造与材料知识资源中心 | 领域情报网
    • 编译者:冯瑞华
    • 发布时间:2019-04-02
    • 在技术发展面临瓶颈、终端需求多变和国际关系错综复杂等重因素影响下,高歌猛进十多年的半导体再度面临了新的“危机”。 据SIA统计显示,2019年1月的全球半导体市场销售额比2017年1月减少5.7%,减少至355亿美金,创下了2016年7月以来30个月的首次负增长。而与2018年12月相比,所有国家和地区都陷入了负增长,其中美国同比减少13.0%,中国同比减少8.5%,日本同比减少4.7%,亚太及其他地区同比减少3.6%,欧洲同比减少1.5%。按照他们预测,今年半导体产业的情况大概率会持续走低。 面对这样的现状,半导体企业该如何应对?在日前举办的Semicon China上,半导体行业观察采访了半导体设备全球领先供应商应用材料公司的总裁兼首席执行官 Gary Dickerson(盖瑞·狄克森),听他分享了对半导体行业的现状、挑战与机会的观点。 摩尔定律放缓,新剧本带来新希望 过去几十年,指导集成电路产业长达数十年发展的摩尔定律开始逐渐放缓,甚至有专家表示摩尔定律寿终正寝了。但与此同时,无论是人工智能应用、智能手机还是HPC,都需要极高性能的芯片和处理器。在这种矛盾的挑战下,Gary Dickerson指出,先进封装会是解决这些问题的其中一个好方法。 “过去,我们通过2D的微缩就是可以实现整个晶体管的发展,但现在我们必须走向3D等先进封装,才能让性能进一步提升”,Gary Dickerson告诉半导体行业观察的记者。作为一个以材料工程著称的设备企业,Gary Dickerson表示,他们将会多个方面入手与产业界一起携手走进新时代。 他指出,应用材料公司有专门的业务部门负责封装领域的研发,当中的关键点会是材料。这里的材料不仅涉及到材料分析和整合,新材料的研发也是另一个重要方向。据半导体行业观察了解,他们在这方面也取得了一些不错的进展。 2018年,应用材料公司对外宣布20年来晶体管接触和互联的金属材料首度重大变革,可以在芯片中用“钴”导线取代“铜”导线,推动摩尔定律继续前进。按照他们的说法,在先进制程中,如何连接芯片中的晶体管就成为一个技术关键;另一方面,要在芯片上增加晶体管的数量,就要打造系统级的芯片封装,因此缩小导线就成为了迫切需求。但我们也应该看到,在缩小导线的过程中,会带来导线电阻增加、导电性能下降等困扰。为此应用材料公司就推动导电性能更好的“钴”对“铜”的替代。 在2018年年底,应用材料公司还在纽约成立了一个材料工程技术推动中心(Materials Engineering Technology Accelerator, META 中心),为客户提供新的芯片制造材料和工艺技术的可行性,从而实现半导体性能、能耗和成本上的突破。 “未来半导体设计和制造需要一套新剧本,包括新结构、新3D技术、新型材料、新微缩方式、以及先进封装技术,而材料工程是所有这些领域的基石,也是一切的发展核心所在”,Gary Dickerson强调。 人工智能和大数据是未来的推动力,存储器长期看好 除了技术以外,市场的不景气正在弥漫在半导体领域上空。 正如前面所说,在很多分析机构看来,“不景气”会是2019年半导体行业的主旋律。这一方面是因为过去十年半导体产业的主要推手智能手机增速放缓,另一方面是供过于求的存储芯片的价格下滑给市场带来了预警,大家也对产业的未来发展表现了担忧。 但Gary Dickerson告诉半导体行业观察记者,人工智能和大数据会成为半导体行业未来发展的重要推动力。Gary Dickerson表示,人工智能正在改变交通、零售、教育、农业和医疗等领域,这一方面带来了高性能处理器的需求, 如在AI芯片方面,不但需要更强的算力,在功耗方面也有严苛的要求。 按照应用材料公司的预测,要能够释放AI的潜力需要每瓦计算性能提升1000倍,这依赖于现有的半导体技术是很难达到的。为此应用材料公司正在做更多的基础创新,从新材料、新架构和新封装等多个方面全面发力,为未来的AI芯片贡献力量。他们在去年与DARPA签订的一份合作开发可模仿人脑工作方面的智能电子开关的合约,希望通过突破经典摩尔定律限制,打造能够超越冯·诺依曼计算体系的创新,就是在这个领域的一次尝试。 另一方面,数据也会成为半导体行业的一个推动力。 Gary Dickerson在Semicon China的开幕主题演讲上指出,未来15年内终端设备的增加将带来数据生成的爆 炸式增长。在未来5年内,数据生成预计将增长5倍。这不但带来了数据的存储需求,数据的生成、处理、互联背后也是巨大的半导体机会。从Gary Dickerson的这个观点,我们也看到了他对存储未来的信心。 Gary Dickerson表示,虽然较之过去几年,今年的存储产业比较不景气,但在与合作伙伴的多番交流之后,他们认为这股存储“逆风”是暂时的,在这股AI-大数据浪潮的推动下,他们对存储的未来长期看好。 “人工智能和大数据是未来发展的两大核心基础,他们在未来创造的市场价值,是要用十万亿美元来去计算的。如此庞大的市场将会深入的影响到每个人的生活,而不仅仅是技术层面本身”,Gary Dickerson说。“只有通过各个企业以及所有国家的合作,我们才能真正的实现合力共赢,没有任何一个国家或者企业,在一个孤岛的环境下可以生存。应用材料公司作为业界当之无愧的领袖,我们必须要推动这一进程、加速与行业生态系统的合作”,他强调。 这对于因为贸易摩擦而处于紧张阶段的中美半导体产业来说,是一个很好的信号。