《瑞萨合作开发边缘人工智能编译器》

  • 来源专题:宽带移动通信
  • 编译者: 张卓然
  • 发布时间:2022-10-25
  •   瑞萨电子(Renesas Electronics)已与EdgeCortix合作,为其边缘人工智能加速器开发新的编译器。

      日本的EdgeCortix开发了一种基于异构平台的编译器框架,称为MERA,同时还开发了一种人工智能芯片设计。MERA用来为瑞萨的DRP-AI加速器开发新的编译器DRP-AI TVM。新编译器可与相关软件和工具一起使用,并与瑞萨的DRP-AI工具配合使用。

      DRP-AI由AI-MAC(乘积累加处理器)和可重构处理器(DRP)组成。通过为卷积层和完全连接层上的操作分配AI-MAC,并为预处理和池化层等其他复杂处理分配DRP,可以高速执行人工智能处理。

      DRP-AI作为独立芯片RZ/V2M实现,具有4K兼容的图像信号处理器(ISP)和视觉AI ASSP,用于实时人和物体识别,也在RZ/V2L中,并配有1.2GHz双核Arm Cortex-A55 CPU、3D图形和视频编解码器引擎。

  • 原文来源:https://www.eenewseurope.com/en/renesas-teams-for-edge-ai-compiler/
相关报告
  • 《应对边缘人工智能推理带来的挑战》

    • 来源专题:新一代信息技术
    • 编译者:isticzz2022
    • 发布时间:2024-03-13
    •       GPU无处不在的图形处理单元,可以说是当今最重要的计算技术。它使人工智能处理成为可能,但代价不可持续,巨大的功耗加剧了这种情况。最初构想的统治软件工程的范式是由在传统计算架构上执行的一系列指令组成的,该架构被称为冯·诺伊曼体系结构CPU。这种持久的处理架构只能执行严格可编码的工作。它不能处理任务,如识别物体或乐谱,或写一篇文章。这些任务被称为预测性人工智能和生成性人工智能,可以通过大型语言模型(LLM)处理,这些模型需要在时钟周期内处理数千亿(如果不是数万亿)个参数,远远超出了CPU的领域。       今天,大模型学习和推理是在配备有尖端GPU阵列的数据中心进行的。虽然这种方法有效,但它会导致收购/运营成本飙升和电力消耗螺旋式上升,从而可能使电网不堪重负。边缘推理则不同,它有望服务于工业、商业、医疗、教育和娱乐等不同领域中最大的AI应用市场。       在边缘执行推理时,功耗、成本和延迟不容忽视。高性能、低延迟、低成本和低功耗是边缘推理的关键属性。GPU最初是用于图形并行处理的,在执行AI算法时,可提供的计算能力会下降。在ChatGPT-3的使用情况下,效率下降到个位数。GPU供应商通过增加大量设备来解决这一限制,但代价是数据中心AI处理的能耗呈指数级增长。瓶颈在于内存和处理单元之间的数据传输。从历史上看,内存技术的进步并没有跟上处理逻辑的进步。随着时间的推移,由于内存无法以处理器所需的速率提供数据,这种差距导致了可用处理能力的下降。大多数时候,计算单元会等待数据可用,并且随着处理能力的增加而恶化。处理单元的计算能力越高,为它们提供数据的瓶颈就越大,这就是 20 世纪 90 年代中期出现的内存墙。为了缓解这个问题,创建了一个存储器层次结构。底层是速度较慢的主存储器,顶部是处理单元旁边的寄存器。在两者之间,是一系列容量较小、速度较快的存储器层,用于加速数据传输。虽然寄存器能够以所需的速率向计算单元提供数据,但它们的数量通常限制在数百个或最多几千个,而如今需要数百万个。       现在就需要一种打破内存墙的创新架构。一种建议是将所有分层缓存折叠成紧密耦合内存(TCM),其外观和行为类似于寄存器。从处理单元的角度来看,可以在时钟周期内的任何时间访问任何位置的数据。192兆字节的TCM大约相当于15亿个单比特寄存器。通过寄存器传输级 (RTL) 设计流程实现 192 兆字节的寄存器将是艰巨的,构成了重大的挑战。相反,高抽象级别上的设计实现流程将大大缩短并加速加速器的部署。如果结合 192 千兆字节的板载高带宽内存 (HBM),单个设备可以在单个芯片上完全运行 GPT-3,使其成为高效的实现。在处理 LLM 时,它将达到 50% 到 55% 的效率,比 GPU 大一个数量级以上。外部存储器和计算单元之间的数据传输急剧减少可能导致功耗大幅下降,每千兆次浮点运算约50瓦。同时,与GPU相比,它将使执行延迟减少10倍以上。更为关键的是,架构不应该被硬编码。相反,它应该是完全可编程和高度可扩展的。人工智能应用算法几乎每周都在发展。更频繁的变化仅限于对算法的性能、延迟、功耗等属性的微调,这些属性对成本有影响。定期地,全新的算法结构会淘汰旧版本。新的加速器架构应该能够适应上述所有方面,并允许在该领域进行更新和升级。这种完全可编程的方法还应该支持在逐层的基础上自动进行从4位到64位的整数或浮点数可配置计算量化,以适应广泛的应用。权值和数据的稀疏性也应该得到即时支持。从部署的角度来看,加速器可以作为主处理器的配套芯片,在用户可见的方案中运行。算法工程师可以像在主处理器上运行一样编写他们的算法,让编译器将加速器上运行的代码与主处理器上运行的代码分开。这种方法将简化和简化加速器的部署和使用模型。与在低级别运行的GPU驱动的数据流不同,这种想象中的架构中的数据流将在算法级别工作,通过使用MATLAB代码和图形进行读取,并在本地执行。这可能吗?可能像这样的设备比最先进的基于GPU的加速器快5到10倍,同时消耗其功率的一小部分,并具有显着较低的延迟,满足边缘AI推理的需求。毫无疑问,这将简化部署和使用,吸引大量科学家和工程师。
  • 《科技巨擘们的人工智能研发都做到什么程度了?》

    • 来源专题:中国科学院文献情报制造与材料知识资源中心 | 领域情报网
    • 编译者:姜山
    • 发布时间:2017-11-30
    • AI还没有真正颠覆我们的生活,但AI让人类对文明的争论走到十字路口。 抽象看:一方面基于硅元素的“硅基”文明,正在通过计算力升级互联网,塑造人类超级智能最高权力决策系统,并试图创造智能化独立个体;另一方面被广泛忽略的是——基于碳元素的“碳基”文明,在生物和基因领域势如破竹的突破,试图帮助人类增强能力和修补缺陷,缔造更加完美的自己。“硅基”文明向“碳基”文明学习机制,“碳基”文明努力从“硅基”文明寻找动力。这个十字路口的核心追问是:人类究竟应该相信自己还是相信自身的科技能力? 宏观看,科技精英牵引着人类社会的生产力和价值观,重构文明。国家层面,中国政府2017年将人工智能写进《政府工作报告》,美国白宫2016年就发布了一份名为《时刻准备着:为了人工智能的未来》(Preparing for the Future of Artificial Intelligence)的研究报告,两国都清晰地认为,AI是下一个时代的科技制高点。美国谷歌、亚马逊、苹果、脸书(Facebook)等公司无一例外地用人工智能升级业务和重塑公司,中国以华为为首的技术巨头不仅通过“端管云芯”(终端设备、通讯管道、云端计算和芯片智能)全方位地占领世界性制高点,也包括BAT、联想、TCL等全球化产业集团对AI毫无例外地大手笔投资,对于他们来讲,AI时代是重塑竞争力的重要窗口期,他们渴望一张通向产业未来的门票,新的门票也是对过去的救赎。 和互联网时代不同,大家笃定地认为:这张门票更少的公司可以拥有。 微观角度,公众既有对新时代的期盼,也有对“硅基”文明新科技的恐惧。纷繁复杂的信息中,媒体选择了技术精英的学术科普作为突破口,一时间“自学习”、“算法”、“神经网络”、“计算机视觉“等技术概念涌入了普通人的认知,加上马斯克等国内外科技明星宗教末日般的演绎,和诸多创业公司“人间天国”般的描绘,对比蒸汽机、计算机、互联网带给人类的冲击,AI效应注定冲击更大,层面更广,立意更深。 本文周掌柜战略思想咨询团队将从产业的角度解构AI,我们尽量回避宏观叙事对技术的夸大和情绪化的牵引,通过对华为、BAT、谷歌、微软等公司的顶级科学家的访谈和研究,力求从技术哲学和战略思想层面勾画AI时代的全球产业格局、竞争本质和人文影响。 AI端智能崛起 应该说,中国人工智能领域最有代表性的两位技术决策者是余承东和李彦宏,我们先从他们的战略选择谈起。 余承东作为华为消费者业务CEO,是华为手机业务核心技术商业化的投资者和决策者,同时他被公众广泛忽略的一个角色是“技术创新架构师”,曾经作为华为无线业务的负责人,他主导的分布式基站、SingRAN的颠覆式创新,带领无线业务形成了全球性的竞争力。在AI方面,“聚焦领先别人几条街”的技术是他和华为高层一直追求和提倡的,而围绕“端管云芯”的AI开放生态平台被赋予极高的战略地位,并由此提出Mobile AI战略(移动AI战略)。 李彦宏在公众中拥有广泛的影响力在于技术专家的财富神话和AI时代坚定的领导力,但近些年,公众对百度的道德批判掩盖了其对技术趋势判断的专家能力,面对AI时代他“激流勇退”引入陆奇,本身也是回归技术投资者和决策者的一种努力。正如他所言:“在90年代美国读硕士期间最感兴趣的就是人工智能课程”,拥有互联网基因的李更多强调AI的跨界应用、平台化商业模式的打造。他认为:互联网是前菜,AI是主菜。百度要完成“连接信息”到“唤醒万物”的转变成为“AI企业”。 商界大佬都蓄势待发。但坦率地讲,对于AI这样大跨度多维度的系统性创新,完全不懂技术的管理者很难独立做出系统性判断。余承东和李彦宏的独特技术背景,客观上确实让华为和百度分别占据中国AI领域硬件和软件两个制高点。 从余承东的视角所见华为的AI战略焦点是Mobile AI包括On device(设备端)和Could AI(云端)两个基点,他的看法是:AI赋予了智能手机更加自然交互历史性的奇迹,通过重塑所有智能设备的交互模式,人类的视觉、听觉、知觉和传感器的硬件交互,不仅可以提高用户信息服务的获取效率,也让设备从辅助性决策角度升级为超越“手机通讯”本身的超级智慧终端(个人助理、数字分身),这是拥有硬件基因的华为下一个全球性的战略制高点。 从李彦宏的视角看AI则是对BAT互联网格局的重塑,不仅百度搜索的天然“自学习”智能属性,也包括百度“AI平台”在“百度大脑”和“百度云”的双战略上获得了重塑开发者生态的历史性机遇。李彦宏多次在访谈中谈到“跨界整合”,这体现了以百度为代表的BAT超级巨头看重的是“后互联网”时代的战略性空间。 总结起来:以华为为代表的AI战略坚持以客户体验为中心,坚持客户主体性和用户主体性,“客户主体性”就是帮助运营商等合作伙伴赋能AI,而“用户主体性”就是帮助手机消费者拥有智慧型体验。而以百度为代表的AI战略更多倾向于云端超级智能对客户和用户的场景化渗透和掌控。更精确的表达是:BAT的AI战略简单说是“AI的基础设施”,全场景渗透;华为的战略是“基础设施的AI”,使能业务。以上对比说明AI的创新应用在科技巨头层面已经出现战略选择的明显差异,或者叫“分歧”。 理性的一面,马化腾表示:最值得腾讯大手笔投资的就是AI、云计算以及大数据。未来所有企业基本的形态就是,在云端用人工智能处理大数据。感性的一面,马云说:人类有智慧,机器有智能,动物有本能。人有信仰,人有爱,人有关怀,人有价值观,人有使命感,而机器不可能拥有这些。 但客观讲,AI业务对于这些中国科技巨头来看,并没有外界想象的华丽和从容。腾讯的一位高管私下承认:“AI首先是挑战腾讯传统业务,现在远远没到挑战别人的阶段。通过服务‘+AI’的方式推动自我革命是当务之急,其次才是AI能力生态化分享”。这个评价非常中肯,腾讯和阿里共同的弱点就是科技金融投资的强势弱化了自身科技产业创新能力。 华为负责AI的技术专家Felix的看法从科技巨头的角度也很有代表性:“从2B的视角看,AI商业化的门槛非常高,壁垒主要来自于垂直行业本身而非技术,大公司对于数据、算法、商业模式的立体壁垒并不是创业团队可以简单超越的;2C的层面,大公司会将AI能力越做越简单,并不断开放出来,其中将释放出大量生态化应用的场景支持中小公司创业,但是目前很多另起炉灶的中小型创新未来都可能淹没在科技巨头的新生态里。” 放大以上中国科技公司的共性和分歧,加入美国科技公司做全球性对比,我们有更多发现。如图1:AI全球竞争生态,基于上述的目的,不同公司有着不同的战略布局路径,我们主要分析比较有代表性的谷歌、华为、亚马逊、微软和百度这五家公司: 谷歌:谷歌的AI战略围绕机器学习框架TensorFlow的开源展开,延续了Android时代的开放战略,谷歌的战略思想依然是用“草根开发者”和“草根应用”提供的数据喂养谷歌智能,构建新时代的超级平台。谷歌2B的战略还是以云服务为主,这方面回避了与亚马逊、微软的正面竞争。但亚马逊和微软对AI的C端价值拥有共同认知,在亚马逊的MXNet平台和微软的Cognitive Toolkit平台都无法正面与谷歌竞争的前提下,双方选择了合作开发Gluon平台,并兼容各自系统。这种抱团取暖本身就说明了美国公司对各自能力边界的理性判断。2017年10月份,谷歌开始在中国大力推广AI学习系统TensorFlow,首先纳入的目标用户就是阿里巴巴和腾讯,可见其“AI生态创建者”的决心,谷歌也最有可能成为AI时代的全球领导者。不过谷歌的弱点是中国市场对其的“数据化隔离”可能让其失去全球最有价值的科技市场。 华为:华为在AI战略上的投资,其实最早追溯到2011年底2012实验室的基础研究,最初是围绕数据洪峰对ICT行业冲击所需做的技术储备,诺亚方舟实验室2012年6月的正式成立,应该算华为正式投入AI基础研究的最鲜明信号。而且延续华为持续保持开放合作,产品解决方案上,对于ASR语音识别选择和科大讯飞合作,对于智能翻译在Mate10上选择与微软Translator进行合作。而余承东为代表的华为技术领导者锁定的自身核心竞争优势主要集中在麒麟970人工智能芯片的底层创新以及基于“端智能”的Mobile AI平台化开放解决方案。由此,华为延续了在运营商业务“有所为有所不为”的战略思想,如图,在拥有中央智能、管道智能、AI设备、AI芯片的同时,依然“上不碰应用,下不碰数据”,选择与AI领导者公司合作,为AI中小创业者提供平台,开创了一种升级版的竞合关系。而2B领域,针对下一阶段人工智能的部署,任正非2017年对GTS(全球技术支撑部门)讲话说的非常清楚,核心观点是:第一,改变公司内部作业模式,改善管理;第二,投资完善AI平台;第三,降低成本,解决客户痛点。但华为的挑战主要是如何更加高效的让端智能牵引整体AI能力提升,这需要大象学会跳舞。 亚马逊:客观讲,亚马逊的MXNet平台其实在主战场已经边缘化了,Eco智能音响即使作为成功的AI产品已经有了1万多个Skills(技能),但真正成功获得AI化能力的目前或许只有听音乐、查天气和设置日历这些简单应用。国内跟风亚马逊音箱的创业公司大有人在,大家都期望智能音箱成为家庭场景的AI入口,但产品承载力可能面临挑战,Echo在技术上和Siri及Google assistant并没有跨代创新优势,对于语音入口成熟的时间窗口和技术要求目前看过于乐观了,甚至智能音箱的入口属性远远低于科大讯飞的语音能力。 微软:目前微软的云服务在企业级市场势头非常好,微软也正式凭借云战略的成功,从软件优势的削减中获取了新的增长点。所以微软非常希望AI能成为云战略的使能器,扩大和锁定企业级业务的竞争优势。这方面反而微软企业级业务对标的IBM“认知计算”目前拥有明显的战略瓶颈,应该说IBM的Watson目前只有DeepQA(深度问答)的能力,既不具备深刻平台智能也不具备应用突破的可能性。这导致IBM在AI时代技术积累瓶颈非常明显,微软的AI和云战略很有可能彻底洗掉IBM的企业级市场,这也是微软与亚马逊在C端AI平台合作的原因,其主要战略方向还是2B的核心优势的延续。 百度:百度战略决心、技术储备、应用平台、可扩展性应用都是中国AI企业中最有进攻性的。在中国的平台型AI研发中,百度是毋庸置疑走在前沿。但是百度的弱点也很明显,第一是GMS(account system and service账号系统及服务)能力很弱,这也是百度搜索业务根本性顽疾,一直没有有效解决过,这直接导致了百度AI的生态粘性和应用效率不够。目前李彦宏和陆奇希望走微软的路,但其PaddlePaddle学习平台对于开发者的应用指向性目前并不明显,其有对标谷歌的能力和意愿,能有效依附于目前哪些既有核心竞争力形成突破还是值得观望的。如果百度不能成功的将AI能力平台化,那可能最好的战略选择就是和华为这样的硬件巨头深度合作,像微软和亚马逊一样形成差异化的竞争优势。BAT中的腾讯和阿里其实从能力上讲,在AI开放平台上肯定逊于百度,但腾讯的9亿活跃用户和GMS服务是最可能的AI突破口,主战场应该还是在微信层面,阿里在10月份规划3年投入1000亿的达摩院更是巨资从谷歌、微软挖来AI专家主持阿里AI实验室,最有可能在支付宝和云服务的生态获得重大突破。而且,腾讯阿里在用户云端的数据和计算能力都是领先于缺少GMS系统的百度的。BAT之间在共同互联网生态之间零和博弈也将更加白热化。 其他公司来看,目前美国媒体也多次报道苹果正在研发一款专门处理人工智能相关任务的芯片,他们内部将其称为“苹果神经引擎”(Apple Neural Engine)。这块芯片将能够改进苹果设备在处理需要人工智能的任务时的表现,而其针对的功能目标则是AR(增强现实)和自动驾驶。但不可否认的是:由于AI生态本身就是革苹果生态的命,苹果很难成为AI时代的首要颠覆者。 在目前AI商业模式并没有成熟的情况下,AI生态竞争领域有三个本质的追问:第一是用户主体还是平台主体?背后是“端智能”和“云智能”的竞争;第二是谁是超级智能平台?背后的本质是AI生态竞争;第三是什么是超级智能入口?背后的本质是数据智能和算法智能的竞争。 值得一提的是:在全球AI产业生态中,整体看,端侧2C的智能目前是最稀缺的能力,华为、苹果在这方面无论是布局还是技术突破口都拥有得天独厚的优势。华为的麒麟970芯片作为全球第一款集成NPU神经网络单元的移动芯片问世,代表“端智能”传递出强烈信号——同时发布的HiAI人工智能架构给开发者预留的接口,已经构建了下一代应用系统的出行。加之华为在云端智能、管道智能的能力,已经拥有几亿设备用户的华为手机,未来在全球人工智能领域将获得独特的竞争优势。“端侧智能崛起”可能是全球AI生态竞争最大变量,AI竞争的核心产业价值对于巨头来讲就是生态主导权,对于应用类公司讲就是应用竞争力的延续。 归根结底,全球AI生态竞争的结果很有可能依然延续了移动互联网时代的Android和IOS阵营的对决,只不过加入了AI芯片作为端智能平台的变量,这方面华为的进展值得期待。 AI初级阶段 基于上文对“AI生态“的分析,周掌柜团队认为AI的商业机会主要有三个维度:核心是拥有AI生态平台,主战场是应用创新,最大商业机会应该出现在现有应用的“AI体验升级”。 但我们也坚定的认为:“AI生态”才有可能成为真正的“人工智能”。AI生态最接近于“人工智能”的“神经元系统“,未来最有可能的智能形式是基于“AI生态”下多个智能应用基础上,从“大数据”到“小数据”的搭接。但这种智能形态还是硅基文明复制碳基文明的形态,不可能超越人类。任何一个独立AI应用都不可能真正获得真正意义的“智能”,只可能是高级的“数据智能应用”。如图2,在“AI技术进化阶梯”中,我们部分借鉴了加州大学洛杉分校朱松纯教授的观点,对AI的进化逻辑做了梳理,以便更好的理解AI竞争层次的背景。 AI兴起(1956-1974):AI的理论准备阶段,以命题逻辑、谓词逻辑等知识表达、启发式搜索算法为代表。以数理逻辑的表达和推理为主。 AI初始应用(1980-1990):AI的初始应用阶段,基于决策能力的专家系统、知识工程、医疗诊断等应用,80年代末有短暂的神经元研究热潮。以概率统计的建模、学习和计算为主。 AI生态竞争(2010-2060):新的AI竞争背景是互联网公司智能升级,以及AI平台生态的竞争。AI芯片的研发具备历史性意义,这让AI生态最有可能成为真正的“人工智能”。 AI人格化(2060-未来):为了融合科学界和公众的认知矛盾,我们将AI(Artificial Intelligence)翻译为“人工智力”,提出AC(Artificial Competency)即“机器人格”的新概念,AC时代是AI人格化阶段。人类科技只有解决了知识的多场景推理,理论上突破知识表示问题,AC才能获得真正突破机器的人格边界。而端智能带来的AI和人类平行进化,大脑的智力效率在2060年即未来50年之前应该在相同因素效能对比中继续领先,AI人格化需要新的计算平台和新理论突破。 通过图2的AI历史性分析,我们可以看到AI其实在未来40年时间内应该无法形成人格化的里程碑意义突破(除非AI理论发生颠覆式创新或量子计算、神经元研究等获得实质性突破)才有人格化的可能性。而公众对于“人工智力”、“人工智能”和“机器人格”逻辑层次的混淆是其对AI替代人类忧虑的根本原因。 横向对比人类历史上的重要科学进化步伐来看AI产业准备度,也有利于我们认清AI产业处于研究早期的基本事实。也有利于我们打消顾虑: AI基础理论VS物理学理论:从认识世界的角度,看牛顿、爱因斯坦以来300多年的物理突破,人类基本上勾画了宇宙的原理模型。AI基础理论仅有60年的发展,远远没有完善的系统。 AI基础理论VS生物学理论:从生物学的角度,只有10-25瓦的人类大脑计算力可以比拟大型的数据中心,据统计,目前人脑只开发了大概8%的能力。人类简单的DNA结构,根据科学分析,每一个人拥有400万亿个细胞(皮肤、肌肉、神经等)仅仅用46种染色体可以表达。人类的核心“算法模型”的表达力是惊人的,AI差距很大。 综上所述,对于“AI能否取代人类”这个公众感兴趣的话题,周掌柜团队看法相对保守:目前AI是基于“大数据”的暴力计算逻辑,如果获得智能上的突破,最有可能的突破点在于形成机器的“知识推理”能力,本质是解决知识表达范式的问题。 实际上AC作为人工智能的真正未来确实还没有能力对人类智能形成挑战。正如麒麟人工智能芯片科学家Abner所言:AI的智力、速度、耐力、爆发力人类其他感官能力相比,没有那么时尚和戏剧性,也确实没什么可怕的。 全球格局看,中美无疑将是未来全球AI决战的两个核心国家,目前美国AI基础研究强于中国,中国基于数据开放的应用优势明显好于美国,加上华为终端为代表的中国高端制造在手机领域的全球竞争力,BAT的全球化进程加快,中美的AI企业之间会拥有更加紧密的合作,而这种合作大概率是通过“巨头搭台,创业公司唱戏”的方式展开的。 AI进入了真正的战国时代,与历史上秦国灭亡六国靠法治精神类似,AI巨头能真正统治世界的还应该是新科技文化对“应用领先者”和“草根开发者”的感召,AI的大历史注定由“小人物”创造。虽然最后集大成,形成真正人工智能的公司或许只有谷歌、华为和苹果这样的全球化公司,但AI时代对智能数据的高要求一定会让超级应用获得更大的话语权。 回到公众层面,恐惧表面上源自于人类个体的思想自卑感,但深刻的原因在于我们在AI研究“还处于起点”认识的偏差,以及我们对无限未知的忧虑。 相信技术精英——无论何时,他们也不会放弃这个星球上最美的人格,及无限接近的真理! God bless AI!(天佑AI!) (作者介绍:知名商业战略思想研究专家,聚焦原创商业理论研究,帮助华为等多家全球领先公司解决实战问题。本专栏聚焦全球领先公司有效增长路径研究,呈现专业战略洞察。读者微信号:zhouzhanggui000。本文仅代表作者观点。)