《AMD前芯片研发总监创业两年多 研发了一款超越Intel/NVIDIA的AI视觉芯片》

  • 来源专题:集成电路制造与应用
  • 编译者: shenxiang
  • 发布时间:2018-10-24
  • 新一轮的AI热潮让一批创业者努力为自己贴上AI标签以便搭上这一波热潮的红利,当然也有一批创业者在AI热潮到来之前就早有准备。AI芯片就是许多早有准备的创业者看好的创业方向,他们想要为AI语音或视觉提供更好的芯片,从目前的情况看,AI视觉芯片领域的竞争相对激烈。值得注意的是,由AMD前芯片研发总监带领的团队用时两年多研发了一款声称超越Intel Movidius MyriadX和Nvidia Tegra X2的AI视觉芯片,事实果真如此?

    世界第一的AI视觉芯片来自初创公司

    伴随AI的热潮,全球范围内无论是传统芯片巨头、科技企业还是初创公司都对AI芯片有非常高的热情。Intel在2016年收购了硅谷初创视觉处理公司Movidius增强了其在视觉芯片领域的实力,Nvidia也有图像性能强大的Tegra移动处理器。国内,地平线机器人、NextVPU、耐能、云天励飞、寒武纪科技等都是AI视觉芯片创业公司的代表。

    越来越多公司的加入也让AI视觉处理器市场的竞争变得越来越激烈,NextVPU(肇观电子)CEO冯歆鹏表示:“AI视觉处理器是一个正在兴起的市场,无论是对巨头还是创业企业都非常重要。我们判断视觉处理器的市场规模未来一定会超过CPU市场。”

    他同时表示:“目前的时间点比较有意思,市场的需求已经起来,但芯片处理AI视觉需求的时候速度慢且开发痛苦,价格也很昂贵。如今这个市场还是比较蓝海的情况,英特尔和英伟达这样的芯片巨头在往前走,但是他们的进展相对慢一些,因为新兴的市场规模还比较小,大公司往往是做大市场服务大客户,新兴市场难以撑起大公司的整个项目。从历史的经验看,这种科技变革的节点小公司更有优势。在AI视觉处理器领域,可以说目前我们微微领先。”

    冯歆鹏口中微微领先的AI视觉芯片就是被称为世界第一的AI视觉处理器NextVPU N171,这个第一如何理解?冯歆鹏表示,在端侧,我们的AI视觉处理器的几何引擎每秒能计算2.48亿个3D点,这个结果把目前世界领先的的水平推进了一大步。另外,N171的CNN引擎跑深度神经网络例如ResNet的结果也比Nvidia Tegra X2高好几倍。每秒3D点云的性能也比Intel Movidius Myriad2、Nvidia Tegra X2高几倍,还支持其它AI视觉处理器不支持的像素级理解和语义分割。

    这家推出被称为世界第一AI视觉处理器的公司是创立于2016年5月的NextVPU,不过NextVPU创立之初首先推出的是辅助盲人感知世界和出行的智能眼镜,原因从冯歆鹏创业的历程就能找到。冯歆鹏在创业前担任AMD的研发总监,与创业搭档周骥博士在大概2012年的时候就开始关注计算机视觉的方向,到了2016年他们觉得很多机会都已经出现,不能再继续等下去,最后两人就在2016年创立了NextVPU(Next Vision Processing Unit, 未来的视觉处理器),中文名为肇观(有开启视觉的含义),冯歆鹏担任CEO,周骥担任CTO。虽然从创业之初就准备做芯片,但他们觉得2016年整个行业还没起来,单一的环节做得好没什么用,因此不得不先做一个产品。当然,从他们创业的第一天开始就在为芯片做准备,也就后来N171里的核心自研IP。

    为何能开发出超越芯片巨头的AI芯片?

    从数据上看,NextVPU N171可以被称为世界第一的AI视觉芯片,不过更让人关注的是初创公司为何能打造出超越芯片巨头的终端AI视觉芯片?这需要从NextVPU N171芯片的定位到功能去理解,创业之前冯歆鹏就已经明确了要做一款AI视觉芯片,但AI芯片可以分为云端和终端芯片,不同的选择将面对不同的市场竞争。冯歆鹏表示,云端和终端都有很多机会,从英特尔的收入分布看终端和服务器芯片的收入比约为5:1,其中服务器芯片出货量少、单价高利润率也比较高,但是这一市场竞争非常激烈,几乎是巨头垄断,更适合较大的企业。终端芯片无论是市场总量还是芯片需求量都远大于服务器市场,并且终端市场更具多样性,用户的需求也有一定的差别,小公司进入和发展都比较有利。

    选择了终端市场之后,接下来需要定义产品功能。冯歆鹏指出,计算机视觉面临几何和理解两大挑战,当然,无论是几何还是理解都有大量的需求,比如客户想通过3D环境扫描做一个模型构建地图,或者生产线上不同的零件区分,这就需要VSLAM、多目、结构光、TOF等技术,也需要CNN识别,检测和分割等技术。看到这些需求并且了解到如今的芯片不能满足需求之后,我们芯片的功能大概就确定了。

    因此,NextVPU N171具备的一大特色就是集成了三个自主IP:几何引擎、深度神经网络引擎(CNN)、图像成像引擎(ISP)。几何引擎用于同时处理传感器获得的数据、坐标空间信息、时间等多输入的信息,也就是对三维点组成的点云做各种计算,这是所有VSLAM三维重建的基础,机器人、汽车、AR和VR领域等对此都有急迫的需求。据悉,N171几何引擎每秒能处理2.48亿个3D点,处于业界领先的水平。

    深度神经网络引擎支持图像的检测识别、分割以及各种主流的CNN算法。模型从简单到复杂,逻辑从几层到几百层都支持。冯歆鹏强调,深度神经网络引擎我们花了很长时间去做,并且跑越复杂的模型我们的深度神经网络引擎的利用率越高,越流行的网络模型,利用率也越高,几乎可以达到理论极限。

    视觉成像引擎则是对图像进行处理,为了能够让机器看懂世界,视觉成像引擎做了非常多特殊的处理的调教,动态范围可以做到150dB,这是基于机器视觉的需求所决定。

    除了三大自主IP,N171还有一大特色就是可独立运行操作系统,这个功能是通过N171中的多核CPU来实现。对于这个功能,冯歆鹏表示许多用户习惯于用像Linux这样的操作系统做文件的存储和调取,然后做日志,而非使用特殊的轻量级内核。要实现这个功能,有两种方式,一种是分布式的做法,在常用应用处理器AP芯片的基础上增加一个AI协处理器,第二种方式是异构融合,也就是将两个芯片做集成。

    “我们接触到的所有客户都倾向于第二种方式,所以我们集成了多核CPU能够运行操作系统,让我们的芯片既能满足传统需求,也有很好地AI性能。另外,集成度越高,芯片内部的数据传输及交换的成本也能越低。”冯歆鹏补充表示。

    由此不难看出,发现市场的痛点和需求之后,根据客户的需求一步步明确产品的形态和功能打造满足市场需求的产品,通过自研的IP,以ASIC芯片的形式实现,N171最终获得比传统芯片巨头性能更强的芯片自然也就可以理解。不过,对市场需求的正确判断以及好的产品理念还不足以让一款芯片成功流片,背后的团队也非常关键。

    冯歆鹏和周骥都来自AMD,我们知道AMD是提供CPU,也能提供GPU的高性能计算芯片公司,而AI需要的就是高性能芯片,因此从Intel、Nvidia、AMD这三家高性能计算芯片公司出来的团队在做AI芯片的时候在经验上更具优势。冯歆鹏参与过50多款CPU和GPU的设计,对于高性能计算芯片里的流水线设计、数据的分布式存储处理等都非常有经验。除了基于已有的经验积累用两年多的时间先做IP然后做SoC,N171在其他方面也有巨大的投入。

    能否成功落地?

    在设计、功能都能够满足市场需求之后,芯片的实际性能成为考验一款芯片能否成功落地的关键。对于N171这样的高性能芯片,无法回避的问题就是高性能带来的高功耗。冯歆鹏表示:“一款芯片的设计只要遵循规则不出错,性能和功耗的实际值和理论值基本会遵循一条曲线。我们产品的性能和功耗水平同样基于客户的需求,根据客户产品设计的电池容量以及他们期望的续航时间,可以推导出芯片功耗的具体水平,只要功耗不大到一定的程度客户都能够接受。当然N171的性能和功耗也可以调教,不同的时钟频率对应不同的功耗,也可以根据客户的需求进行配置。“

    N171虽然是高性能芯片,但并没有采用最先进的7nm工艺,而是选择了28nm工艺,这主要是从市场的角度出发,使用成熟的28nm工艺的性能和功耗就能够满足这款芯片目标市场和客户的需求。

    而在N171芯片的目标市场之中,汽车市场对于芯片的稳定性、实时性、安全性都有更高的要求。为了进入这一市场,冯歆鹏表示:“我们的芯片首先满足ISO TS16949、AEC-Q100两个车规标准,也正在做ISO26262标准。另外,汽车市场比消费市场和工业市场有一些差异化的需求,比如需要支持零下40度到零上125度的温度,还要求芯片在出现错误之后能够自己恢复和校准。因此我们用更好的封装材料保证其稳定性、测试的流程也更加复杂。基于之前设计波音飞机上使用的CPU的经验,我们对这些都很有经验,只是需要付出更多的时间和成本。”

    至于火热的安防市场,他们A轮的领投方是中电海康基金,这个基金背后是中电科技集团和中电海康集团。中电海康集团下属的海康威视是国内安防领域的龙头,他们在积极布局智能摄像头,NextVPU N171里的很多设计和功能也是为安防考虑。

    既然基于相同晶圆和裸片的N171能够满足汽车和工业市场的需求,那么消费级市场当然也是NextVPU不会错过的。据悉,N171的第一代芯片已经成功流片,测试的结果也非常好,现在正处于客户导入的阶段,距离正式的上市还有几个月时间。冯歆鹏透露目前的合作客户已经涵盖车载、安防和机器人,希望未来N171还能做第二代、第三代,持续做下去。

    在AI的热潮下,许多有经验有实力敏锐的大咖都开始了创业,他们希望能够在新的浪潮里发挥更大的价值,很显然NextVPU的团队就属于这一的创业团队。在技术、产品都能够比肩芯片巨头的情况下,芯片的实际落地更考验创业团队,在这个过程中会遇到很多意想不到的事情。相信我们都愿意看到NextVPU的产品能够不断迭代,为计算机视觉领域带来更好的AI芯片,也能够增强中国芯片的实力。

相关报告
  • 《AMD前芯片研发总监创业两年多 研发了一款超越Intel/NVIDIA的AI视觉芯片》

    • 来源专题:集成电路
    • 编译者:shenxiang
    • 发布时间:2018-10-24
    • 新一轮的AI热潮让一批创业者努力为自己贴上AI标签以便搭上这一波热潮的红利,当然也有一批创业者在AI热潮到来之前就早有准备。AI芯片就是许多早有准备的创业者看好的创业方向,他们想要为AI语音或视觉提供更好的芯片,从目前的情况看,AI视觉芯片领域的竞争相对激烈。值得注意的是,由AMD前芯片研发总监带领的团队用时两年多研发了一款声称超越Intel Movidius MyriadX和Nvidia Tegra X2的AI视觉芯片,事实果真如此? 世界第一的AI视觉芯片来自初创公司 伴随AI的热潮,全球范围内无论是传统芯片巨头、科技企业还是初创公司都对AI芯片有非常高的热情。Intel在2016年收购了硅谷初创视觉处理公司Movidius增强了其在视觉芯片领域的实力,Nvidia也有图像性能强大的Tegra移动处理器。国内,地平线机器人、NextVPU、耐能、云天励飞、寒武纪科技等都是AI视觉芯片创业公司的代表。 越来越多公司的加入也让AI视觉处理器市场的竞争变得越来越激烈,NextVPU(肇观电子)CEO冯歆鹏表示:“AI视觉处理器是一个正在兴起的市场,无论是对巨头还是创业企业都非常重要。我们判断视觉处理器的市场规模未来一定会超过CPU市场。” 他同时表示:“目前的时间点比较有意思,市场的需求已经起来,但芯片处理AI视觉需求的时候速度慢且开发痛苦,价格也很昂贵。如今这个市场还是比较蓝海的情况,英特尔和英伟达这样的芯片巨头在往前走,但是他们的进展相对慢一些,因为新兴的市场规模还比较小,大公司往往是做大市场服务大客户,新兴市场难以撑起大公司的整个项目。从历史的经验看,这种科技变革的节点小公司更有优势。在AI视觉处理器领域,可以说目前我们微微领先。” 冯歆鹏口中微微领先的AI视觉芯片就是被称为世界第一的AI视觉处理器NextVPU N171,这个第一如何理解?冯歆鹏表示,在端侧,我们的AI视觉处理器的几何引擎每秒能计算2.48亿个3D点,这个结果把目前世界领先的的水平推进了一大步。另外,N171的CNN引擎跑深度神经网络例如ResNet的结果也比Nvidia Tegra X2高好几倍。每秒3D点云的性能也比Intel Movidius Myriad2、Nvidia Tegra X2高几倍,还支持其它AI视觉处理器不支持的像素级理解和语义分割。 这家推出被称为世界第一AI视觉处理器的公司是创立于2016年5月的NextVPU,不过NextVPU创立之初首先推出的是辅助盲人感知世界和出行的智能眼镜,原因从冯歆鹏创业的历程就能找到。冯歆鹏在创业前担任AMD的研发总监,与创业搭档周骥博士在大概2012年的时候就开始关注计算机视觉的方向,到了2016年他们觉得很多机会都已经出现,不能再继续等下去,最后两人就在2016年创立了NextVPU(Next Vision Processing Unit, 未来的视觉处理器),中文名为肇观(有开启视觉的含义),冯歆鹏担任CEO,周骥担任CTO。虽然从创业之初就准备做芯片,但他们觉得2016年整个行业还没起来,单一的环节做得好没什么用,因此不得不先做一个产品。当然,从他们创业的第一天开始就在为芯片做准备,也就后来N171里的核心自研IP。 为何能开发出超越芯片巨头的AI芯片? 从数据上看,NextVPU N171可以被称为世界第一的AI视觉芯片,不过更让人关注的是初创公司为何能打造出超越芯片巨头的终端AI视觉芯片?这需要从NextVPU N171芯片的定位到功能去理解,创业之前冯歆鹏就已经明确了要做一款AI视觉芯片,但AI芯片可以分为云端和终端芯片,不同的选择将面对不同的市场竞争。冯歆鹏表示,云端和终端都有很多机会,从英特尔的收入分布看终端和服务器芯片的收入比约为5:1,其中服务器芯片出货量少、单价高利润率也比较高,但是这一市场竞争非常激烈,几乎是巨头垄断,更适合较大的企业。终端芯片无论是市场总量还是芯片需求量都远大于服务器市场,并且终端市场更具多样性,用户的需求也有一定的差别,小公司进入和发展都比较有利。 选择了终端市场之后,接下来需要定义产品功能。冯歆鹏指出,计算机视觉面临几何和理解两大挑战,当然,无论是几何还是理解都有大量的需求,比如客户想通过3D环境扫描做一个模型构建地图,或者生产线上不同的零件区分,这就需要VSLAM、多目、结构光、TOF等技术,也需要CNN识别,检测和分割等技术。看到这些需求并且了解到如今的芯片不能满足需求之后,我们芯片的功能大概就确定了。 因此,NextVPU N171具备的一大特色就是集成了三个自主IP:几何引擎、深度神经网络引擎(CNN)、图像成像引擎(ISP)。几何引擎用于同时处理传感器获得的数据、坐标空间信息、时间等多输入的信息,也就是对三维点组成的点云做各种计算,这是所有VSLAM三维重建的基础,机器人、汽车、AR和VR领域等对此都有急迫的需求。据悉,N171几何引擎每秒能处理2.48亿个3D点,处于业界领先的水平。 深度神经网络引擎支持图像的检测识别、分割以及各种主流的CNN算法。模型从简单到复杂,逻辑从几层到几百层都支持。冯歆鹏强调,深度神经网络引擎我们花了很长时间去做,并且跑越复杂的模型我们的深度神经网络引擎的利用率越高,越流行的网络模型,利用率也越高,几乎可以达到理论极限。 视觉成像引擎则是对图像进行处理,为了能够让机器看懂世界,视觉成像引擎做了非常多特殊的处理的调教,动态范围可以做到150dB,这是基于机器视觉的需求所决定。 除了三大自主IP,N171还有一大特色就是可独立运行操作系统,这个功能是通过N171中的多核CPU来实现。对于这个功能,冯歆鹏表示许多用户习惯于用像Linux这样的操作系统做文件的存储和调取,然后做日志,而非使用特殊的轻量级内核。要实现这个功能,有两种方式,一种是分布式的做法,在常用应用处理器AP芯片的基础上增加一个AI协处理器,第二种方式是异构融合,也就是将两个芯片做集成。 “我们接触到的所有客户都倾向于第二种方式,所以我们集成了多核CPU能够运行操作系统,让我们的芯片既能满足传统需求,也有很好地AI性能。另外,集成度越高,芯片内部的数据传输及交换的成本也能越低。”冯歆鹏补充表示。 由此不难看出,发现市场的痛点和需求之后,根据客户的需求一步步明确产品的形态和功能打造满足市场需求的产品,通过自研的IP,以ASIC芯片的形式实现,N171最终获得比传统芯片巨头性能更强的芯片自然也就可以理解。不过,对市场需求的正确判断以及好的产品理念还不足以让一款芯片成功流片,背后的团队也非常关键。 冯歆鹏和周骥都来自AMD,我们知道AMD是提供CPU,也能提供GPU的高性能计算芯片公司,而AI需要的就是高性能芯片,因此从Intel、Nvidia、AMD这三家高性能计算芯片公司出来的团队在做AI芯片的时候在经验上更具优势。冯歆鹏参与过50多款CPU和GPU的设计,对于高性能计算芯片里的流水线设计、数据的分布式存储处理等都非常有经验。除了基于已有的经验积累用两年多的时间先做IP然后做SoC,N171在其他方面也有巨大的投入。 能否成功落地? 在设计、功能都能够满足市场需求之后,芯片的实际性能成为考验一款芯片能否成功落地的关键。对于N171这样的高性能芯片,无法回避的问题就是高性能带来的高功耗。冯歆鹏表示:“一款芯片的设计只要遵循规则不出错,性能和功耗的实际值和理论值基本会遵循一条曲线。我们产品的性能和功耗水平同样基于客户的需求,根据客户产品设计的电池容量以及他们期望的续航时间,可以推导出芯片功耗的具体水平,只要功耗不大到一定的程度客户都能够接受。当然N171的性能和功耗也可以调教,不同的时钟频率对应不同的功耗,也可以根据客户的需求进行配置。“ N171虽然是高性能芯片,但并没有采用最先进的7nm工艺,而是选择了28nm工艺,这主要是从市场的角度出发,使用成熟的28nm工艺的性能和功耗就能够满足这款芯片目标市场和客户的需求。 而在N171芯片的目标市场之中,汽车市场对于芯片的稳定性、实时性、安全性都有更高的要求。为了进入这一市场,冯歆鹏表示:“我们的芯片首先满足ISO TS16949、AEC-Q100两个车规标准,也正在做ISO26262标准。另外,汽车市场比消费市场和工业市场有一些差异化的需求,比如需要支持零下40度到零上125度的温度,还要求芯片在出现错误之后能够自己恢复和校准。因此我们用更好的封装材料保证其稳定性、测试的流程也更加复杂。基于之前设计波音飞机上使用的CPU的经验,我们对这些都很有经验,只是需要付出更多的时间和成本。” 至于火热的安防市场,他们A轮的领投方是中电海康基金,这个基金背后是中电科技集团和中电海康集团。中电海康集团下属的海康威视是国内安防领域的龙头,他们在积极布局智能摄像头,NextVPU N171里的很多设计和功能也是为安防考虑。 既然基于相同晶圆和裸片的N171能够满足汽车和工业市场的需求,那么消费级市场当然也是NextVPU不会错过的。据悉,N171的第一代芯片已经成功流片,测试的结果也非常好,现在正处于客户导入的阶段,距离正式的上市还有几个月时间。冯歆鹏透露目前的合作客户已经涵盖车载、安防和机器人,希望未来N171还能做第二代、第三代,持续做下去。 在AI的热潮下,许多有经验有实力敏锐的大咖都开始了创业,他们希望能够在新的浪潮里发挥更大的价值,很显然NextVPU的团队就属于这一的创业团队。在技术、产品都能够比肩芯片巨头的情况下,芯片的实际落地更考验创业团队,在这个过程中会遇到很多意想不到的事情。相信我们都愿意看到NextVPU的产品能够不断迭代,为计算机视觉领域带来更好的AI芯片,也能够增强中国芯片的实力。
  • 《智能手机掀起全球AI芯片热潮 IT巨头将加速研发》

    • 来源专题:集成电路
    • 编译者:tengfei
    • 发布时间:2017-11-20
    • 去年“阿尔法狗”战胜韩国棋手李世石,需要耗电数万瓦、依赖体积巨大的云服务器。一年多后,一个小小的人工智能芯片,就可让手机、手表甚至摄像头都能和“阿尔法狗”一样“聪明”。 随着中国企业率先推出市场化的人工智能(AI)手机芯片,这样的手机之“芯”正掀起全球热潮。 智能手机需要更强芯片 2017年柏林国际消费电子展上,华为推出麒麟970人工智能手机芯片,内置神经元网络单元(NPU),通过人工智能深度学习,让手机的运行更加高效。 芯片又叫集成电路,按照功能可分为很多种,有的负责电源电压输出控制,有的负责音频视频处理,还有的负责复杂运算处理。目前市场上的手机芯片有指纹识别芯片、图像识别芯片、基带芯片、射频芯片等近百种。 现有芯片种类繁多,为何还要人工智能芯片? 随着手机智能应用越来越多,传统芯片要么性能不够,要么效率不足,难以支撑人工智能所需的大规模神经网络运转。 例如,“谷歌大脑”用了上万个通用处理器“跑”了数天来学习如何识别猫脸;“阿尔法狗”和李世石下棋时使用了上千个中央处理器(CPU)和数百个图形处理器(GPU),平均每局电费近3000美元。对于绝大多数智能需求来说,基于通用处理器的传统计算机成本高、功耗高、体积大、速度慢,难以接受。 与传统的4核芯片相比,在处理同样的人工智能应用任务时,麒麟970拥有大约50倍能效和25倍性能优势。 IT巨头将加速研发AI芯片 目前迅猛发展的人工智能,上层的应用都依赖于底层核心能力,而这个核心能力就是人工智能处理器。如果在芯片上不能突破,人工智能应用就不可能真正成功。可以说核心芯片是人工智能时代的战略制高点。 人工智能目前采用的深度学习算法,有海量的数据运算需求,对传统架构和系统提出了极大挑战。 深度学习,就是通过算法给机器设计一个神经网络。这个网络的基本特点,是模仿大脑神经元之间传递、处理信息的模式,从多个角度和层次来观察、学习、判断、决策。近年来,这种方法已应用于许多领域,比如人脸识别、语音识别等,是人工智能领域的热点研究方向之一。 用于图像处理的GPU芯片因海量数据并行运算能力,被最先引入深度学习。2011年,当时在谷歌就职的吴恩达将英伟达的GPU应用于“谷歌大脑”中,结果表明12个GPU可达到相当于2000个CPU的深度学习性能。之后多家研究机构都基于GPU来加速其深度学习神经网络。 然而,随着近两年人工智能技术的迅速发展,GPU在三个方面显露出局限性:无法充分发挥并行计算优势,硬件结构固定不具备可编程性,运行深度学习算法能效不足。 全球科研界和企业于是竞相开发更加适用的人工智能芯片,尤其是适用于移动通信时代的芯片。 华为公司与中国科学院计算技术研究所“寒武纪”项目团队共同开发的麒麟970人工智能手机芯片,首次集成NPU,将通常由多个芯片完成的传统计算、图形、图像以及数字(数位)信号处理功能集成在一块芯片内,节省空间、节约能耗,同时极大提高了运算效率。 在新的计算时代,核心芯片将决定基础架构和未来生态。因此,谷歌、微软、超威等全球信息技术和通信制造巨头都投入巨资,加速人工智能芯片的研发。