《IBM人工智能芯片的新进展》

  • 来源专题:光电情报网信息监测服务平台
  • 编译者: husisi
  • 发布时间:2020-05-25
  • IBM苏黎世实验室的研究人员本周在NatureCommunications上发表了一篇论文。在文中他们声称,基于相变存储器的技术,他们已经开发出了一种能同时能高实现能源效率和高精度的机器学习方案。这是一种使用基于电阻的存储设备来实现内存内计算的方法,它们的方法弥补了存储和计算数据分开的方案的缺陷,并在此过程中大大降低了功耗。

    文章表示,许多现有的AI推理方案在物理上拆分了内存和处理单元,导致AI模型存储在片外内存中。这会增加计算开销,因为必须在各个单元之间对数据进行转移,这会减慢处理速度并增加用电量。

    IBM的技术表面上解决了相变存储器的问题,相变存储器是一种非易失性存储器,比常用的闪存技术要快。这项工作如果被证明具有可扩展性,则可以为在无人机,机器人,移动设备和其他受计算限制的设备中运行AI的强大硬件铺平道路。

    正如IBM团队所解释的那样,相变存储设备面临的挑战是它趋向于引入计算误差(computationalinaccuracy)。那是因为它本质上是模拟的。由于可变性以及读写电导噪声,其精度受到限制。

    研究提出的解决方案需要在软件中的AI模型训练期间注入额外的噪声,以提高模型的弹性。结果表明它是成功的。在将训练后的权重(即,用于转换输入数据的参数)映射到相变存储器组件后,加入额外噪音在流行的CIFAR-19数据集可以把训练ResNet模型精度提升到93.7%,而ImageNet的精度可以做到71.6%.

    此外,在将特定模型的权重映射到原型芯片中的723,444个相变存储设备上之后,在单天的过测试程中,精度保持在92.6%以上。研究人员声称这是一个记录。

    为了进一步提高精度随时间的保持性,该研究的合著者还开发了一种补偿技术,该技术可以在推理过程中定期校正激活函数(确定模型输出的方程式)。他们说,这导致硬件精度提高到93.5%。

    同时,该团队使用模拟相变存储组件对训练机器学习模型进行了实验。报告称,他们使用混合精度架构在几种类型的小规模模型上实现了“软件等效”的准确性,这些模型包括多层感知器,卷积神经网络,长期短期记忆网络和生成对抗网络。他们最近在《神经科学前沿》上发表的一项研究中详细介绍了训练实验。

    IBM在该领域的最新工作是在引入用于AI训练的相变存储芯片之后。但据报道,公司的这项技术仍处于研究阶段的同时,公司研究人员证明了该系统可以将权重数据存储为电荷,每平方毫米的计算量是图形卡的100倍,而功耗却要低280倍。

    IBM表示:“在一个越来越多应用(包括物联网电池供电的设备和自动驾驶汽车)向AI迈进的时代,快速,低功率且可靠的DNN推理引擎是非常有吸引力.

相关报告
  • 《我国科学家取得智能光芯片研究新进展》

    • 来源专题:能源情报网监测服务平台
    • 编译者:郭楷模
    • 发布时间:2024-08-12
    • 清华大学电子工程系方璐教授课题组和自动化系戴琼海院士课题组日前实现了光计算系统大规模神经网络的高效精准训练。该研究成果以“光神经网络全前向训练”为题,于北京时间8月7日晚在线发表于《自然》期刊。 人工智能大模型的迅猛发展与广泛应用,使得算力成为重大的战略抓手与基础设施。长期以来电子芯片的算力增长支撑着AI模型规模的不断发展,然而其高能耗亦带来了前所未有的能源挑战,新兴计算范式的建立与发展迫在眉睫。以光为计算媒介,以光的可控传播构建计算模型,光计算以其高算力低能耗特性打开了智能计算的新赛道,在后摩尔时代展现出巨大的潜力。 训练和推理是AI大模型核心能力的两大基石,缺一不可。相较于推理而言,模型训练对算力更为急需,然而电训练架构要求前向-反向传播模型高度匹配,这对光计算物理系统的精准对齐提出了苛刻的要求,致使梯度计算难、离线建模慢、映射误差大,极大地禁锢了光训练的规模与效率。 清华大学电子工程系方璐教授课题组、自动化系戴琼海教授课题组构建了光子传播对称性模型,摒弃了电训练反向传播范式,首创了全前向智能光计算训练架构,研制了通用光训练芯片“太极-II”,摆脱了对离线训练的依赖,支撑智能系统的高效精准光训练。“太极-II”的面世,填补了智能光计算在大规模训练这一核心拼图的空白。
  • 《人工智能芯片之争:抢夺智能时代的入场券》

    • 来源专题:声学研究所所级服务
    • 发布时间:2016-08-25
    • 作者: 赵广立 来源:中国科学报 发布时间:2016/8/23 9:23:48 选择字号:小 中大 . . 人工智能芯片之争:抢夺智能时代的入场券. . Xeon Phi芯片 图片来源:百度图片 ■本报记者 赵广立 当地时间8月17日,英特尔数据中心集团执行副总裁戴安·布莱恩特在开发者大会(IDF)上宣布,将在2017年推出专为机器深度学习设计的芯片——Xeon Phi,代号Knights Mill。在此之前,英特尔刚刚以4亿美元收购了一家专注深度学习开发平台研究的初创公司Nervana Systems。 业内人士指出,随着英特尔人工智能(AI)战略的快速推进,人工智能芯片“群雄逐鹿”的格局正在形成。 “无论传统芯片巨头如英特尔、英伟达、高通,还是互联网巨头如谷歌、FaceBook,以及类似于地平线、寒武纪等这样的新锐势力,大家竞争的焦点虽然是针对于人工智能应用的芯片上,但其实都在布局自己在未来智能时代的一席之地。”地平线机器人技术创始人兼CEO余凯在接受《中国科学报》记者...