登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《忆阻器Hopfield神经网络中固有噪声的高效组合优化》

  • 来源专题：纳米科技
  • 编译者： 郭文姣
  • 发布时间：2020-07-07

  • 为了解决重要的组合优化问题，各种基于不同技术平台的退火启发计算加速器被提出，包括基于量子、光学和电子的方法。但是，为了在工业应用中使用，必须进一步提高速度和能源效率。在这里，我们报告了一个基于记忆的退火系统，它使用了一个基于Hopfield神经网络的节能神经形态结构。我们的模拟-数字计算方法创建了一个优化求解器，其中大量并行操作在密集的交叉棒阵列中执行，可以通过模拟阵列和设备误差注入所需的计算噪声，并通过一种新的反馈算法放大或抑制。实验表明，该方法可以利用固有的硬件噪声解决非确定性多项式时间(NP)硬最大割问题。我们还使用基于实验的模拟来探索问题大小的可扩展性，这表明我们基于记忆的方法可以提供比当前量子、光学和全数字方法高4个数量级的解决方案吞吐量。

92浏览量
原文链接
相关报告

  • 《忆阻器的重新审视》
    • 来源专题：纳米科技
    • 编译者：郭文姣
    • 发布时间：2018-05-17
    • 技术创新既需要对过去的理解，也需要对未来有清晰的展望——正如memristive devices的发展所阐明的那样。 这个月标志着惠普实验室的研究人员报告了10年。乍一看，他们的单片纳米级记忆装置就像一个普通的双端电阻，但仔细观察就能发现更复杂的东西。横截面视图显示设备的三层:一层由二氧化钛夹在两个铂电极之间的“存储”层。这种内部存储层可以通过电刺激进行动态的重新配置，这种重构会产生一种记忆效应，设备的阻力取决于流经它的电流的历史。至关重要的是，一旦电源被移除，这个程序状态就不会消失。这种无源器件的功能不能被任何基本的双端电路元件(电阻、电容和电感器)的任何组合所复制，因此，它被标记为丢失的电路element2。 忆阻器的历史是迷人的，而且是长久的。在本期《自然电子》(Nature Electronics)杂志的逆向工程专栏文章中，Leon Chua解释了如何在1964年的普渡大学(Purdue University)修改过时的电路分析课程，让他第一次提出了这个装置。在1971年，Chua报告了他对一种装置的预测，这种装置的行为就像一个带有记忆的非线性电阻，然后他将其称为记忆体(记忆和电阻器的收缩)。37年后，由r·斯坦利·威廉姆斯(R. Stanley Williams)领导的惠普实验室(Hewlett Packard Labs)的团队将他们的实验观察与Chua的理论预测联系在一起，发现了第四种基本电路元素。 虽然这个基本的叙述——一个长期的理论概念和实验确认的例子——是有吸引力的，但记忆装置的历史更复杂。对非易失性的电阻转换的研究——换句话说，是记忆性行为——早在1960年就开始了。值得注意的是，对这种行为的研究可以追溯到1800s4早期，因此比电阻器(1827年的欧姆)和电感器(1831年的法拉第)都早。 一项新兴技术最初被抛弃或遗忘的原因可能有很多。对早期的记忆技术来说，时机很可能是一个问题:20世纪70年代，硅技术和数字计算革命取得了巨大进展。只要硅技术继续取得重大进展，人们就不太可能把注意力集中在记忆技术上。 最近，硅技术的进步已经减弱，对记忆技术的兴趣也在增强。魏鲁和他的同事们在基于记忆系统的电子产品的未来上撰文指出，记忆技术可以在三个方面有所帮助:芯片内存和存储，内存计算，以及生物激发的计算。以电阻性随机存取存储器的形式，密集封装的memristive devices可以直接集成在处理器芯片上。这样的配置可以通过消除处理器和内存之间的缓慢和能量密集型的芯片外通信来提高整体的能源效率和计算速度。内存中的计算采用了将处理器和内存之间的通信减少到极点的想法，创建了在计算和内存之间没有物理分离的系统。通过神经形态计算系统，记忆装置被设计成模拟生物突触和神经元。 正如鲁和他的同事所解释的那样，记忆装置具有许多对电子产品有利的特性。它们可以按比例缩小到低于10 nm的特征尺寸，保持记忆状态数年，并使用纳秒级的时间尺度转换。此外，这些设备可以提供长时间的写擦力，并且可以使用低电流的水平来编程(关于纳米安培的顺序)。然而，作者也承认，将上述所有属性结合起来的单一材料系统仍然难以捉摸。 对于任何设备的技术开发来说，关键是要了解管理其操作的底层流程。在设备层面，近年来已经获得了相当多的关于内存转换的见解，主要是由于开发了高级的特性工具，可以探测驱动转换的过程。在这一期的一篇评论文章中，Yuchao Yang和Ru Huang研究了在氧化物记忆电阻器中用于描述记忆转换的不同技术，并基于每种方法的相对优势和弱点，提出了对这些器件进行物理表征的一般框架。 对记忆行为的研究超越了威廉姆斯及其同事在惠普实验室的工作，而对过去的了解当然是研究中必不可少的。但观察(或重新观察)的价值是什么，却没有意义?威廉姆斯和他的同事们，以蔡美儿37年前的富有想象力的洞察力为基础，重建了记忆技术，并激发了新一代的研究人员去追求这项技术。在2008年的论文中，惠普实验室的研究小组建议，记忆电阻器可以用来传递诸如“ultradense，半非易变的记忆和学习网络，需要类似突触的功能”的应用。今天,这些应用程序exist5。它往往既是对过去的理解，也是推动创新的未来的清晰愿景。
    204浏览量
    原文链接

  • 《让AI个性化而且功耗更低 IBM研发新型神经网络芯片》
    • 来源专题：集成电路设计
    • 编译者：shenxiang
    • 发布时间：2018-06-21
    • 在GPU上运行的神经网络已经在人工智能领域取得了一些惊人的进步，但这两者的合作还并不完美。IBM的研究人员希望能设计出一种专门用于运行神经网络的新的芯片，从而提供更快、更有效的替代方案。 直到本世纪初，研究人员才意识到，为视频游戏设计的GPU（图形处理单元）可以被用作硬件加速器，以运行比以前更大的神经网络。 这要归功于这些芯片能够并行进行大量计算，而不是像传统CPU那样按顺序处理它们。这对于同时计算构成深度学习神经网络的数百个神经元的权重特别有用。 GPU的引入使这一领域得到了发展，但这些芯片仍然需要将处理和存储分开，这意味着大量的时间和精力都花在了两者之间的数据传输上。这促使人们开始研究新的存储技术，这些技术能够存储和处理同一位置的权重数据，从而提高速度和能源效率。 这种新的存储设备通过调整它们的电阻水平，以模拟的形式存储数据——也就是说，数据被存储在一个连续的范围内，而不是数字存储器的二进制1和0。因为信息存储在存储单元的电导中，所以可以简单地在存储单元间传递电压并让系统通过物理方法来进行计算。 但是这些设备固有的物理缺陷意味着它们的行为并不一致，这导致了目前使用它们来训练神经网络的分类精度明显低于使用GPU。 “我们可以在一个比GPU更快的系统上进行训练，但如果训练操作不那么准确，那是没有用的，”领导该项目的IBM Research博士后研究员Stefano Ambrogio在接受Singularity Hub采访时说，“到目前为止，还没有证据表明使用这些新设备能像使用GPU一样精确。” 但研究又有了新的进展。在上周发表在《自然》杂志上的一篇论文中，Ambrogio和他的同事们描述了他们是如何利用新兴的模拟记忆和更传统的电子元件组合来创造出一种芯片，这种芯片可以与GPU的精度相匹配，同时运行速度更快，能耗更少。 这些新的存储技术难以训练深层神经网络的原因是，这个过程需要将每个神经元的权重进行上下数千次的刺激，直到网络完全对齐。改变这些设备的电阻需要重新配置它们的原子结构，而且每次的操作过程都不一样，Ambrogio说。这些刺激并不总是完全相同，这导致了对神经元权重的不精确的调整。 研究人员通过创造“突触单元”来解决这个问题，这些“突触单元”每一个都对应于网络中的单个神经元，同时具有长期和短期记忆。每个单元格由一对相变存储器（PCM）单元和三个晶体管以及一个电容的组合构成，PCM在电阻中存储权重数据，电容将权重数据存储为电荷。 PCM是一种“非易失性存储器”，这意味着即使没有外部电源，它也能保留存储的信息，而电容器是“易失性的”，所以只能在几毫秒内保持它的电荷。但是电容器没有PCM设备的可变性，因此可以快速而准确地编程。 当神经网络对图像进行训练以完成分类任务时，只有电容器的权重会被更新。在浏览到几千张图片后，权重数据会被转移到PCM单元进行长期存储。PCM的可变性意味着，权重数据的转移仍然有可能包含错误，但是由于该单元只是偶尔更新，所以可以在不增加系统复杂性的情况下再次检查电导。Ambrogio说，如果直接在PCM单元上进行训练，这就不可行了。 为了测试他们的设备，研究人员对他们的网络进行了一系列流行图像识别的基准测试，结果达到了与谷歌领先的神经网络软件TensorFlow相当的精确度。但重要的是，他们预测，最终构建出的芯片将比GPU的能效高280倍，而且在每平方毫米面积上实现的算力将达到CPU的100倍。值得注意的是，研究人员还没有完全构建出这一芯片。 虽然在测试中使用了真正的PCM单元，但其它组件是在计算机上模拟的。Ambrogio表示，他们希望在投入时间和精力打造完整的芯片之前，先检查一下这种方法是否可行。他说，他们决定使用真正的PCM设备，因为对这些设备的模拟还不太可靠，但其它组件的模拟技术已经很成熟了，他们有信心基于这个设计建立一个完整的芯片。 它目前也只能在全连接神经网络上与GPU竞争，在这个神经网络中，每个神经元都与上一层的神经元相连接，Ambrogio说。但实际上许多神经网络并没有完全连接，或者只有某些层完全连接在一起。 但Ambrogio说，最终的芯片将被设计成可以与GPU合作的形式，从而在处理其它连接时也能够处理全连接层的计算。他还认为，这种处理全连接层的更有效的方法可以被更广泛地应用。 这样的专用芯片能够使哪些事情成为可能？ Ambrogio说，有两个主要的应用：一是将人工智能应用到个人设备上，二是使数据中心更加高效。后者是大型科技公司的一大担忧，因为它们的服务器消耗了大量的电费。 如果直接在个人设备上应用人工智能，用户就可以不必在云端分享他们的数据，从而增加隐私性，但Ambrogio说，更令人兴奋的前景是人工智能的个性化。 他说：“在你的汽车或智能手机上应用这个神经网络，它们就能够不断地从你的经验中学习。” “你的手机会专门针对你的声音进行个性化，你的汽车也会根据你的习惯形成独特的驾驶方式。”
    66浏览量
    原文链接