《前沿 | 光芯片-深度神经网络》

  • 来源专题:光电情报网信息监测服务平台
  • 编译者: 胡思思
  • 发布时间:2024-12-09
  • 随着深度神经网络彻底改变了机器学习,能耗和吞吐量(throughput指单位时间内完成的指令数)正在成为互补金属氧化物半导体complementary metal–oxide–semiconductor (CMOS) 电子产品的基本限制。这激发了人工智能优化新硬件架构的研究,例如电子脉动阵列、忆阻器交叉阵列和光学加速器。光学系统以极高速率和效率,执行线性矩阵运算,激发了低延迟矩阵加速器和光电图像分类器的最新实验演示。然而,证明深度神经网络的相干、超低延迟光学处理,仍然是主要挑战之一。

    近日,美国

    麻省理工学院(Massachusetts Institute of Technology,MIT)Saumil

    Bandyopadhyay,Dirk Englund等,在Nature Photonics上发文,在可扩展光子集成电路中,实现了这样的光学系统,将用于矩阵代数和非线性激活函数的多个相干光学处理器单元,单片集成到单个芯片中。

    实验表明,这种完全集成的相干光学神经网络架构,适用于具有六个神经元和三层的深度神经网络,可光学计算线性和非线性函数,延迟为410ps,从而开启了超快、直接处理光学信号的新应用。在这种系统上,实现了无反向传播的原位训练,在六类元音分类任务上,达到了92.5%准确率,这相当于在数字计算机上获得的准确率。

    这项工作,为原位训练的理论建议,提供了实验证据,使训练数据的吞吐量提高了几个数量级。完全集成的相干光学神经网络,实现了以纳秒延迟和每操作毫微微焦耳能量效率进行推理。

    图1: 完全集成相干光学神经网络fully integrated coherent optical neural network ,FICONN架构

    图2: 光子集成电路photonic integrated circuit,PIC

    图3: 非线性激活函数单元nonlinear optical function unit,NOFU

    图4: 无反向传播的原位训练


  • 原文来源:https://www.nature.com/articles/s41566-024-01567-z
相关报告
  • 《IBM推出基于相变存储器的用于深度神经网络推理的 64 位混合信号内存计算芯片》

    • 来源专题:集成电路
    • 编译者:李衍
    • 发布时间:2023-08-14
    • 我们正处于人工智能革命的开端,这场革命将重新定义人类的生活和工作方式。特别是,深度神经网络 (DNN) 彻底改变了人工智能领域,并随着基础模型和生成式人工智能的出现而日益受到重视。但在传统数字计算架构上运行这些模型限制了它们可实现的性能和能源效率。专门用于人工智能推理的硬件开发已经取得了进展,但其中许多架构在物理上分割了内存和处理单元。这意味着人工智能模型通常存储在离散的内存位置,计算任务需要在内存和处理单元之间不断地整理数据。此过程会减慢计算速度并限制可实现的最大能源效率。 IBM 研究中心一直在研究重塑人工智能计算方式的方法。模拟内存计算,或者简称模拟人工智能,是一种很有前途的方法,可以借用神经网络在生物大脑中运行的关键特征来应对这一挑战。在我们的大脑以及许多其他动物的大脑中,突触的强度(或称“权重”)决定了神经元之间的通信。对于模拟人工智能系统,研究人员将这些突触权重本地存储在纳米级电阻存储设备的电导值中,例如相变存储器(PCM) 并通过利用电路定律并减少在内存和处理器之间不断发送数据的需要来执行乘法累加 (MAC) 操作,这是 DNN 中的主要计算操作。对于模拟人工智能处理,IBM表示需要克服两个关键挑战:这些存储器阵列需要以与现有数字系统相当的精度进行计算,并且它们需要能够与数字计算单元以及数字通信结构无缝连接。 近期,IBM 推出了一款用于实现神经网络的模拟内存 芯片。该器件将权重作为模拟电平存储在相变存储器中作为电导,并实现模拟乘法累加计算。该芯片是在 IBM 的 Albany NanoTech Complex 中制造的,由 64 个模拟内存计算核心(或块)组成,每个核心包含 256×256 的突触单元格交叉阵列。使用该芯片,我们对模拟内存计算的计算精度进行了最全面的研究,并在CIFAR-10图像数据集上证明了 92.81% 的准确率,是目前报道的使用类似技术的芯片中精度最高的。8位输入输出矩阵向量乘法密度为400Gop/s/mm,峰值达到63Top/s和9.76Top/W,功耗比之前基于电阻式存储器的多核内存计算芯片高出 15 倍以上,同时实现了可比的能源效率。 该研究成果以题名“A 64-core mixed-signal in-memory compute chip based on phase-change memory for deep neural network inference”发表在Nature Electronics上。 参考信息链接:https://caifuhao.eastmoney.com/news/20230812113147087316760 https://www.nature.com/articles/s41928-023-01010-1 https://xueqiu.com/9919963656/149699780
  • 《前沿 | 综述光学神经网络的进展与挑战》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:胡思思
    • 发布时间:2024-10-12
    • 光学神经网络(Optical Neural Networks,ONNs)是一种利用光学元器件(如波导、调制器、探测器等)实现人工神经网络功能的计算系统。它通过利用光信号的传播特性来实现信息处理和计算功能,具有低延迟、低能耗、大带宽以及抗电磁干扰强等优势。 近日,清华大学电子系陈宏伟教授团队联合国防科技大学团队,以“光学神经网络:进展与挑战”(Optical neural networks: progress and challenges)为题在《光:科学和应用》(Light:Science & Applications)上发表综述,对近几年来光学神经网络的相关研究工作进行了梳理。 文章宏观阐述了ONNs的发展历史,直观展示了ONNs的发展历程(图1),并提出非集成ONNs和集成ONNs两种分类形式,进一步基于自由空间和片上集成中的不同光学元器件(图2)将ONNs细分为七种类型,并对基于不同光学元器件构建的ONNs的设计原理进行了介绍。 非集成ONNs主要以体积较大的光学元器件来构建系统,包括基于透镜组的4f系统、空间光调制器(SLM)、数字微镜系统(DMD)、衍射超表面、偏振器、光放大器以及滤波器等光学元器件。集成ONNs则主要是基于片上马赫-曾德尔干涉仪(MZI)、微环谐振器(MRR)、调制器(PM/AM)、衰减器以及亚波长衍射器件等光学元器件来构建系统。 现阶段,为了能够较好地解决可重构、非线性以及系统能耗的问题,非集成/集成ONNs中均有工作尝试引入相变材料、饱和吸收体等新型材料来进一步提升ONNs的推理及计算性能。文章对基于每一类不同光学元器件构建的ONNs的典型研究工作进行了详细介绍和评述。另外,文章中对不同类型ONNs的集成度、可重构性、非线性、可拓展性、稳定性、通用性等性能指标进行了对比分析,同时对计算容量和计算密度等定义进行了阐述和说明。 现阶段ONNs在现实场景中的应用尚未成熟,在执行一些简单任务时也离不开电子硬件系统的辅助。根据文章对ONNs相关研究工作的总结和分析,不难发现ONNs主要在存储、非线性以及大规模可重构等方面仍然存在技术瓶颈。因此,短期内如果希望将ONNs推向真正的应用场景中,光电混合ONNs系统或许是一种潜在可行的方案。光电混合ONNs系统(图3)结合了光学和电子计算的优势,旨在利用当前ONNs的算力优势完成大部分算力任务,再搭配电子辅助电路进行ONNs的参数重构、非线性运算、数据存储及流控等,在实现更高算力、更低功耗的同时,也可保持其灵活性和可编程性。值得注意的是,光/电、电/光转化效率(能耗和速率)的优化未来也将成为提升光电混合ONNs系统性能的关键。 现阶段ONNs发展时间尚短,仍然存在关键技术难题有待解决,因此要实现在各个领域的实际应用还需要一定的时间。尽管如此,ONNs已经在部分专用领域的应用场景中展开了尝试。如普林斯顿大学研究团队将片上集成ONNs应用于海底光纤链路的非线性补偿;剑桥大学研究团队基于光子深度学习开发了边缘计算架构;Lightmatter公司发布了Envise和Passge产品;Lightelligence公司发布了光子计算引擎(PACE)等。未来,通过对全光ONNs系统或混合ONNs系统架构的不断优化,有望推动全光ONNs或光电混合ONNs系统在更为广泛的实际场景中得到应用和发展。