《前沿 | 光芯片-深度神经网络》

  • 来源专题:光电情报网信息监测服务平台
  • 编译者: 胡思思
  • 发布时间:2024-12-09
  • 随着深度神经网络彻底改变了机器学习,能耗和吞吐量(throughput指单位时间内完成的指令数)正在成为互补金属氧化物半导体complementary metal–oxide–semiconductor (CMOS) 电子产品的基本限制。这激发了人工智能优化新硬件架构的研究,例如电子脉动阵列、忆阻器交叉阵列和光学加速器。光学系统以极高速率和效率,执行线性矩阵运算,激发了低延迟矩阵加速器和光电图像分类器的最新实验演示。然而,证明深度神经网络的相干、超低延迟光学处理,仍然是主要挑战之一。

    近日,美国

    麻省理工学院(Massachusetts Institute of Technology,MIT)Saumil

    Bandyopadhyay,Dirk Englund等,在Nature Photonics上发文,在可扩展光子集成电路中,实现了这样的光学系统,将用于矩阵代数和非线性激活函数的多个相干光学处理器单元,单片集成到单个芯片中。

    实验表明,这种完全集成的相干光学神经网络架构,适用于具有六个神经元和三层的深度神经网络,可光学计算线性和非线性函数,延迟为410ps,从而开启了超快、直接处理光学信号的新应用。在这种系统上,实现了无反向传播的原位训练,在六类元音分类任务上,达到了92.5%准确率,这相当于在数字计算机上获得的准确率。

    这项工作,为原位训练的理论建议,提供了实验证据,使训练数据的吞吐量提高了几个数量级。完全集成的相干光学神经网络,实现了以纳秒延迟和每操作毫微微焦耳能量效率进行推理。

    图1: 完全集成相干光学神经网络fully integrated coherent optical neural network ,FICONN架构

    图2: 光子集成电路photonic integrated circuit,PIC

    图3: 非线性激活函数单元nonlinear optical function unit,NOFU

    图4: 无反向传播的原位训练


  • 原文来源:https://www.nature.com/articles/s41566-024-01567-z
相关报告
  • 《前沿 | 用于光子芯片的激光打印机》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:husisi
    • 发布时间:2024-02-05
    • 华盛顿大学研究团队发明了一种新的方法来打印和重写光子集成电路(微芯片),这些复杂的微芯片有可能大幅降低成本,提高电子设备在广泛应用领域的速度和效率,包括汽车技术、通信、医疗保健、数据存储和人工智能计算。该研究以“Freeform direct-write and rewritable photonic integrated circuits in phase-change thin films”为题发表在《Science Advances》上。 具有快速原型设计和重新编程能力的光子集成电路(PIC)有望对大量光子技术产生革命性影响。研究报告了在低损耗相变材料(PCM)薄膜上直写和可重写的光子电路。完整的端到端PIC可在一个步骤中直接用激光写入,无需额外的制造工艺,而且电路的任何部分都可以擦除和重写,便于快速修改设计。 研究展示了这一技术在各种应用中的多功能性,包括用于可重构网络的光互连结构、用于光计算的光子横杆阵列以及用于光信号处理的可调谐光滤波器。通过将激光直写技术的可编程性与PCM相结合,该技术为可编程光子网络、计算和信号处理带来了机遇。此外,可重写光子电路还能以方便、经济的方式实现快速原型开发和测试,无需纳米制造设备,从而促进光子学研究和教育向更广阔的领域推广。 图 1.由华盛顿大学电气与计算机工程和物理学教授Mo Li领导的一个研究小组发明了一种新的方法来打印和重新配置光子集成电路(微芯片),使用的是一种快速、低成本的设备,大小与传统的台式激光打印机差不多。这种装置可以使学生和研究人员避免昂贵的纳米制造设施,几乎在任何地方生产光子集成电路。这项技术也有可能在工业上应用 图 2. 直写和可重写相变光子集成电路 图 3. 直写光子元件及其特征 图 4. 可编程光子开关阵列和横杆阵列 图 5. 分步形成光学滤波器的光谱响应 提高性能,打造商用设备 该团队开发的方法已被证明有效,但它仍然是一个早期阶段的概念。不过,研究人员正在计划制造一种用于光子集成电路的台式激光打印机。这种打印机可以合理价格出售,并广泛分销给世界各地的研究实验室和教育机构。研究团队还在与行业领导者接触,以促进这一新技术在可编程光子芯片和可重构光网络中的可能应用。 这种用于光子芯片的激光打印机将使用一个分级系统,以比传统桌面打印机更精确的方式移动基板。 该团队在制作原型机时,将设法优化其性能。他们还将通过对材料科学和激光写入技术的进一步研究,努力减少所使用相变材料的光学损耗。这将使打印机能够打印出比目前更精细、更复杂的电路。
  • 《IBM推出基于相变存储器的用于深度神经网络推理的 64 位混合信号内存计算芯片》

    • 来源专题:集成电路
    • 编译者:李衍
    • 发布时间:2023-08-14
    • 我们正处于人工智能革命的开端,这场革命将重新定义人类的生活和工作方式。特别是,深度神经网络 (DNN) 彻底改变了人工智能领域,并随着基础模型和生成式人工智能的出现而日益受到重视。但在传统数字计算架构上运行这些模型限制了它们可实现的性能和能源效率。专门用于人工智能推理的硬件开发已经取得了进展,但其中许多架构在物理上分割了内存和处理单元。这意味着人工智能模型通常存储在离散的内存位置,计算任务需要在内存和处理单元之间不断地整理数据。此过程会减慢计算速度并限制可实现的最大能源效率。 IBM 研究中心一直在研究重塑人工智能计算方式的方法。模拟内存计算,或者简称模拟人工智能,是一种很有前途的方法,可以借用神经网络在生物大脑中运行的关键特征来应对这一挑战。在我们的大脑以及许多其他动物的大脑中,突触的强度(或称“权重”)决定了神经元之间的通信。对于模拟人工智能系统,研究人员将这些突触权重本地存储在纳米级电阻存储设备的电导值中,例如相变存储器(PCM) 并通过利用电路定律并减少在内存和处理器之间不断发送数据的需要来执行乘法累加 (MAC) 操作,这是 DNN 中的主要计算操作。对于模拟人工智能处理,IBM表示需要克服两个关键挑战:这些存储器阵列需要以与现有数字系统相当的精度进行计算,并且它们需要能够与数字计算单元以及数字通信结构无缝连接。 近期,IBM 推出了一款用于实现神经网络的模拟内存 芯片。该器件将权重作为模拟电平存储在相变存储器中作为电导,并实现模拟乘法累加计算。该芯片是在 IBM 的 Albany NanoTech Complex 中制造的,由 64 个模拟内存计算核心(或块)组成,每个核心包含 256×256 的突触单元格交叉阵列。使用该芯片,我们对模拟内存计算的计算精度进行了最全面的研究,并在CIFAR-10图像数据集上证明了 92.81% 的准确率,是目前报道的使用类似技术的芯片中精度最高的。8位输入输出矩阵向量乘法密度为400Gop/s/mm,峰值达到63Top/s和9.76Top/W,功耗比之前基于电阻式存储器的多核内存计算芯片高出 15 倍以上,同时实现了可比的能源效率。 该研究成果以题名“A 64-core mixed-signal in-memory compute chip based on phase-change memory for deep neural network inference”发表在Nature Electronics上。 参考信息链接:https://caifuhao.eastmoney.com/news/20230812113147087316760 https://www.nature.com/articles/s41928-023-01010-1 https://xueqiu.com/9919963656/149699780