《前沿 | 综述光学神经网络的进展与挑战》

  • 来源专题:光电情报网信息监测服务平台
  • 编译者: 胡思思
  • 发布时间:2024-10-12
  • 光学神经网络(Optical Neural Networks,ONNs)是一种利用光学元器件(如波导、调制器、探测器等)实现人工神经网络功能的计算系统。它通过利用光信号的传播特性来实现信息处理和计算功能,具有低延迟、低能耗、大带宽以及抗电磁干扰强等优势。

    近日,清华大学电子系陈宏伟教授团队联合国防科技大学团队,以“光学神经网络:进展与挑战”(Optical neural networks: progress and challenges)为题在《光:科学和应用》(Light:Science & Applications)上发表综述,对近几年来光学神经网络的相关研究工作进行了梳理。

    文章宏观阐述了ONNs的发展历史,直观展示了ONNs的发展历程(图1),并提出非集成ONNs和集成ONNs两种分类形式,进一步基于自由空间和片上集成中的不同光学元器件(图2)将ONNs细分为七种类型,并对基于不同光学元器件构建的ONNs的设计原理进行了介绍。

    非集成ONNs主要以体积较大的光学元器件来构建系统,包括基于透镜组的4f系统、空间光调制器(SLM)、数字微镜系统(DMD)、衍射超表面、偏振器、光放大器以及滤波器等光学元器件。集成ONNs则主要是基于片上马赫-曾德尔干涉仪(MZI)、微环谐振器(MRR)、调制器(PM/AM)、衰减器以及亚波长衍射器件等光学元器件来构建系统。

    现阶段,为了能够较好地解决可重构、非线性以及系统能耗的问题,非集成/集成ONNs中均有工作尝试引入相变材料、饱和吸收体等新型材料来进一步提升ONNs的推理及计算性能。文章对基于每一类不同光学元器件构建的ONNs的典型研究工作进行了详细介绍和评述。另外,文章中对不同类型ONNs的集成度、可重构性、非线性、可拓展性、稳定性、通用性等性能指标进行了对比分析,同时对计算容量和计算密度等定义进行了阐述和说明。

    现阶段ONNs在现实场景中的应用尚未成熟,在执行一些简单任务时也离不开电子硬件系统的辅助。根据文章对ONNs相关研究工作的总结和分析,不难发现ONNs主要在存储、非线性以及大规模可重构等方面仍然存在技术瓶颈。因此,短期内如果希望将ONNs推向真正的应用场景中,光电混合ONNs系统或许是一种潜在可行的方案。光电混合ONNs系统(图3)结合了光学和电子计算的优势,旨在利用当前ONNs的算力优势完成大部分算力任务,再搭配电子辅助电路进行ONNs的参数重构、非线性运算、数据存储及流控等,在实现更高算力、更低功耗的同时,也可保持其灵活性和可编程性。值得注意的是,光/电、电/光转化效率(能耗和速率)的优化未来也将成为提升光电混合ONNs系统性能的关键。

    现阶段ONNs发展时间尚短,仍然存在关键技术难题有待解决,因此要实现在各个领域的实际应用还需要一定的时间。尽管如此,ONNs已经在部分专用领域的应用场景中展开了尝试。如普林斯顿大学研究团队将片上集成ONNs应用于海底光纤链路的非线性补偿;剑桥大学研究团队基于光子深度学习开发了边缘计算架构;Lightmatter公司发布了Envise和Passge产品;Lightelligence公司发布了光子计算引擎(PACE)等。未来,通过对全光ONNs系统或混合ONNs系统架构的不断优化,有望推动全光ONNs或光电混合ONNs系统在更为广泛的实际场景中得到应用和发展。


  • 原文来源:https://www.nature.com/articles/s41377-024-01590-3
相关报告
  • 《前沿 | 光芯片-深度神经网络》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:胡思思
    • 发布时间:2024-12-09
    • 随着深度神经网络彻底改变了机器学习,能耗和吞吐量(throughput指单位时间内完成的指令数)正在成为互补金属氧化物半导体complementary metal–oxide–semiconductor (CMOS) 电子产品的基本限制。这激发了人工智能优化新硬件架构的研究,例如电子脉动阵列、忆阻器交叉阵列和光学加速器。光学系统以极高速率和效率,执行线性矩阵运算,激发了低延迟矩阵加速器和光电图像分类器的最新实验演示。然而,证明深度神经网络的相干、超低延迟光学处理,仍然是主要挑战之一。 近日,美国 麻省理工学院(Massachusetts Institute of Technology,MIT)Saumil Bandyopadhyay,Dirk Englund等,在Nature Photonics上发文,在可扩展光子集成电路中,实现了这样的光学系统,将用于矩阵代数和非线性激活函数的多个相干光学处理器单元,单片集成到单个芯片中。 实验表明,这种完全集成的相干光学神经网络架构,适用于具有六个神经元和三层的深度神经网络,可光学计算线性和非线性函数,延迟为410ps,从而开启了超快、直接处理光学信号的新应用。在这种系统上,实现了无反向传播的原位训练,在六类元音分类任务上,达到了92.5%准确率,这相当于在数字计算机上获得的准确率。 这项工作,为原位训练的理论建议,提供了实验证据,使训练数据的吞吐量提高了几个数量级。完全集成的相干光学神经网络,实现了以纳秒延迟和每操作毫微微焦耳能量效率进行推理。 图1: 完全集成相干光学神经网络fully integrated coherent optical neural network ,FICONN架构 图2: 光子集成电路photonic integrated circuit,PIC 图3: 非线性激活函数单元nonlinear optical function unit,NOFU 图4: 无反向传播的原位训练
  • 《前沿 | 可编程超表面-光子神经网络PNN》

    • 来源专题:光电情报网信息监测服务平台
    • 编译者:胡思思
    • 发布时间:2025-05-16
    • 光子神经网络Photonic neural networks (PNNs)具有光子系统固有的优点(例如高并行性和低功耗),有望在能量效率、延迟和高通量方面,挑战传统的数字神经网络。然而,生产可扩展的光子人工智能artificial intelligence (AI)解决方案,仍然具有挑战性。为了使光子AI模型可行,需要解决可扩展性问题。只有当光学计算的优势超过输入-输出开销的成本时,基于光子神经网络PNN的大型光学AI模型,才具有商业可行性。 近日,科罗拉多矿业大学 (Colorado School of Mines)Loubnan Abou-Hamdan, Emil Marinov,Patrice Genevet等,在Nature Reviews Physics上发表评述文章,讨论了场可编程超表面field-programmable metasurface技术,如休成为实现可扩展光子AI加速器的关键硬件要素,以及其与当前的数字电子技术竞争。 可编程性或可重构性是光子神经网络PNN硬件的关键组件,支持原位训练和适应所需微调或迁移学习的非固定用例。协同集成电子、3D堆叠和大规模制造超表面技术,将显著提高光子神经网络PNN的可扩展性和功能。可编程超表面,可以解决光子神经网络PNN当前面临的一些挑战,并支持下一代光子AI技术。 图1:用于光学计算的可编程超表面技术 图2:自由空间光子神经网络中,训练方案示意图