登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《Nature Communications | 利用双神经元光学人工学习训练大规模光电神经网络》

  • 来源专题：战略生物资源
  • 编译者： 李康音
  • 发布时间：2023-11-07

  • 本文内容转载自“ AI Energy”微信公众号。原文链接: https://mp.weixin.qq.com/s/A8t1cJLwc4WsqD8Fz-cSSQ

    2023年11月4日，北京国家信息科学与技术研究中心，清华大学和清华大学深圳国际研究生院的研究人员在Nature Communications杂志发表了一篇题为Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning的论文。

    光电神经网络（Optoelectronic neural networks,ONN）在并行化、功率效率和速度方面具有潜力，是人工智能计算领域的一个前景广阔的途径。衍射神经网络通过训练有素的光学元件传播编码光来处理信息，因而备受关注。然而，由于光学衍射建模的计算和内存成本，大规模衍射网络的训练面临挑战。

    该研究提出了双神经元光学人工学习架构 DANTE。光学神经元为光学衍射建模，而人工神经元则用轻量级函数来近似密集的光学衍射计算。DANTE 还通过迭代全局人工学习步骤和局部光学学习步骤来提高收敛性。在模拟实验中，DANTE 成功地在 ImageNet 上训练了 1.5 亿个神经元的大规模 ONNs，这在以前是无法实现的，与单神经元学习相比，DANTE 在 CIFAR-10 基准上显著加快了训练速度。在物理实验中，本该研究开发了基于DANTE的双层ONN系统，它能有效地提取特征，提高自然图像的分类能力。

  • 原文来源：https://www.nature.com/articles/s41467-023-42984-y
282浏览量
原文链接
相关报告

  • 《 Nature | 通过元学习神经网络实现类人系统化概括》
    • 来源专题：战略生物资源
    • 编译者：李康音
    • 发布时间：2023-10-26
    • 本文内容转载自“生物世界”微信公众号。原文链接:https://mp.weixin.qq.com/s/rCq0VCwwya6fqaUOylvGOw 2023年10月25日，纽约大学的 Brenden Lake 和西班牙加泰罗尼亚研究所的 Marco Baroni 在国际顶尖学术期刊 Nature 上发表了题为Human-like systematic generalization through a meta-learning neural network 的研究论文。 该研究创造了一个神经网络，该人工智能（AI）系统在将新学到的单词添加到现有的词汇表中并在新的上下文中使用它们的能力，超越了ChatGPT，表现与人类相当，而这一能力正是人类认知能力的关键——系统泛化。 这项研究研究结果挑战了一个已经存在35年的经典观点，还可能实现比当今最好的AI系统更自然的人机对话。尽管ChatGPT等基于大语言模型的AI系在许多情况下都擅长对话，但在其他情况下却表现出明显的差距和不一致性。 该研究开发的神经网络具有类似人类的表现，表明了人类在训练网络系统化的能力方面取得了突破性进展。
    292浏览量
    原文链接

  • 《前沿 | 光芯片-深度神经网络》
    • 来源专题：光电情报网信息监测服务平台
    • 编译者：胡思思
    • 发布时间：2024-12-09
    • 随着深度神经网络彻底改变了机器学习，能耗和吞吐量(throughput指单位时间内完成的指令数)正在成为互补金属氧化物半导体complementary metal–oxide–semiconductor (CMOS) 电子产品的基本限制。这激发了人工智能优化新硬件架构的研究，例如电子脉动阵列、忆阻器交叉阵列和光学加速器。光学系统以极高速率和效率，执行线性矩阵运算，激发了低延迟矩阵加速器和光电图像分类器的最新实验演示。然而，证明深度神经网络的相干、超低延迟光学处理，仍然是主要挑战之一。 近日，美国 麻省理工学院（Massachusetts Institute of Technology，MIT）Saumil Bandyopadhyay，Dirk Englund等，在Nature Photonics上发文，在可扩展光子集成电路中，实现了这样的光学系统，将用于矩阵代数和非线性激活函数的多个相干光学处理器单元，单片集成到单个芯片中。 实验表明，这种完全集成的相干光学神经网络架构，适用于具有六个神经元和三层的深度神经网络，可光学计算线性和非线性函数，延迟为410ps，从而开启了超快、直接处理光学信号的新应用。在这种系统上，实现了无反向传播的原位训练，在六类元音分类任务上，达到了92.5%准确率，这相当于在数字计算机上获得的准确率。 这项工作，为原位训练的理论建议，提供了实验证据，使训练数据的吞吐量提高了几个数量级。完全集成的相干光学神经网络，实现了以纳秒延迟和每操作毫微微焦耳能量效率进行推理。 图1: 完全集成相干光学神经网络fully integrated coherent optical neural network ，FICONN架构 图2: 光子集成电路photonic integrated circuit，PIC 图3: 非线性激活函数单元nonlinear optical function unit，NOFU 图4: 无反向传播的原位训练
    255浏览量
    原文链接