《Nature Communications | 利用双神经元光学人工学习训练大规模光电神经网络》

  • 来源专题:战略生物资源
  • 编译者: 李康音
  • 发布时间:2023-12-04
  • 本文内容转载自“ AI Energy”微信公众号。原文链接: https://mp.weixin.qq.com/s/A8t1cJLwc4WsqD8Fz-cSSQ

    2023年11月4日,北京国家信息科学与技术研究中心,清华大学和清华大学深圳国际研究生院的研究人员在Nature Communications杂志发表了一篇题为Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning的论文。

    光电神经网络(Optoelectronic neural networks,ONN)在并行化、功率效率和速度方面具有潜力,是人工智能计算领域的一个前景广阔的途径。衍射神经网络通过训练有素的光学元件传播编码光来处理信息,因而备受关注。然而,由于光学衍射建模的计算和内存成本,大规模衍射网络的训练面临挑战。

    该研究提出了双神经元光学人工学习架构 DANTE。光学神经元为光学衍射建模,而人工神经元则用轻量级函数来近似密集的光学衍射计算。DANTE 还通过迭代全局人工学习步骤和局部光学学习步骤来提高收敛性。在模拟实验中,DANTE 成功地在 ImageNet 上训练了 1.5 亿个神经元的大规模 ONNs,这在以前是无法实现的,与单神经元学习相比,DANTE 在 CIFAR-10 基准上显著加快了训练速度。在物理实验中,本该研究开发了基于DANTE的双层ONN系统,它能有效地提取特征,提高自然图像的分类能力。

相关报告
  • 《 Nature | 通过元学习神经网络实现类人系统化概括》

    • 来源专题:战略生物资源
    • 编译者:李康音
    • 发布时间:2023-10-30
    • 本文内容转载自“生物世界”微信公众号。原文链接:https://mp.weixin.qq.com/s/rCq0VCwwya6fqaUOylvGOw 2023年10月25日,纽约大学的 Brenden Lake 和西班牙加泰罗尼亚研究所的 Marco Baroni 在国际顶尖学术期刊 Nature 上发表了题为Human-like systematic generalization through a meta-learning neural network 的研究论文。 该研究创造了一个神经网络,该人工智能(AI)系统在将新学到的单词添加到现有的词汇表中并在新的上下文中使用它们的能力,超越了ChatGPT,表现与人类相当,而这一能力正是人类认知能力的关键——系统泛化。 这项研究研究结果挑战了一个已经存在35年的经典观点,还可能实现比当今最好的AI系统更自然的人机对话。尽管ChatGPT等基于大语言模型的AI系在许多情况下都擅长对话,但在其他情况下却表现出明显的差距和不一致性。 该研究开发的神经网络具有类似人类的表现,表明了人类在训练网络系统化的能力方面取得了突破性进展。
  • 《Cell | 任务驱动的神经网络模型预测本体感觉的神经动力学》

    • 来源专题:战略生物资源
    • 编译者:李康音
    • 发布时间:2024-03-28
    • 2024年3月21日,洛桑联邦理工学院的 Alexander Mathis 团队在国际顶尖学术期刊 Cell 上发表了题为Task-driven neural network models predict neural dynamics of proprioception 的研究论文。 你的大脑如何知道身体不同部位的位置和运动?这种感觉被称为本体感觉,它类似于“第六感”,让我们能够自由移动,而无需不断地盯着我们的四肢。本体感觉涉及到嵌入在我们肌肉中的复杂传感器网络,将肢体位置和运动信息传递回我们的大脑。然而,我们对大脑如何整合从肌肉接收到的不同信号知之甚少。该研究通过探索我们的大脑如何创造身体位置和运动的连贯感,为大脑如何实现本体感觉(第六感)提供了新解释。 论文通讯作者 Alexander Mathis 表示,人们普遍认为,感官系统应该利用统计学,这一理论可以解释视觉和听觉系统的许多特性,为了将这一理论推广到本体感觉,我们使用肌肉骨骼模拟器来计算分布式传感器的统计数据。 研究团队使用这种肌肉骨骼建模来生成上肢的肌肉纺锤信号,以生成“大规模、自然的运动指令”的集合。然后,他们使用这个指令在16个计算任务上训练了数千个“任务驱动”的神经网络模型,每个任务都反映了关于本体感觉通路进行计算的科学假设,其中包括脑干和体感皮层的部分。该方法使研究团队能够全面分析不同的神经网络架构和计算任务如何影响本体感觉信息的“类脑”表征的发展。 研究团队发现,在预测肢体位置和速度的任务上训练的神经网络模型是最有效的,这表明我们的大脑优先整合分布式肌肉纺锤体的输入来理解身体运动和位置。 该研究强调了任务驱动建模在神经科学中的潜力。与传统方法不同,任务驱动模型可以提供对感官处理潜在计算原理的见解。