《变分自回归神经网络求解统计力学研究取得进展》

  • 来源专题:中国科学院亮点监测
  • 编译者: yanyf@mail.las.ac.cn
  • 发布时间:2019-03-30
  • 如何准确地计算多粒子系统的自由能、热力学量,以及给出系统的无偏采样,是统计物理的核心问题之一。自上世纪初以来,统计物理学家建立了各种各样的理论和方法来处理此类问题,其中包括马尔科夫链蒙特卡洛、张量网络、重整化群、平均场近似及消息传递算法等。在实际应用中,这些方法各有其优劣:MCMC擅长采样玻尔兹曼分布,然而很难计算系统的熵和自由能;张量网络方法和重整化群被广泛用于计算配分函数和自由能,但是一般只适用于格点系统;平均场近似及相关的消息传递算法可以高效地给出系统的变分自由能,然而需要在较高的温度下,或者系统拓扑结构满足平均场近似的要求。

      从更广角度看,统计物理的基本问题和机器学习中的非监督学习具有天然的联系:统计物理中的玻尔兹曼分布对应于贝叶斯推断的后验概率;最小化自由能原理等价于变分推断;寻找统计物理系统的基态等价于最大似然学习等。那么一个自然的想法是,可不可以用近年来快速发展的深度学习方法来推动统计物理的核心问题的进展?

      近年来,中国科学院理论物理研究所研究员张潘课题组致力于探索统计物理与机器学习的交叉领域,并在近期取得新进展。张潘与合作者中国科学院物理研究所研究员王磊以及北京大学本科生吴典,合作提出了一个应用于统计力学问题的计算方法——变分自回归神经网络(Variational Autoregressive Networks)。这个框架拓展了传统意义上的平均场方法,用自回归神经网络构建变分的概率分布,并通过强化学习的方法训练网络,进而可以同时计算系统的自由能上界,测量系统的能量、熵及各种热力学量,并直接无偏地对系统采样。张潘和合作者们将此方法成功地应用于伊辛模型、自旋玻璃以及统计物理反问题中。相关论文发表于《物理评论快报》(Phys. Rev. Lett. 122, 080602),并被选为编辑推荐文章。

      此工作得到中国科学院前沿重点项目“统计物理平均场理论在统计推断与机器学习中的应用”(项目编号:QYZDB-SSW-SYS032)以及国家自然科学基金委理论物理专款“彭桓武理论物理创新研究中心”的支持。

相关报告
  • 《Cell | 任务驱动的神经网络模型预测本体感觉的神经动力学》

    • 来源专题:战略生物资源
    • 编译者:李康音
    • 发布时间:2024-03-28
    • 2024年3月21日,洛桑联邦理工学院的 Alexander Mathis 团队在国际顶尖学术期刊 Cell 上发表了题为Task-driven neural network models predict neural dynamics of proprioception 的研究论文。 你的大脑如何知道身体不同部位的位置和运动?这种感觉被称为本体感觉,它类似于“第六感”,让我们能够自由移动,而无需不断地盯着我们的四肢。本体感觉涉及到嵌入在我们肌肉中的复杂传感器网络,将肢体位置和运动信息传递回我们的大脑。然而,我们对大脑如何整合从肌肉接收到的不同信号知之甚少。该研究通过探索我们的大脑如何创造身体位置和运动的连贯感,为大脑如何实现本体感觉(第六感)提供了新解释。 论文通讯作者 Alexander Mathis 表示,人们普遍认为,感官系统应该利用统计学,这一理论可以解释视觉和听觉系统的许多特性,为了将这一理论推广到本体感觉,我们使用肌肉骨骼模拟器来计算分布式传感器的统计数据。 研究团队使用这种肌肉骨骼建模来生成上肢的肌肉纺锤信号,以生成“大规模、自然的运动指令”的集合。然后,他们使用这个指令在16个计算任务上训练了数千个“任务驱动”的神经网络模型,每个任务都反映了关于本体感觉通路进行计算的科学假设,其中包括脑干和体感皮层的部分。该方法使研究团队能够全面分析不同的神经网络架构和计算任务如何影响本体感觉信息的“类脑”表征的发展。 研究团队发现,在预测肢体位置和速度的任务上训练的神经网络模型是最有效的,这表明我们的大脑优先整合分布式肌肉纺锤体的输入来理解身体运动和位置。 该研究强调了任务驱动建模在神经科学中的潜力。与传统方法不同,任务驱动模型可以提供对感官处理潜在计算原理的见解。
  • 《 Nature | 通过元学习神经网络实现类人系统化概括》

    • 来源专题:战略生物资源
    • 编译者:李康音
    • 发布时间:2023-10-30
    • 本文内容转载自“生物世界”微信公众号。原文链接:https://mp.weixin.qq.com/s/rCq0VCwwya6fqaUOylvGOw 2023年10月25日,纽约大学的 Brenden Lake 和西班牙加泰罗尼亚研究所的 Marco Baroni 在国际顶尖学术期刊 Nature 上发表了题为Human-like systematic generalization through a meta-learning neural network 的研究论文。 该研究创造了一个神经网络,该人工智能(AI)系统在将新学到的单词添加到现有的词汇表中并在新的上下文中使用它们的能力,超越了ChatGPT,表现与人类相当,而这一能力正是人类认知能力的关键——系统泛化。 这项研究研究结果挑战了一个已经存在35年的经典观点,还可能实现比当今最好的AI系统更自然的人机对话。尽管ChatGPT等基于大语言模型的AI系在许多情况下都擅长对话,但在其他情况下却表现出明显的差距和不一致性。 该研究开发的神经网络具有类似人类的表现,表明了人类在训练网络系统化的能力方面取得了突破性进展。