《“太极-Ⅱ”光芯片首次实现大规模光训练》

  • 来源专题:能源情报网监测服务平台
  • 编译者: 郭楷模
  • 发布时间:2024-08-08
  • 科技日报北京8月7日电 (记者华凌)记者7日从清华大学获悉,该校电子系方璐教授课题组与自动化系戴琼海教授课题组在智能光芯片领域取得重大进展。他们首创全前向智能光计算训练架构,研制出“太极-Ⅱ”光芯片,实现了大规模神经网络的原位光训练,为人工智能(AI)大模型探索了光训练的新路径。相关成果在线发表于最新一期国际学术期刊《自然》。

    AI大模型的迅猛发展和广泛应用,使算力成为关键的战略资源。智能光计算凭借高算力、低能耗的优势,在后摩尔时代展现出巨大潜力。训练和推理,是AI大模型核心能力的两大基石。此前,智能光芯片“太极”的问世,为大规模复杂任务的“推理”带来了曙光,但未能释放光计算的“训练之能”。现有光神经网络的训练严重依赖GPU离线建模,并要求高度匹配的前向-反向传播模型。这对光计算系统的精准对齐提出苛刻要求,致使梯度计算难、训练规模小,禁锢了光计算的优势。

    “与现有训练范式不同,我们摒弃了反向传播,另辟蹊径,构建了光神经网络的对称传播模型,仅用光学系统的前向传播即可实现高效高精度光训练。”方璐告诉科技日报记者。

    据介绍,“太极-Ⅱ”的面世,填补了智能光计算在大规模神经网络训练这一核心领域的空白。除了加速AI模型训练外,其还在高性能智能成像、高效解析拓扑光子系统等方面表现出卓越性能,为人工智能大模型、通用人工智能、复杂智能系统的高效精准训练开辟了新路径。

  • 原文来源:https://www.cnenergynews.cn/kejizhuangbei/2024/08/08/detail_20240808171475.html
相关报告
  • 《清华大学研制大规模干涉-衍射异构集成AI 光芯片 “太极(Taichi)”》

    • 来源专题:集成电路
    • 发布时间:2024-04-16
    • 作为近年来新兴的计算模态,智能光计算具备高速、低功耗等特性,在后摩尔时代拥有超越硅基电子计算的潜力,可以突破性解决人工智能领域的算力与功耗难题。 光芯片具备高速高并行计算优势,被寄予希望用来支撑大模型等先进人工智能应用。如何制造出兼具大算力和高能效的下一代 AI 芯片已成为国际前沿热点。 针对大规模光电智能计算难题,清华大学研究团队摒弃传统电子深度计算范式,首创分布式广度光计算架构,研制大规模干涉-衍射异构集成芯片太极(Taichi),实现了具备 879 T MACS/mm^2 的面积效率与 160 TOPS/W 的能量效率的通用智能计算。 相异于电子神经网络依赖网络深度以实现复杂的计算与功能,“太极” 光芯片架构源自光计算独特的全连接与高并行属性,化深度计算为分布式广度计算,为实现规模易扩展、计算高并行、系统强鲁棒的通用智能光计算探索了新路径。 清华大学团队在实验环境下,实现了片上(on-chip)1396 万光神经网络(ONN),可用于复杂的自然场景千类对象识别、跨模态内容生成等人工智能复杂任务。太极光芯片的计算能效超现有智能芯片2—3个数量级,将可为百亿像素大场景光速智能分析、百亿参数大模型训练推理、毫瓦级低功耗自主智能无人系统提供算力支撑。  该研究成果发表于《科学》期刊上,论文下载链接: https://www.science.org/doi/pdf/10.1126/science.adl1203
  • 《我国科学家取得智能光芯片研究新进展》

    • 来源专题:能源情报网监测服务平台
    • 编译者:郭楷模
    • 发布时间:2024-08-12
    • 清华大学电子工程系方璐教授课题组和自动化系戴琼海院士课题组日前实现了光计算系统大规模神经网络的高效精准训练。该研究成果以“光神经网络全前向训练”为题,于北京时间8月7日晚在线发表于《自然》期刊。 人工智能大模型的迅猛发展与广泛应用,使得算力成为重大的战略抓手与基础设施。长期以来电子芯片的算力增长支撑着AI模型规模的不断发展,然而其高能耗亦带来了前所未有的能源挑战,新兴计算范式的建立与发展迫在眉睫。以光为计算媒介,以光的可控传播构建计算模型,光计算以其高算力低能耗特性打开了智能计算的新赛道,在后摩尔时代展现出巨大的潜力。 训练和推理是AI大模型核心能力的两大基石,缺一不可。相较于推理而言,模型训练对算力更为急需,然而电训练架构要求前向-反向传播模型高度匹配,这对光计算物理系统的精准对齐提出了苛刻的要求,致使梯度计算难、离线建模慢、映射误差大,极大地禁锢了光训练的规模与效率。 清华大学电子工程系方璐教授课题组、自动化系戴琼海教授课题组构建了光子传播对称性模型,摒弃了电训练反向传播范式,首创了全前向智能光计算训练架构,研制了通用光训练芯片“太极-II”,摆脱了对离线训练的依赖,支撑智能系统的高效精准光训练。“太极-II”的面世,填补了智能光计算在大规模训练这一核心拼图的空白。