近日,第39届神经信息处理系统大会(NeurIPS 2025)公布了录用论文名单,上海电力大学副教授杜海舟团队的论文《FedFree:Breaking Knowledge-sharing Barriers through Layer-wise Alignment in Heterogeneous Federated Learning》成功入选,这是该团队连续第二年在NeurIPS上发表分布式机器学习领域的研究成果。
在异构分布式机器学习中,异构模型训练难以聚合收敛是一个核心瓶颈问题。现有方法通常依赖代理数据或模型压缩,容易带来隐私风险与知识传递不完整的问题。针对这一挑战,研究团队提出了新的框架FedFree,通过逐层知识对齐机制,实现跨异构模型的数据无关知识共享。
具体而言,FedFree设计了逆向分层知识迁移机制与知识增益熵(KGE)指标,在保证隐私安全的前提下,有效缓解细粒度知识丢失问题,实现了跨异构设备的高效知识共享。 理论分析与实验结果表明,FedFree不仅实现了严格的收敛性保证,而且在计算机视觉典型数据集上显著优于现有方法,最高精度提升超过46%。研究团队表示,这一成果应用场景广阔,为构建面向大模型时代的高效、安全、普适的分布式智能系统提供了新路径。例如,在基于无人机群的电力线路巡检领域,FedFree框架的数据隐私保护特性能够有效提升异构识别模型的整体性能;在边缘计算场景中,该框架不仅提升了异构设备间的协同建模能力,还打破了设备之间的知识共享壁垒,为边缘智能与隐私计算的深度融合提供了新方法。此外,FedFree框架也为生成式人工智能时代的大小模型协同工作提供了新思路。