杨教授的团队生成对抗性网络(GANs)被广泛用于通过学习真实样本的分布来合成复杂而真实的数据。然而,GANs面临的一个重大挑战是模式崩溃,其中生成的样本的多样性明显低于真实样本。GANs及其训练过程的复杂性很难揭示其模式崩溃的潜在机制。
中国科学院(CAS)中国科学技术大学(USTC)杨周旺教授领导的一个研究小组对模式崩溃的根本原因进行了深入调查,并提出了一个新的框架——动态GAN(DynGAN),以定量检测和解决GAN中的模式崩溃。他们的论文发表在《IEEE模式分析与机器智能汇刊》上。通过理论分析,研究小组发现,当实际数据中存在多种模式时,发电机损失函数相对于其参数是非凸的。具体而言,导致生成的分布仅覆盖真实分布的一部分模式的参数是发电机损失函数的局部极小值。为了解决模式崩溃的问题,该团队提出了一个统一的框架DynGAN。该框架可以在可观察鉴别器输出上建立阈值,以检测生成器未能生成的样本,称为折叠样本。基于折叠样本对训练集进行分割,然后在分割上训练动态条件生成模型。理论结果保证了DynGAN的渐进模式覆盖。在合成和真实世界数据集上的实验结果表明,DynGAN在解决地址模式崩溃方面超过了现有的GAN及其变体。这项研究不仅推进了对GAN的理论理解,而且为提高生成模型的模式覆盖率提供了一个至关重要的实施策略。