采用基于混合专家模型的生成式对抗网络的图像生成方法

本发明涉及一种采用基于混合专家模型的生成式对抗网络的图像生成方法，属于图像分类。

背景技术：

1、随着深度学习的发展，图像分类技术被应用至越来越多的领域中，比如无人驾驶、工业检测、医疗影像分析、安防监控等等。分类精度是反映分类模型在给定任务上正确分类样本能力的一个重要指标，在分类模型结构确定的前提下，用于训练的数据质量越好，分类精度会越高，然而，使用人工标记来获得充足和平衡的数据集总是昂贵的，且可能常会遇到图像数量少、质量差和类别不均衡的情形。例如，天气图像是一种典型的数据不足、标签类别分布不均衡的情况。一方面，获得的训练数据集的多样性和数量有限；另一方面，在训练集中，某些类别的天气图像相较于其他类别较为稀少，且某些图像（比如雨天和雪天）差别较为细微。基于这两方面的原因，很难给出一致且正确的标签或分类，这给图像识别及分类任务带来了极大的困难；另外图像数据的质量和数量也极大的影响了深度学习模型的泛化能力。

2、为了解决上述问题，可以采用图像生成技术以现有的图像为基础生成新的图像，一种有效的图像生成方法能够根据现有数据生成新的样本进行数据集扩充、数据质量增加，可以克服数据不足和标签分布不平衡的问题，从而提高模型的泛化能力，增加了样本的多样性；同时，将生成的图像用于分类模型中，也可以提高分类精度。

3、图像生成技术通常是利用神经网络来生成新的图像，现有的图像生成方法分为两大类，一类是基于无监督表征学习模型vq-vae实现，该模型结合了向量量化和变分自编码器，通过向量量化步骤，将连续的潜在表示转换为离散的代码本索引，减少了重构误差并提高了图像生成质量，但其训练过程涉及到额外的向量量化步骤和代码本的学习，特别是在处理大规模数据集时，需要较长的训练时间来优化，模型的复杂度和计算开销较大。另一类则是基于生成对抗网络实现，比如，公开号为cn112598034a的中国专利公开了一种基于生成式对抗网络的矿石图像生成方法和计算机可读存储介质，发明人在原始gan生成器结构中加入了条件标签信息，条件变量的引入为生成器和判别器提供了额外的信息，可以生成符合特定条件或标签的样本，达到数据集的扩充效果。上述方法中尽管条件生成对抗网络（cgan）通过引入条件变量来控制生成过程，但生成的图像有时仍然会存在边缘模糊和分辨率低的问题，而且采用引入条件变量的方式，如果条件变量选择不当或设计不合理，可能会导致生成结果的质量下降或无法达到预期的效果。公开号为cn117252939a的中国专利公开了一种由深度可分离卷积生成式对抗神经网络生成人脸的方法，发明人在深度卷积生成式对抗网络 (dcgan）的基础上加入了深度可分离卷积模块，用来更加高效地生成图像。通过这种方法，虽然可以有效减少模型的计算量和参数数量，但伴随而来的是模型的整体复杂度增加，进而引起训练时间的延长，尤其是在处理大规模数据集时，这一现象更为显著。公开号为cn113139916a的中国专利公开了一种基于生成式对抗网络的水下声呐仿真图像生成和数据扩充方法，发明人在生成式对抗网络中构建了梯度惩罚项，解决了训练过程中梯度消失和梯度骤变问题带来的图像质量差的问题，并通过在网络中增设采样卷积层的方式来实现图像分辨率的提升。然而这个模型由于包含了多个超参数（如梯度惩罚系数、学习率等），这些超参数需要通过实验来找到最优值，这增加了模型调参的复杂性和难度。

技术实现思路

1、为了解决因为图像数据量不足、标签分类不平衡导致的图像分类精度不高的问题，本发明提供了一种采用基于混合专家模型的生成式对抗网络的图像生成方法，通过生成高质量的图像数据训练分类模型，从而提高图像分类精度。该方法通过设计基于混合专家模型的生成式对抗网络，构建了一个新型深度学习模型，此模型利用多个专家网络对应生成图像的不同部分或特征，并通过门控网络动态选择最合适的专家输出，从而生成高质量、多样化的图像。

2、一种采用基于混合专家模型的生成式对抗网络的图像生成方法，包括：

3、1）构建混合专家模型（moe）：该模型由多个专家网络、一个门控网络组成。每个专家网络是独立的卷积神经网络，用于生成图像的不同部分或特征。门控网络为一个轻量级神经网络结构，用于动态选择最合适的专家生成器输出；

4、2）集成moe到gan中：将moe模型作为gan的生成器（generator, g）。在生成过程中，输入噪声（或条件信息）首先经过门控网络，根据输入特征动态选择并加权不同的专家网络。每个专家网络根据门控网络为其分配的权重和接收的输入噪声，独立地生成部分输出，这些部分输出根据其对应的权重被加权平均组合成最终的生成样本；

5、3）优化训练过程：通过交替训练生成器和判别器，同时优化moe模型的门控网络和专家网络参数。在训练过程中，采用梯度下降法优化算法，使得生成器能够逐步逼近真实数据分布，同时判别器能够不断提升其判别能力。

6、一种混合专家模型的生成式对抗网络图像生成方法，包括以下步骤：

7、s1.构建训练数据样本集；

8、s2.对样本数据进行预处理；

9、s3.构建混合专家模型：设计多个专家网络和一个门控机制网络。每个专家网络负责处理不同类型的特征或任务，门控网络则根据输入的特征或噪声动态选择和调整每个专家网络的贡献；

10、s4.构建生成式对抗网络：设计与混合专家模型相融合的生成器网络，并同时设计判别器网络；

11、s5.交替训练生成网络和判别网络，在训练过程中，根据生成的图像质量和判别器的反馈调整专家网络的权重和门控网络的参数，直到达到收敛条件或预设的迭代次数；

12、s6.在训练完成后，使用混合专家模型的生成式对抗网络中的生成器部分来生成新的图像。

13、在一种实现方式中，生成器网络模型的损失函数为：

14、

15、其中，是生成器的总损失函数，是对抗损失项，是专家网络损失项，是门控网络损失项，是专家平衡损失项，是相应的权重系数，用于平衡不同损失项的重要性。

16、

17、

18、

19、

20、对抗损失项中，是生成器，是判别器，是从先验噪声分布中采样的噪声向量；

21、专家网络损失项中，是专家网络的数量，是第个专家网络，是第个专家网络的损失函数，是第个专家网络对应的权重系数；

22、门控网络损失项中，是门控网络为第个专家网络分配的权重系数；

23、专家平衡损失项中，是用于平衡各个专家网络的权重系数，是专家网络的数量，表示l2范数。

24、在一种实现方式中，判别器网络模型依此包括输入层、三个卷积块、第一dropout层、展平层、第一全连接层、leaky relu激活层、第二dropout层、第二全连接层、sigmoid激活层和输出层，每个卷积块由卷积层、leaky relu激活层和归一化层构成。

25、在一种实现方式中，判别器网络模型的损失函数为：

26、

27、其中，是判别器的总损失函数，是真实样本损失项，是生成样本损失项。

28、

29、

30、真实样本损失项中，是真实数据，表示真实数据的概率分布，是判别器对真实样本的输出；

31、生成样本损失项中，是从先验噪声分布中采样的噪声向量；是生成器根据噪声生成的图像，是判别器对生成图像的输出。

32、在一种实现方式中，若数据样本为多模态数据，则所述步骤2还包括对多模态数据进行融合，融合方法包括：

33、步骤s1，对多模态数据进行数据清洗，所述多模态数据包括图像数据、文本数据、音频数据；

34、步骤s2，对文本数据进行分词、编码、嵌入处理，转换为数值表示，对音频数据需要进行采样、滤波、特征提取处理；

35、步骤s3，构建多模态数据融合网络，生成多模态融合数据。

36、在一种实现方式中，所述多模态数据融合网络包括用于提取图像特征的轻量化卷积神经网络和分别用于提取文本和音频特征的两个轻量级循环神经网络；所述用于提取图像特征的轻量化卷积神经网络依次包括原始图像输入层、卷积层、深度卷积层、全局平均池化层、全连接输出层，其中深度卷积层包括逐点卷积层、归一化层和relu6激活函数；所述用于提取文本特征的轻量级循环神经网络依次包括嵌入层、rnn层、双向rnn层、合并层、第一全连接层、第二全连接层、输出层；所述用于提取音频特征的轻量级循环神经网络依次包括卷积层、池化层、rnn层、第一全连接层、第二全连接层、输出层。

37、本发明的第二个目的在于提供一种图像分类方法，利用上述方法生成新的图像数据以对训练数据集进行扩充。

38、本发明有益效果是：

39、通过设计基于混合专家模型的生成式对抗网络，实现对生成过程的更精细控制和更高效的参数利用。本发明方法中混合专家模型由多个专家网络组成，每个专家网络负责处理输入数据的不同部分或特征，并通过一个门控机制来动态地调整各个专家的参与程度，确保生成的数据不仅质量高，而且能够充分利用每个专家网络的专长，从而提高整体生成效率和模型的生成能力。这种集成不仅提高了生成图像的质量和多样性，还增强了模型对复杂数据分布的学习能力。此外，本发明还引入了一种新的损失函数，该函数不仅考虑了生成图像与真实图像之间的相似度，还考虑了专家网络之间的协作和平衡，进一步优化了生成对抗网络的训练过程，进而提高了图像生成质量，提高了图像分类精度。进一步的，本技术方法还设计了多模态数据融合网络，能够基于图像、文本、音频等不同模态的数据的信息生成新的图像，而且多模态数据融合与混合专家模型（moe）的结合能够提升模型对于缺失或噪声数据的鲁棒性，因为该架构能够利用不同模态间的互补信息进行相互补偿，通过动态调整专家网络的权重来优先考虑质量较高的数据，并借助冗余表示和跨模态验证来增强模型的泛化能力和错误容忍度，从而在面对不完整或不准确的数据时，依然能够做出准确的预测和决策。