一种基于深度学习的文生图扩散模型的训练方法

本发明涉及人工智能，具体为一种基于深度学习的文生图扩散模型的训练方法。

背景技术：

1、在图像生成领域，近年来基于深度学习的方法取得了显著的进展，文生图text-to-image生成技术是一种通过输入文本描述生成相应图像的技术，这一技术在许多应用领域具有重要价值，如自动图像生成、内容创作和虚拟现实等。然而，现有的文生图生成技术在实际应用中仍面临诸多挑战，因此，一种基于深度学习的文生图扩散模型的训练方法便应运而生。

2、现有技术如公告号为：cn116051668b的发明专利申请公开的文生图扩散模型的训练方法和基于文本的图像生成方法，步骤为：由文生图扩散模型根据样本文本对加噪样本图像进行降噪处理，生成降噪样本图像；根据降噪样本图像的第一表示向量和样本文本的第二表示向量，得到第一文图对齐分数，并基于第一文图对齐分数从当前批次的训练样本中选取第一训练样本；根据第一训练样本中样本文本的原始样本图像和降噪样本图像，确定文生图扩散模型的第一损失函数，并基于第一损失函数，对文生图扩散模型进行调整；使用下一批次的训练样本继续训练，直至训练结束得到目标文生图扩散模型，提高了文生图扩散模型的训练精度。

3、基于上述方案发现，现有技术存在的局限至少包括如下问题，首先，在降噪处理方面存在不足，容易导致生成图像质量较差，并且文图对齐分数不准确，影响模型的训练效果，同时对于难样本筛选不充分，从而容易导致模型对复杂样本的学习效果不佳，且模型参数调整缺乏灵活性和有效性，影响最终表现。

技术实现思路

1、本发明针对现有技术中存在的技术问题，提供了一种基于深度学习的文生图扩散模型的训练方法，解决了的问题。

2、本发明解决上述技术问题的技术方案如下：一种基于深度学习的文生图扩散模型的训练方法，包括以下步骤：获取文本训练数据、图像训练数据以及联合训练数据；基于文本训练数据和图像训练数据分别对文生图扩散模型进行阶段预训练，包括文本阶段预训练和图像阶段预训练；基于联合训练数据对阶段预训练后的文生图扩散模型进进行联合训练，并对每次联合训练结果进行评估调整，直至文生图扩散模型符合预期标准。

3、进一步地，所述文本训练数据具体为用于训练文生图扩散模型中的文本编码器的若干个文本信息以及对应的文本语义向量，所述图像训练数据具体为用于训练文生图扩散模型中的图像生成器的若干个文本语义向量以及对应的文本语义图像数据，所述联合训练数据具体为若干个文本信息以及对应的文本图像数据。

4、进一步地，所述文生图扩散模型中的文本编码器具体为bert模型，基于文本训练数据对文生图扩散模型进行文本阶段预训练的具体过程如下：读取用于训练文生图扩散模型中的文本编码器的若干个文本信息并进行预处理；基于预处理后的若干个文本信息以及对应的文本语义向量建立文本信息数据集，并划分为文本信息训练集和文本信息验证集；将文本信息训练集划分为若干个批次训练集，并且每个批次训练集均包含若干个文本信息；在bert模型中对每个批次训练集进行前向传播处理，得到每个批次训练集中每个文本信息的cls向量，并计算文本损失函数；对bert模型进行迭代训练，基于反向传播算法和文本信息验证集评估bert模型每次训练结果，并根据验证结果调节模型参数，直至模型预测的文本信息的cls向量符合对应的文本语义向量。

5、进一步地，所述文本损失函数具体采用余弦相似度公式进行计算，其具体公式如下：其中，l为文本损失函数，clsij为第i个批次训练集中的第j个文本信息的cls向量，wyij为第i个批次训练集中的第j个文本信息对应的文本语义向量，i＝1,2,3,…,n，n为划分的批次训练集的个数，j＝1,2,3,…,m，n为批次训练集中文本信息的个数。

6、进一步地，所述文生图扩散模型中的文本编码器具体为生成对抗网络，所述生成对抗网络包括生成器和判别器，基于图像训练数据对文生图扩散模型进行图像阶段预训练的具体过程如下：对生成对抗网络进行初始化处理；读取用于训练文生图扩散模型中的图像生成器的若干个文本语义向量以及对应的文本语义图像数据，并建立图像数据集，同时划分为图像数据训练集和图像数据验证集；基于图像数据训练集对生成对抗网络进行循环训练，具体为由生成对抗网络中的生成器接收每个文本语义向量，并生成对应的文本图像；基于文本图像以及对应的文本语义图像对生成对抗网络中的判别器进行判别训练；对生成对抗网络中的生成器和判别器进行对抗训练，并分别计算生成器损失函数和判别器损失函数；基于图像数据验证集对生成对抗网络的每次训练结果进行性能评估，并根据验证结果调节模型参数，直至生成对抗网络预测的文本图像符合对应的文本语义图像。

7、进一步地，计算生成器损失函数和判别器损失函数的具体公式分别如下：其中，s为生成器损失函数，wyu为生成对抗网络中的生成器接收的第u个文本语义向量，g(wyu)为由第u个文本语义向量生成的文本图像，zsu为生成对抗网络中的生成器接收的第u个文本语义向量所对应的文本语义图像，p为判别器损失函数，yu为生成对抗网络中判别器接收的第u个文本语义向量的图像标签，u＝1,2,3,…,v，v为获取的用于训练文生图扩散模型中的图像生成器的文本语义向量的个数。

8、进一步地，基于联合训练数据对阶段预训练后的文生图扩散模型进进行联合训练，并对每次联合训练结果进行评估调整，直至文生图扩散模型符合预期标准具体为：读取若干个文本信息以及对应的文本图像数据，并合并为联合数据集；将联合数据集划分为联合训练集、联合验证集；加载预训练后的bert模型和生成对抗网络，并基于联合训练集对文生图扩散模型进行批次训练，并计算扩散损失函数；对扩散损失函数进行反向传播，并计算梯度；使用adam优化器根据计算出的梯度对模型进行参数优化，并在设定的训练周期后，使用联合验证集对模型进行评估，并基于评估结果调整学习率；重复训练过程，直至文生图扩散模型模型直至文生图扩散模型符合预期标。

9、进一步地，并基于联合训练集对文生图扩散模型进行批次训练的具体过程如下：对于每个批次，基于bert模型处理文本信息，生成高维的语义向量；基于生成对抗网络生成一个随机噪声图像，这个噪声图像作为扩散模型的起始点；使用文本语义向量作为条件，将文本语义向量输入到生成对抗网络的生成器中逐步去除噪声，并且生成对抗网络的生成器重复应用条件噪声去除过程。

10、进一步地，计算扩散损失函数的具体公式如下：其中，ks为扩散损失函数，q(xt丨x0)为正向过程的条件概率分布，p(xt丨xt-1)为反向过程的条件概率分布，x0为初始图像数据，t为时间步，xt为第t个时间步下的图像数据，xt-1为第t-1个时间步下的图像数据。

11、进一步地，使用adam优化器根据计算出的梯度对模型进行参数优化，并在设定的训练周期后，使用联合验证集对模型进行评估，并基于评估结果调整学习率的具体过程如下：初始化adam优化器，并获取预先设定初始学习率和超参数；在每个训练批次后，根据反向传播计算出的梯度信息调整每个参数的值以最小化扩散损失函数；在设定的训练周期结束后，使用联合验证集对模型进行评估，并计算图像生成的质量指标；基于验证结果动态调整学习率。

12、本发明的有益效果是：通过分别对文本编码器和图像生成器进行阶段预训练，显著提高了模型在初始阶段的表现，通过将文本数据和图像数据合并为联合数据集进行训练，提升了模型在处理多模态数据时的综合能力，使生成的图像在语义上更符合文本描述，使用bert模型提取高质量的文本语义向量，并结合生成对抗网络在多步迭代过程中逐步去除噪声，生成高质量图像，提高了图像的清晰度和与文本描述的一致性，在图像生成过程中引入扩散模型，通过多步迭代逐步去除噪声，不仅增强了图像细节和纹理，还确保了生成图像的质量，通过使用adam优化器和学习率调度器，根据验证结果动态调整学习率，确保模型在训练过程中能够不断优化，提高了训练效率和生成图像的质量。