一种低质图像表征模型的训练方法与流程

本发明属于视觉表征学习，尤其涉及一种图像表征模型的训练方法。

背景技术：

1、当前相机像素的不断提升和图像分辨率的提高使得高质图像普遍存在，然而由于日常拍摄环境的不确定性，我们也面临着大量低质图像的涌入问题。这些低质图像与以往受到各种噪声干扰的图像有所不同，如裁剪、旋转、局部放大、平移、高斯噪声、盐椒噪声等，它们可能是在拍摄过程中遇到的一些不可控制的条件下产生的，如隔物拍摄、运动拍摄等。低质图像虽呈现图像失真、模糊、前景部分遮挡等现象，但在现实世界中具有足够多的使用场景，包括图像相似检索和图像追根溯源等。

2、在当前图像表征学习中，机器学习发挥着关键作用。随着深度学习技术的崛起，基于深度神经网络的图像表征模型在处理高质图像或噪声图像方面取得了显著成果，例如图像分类和目标检测。但在处理大规模低质图像时，传统的训练方法面临一系列挑战。

3、首先，传统训练方法对大量标注数据的依赖使得其在低质图像场景下应用困难。由于低质图像的图像质量相对较低，涉及前景模糊、背景模糊、失真和部分遮挡等问题，通过传统的标注方法获取足够多高质量标签变得异常困难，进而导致监督训练方法在这种环境下难以取得理想效果。

4、其次，低质图像的特殊挑战，如图像模糊和部分遮挡，容易导致传统训练方法获得的图像表征模型在特征表示上失真。这种失真不仅影响了图像的表征质量，还削弱了模型对低质图像的鲁棒性，使其在应用中难以适应真实世界的多样性和复杂性。

技术实现思路

1、本发明提供了一种低质图像表征模型的训练方法，不仅实现了大规模无监督训练，而且有效提升了表征模型的泛化性和鲁棒性，通过这种方法训练的模型能够有效地从低质图像中学习到高质量的特征表示，从而有效解决了当前低质图像难以表征的挑战。

2、本发明的技术方案如下：

3、一种低质图像表征模型的训练方法，包括以下步骤：

4、s100、采用自适应gan随机生成策略构建自监督训练数据集，并将所述的自监督训练数据集划分为训练集和验证集；

5、s200、构造由深度编码器、哈希层网络和二值网络组成的初始的低质图像表征模型；

6、s300、输入步骤s100构建的训练集到低质图像表征模型，输出图像的特征表示；

7、s400、依据所得图像的特征表示，计算低质图像表征模型的训练损失，优化模型参数，得到优化后的低质图像保存模型；

8、s500、输入s100构建的验证集验证s400优化后的低质图像表征模型的性能，并保存该模型；

9、s600、重复步骤s300、s400和s500，迭代优化低质图像表征模型，直至满足终止优化的条件；

10、s700、从保存的模型中挑选性能最好的模型为最终的低质图像表征模型。

11、其中，步骤s100为训练数据的准备工作、步骤s200构造了初始的模型、步骤s300、s400、s500和s600为模型正式训练的过程，s700为最终模型的筛选过程。在模型正式训练前，先设置模型训练的超参数、优化器等，所述超参数包括训练轮次、学习步长等。

12、进一步的，所述步骤s100中构建自监督训练数据集的具体步骤包括：

13、s110、给定原始图像，通过采用预训练的基于gan的图像生成器生成与原始图像相似的近似低质图像；

14、s120、对所述原始图像和近似低质图像进行样本划分，构建自监督训练样本单元，由所有的自监督训练样本单元组成完整的自监督训练数据集。

15、进一步的，所述步骤s110具体包括：

16、s111、给定由原始图像组成的原始数据集、预训练的图像语义特征提取器和预训练的基于gan的图像生成器；

17、s112、从所述原始数据集中选择原始图像，使用所述图像语义特征提取器提取该图像的语义特征向量；

18、s113、设置所述图像生成器的噪声向量，并结合步骤s112得到的语义特征向量控制生成该原始图像近似的低质图像；

19、s114、采用相似度量方法，计算生成的低质图像与原始图像之间的相似度，并与预设的相似度阈值进行比较：如果相似度满足要求，则生成的近似低质图像留存下来供后续步骤使用；否则，动态调整gan输入的噪声向量的取值并继续生成与该原始图像近似的低质图像，继续与相似度阈值进行比较，循环往复直至相似度满足要求；

20、s115、针对所述原始数据集中每张原始图像，重复步骤s112、s113、s114生成对应的低质图像。

21、进一步的，所述步骤s120具体包括：

22、s121、不重复地选择步骤s110中生成的近似低质图像，并划定其为锚样本；

23、s122、从所述的原始数据集中找到步骤s121选择的锚样本对应的原始图像划定为正样本；

24、s123、从所述的原始数据集中找到除该正样本外的其他图像并划定为负样本；

25、s124、由上述锚样本、正样本和负样本集合构建成一个自监督训练样本单元；

26、s125、重复步骤s121、s122、s123和s124，直到s110中生成的近似低质图像被选择完毕，通过所述每一个近似低质图像生成一个自监督训练样本单元，由所有这些自监督训练样本单元构成完整的自监督训练数据集。

27、进一步的，所述初始的图像表征模型由深度编码器、哈希层网络和二值网络组成，其中，

28、所述深度编码器利用特征金字塔网络对图像进行深度特征编码，其中底层特征提取器采用resnet-50作为骨干网络；

29、所述哈希层网络由全连接层实现；

30、所述二值网络采用确定性的非线性二值函数。二值网络采用确定性的非线性二值函数，例如sign函数实现。

31、进一步的，所述步骤s300具体包括：

32、s310、将所述训练集中的图像逐个输入到深度编码器中进行深度编码，得到图像深度特征表示；

33、s320、将所述的图像深度特征表示输入到哈希层网络，得到实值哈希码；

34、s330、给定一个由非线性二值函数构建的二值网络，将所得到的实值哈希码输入到该二值网络，由该二值网络输出量化后的二进制哈希码。由于非线性二值函数的不可导性，导致在反向传播优化模型参数时无法传递梯度。因此，本发明采用成熟的直通估计器技术近似代理求导，从而达到优化模型参数的目的。

35、进一步的，所述步骤s310具体包括：

36、s311、输入图像并打开图像句柄，并生成pilimage对象，之后对pilimage对象执行图像变换操作，抽象出自监督训练样本单元中图像的高维特征数据；

37、s312、将所述的高维特征数据输入到特征金字塔网络底层特征提取器，提取图像特征，然后经过卷积计算后输出特征图；

38、s313、将所述的特征图经过最近邻上采样计算，获得更大尺寸的特征图，向下传递该上采样后的特征图；

39、s314、将步骤s312输出的特征图进行一个卷积计算以降低维度，输出低维特征图。将该低维特征图和步骤s313获取的特征图相加得到融合后的特征图，最后将融合后的特征图进行卷积计算和拉平处理后得到图像深度特征表示。

40、进一步的，所述步骤s500中验证优化后的低质图像表征模型性能的具体步骤包括：

41、s510、将验证集中所有自监督训练样本单元中的正样本经过深度编码和哈希码量化计算后得到的二进制哈希表示，并将其作为检索项按下标顺序写入数据库中；

42、s520、选择验证集中自监督训练样本单元的一个锚样本，将其经过低质图像表征模型学习后得到锚样本二进制哈希码；

43、s530、将锚样本二进制哈希码与步骤s410构建的数据库中的二进制哈希码统一计算余弦相似度，此时得到一个余弦相似度数组，对该数组按相似度从高到低排序；

44、s540、找到查询项对应的正样本在排序后的相似度数组的图像下标，取下标的倒数即为本次最近邻搜索任务的精度；

45、s550、选择验证集中自监督训练样本单元的另一个锚样本作为查询项，重复步骤s520、s530和s540，计算下一个最近邻检索任务的精度，以此类推，直至计算完验证集中所有自监督训练样本单元中的锚样本，最后再取所有锚样本检索精度的平均值作为图像表征模型的性能。

46、有益效果：

47、本发明的低质图像表征模型训练方法采用了自适应gan随机生成策略来构建自监督训练数据集，以实现基于对比学习的大规模无监督训练。该方法不仅在提高模型的鲁棒性和泛化性方面具有重要意义，而且确保了训练过程的高效性。所述自适应gan随机生成策略利用预训练的图像生成器gan，通过动态调整噪声向量，生成原始图像的近似低质图像，极大地提高了训练样本的多样性，为模型的全面训练提供了更加丰富的数据基础，使得表征模型能够更好地适应各种复杂场景和条件，从而提高了其在真实世界中的鲁棒性和泛化性。本发明的训练方法还通过自适应机制，在生成近似图像时自动过滤掉噪声图像，减少了训练数据中的无效样本，提升了训练数据集的质量，使得构建的训练数据集更具代表性和有效性，降低了模型学习的噪声干扰，使其更加专注于学习更有意义的样本，从而进一步提升了模型训练的高效性。