一种损坏文档图像的修复方法、装置、终端设备及计算机可读存储介质

本发明涉及图像处理领域，尤其涉及一种对图像进行金字塔分解和重建的方法、图像去噪方法、图像修复方法。

背景技术：

1、近年来，基于卷积神经网络(cnn)的一些方法极大地改善了图像修复的质量。在cnn模型的图像修复任务中，通常要根据具体的需求和任务特点，设计合适的网络架构和损失函数，以实现对图像的修复效果，不同类型的文档图像有可能具有不同的特征和问题，需要使用不同的网络架构和参数设置来解决，因此需要为不同类型的损坏文档图像设计独立的模型来进行修复。例如，一些文档图像可能受到扫描时的噪声干扰，而另一些可能存在模糊或失真的问题。为了处理这些不同类型的问题，需要对网络的架构和参数进行适当的调整。这可能包括调整网络的深度、卷积核大小、卷积层和池化层的数量和顺序，以及其他超参数的设置。

2、然而，现实世界中的图像有可能包含复杂的场景、多样的光照条件和多种物体，因此设计和训练多个独立的模型也存在一些挑战，可能需要设计和训练大量的独立模型来覆盖各种场景和条件，当面对新的场景或条件时，可能需要重新设计和训练新的模型，增加了模型维护的困难。

技术实现思路

1、本发明实施例提供了一种损坏文档图像的修复方法、装置、终端设备及计算机可读存储介质，通过训练出一个通用的图像修复模型，实现对不同图像场景下的损坏文档图像进行图像修复。

2、本发明一实施例提供一种损坏文档图像的修复方法，包括：获取待处理损坏文档图像，将待处理损坏文档图像输入至训练完成的图像修复模型，以使图像修复模型对待处理损坏文档图像进行图像修复，生成修复后的文档图像。

3、进一步的，图像修复模型的训练，包括以下步骤：

4、获取不同图像场景下的损坏文档图像及其对应的无损文档图像，并将损坏文档图像及其对应的无损文档图像分为同一组；

5、逐一将各组损坏文档图像及其对应的无损文档图像输入至待训练图像修复模型中进行迭代训练，直至损失函数收敛，得到训练完成后的图像修复模型；其中，在每次训练时，通过内设的编码器利用空间金字塔对损坏文档图像和无损文档图像进行编码，得到损坏文档图像多尺度特征和对应无损文档图像多尺度特征，继而通过内设的扩散子模型对损坏文档图像多尺度特征和对应无损文档图像多尺度特征进行扩散处理，学习损坏文档图像的特征和噪声分布，得到去噪后的修复文档图像，将所述去噪后的修复文档图像与无损文档图像进行对比，计算损失函数。

6、进一步的，在每次训练时，通过内设的编码器利用空间金字塔对损坏文档图像和无损文档图像进行编码，得到损坏文档图像多尺度特征和对应无损文档图像多尺度特征，继而通过内设的扩散子模型对损坏文档图像多尺度特征和对应无损文档图像多尺度特征进行扩散处理，学习损坏文档图像的特征和噪声分布，得到去噪后的修复文档图像，将所述去噪后的修复文档图像与无损文档图像进行对比，计算损失函数，具体为：

7、通过内设的编码器利用空间金字塔对当前输入的一组损坏文档图像和无损文档图像进行编码，得到损坏文档图像多尺度特征和对应无损文档图像多尺度特征；

8、通过待训练图像修复模型内设的扩散子模型，以损坏文档图像多尺度特征为目标，对无损文档图像多尺度特征进行前向扩散处理，预测出一个应用于损坏文档图像多尺度特征的噪声；

9、将预测的噪声应用于损坏文档图像多尺度特征进行反向扩散处理，得到去噪后的修复文档图像多尺度特征；

10、将无损文档图像多尺度特征与去噪后的修复文档图像多尺度特征，进行比对，计算损失函数；

11、在损失函数不收敛的情况下，根据当前损失函数的值，调整当前的待训练图像修复模型的网络参数，并重新获取一组损坏文档图像以及对应的无损文档图像。

12、进一步的，不同图像场景下的损坏文档图像及其对应的无损文档图像，包括：

13、存在污渍的损坏文档图像与没有污渍的无损文档图像、存在模糊的损坏文档图像与没有模糊的无损文档图像、以及存在水印的损坏文档图像与没有水印的无损文档图像。

14、进一步的，利用空间金字塔对损坏文档图像和无损文档图像进行编码，具体为：

15、将损坏文档图像和无损文档图像分别经过多次降采样或上采样，对不同分辨率的图像序列进行区分，形成金字塔状的图像结构。

16、进一步的，前向扩散处理，包括：

17、将无损文档图像的每一层特征，进行前向扩散，并在前向扩散的过程中通过pyu-net学习去噪过程，预测出一个应用于损坏文档图像多尺度特征的噪声。

18、进一步的，将无损文档图像的每一层特征，进行前向扩散，并在前向扩散的过程中通过pyu-net学习去噪过程，预测出一个应用于损坏文档图像多尺度特征的噪声，具体为：

19、接收损坏文档图像的n层特征作为特征集合和无损文档图像的n层特征作为特征集合

20、将尺度级别s、模型对图像扩散的时间步t、无损文档图像高尺度特征、目标特征映射以及所述特征集合作为输入内容输入到处理前向扩散的神经网络中，进行训练和学习，预测出应用于损坏文档图像多尺度特征的噪声λ；

21、其中，所述目标特征映射，为无损文档图像低尺度特征进行第t步扩散后的低尺度特征；表示损坏文档图像的第1层特征；表示损坏文档图像的第n层特征；表示无损文档图像的第1层特征；表示无损文档图像的第n层特征。

22、进一步的，反向扩散处理，包括：

23、对于原损坏文档图像的每一层特征，将所述前向扩散中得到的噪声λ添加到每一层特征中，对特征进行映射，得到去噪后的修复文档图像的特征。

24、在上述方法项实施例的基础上，本发明对应提供了装置项实施例，包括：损坏文档图像获取模块、图像修复模块以及模型训练模块；

25、其中，损坏文档图像获取模块与图像修复模块连接；

26、进一步的，损坏文档图像获取模块，用于获取待处理的损坏文档图像；

27、进一步的，图像修复模块，用于将所述待处理的损坏文档图像输入至训练完成的图像修复模型，以使所述图像修复模型对所述待处理损坏文档图像，进行图像修复，生成修复后的文档图像；

28、其中训练完成的图像修复模型通过模型训练模块完成；

29、进一步的，模型训练模块，包括：

30、用于获取不同图像场景下的损坏文档图像及其对应的无损文档图像，并将损坏文档图像及其对应的无损文档图像分为同一组；

31、逐一将各组损坏文档图像及其对应的无损文档图像输入至待训练图像修复模型中进行迭代训练，直至损失函数收敛，得到训练完成后的图像修复模型；其中，在每次训练时，通过内设的编码器利用空间金字塔对损坏文档图像和无损文档图像进行编码，得到损坏文档图像多尺度特征和对应无损文档图像多尺度特征，继而通过内设的扩散子模型对损坏文档图像多尺度特征和对应无损文档图像多尺度特征进行扩散处理，学习损坏文档图像的特征和噪声分布，得到去噪后的修复文档图像，将所述去噪后的修复文档图像与无损文档图像进行对比，计算损失函数。

32、在上述方法项实施例的基础上，本发明对应提供了终端设备项实施例，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，处理器执行所述计算机程序时，实现如本发明所述损坏文档图像的修复方法的步骤。

33、在上述方法项实施例的基础上，本发明对应提供了计算机可读存储介质项实施例，包括：存储的计算机程序，在计算机程序运行时，控制计算机可读存储介质所在的设备执行如本发明所述损坏文档图像的修复方法的步骤。

34、与现有技术相比，本方案实施例的有益效果在于：

35、本发明通过构建一个包含空间金字塔和布朗桥扩散的特定模型，通过空间金字塔处理可以将一个图像分解为不同尺度的图像信息，以使不同类型的文档图像进行统一的输入；通过扩散处理，学习损坏文档图像与噪声，并将噪声应用于扩散处理中，得到去噪后的修复文档图像特征，将无损文档图像与去噪后的修复文档图像进行对比，计算损失函数，并对模型进行调整，从而完成一次模型的训练，最后通过多组损坏文档图像和对应的无损文档图像的迭代训练，使得模型能够学习到不同类型损坏文档图像的特征和噪声分布，从而生成一个通用的能够对不同类型损坏文档图像进行修复的模型。即本发明通过统一框架的设计和迭代训练的方式，使得同一个模型可以适应不同类型的损坏文档图像的修复，从而避免了需要设计和训练大量独立模型的问题，实现了对不同场景和条件下损坏文档图像的修复。