一种扫描透射图像恢复方法、装置及存储介质

1.本发明涉及图像处理领域，尤其涉及一种扫描透射图像恢复方法、装置及存储介质。


背景技术：

2.扫描仪是20世纪80年代至今解决各类文件、相片、幻灯片、底片等原稿的数字化问题的主要方式，在轻工印刷、报社、出版社行业，以至文档制作、图文数据库管理等各个工作中广泛应用。随着网络和多媒体的发展及对数字文档图像质量提出的更高的标准，对于应用透射式扫描原理的重叠扫描，背面的内容通常会透射到正面的内容中从而影响正常的阅读和使用。
3.目前，扫描透射图像恢复的问题是：
4.1、传统方法是通过检测扫描图像的灰度直方图峰值来恢复图像，阈值设定不唯一导致恢复过程难以实现，结果也不理想；
5.2、基于生成对抗网络的图像恢复方法可以在不使用阈值的情况下对扫描透射图像进行恢复，均匀处理扫描透射图像使不存在透射的区域处理过重导致色彩失真；
6.3、基于训练学习的方法在训练过程中需要大量的成对数据集，数据集采集困难且存在过拟合现象、难以泛化。
7.基于以上等问题，现有市面上的扫描仪依然难以有效地去除扫描透射图像信息。


技术实现要素：

8.本发明提供了一种扫描透射图像恢复方法、装置及存储介质，本发明利用融入注意力机制的循环一致性生成对抗网络来“非均匀”的处理扫描透射图像，并且在网络训练过程中不需要使用成对数据集，详见下文描述：
9.第一方面，一种扫描透射图像恢复方法，所述方法包括：
10.采用合成透射图像训练集对由第一、第二生成器、第一、第二判别器组成的a-cyclegan网络模型进行训练；
11.经第一生成器生成并输出第一无透射图像，若第一判别器不能识别所有的第一无透射图像，则通过对抗损失计算第一误差，反向传播更新第一判别器的参数，寻求第一最小化分类误差；
12.固定第一判别器，经第二生成器生成并输出第一有透射图像，通过循环一致性损失和感知损失计算输入的合成透射图像、第一有透射图像之间的差值，求取第一损失值，反向传播更新第一生成器的网络参数，寻求第一全局最优值；
13.经第二生成器生成并输出第二有透射图像，若第二判别器不能识别所有的第二有透射图像，则通过对抗损失计算第二误差，反向传播更新第二判别器的参数，寻求第二最小化分类误差；
14.固定第二判别器，经第一生成器生成并输出第二无透射图像，通过循环一致性损
失和感知损失计算输入的无透射图像、第二无透射图像之间的差值，求取第二损失值，反向传播更新第二生成器的网络参数，寻求第二全局最优值；
15.当全部训练完成后，生成器网络输出最终的无透射图像。
16.其中，所述a-cyclegan网络模型包括：
17.透射-透射分支：用输入的合成透射图像h经第一生成器生成第一无透射图像dh，通过第二生成器重构成第一有透射图像h
′
；
18.无透射-无透射分支：用输入的无透射图像d经第二生成器生成第二有透射图像hd，通过第一生成器再重构成第二无透射图像d
′
；
19.两个分支共享第一、第二生成器，透射-透射分支使用第一判别器，无透射-无透射分支使用第二判别器。
20.进一步地，所述第一生成器包括：通道注意力机制块和区域注意力机制块，同时使用跳跃连接结构使高层获得底层的图像特征信息。
21.进一步地，所述第一生成器使用卷积、密集块及注意力机制结构搭建而成，所述密集块用于提取从浅层到深层的所有特征，密集块由三组结构单元组成，每一组结构单元均包括：结构块、注意力机制网络。
22.其中，所述方法在网络的训练过程中使用非配对的图像执行扫描透射图像恢复任务。
23.第二方面，一种扫描透射图像恢复装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
24.第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
25.本发明提供的技术方案的有益效果是：
26.1)本发明所提供的扫描透射图像恢复方法与传统方法相比，在网络的训练过程中使用非配对的图像执行扫描透射图像恢复任务，解决了数据集采集困难的问题；
27.2)在生成对抗网络中融入通道注意力机制和区域注意力机制可以提高关注点的表示和感兴趣内容的表现力，来达到更好的扫描透射图像分离效果、重建细节内容和保证低的颜色失真；
28.3)本发明所提供的扫描透射图像恢复方法具有高鲁棒性和稳定性，不仅对单一扫描仪来源的透射图像的恢复性能显著，对多种扫描仪来源的大规模扫描透射图像数据集也有高的泛化能力。
附图说明
29.图1为扫描透射图像恢复方法的流程图；
30.图2为改进的循环一致性生成对抗网络的整体结构示意图；
31.图3为改进的循环一致性生成对抗网络中生成器gd的结构示意图；
32.图3(a)为通道注意力机制块的结构示意图；
33.图3(b)为区域注意力机制块的结构示意图；
34.图4为改进的循环一致性生成对抗网络中生成器gh的结构示意图；
35.图5为改进的循环一致性生成对抗网络中判别器的结构示意图；
36.图6为人工合成扫描透射图像及恢复效果图；
37.其中，(a)为人工合成扫描透射图像示意图；(b)为人工合成扫描透射图像a-cyclegan方法的恢复效果图。
38.图7为人工合成扫描透射图像及恢复效果图；
39.其中，(a)为人工合成扫描透射图像示意图；(b)为人工合成扫描透射图像a-cyclegan方法的恢复效果图；(c)为人工合成扫描透射图像传统直方图阈值方法的恢复效果图。
40.图8为扫描透射图像及恢复效果图；
41.其中，(a)为fs-1020mfp扫描仪获取的扫描透射图像示意图；(b)为fs-1020mfp扫描仪获取的扫描透射图像a-cyclegan方法的恢复效果图；(c)为fs-1020mfp扫描仪获取的扫描透射图像传统直方图阈值方法的恢复效果图。
42.图9为扫描透射图像恢复装置的结构示意图。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
44.以下首先就本发明实施例涉及到的技术术语进行解释与说明：
45.生成器：用于学习真实图像分布从而使得自身生成的图像更加真实，以“骗过”判别器。
46.判别器：需要对接收的图片进行真假判别。
47.纳什均衡：生成器生成的图像接近于真实图像分布，而判别器识别不出真假图像，对于给定的图像预测为真的概率接近50％。
48.神经元：在人工神经网络中，神经元是网络中一种处理单元，是一个数学函数的占位符，对输入使用一个函数，得到一个输出。
49.卷积层：卷积计算公式为：n＝(w-f 2p)/s 1，其中n表示输出通道数，w表示输入通道数，f表示卷积核大小，p表示填充值的大小，s表示步长大小。卷积核是一组固定权重为f
×
f像素的矩阵，按照预设步长在原图像的像素矩阵中沿水平方向和垂直方向移动(即从左至右，从上至下)，将原图像中不同数据窗口的数据和卷积核逐元素点乘再相加，进行卷积运算。其中引入填充值，在原图像周围填充像素点(像素点的像素值预设为0)来避免卷积运算后图像缩小、丢失图像边缘信息的问题。
50.池化层：用于减小图像尺寸，提高运算速度。在滤波器滑动区域内取最大值或取平均值。
51.relu激活层：表达形式为：f(x)＝max(0,x)，其中x表示本层网络的输入值，relu函数是分段线性函数，将所有的负值都变为0，而正值不变，这种操作被称为单侧抑制，使得神经网络中的神经元部分被激活，用以提升计算效率。
52.leakyrelu激活层：表达形式为：f(x)＝max(a*x,x)，其中a表示(0,1)区间内的固定参数，本发明实施例中取a＝0.2。用于解决relu函数进入负区间后，导致神经元不学习的
问题。
53.sigmoid激活层：表达形式为：当x趋近于负无穷时，f(x)趋近于0；当x趋近于正无穷时，f(x)趋近于1；当x＝0时，f(x)＝0.5。
54.归一化层：归一化是将训练集中某一列数值特征的值缩放到0和1之间。数据归一化后，最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。
55.注意力机制：人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域注意力焦点，然后对这一区域投入更多注意力资源，以获取更多需要关注目标的细节信息，而忽略其他无用信息，极大地提高了视觉信息处理的效率与准确性。在生成对抗网络的基础上融入注意力机制，可以帮助模型对输入的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出准确的判断，同时不会对模型的计算和存储带来较大的开销。
56.实施例1
57.针对较薄纸质印刷品或书写物(例如：普通纸质书籍、教材、试卷)在扫描过程中会出现背面文字内容会透射到正面页面中，从而影响读者正常阅读的问题，本发明实施例提供了一种扫描透射图像恢复方法，参见图1，该方法包括以下步骤：
58.101：构建由生成器网络和判别器网络组成的预设网络；
59.其中，该预设网络包括：生成器网络和判别器网络，生成器网络包括：第一生成器gd和第二生成器gh；判别器网络包括：第一判别器dd和第二判别器dh，将生成器网络和判别器网络设置为对抗学习模式，生成器网络以及判别器网络均为深度神经网络，其中，第一生成器gd为具有跳跃连接以及注意力机制的深度神经网络；第二生成器gh为公知的具有卷积和反卷积操作的深度神经网络，即利用卷积神经网络从输入图像中提取特征，然后利用反卷积层从特征向量中还原出低级特征的工作。
60.102：计算损失函数值；
61.其中，将无透射的真实图像与第一生成器gd输出的无透射图像作为第一图像对，含有透射的真实图像和第二生成器gh生成的透射图像作为第二图像对，将第一、二图像对分别输入到第一判别器dd和第二判别器dh中。通过判别器网络计算出假判别概率和真判别概率，利用判别器网络的损失函数公式和生成器网络的损失函数公式，分别得到判别器网络的损失函数值和生成器网络的损失函数值。
62.103：更新网络参数；
63.分别最小化判别器网络的损失函数值和生成器网络的损失函数值，利用深度神经网络后向传播算法，迭代更新生成器网络和判别器网络各参数的取值，直至满足终止条件，完成生成器网络和判别器网络的训练。
64.其中，深度神经网络后向传播算法为本领域技术人员所公知，本发明实施例对此不做赘述。
65.104：生成测试集的透射图像恢复图；
66.当生成器网络训练完成后，将透射图像输入到已经训练完成的生成器网络中，在该生成器网络中通过迭代计算，生成器网络输出测试集的透射图像的恢复图。
67.105：模型训练：采用合成透射图像训练集对a-cyclegan网络模型进行训练；
68.其中，a-cyclegan网络模型主要分为两部分，一部分是生成器网络，另一部分是判
别器网络。生成器网络的作用是根据输入的原始域图像及指定域的标签信息，生成对应指定域指定的图像。而判别器网络的作用是对输入的图像进行分类，判断其是真实图像还是生成图像，并输出其所属域信息。
69.106：输入透射图像h，透射图像h经过第一生成器gd生成并输出无透射图像dh，在第二判别器dd中判断生成的图像dh是否为无透射图像，若第二判别器dd不能将所有生成的图像dh识别为无透射图像，通过下述的对抗损失公式(1)计算误差，反向传播更新第二判别器dd的参数，寻求最小化分类误差。
[0070][0071]
其中，表示分布函数的期望值，h和d分别表示透射图像数据集和无透射图像数据集中样本，且二者不要求成对，h～p
data
(h)表示透射数据集中样本的概率分布，d～p
data
(d)表示无透射数据集中样本的概率分布，gd和gh表示生成器，dd和dh表示判别器。
[0072]
107：固定dd参数，无透射图像dh通过第二生成器gh生成h’，h’与h通过循环一致性损失式(2)和感知损失式(3)计算两者差值，求取损失值，反向传播更新第一生成器gd的网络参数，寻求全局最优值；
[0073]
其中，第一生成器gd包括：通道注意力机制块和区域注意力机制块，为了生成清晰逼真的图像，在细节和边缘部分获得更好的结果，使用跳跃连接结构可以使高层获得底层的图像特征信息，使高层拥有更多图像细节信息，从而恢复出更好的干净图像。
[0074][0075]
其中，||*||1为1范式，
[0076][0077]
其中，||*||2为2范式，表示vgg-16网络的特征提取器。感知损失函数使用vgg-16网络的第2和第5个池化层中提取的特征进行组合，vgg-16网络由imagenet预先训练的模型初始化。
[0078]
108：融入通道注意力机制块和区域注意力机制块来达到更好的扫描透射图像分离效果；
[0079]
其中，为了进一步实现上述发明，在第一生成器gd网络中，为了在细节和颜色取得更好的恢复结果，融入通道注意力机制块和区域注意力机制块来达到更好的扫描透射图像分离效果，在图像区域层面上需要网络能够捕捉到特征图中的高响应区域，使模型更加注意特征图相应区域并对此特征区域进行处理，区域注意力机制可以实现不同区域信息的响应。
[0080]
其中，通道注意力机制关注的是图像的不同特征，网络中融入注意力机制可以更好的重建细节内容和保证低的颜色失真。使用跳跃连接，避免了直接在高级特征图中进行损失计算，结合了低级特征图中的特征，从而使得最终所得到的特征图中既包含了高级别的特征，也包含很多的低级别特征，实现了不同尺度下特征的融合，提高模型的精确度。
[0081]
109：在通道注意力机制模块中，将特征图大小由c
×h×
w转换为c
×1×
1，其中c表示通道数，h
×
w表示图像大小；
[0082]
通过两个卷积层和relu、sigmoid激活函数来获取特征，通道注意力机制块的处理过程如式(4)所示：
[0083][0084]
其中，pool(
·
)表示池化层，conv表示卷积层，σ是sigmoid函数，δ是relu函数，f是通道注意力机制块的输入，是元素相乘，fc表示通道注意力机制的输出。区域注意力机制模块将形状为c
×h×
w的图像转换为1
×h×
w，使原始特征中的通道数降到1，通过该方式使得网络对于区域各像素进行不同的关注，从而实现不同区域信息的响应，区域注意力机制块的处理过程如式(5)所示：
[0085][0086]
其中，f
result
表示区域注意力机制块的输出。
[0087]
110：输入无透射图像d，无透射图像d经过第二生成器gh生成并输出透射图像hd，在第二判别器dh中判断生成的hd是否为透射图像，若第二判别器dh不能将所有生成的hd识别为透射图像，通过对抗损失公式(6)计算误差，反向传播更新判别器dh参数，寻求最小化分类误差。
[0088][0089]
固定dh参数，hd通过生成器gd生成d
′
，d
′
与d通过循环一致性损失式(2)和感知损失式(3)计算两者差值，求取损失值，反向传播更新生成器gh网络参数，寻求全局最优值。
[0090]
111：步骤101、102和步骤103、104同时进行循环迭代训练，当生成器网络及判别器网络均达到纳什均衡状态时停止训练；
[0091]
112：生成测试集透射图像恢复图：当生成网络gd和gh训练完成后，接收待恢复的含有透射图像以及无透射的真实图像，将其输入到已经训练完成的生成器网络中，在该网络中通过迭代计算，生成器网络gd输出测试集的透射图像恢复图。
[0092]
综上所述，本发明实施例利用融入注意力机制的循环一致性生成对抗网络来“非均匀”的处理扫描透射图像，并且在网络训练过程中不需要使用成对数据集。
[0093]
实施例2
[0094]
下面结合具体的计算公式、附图、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
[0095]
201：扫描透射图像恢复问题可以看作是从图像到图像的转换问题，即：将扫描透射图像转换为无扫描透射图像的问题；
[0096]
在训练模型过程中需要大量的扫描透射图像数据集作为数据基础。然而现实中并没有直接可以使用的扫描透射图像数据集。因此，第一步是构建一个扫描透射图像数据集。为保证后续模型良好的泛化性能，所以扫描透射图像的种类和样式要尽可能的多。收集了不同样式的文本材料，制作扫描透射图像，为了保证数据集的一般性，选择网上公开的官方数据集作为原始的无扫描透射图像，通过将两幅图像混合得到一幅合成的扫描透射图像，其中将部分图像进行水平90
°
翻转作为透射的背面图像，正面图像和背面图像在混合过程中混合比例在0.15～0.25中随机选择来模拟现实生活中打印机每张纸张透射不一样的情况，从而得到合成的扫描透射图像数据集。
[0097]
202：采用合成透射数据集对a-cyclegan网络模型进行训练；
[0098]
如图2所示a-cyclegan网络模型主要有两个分支，(1)透射-透射分支：h
→dh
→h′
，用有透射图像h生成无透射图像dh，重构成有透射图像h
′
。(2)无透射-无透射分支：d
→
hd→d′
，用无透射图像d生成有透射图像hd，再重构成无透射图像d
′
。a-cyclegan的两个分支中的每一个都有一个判别器分别是dh和dd，这两个分支共享两个生成器gd和gh。gd将透射图像恢复为无透射图像，而gh将透射部分添加到无透射图像中。其中判别器网dh和dd网络，以及生成器gh网络为深度学习中常用的结构。生成器gd网络模型结构中加入密集块和注意力机制来保证恢复方法具有良好的图像恢复性能。
[0099]
203：图3是本实施例中所采用的生成器gd网络模型结构图。如图3所示，本实施例中生成器gd网络主要使用卷积、密集块及通道注意力机制结构搭建而成，其中卷积结构为深度学习中常用的结构。密集块主要用于提取从浅层到深层的所有特征，注意力机制关注背景透射内容较重区域和高频纹理等有效信息，从而保留图像更多细节信息，恢复清晰的图像。经过密集块处理后输出为3
×
64
×
64像素的图像，然后输入到注意力机制网络中。
[0100]
204：密集块结构由三组结构单元组成，每一组结构单元均包括：结构块(即包括：第一卷积层、激活层和第二卷积层)、注意力机制网络，图3中密集块结构是本发明实施例中密集块的结构图，为了在性能和运行时间之间取得良好的平衡，将所有中间卷积层的通道数设为64，卷积核大小设为3
×
3像素，卷积核移动步幅为1，特征图边界填充为1。图像特征信息经过网络所有的层，会交换大量不必要的冗余特征信息，导致一些重要特征信息的丢失。因此，本发明实施例在密集块中又设计了跳跃连接，将浅层特征与深层特征融合，以帮助网络保留图像的更多细节信息，从而恢复清晰的图像。
[0101]
205：步骤204中的注意力机制网络包括：通道注意力机制块和区域注意力机制块。融入通道注意力机制块和区域注意力机制块来达到更好的扫描透射图像分离效果，在图像区域层面上需要网络能够捕捉到特征图中的高响应区域，使模型更加注意特征图相应区域并对此特征区域进行处理。使用跳跃连接，实现了不同尺度下特征的融合，提高模型的结果精确度。
[0102]
206：图3(a)通道注意力机制块中，特征图大小由c
×h×
w转换为c
×1×
1，其中c表示通道数，h
×
w表示每个通道特征图的大小。通过两个卷积层和relu、sigmoid激活函数来获取特征。通道注意力机制块的处理过程如上述公式(4)所示。
[0103]
207：图3(b)区域注意力机制块中，将形状为c
×h×
w的图像转换为1
×h×
w，使原始特征中的通道数降到1，通过该方式使得网络对于区域各像素进行不同的关注，从而实现不同区域信息的响应，区域注意力机制块处理过程如上述公式(5)所示。
[0104]
208：图4是本实施例中所采用的生成器gh网络模型结构图。如图4所示，gh网络模型结构采用编码器-解码器网络。在编码过程中使用3个卷积块，在解码过程中使用3个去卷积块。在编码器网络中，第一层通道数为32，卷积核大小为7
×
7像素，卷积核移动步幅为1，第二层通道数为64，卷积核大小为3
×
3像素，卷积核移动步幅为2，第三层通道数为128，卷积核大小为3
×
3像素，卷积核移动步幅为2。解码器网络的每一层卷积核大小为3
×
3像素，通道数分别为64和32，卷积核移动步幅为1/2，其中残差块的个数为6。
[0105]
209：图5是本实施例中所采用的判别器网络模型结构图。如图5所示，a-cyclegan网络模型的判别器网络主要由卷积结构组成，输入为生成器网络的输出，即大小为256
×
256像素的3通道彩色图像。判别器网络共有五层依次连接的卷积层，前四层卷积层包括卷积、leakyrelu激活函数和归一化层，卷积核大小为4
×
4像素，卷积核移动步幅为2，特征图边界填充为1，通道数依次为64、128、256、512。最后一层卷积层的卷积核大小为4
×
4像素，
卷积核移动步幅为1，用于确定图像的真假性。
[0106]
210：本实施例在a-cyclegan网络模型的训练中，将训练集图片尺寸统一调整为256
×
256像素大小，网络训练迭代50次，网络训练优化采用adam优化算法，其中学习率为0.0001。
[0107]
211：构建改进循环一致性生成对抗网络，并对一致性生成对抗网络进行训练；其中，网络的目标损失函数如公式(7)所示：
[0108][0109]
其中，表示网络的目标损失函数，表示循环一致性损失函数，表示感知损失函数，ω表示感知损失函数的权重系数，表示第一生成对抗网络的损失函数，表示第二生成对抗网络的损失函数。在扫描透射图像复原任务中，需要最小化损失函数，循环一致性损失函数来保证分离后的图像能够被恢复为扫描透射图像，循环一致性损失函数如上述公式(7)表示。
[0110]
本发明实施例中有两个判别器dd和dh，其中dd是区分输入的无透射图像和生成的无透射图像，而dh是区分输入的有透射图像和生成的有透射图像，dd的对抗性损失函数定义表示如上述公式(1)所示。
[0111]
其中，判别器dd的作用是最大化损失并以此区分生成的无透射图像和真实无透射图像。而生成器gd的作用是最小化损失，使生成的无透射图像要接近真实的无透射图像。同样判别器dh的对抗损失函数定义表示如上述公式(6)所示。
[0112]
由于扫描透射图像的内容存在较多损失，循环对抗生成网络中的循环一致性损失函数难以恢复出所有的纹理信息，通过引入感知损失函数可以使待生成的图像与目标图像在语义上更加相似，感知损失函数表示如上述公式(3)所示。
[0113]
感知损失函数使用vgg-16网络的第2和第5个池化层中提取的特征进行组合，vgg-16网络由imagenet预先训练的模型初始化。权衡后，该扫描透射图像恢复模型中，在生成对抗网络损失函数的基础上融入感知损失函数和循环一致性损失函数，使得扫描透射图像的恢复在细节、纹理和颜色上能够更贴近原图。
[0114]
212：模型测试：完成在a-cyclegan网络模型的训练后，将扫描透射图像数据集输入到训练好的网络中进行测试，输出恢复结果。
[0115]
综上所述，本发明实施例通过步骤201-步骤212在网络的训练过程中使用非配对的图像执行扫描透射图像恢复任务，解决了数据集采集困难的问题；在生成对抗网络中融入通道注意力机制和区域注意力机制可以提高关注点的表示和感兴趣内容的表现力，来达到更好的扫描透射图像分离效果、重建细节内容和保证低的颜色失真。
[0116]
实施例3
[0117]
下面结合具体的评价标准、附图及表格对实施例1和2中的方案进行可行性验证，详见下文描述：
[0118]
为了客观评价透射图像恢复效果，采用峰值信噪比(psnr，peak signal-to-noise ratio)和结构相似性(ssim，structural similarity)作为恢复图像质量的评价标准，给定大小为m
×
n像素的图像i和图像k，psnr和ssim分别定义如下：
[0119]
(1)
[0120]
其中，为均方误差，i(i，j)和k(i，j)分别是图像i和图像k在(i，j)位置处的像素值。
[0121]
(2)
[0122]
其中，μi为i的均值，μk为k的均值，为i的方差，为k的方差，σ
ik
为i和k的协方差，c1＝(k1l)2，c2＝(k2l)2为两个常数，避免除零，l为像素值的范围，即256，默认k1＝0.01、k2＝0.03。
[0123]
实验结果如图6(b)所示，a-cyclegan方法恢复的透射图像结果自然，纹理细节清楚。本发明实施例与传统直方图阈值方法在人工合成透射图像数据集上的对比实验结果如图7所示，传统直方图阈值方法恢复结果如图7(c)所示，恢复后的效果并不理想，前景文档内容没有完全恢复并且造成了内容细节的损失；a-cyclegan方法恢复结果如图7(b)所示，a-cyclegan方法可以在不需要成对数据集的情况下，无论是重透射区域还是弱透射区域都可以生成更为清晰的细节，更好地恢复透射文档图像。本发明实施例与传统直方图阈值方法在fs-1020mfp扫描仪获取的扫描透射图像上的对比实验结果如图8所示，传统直方图阈值方法恢复结果如图8(c)所示，恢复的结果中字迹模糊，纹理细节不清楚；a-cyclegan方法恢复结果如图8(b)所示，a-cyclegan方法不仅能更好地去除背景透射内容和噪声，而且清晰保留了文本内容。
[0124]
表1给出了本发明方法和传统直方图阈值方法恢复结果的客观评价标准参数对比。由于正面图像和背面图像在混合时，对于不同文本内容扫描透射图像，会有一定程度的混合不一致性，该扫描透射图像分离模型具有高鲁棒性，使得不仅对单一图片可视分离的性能显著，对大规模图片集也能保持高还原性。通过使用生成器中的通道注意力机制模块和区域注意力机制模块使模型可以有效地处理不同的特征和区域，提高特征的响应能力，使扫描透射图像分离效果更自然，纹理细节更清楚，颜色保留的也较好。
[0125]
表1人工合成扫描透射图像上不同图像恢复方法结果的定量比较
[0126][0127]
实施例4
[0128]
一种扫描透射图像恢复装置，参见图8，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行实施例1中的以下方法步骤：
[0129]
采用合成透射图像训练集对由第一、第二生成器、第一、第二判别器组成的a-cyclegan网络模型进行训练；
[0130]
经第一生成器生成并输出第一无透射图像，若第一判别器不能识别所有的第一无透射图像，则通过对抗损失计算第一误差，反向传播更新第一判别器的参数，寻求第一最小化分类误差；
[0131]
固定第一判别器，经第二生成器生成并输出第一有透射图像，通过循环一致性损失和感知损失计算输入的合成透射图像、第一有透射图像之间的差值，求取第一损失值，反向传播更新第一生成器的网络参数，寻求第一全局最优值；
[0132]
经第二生成器生成并输出第二有透射图像，若第二判别器不能识别所有的第二有透射图像，则通过对抗损失计算第二误差，反向传播更新第二判别器的参数，寻求第二最小化分类误差；
[0133]
固定第二判别器，经第一生成器生成并输出第二无透射图像，通过循环一致性损失和感知损失计算输入的无透射图像、第二无透射图像之间的差值，求取第二损失值，反向传播更新第二生成器的网络参数，寻求第二全局最优值；
[0134]
当全部训练完成后，生成器网络输出最终的无透射图像。
[0135]
其中，a-cyclegan网络模型包括：
[0136]
透射-透射分支：用输入的合成透射图像h经第一生成器生成第一无透射图像dh，通过第二生成器重构成第一有透射图像h
′
；
[0137]
无透射-无透射分支：用输入的无透射图像d经第二生成器生成第二有透射图像hd，通过第一生成器再重构成第二无透射图像d
′
；
[0138]
两个分支共享第一、第二生成器，透射-透射分支使用第一判别器，无透射-无透射分支使用第二判别器。
[0139]
进一步地，第一生成器包括：通道注意力机制块和区域注意力机制块，同时使用跳跃连接结构使高层获得底层的图像特征信息。
[0140]
其中，通道注意力机制块将特征图大小由c
×h×
w转换为c
×1×
1，其中c表示通道数，h
×
w表示每个通道特征图的大小；
[0141]
通道注意力机制块的处理过程为：
[0142][0143]
其中，pool(
·
)表示池化层，conv表示卷积层，σ是sigmoid函数，δ是relu函数，f是通道注意力机制块的输入，是元素相乘，fc表示通道注意力机制的输出；
[0144]
区域注意力机制块将形状为c
×h×
w的图像转换为1
×h×
w，处理过程为：
[0145][0146]
其中，f
result
表示区域注意力机制块的输出。
[0147]
其中，第一生成器使用卷积、密集块及注意力机制结构搭建而成，
[0148]
进一步地，密集块用于提取从浅层到深层的所有特征，密集块由三组结构单元组成，每一组结构单元均包括：结构块、注意力机制网络。
[0149]
进一步地，该装置在网络的训练过程中使用非配对的图像执行扫描透射图像恢复任务。
[0150]
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
[0151]
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
[0152]
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
[0153]
实施例5
[0154]
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
[0155]
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
[0156]
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
[0157]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
[0158]
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
[0159]
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
[0160]
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0161]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。