目标去除模型建立方法、装置及可读存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及目标去除模型建立方法、装置及可读存储介质。


背景技术：

2.在实际应用中，若图像中存在特定目标如：敏感标志物、水印、商标等，需要将这些目标去除。
3.现有的目标去除方法为：s1，先采集图像数据和制作目标移除的mask掩码图，再制作超分辨图像训练数据集和制作图像修复训练数据集；s2，设计图像超分辨算法模型，并使用步骤s1的制作的超分辨图像训练数据集来训练超分辨算法模型；s3，设计图像修复算法模型，并使用步骤s1的制作的图像修复训练数据集来训练图像修复算法模型；s4，根据步骤s2及步骤s3设计的图像超分辨算法模型和图像修复算法模型来构建图像修复推导框架，然后输入待修复图像和mask掩码图到所述图像修复推导框架进行计算，得到修复后的图像。这种方法的缺点是：只针对去除水印等相似目标，应用场景受限；且移除效果不佳、局部细节不够逼真。


技术实现要素：

4.本发明实施例提出目标去除模型建立方法、装置及可读存储介质，以提高目标去除的精度。
5.本发明实施例的技术方案是这样实现的：一种目标去除模型建立方法，该方法包括：获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集；将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像；将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像；将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像；将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果；调整所述目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络、和判别器神经网络构成的模型作为最终使用的目标去除模型。
6.所述获取原始图像集之后、所述将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标分割处理之前，进一步包括：分别对每帧原始图像中的目标和背景进行二值掩膜处理，得到原始图像集对应的二值掩膜标注图像集；将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处理；根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值；根据第一损失函数值调整待训练的目标分割神经网络的参数，直至目标分割神经网络收敛。
7.所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值，包括：根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度的损失函数值；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度；对所述目标分割神经网络的像素角度的损失函数值、所述局部相似度和所述整体相似度进行加权求和计算，得到第一损失函数值。
8.所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度的损失函数值，包括：计算：其中，l
pixel
为所述目标分割神经网络的像素角度的损失函数值，p(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，l(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，ln为自然对数运算符，h、w分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，h、w的单位为像素，α和γ为预设超参数；所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度，包括：计算：其中，l
ssim
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；i为分别在二值掩膜预测图像和二值掩膜标注图像上滑动的
滑动窗的总数，i为滑动窗的序号；
µ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值均值，
µ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值均值；σ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值方差，σ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值方差；σ
xyi
表示待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值协方差；c1和c2为预设常数；所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，包括：计算其中，l
iou
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，p(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，l(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，h、w分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，h、w的单位为像素。
9.所述得到对应的目标去除粗略图像之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：根据目标去除粗略图像和对应的标准图像，计算第二损失函数值；所述得到对应的目标去除精细图像之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：根据目标去除精细图像和对应的标准图像，计算第三损失函数值；所述得到目标去除判别结果之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：根据目标去除精细图像和对应的标准图像，计算第四损失函数值；所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，包括：根据根据第二损失函数值调整第一目标去除神经网络的参数，根据第三损失函数值调整第二目标去除神经网络的参数，根据第四损失函数值调整判别器神经网络的参数。
10.所述根据目标去除粗略图像和对应的标准图像，计算第二损失函数值，包括：根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的l1损失函数值、语义损失函数值和风格损失函数值；对所述l1损失函数值、所述语义损失函数值和所述风格损失函数值进行加权求和计算，得到第二损失函数值。
11.所述根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的l1损失函数值、语义损失函数值和风格损失函数值，包括：计算：
其中，l
l1
为所述l1损失函数值，l
content
为所述语义损失函数值，l
style
为所述风格损失函数值，h、w和c分别为目标去除粗略图像和标准图像的高度、宽度和通道数，po为目标去除粗略图像的所有像素点的像素值构成的向量，lo为标准图像的所有像素点的像素值构成的向量；|| ||1为1范数运算符；f
ip
、f
il
为分别将po、lo输入预先训练好的分类网络得到的输出特征，n为f
ip
、f
il
的数目，|| ||2为2范数运算符，t为转置运算符。
12.所述第一目标去除神经网络和第二目标去除神经网络的结构和参数相同。
13.所述将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型之后，进一步包括：将待去除目标的第一图像输入目标分割神经网络进行目标和背景的分割，得到第一图像的二值掩模图像；将第一图像的二值掩模图像和第一图像输入第一目标去除神经网络进行目标去除处理，得到第一图像的目标去除粗略图像；将第一图像的二值掩模图像和第一图像的目标去除粗略图像输入第二目标去除神经网络进行目标去除处理，得到第一图像的目标去除精细图像。
14.一种目标去除模型建立装置，该装置包括：训练准备模块，用于获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集；二值掩膜预测模块，用于将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像；粗略去除模块，用于将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像；精细去除模块，用于将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像；判别模块，用于将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果；调整模块，用于调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。
15.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上任一项所述的方法的步骤。
transformer，分割转换器）网络。
27.步骤104：将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像。
28.步骤105：将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像。
29.一可选实施例中，第一目标去除神经网络和第二目标去除神经网络可采用unet网络。
30.步骤106：将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果。
31.目标去除判别结果是目标去除精细图像和对应的标准图像的相似度，二者越相似表明第二目标去除神经网络输出的目标去除精细图像越好、越逼真。
32.一可选实施例中，判别器神经网络可采用pggan（ progressive gan，渐近式增长生成对抗网络）的判别器网络，损失函数使用pggan标准损失函数。
33.步骤107：调整目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，重复步骤103-107，直至目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。其中，第一目标去除神经网络、第二目标去除神经网络和判别器神经网络是一起训练并收敛，目标分割网络是单独训练收敛的。
34.上述实施例中，通过将二值掩膜预测图像和对应的原始图像输入第一目标去除神经网络进行粗略的目标去除处理，再将得到的目标去除粗略图像和二值掩膜预测图像输入第二目标去除神经网络进行精细的目标去除处理，再将目标去除精细图像和对应的标准图像输入判别器神经网络进行目标去除判别处理，调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，从而提高了最终得到的目标去除模型的精度，从而使得目标去除模型的目标去除效果更好，去除目标后的图像更加逼真。本技术可以将目标去除，所述目标例如水印、敏感标志物、商标等。
35.一可选实施例中，步骤101之后、步骤103之前，进一步包括：分别对每帧原始图像中的目标和背景进行二值掩膜处理，例如：将目标以1表示，将背景以0表示，得到原始图像集对应的二值掩膜标注图像集；将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处理；且，步骤103之后、步骤107之前，进一步包括：根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值；根据第一损失函数值调整待训练的目标分割神经网络的参数，直至目标分割神经网络收敛。
36.一可选实施例中，根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值，包括：步骤01：根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算目标分割神经网络的像素角度的损失函数值。
37.一可选实施例中，步骤01可通过如下方式实现：计算：
其中，l
pixel
为目标分割神经网络的像素角度的损失函数值，p(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，l(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，ln为自然对数运算符，h、w分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，h、w的单位为像素，α和γ为预设超参数，通常，α∈(0,1)，γ∈[1,10])。
[0038]
步骤02：计算二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度。
[0039]
一可选实施例中，步骤02可通过如下方式实现：计算：其中，l
ssim
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；i为分别在待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像上滑动的滑动窗的总数，例如：k为预设的滑动窗的大小，且该滑动窗分别在待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像上滑动，相邻两个滑动窗不重叠，i为滑动窗的序号；
µ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值均值，
µ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值均值；σ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值方差，σ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值方差；σ
xyi
表示待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值协方差；k的取值根据图像大小和精度要求等设定，c1和c2为预设常数，通常，c1∈(0,1)，c2∈(0,1)，例如：c1=0.0001，c2=0.0009。
[0040]
步骤03：计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度。
[0041]
一可选实施例中，步骤03可通过如下方式实现：计算其中，l
iou
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，p(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，l(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，h、w分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，h、w的单位为像素。
geometry group）网络）得到的输出特征，n为f
ip
、f
il
的数目，|| ||2为2范数运算符，t为转置运算符。其中，分类网络可采用已有的imagenet标准数据集训练得到。
[0049]
l
remove
=λ
l1
l
l1 λ
content
l
content λ
style
l
style
其中，l
remove
为第二损失函数值，λ
l1
、λ
content
、λ
style
为权值，通常，λ
l1
∈(0,1)，λ
content
∈(0,1)，λ
style
∈(0,1)。
[0050]
一可选实施例中，根据目标去除精细图像和对应的标准图像，计算第三损失函数值，包括：根据目标去除精细图像和对应的标准图像，计算第二目标去除神经网络的l1损失函数值、语义损失函数值和风格损失函数值；对l1损失函数值、语义损失函数值和风格损失函数值进行加权求和计算，得到第三损失函数值。
[0051]
其中，第二目标去除神经网络的l1损失函数值可通过如下方式计算：第二目标去除神经网络的语义损失函数值可通过如下方式计算：第二目标去除神经网络的风格损失函数值可通过如下方式计算：其中，l
l1'
为l1损失函数值，l
content'
为语义损失函数值，l
style'
为风格损失函数值，h、w和c分别为目标去除精细图像和标准图像的高度、宽度和通道数，p
o'
为目标去除精细图像的所有像素点的像素值构成的向量，lo为标准图像的所有像素点的像素值构成的向量；|| ||1为1范数运算符；f
ip'
、f
il
为分别将p
o'
、lo输入预先训练好的分类网络（如vgg网络）得到的输出特征，n为f
ip'
、f
il
的数目，为2范数运算符，t为转置运算符。其中，分类网络可采用已有的imagenet标准数据集训练得到。
[0052]
l
remove
'=λ
l1
'l
l1
' λ
content
'l
content
' λ
style
'l
style
'其中，l
remove
'为第二损失函数值，λ
l1
'、λ
content
'、λ
style
'为权值，通常，λ
l1
'∈(0,1)，λ
content
'∈(0,1)，λ
style
'∈(0,1)。
[0053]
在实际应用中，为了节省缓存，第一目标去除神经网络和第二目标去除神经网络可为同一神经网络，即第一目标去除神经网络和第二目标去除神经网络的结构和参数相同，这样，在存储时，只需存储一个目标去除神经网络即可。此时，在训练时，需要根据第二损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参数，根据第三损失函数值同时调整第一目标去除神经网络和第二目标去除神经网络的参数。
[0054]
在步骤107得到目标去除模型之后，就可使用该模型对任意包含目标的图像进行目标去除处理了，具体步骤如下：将待去除目标的第一图像输入目标分割神经网络进行目标和背景的分割，得到第一图像的二值掩模图像；将第一图像的二值掩模图像和第一图像输入第一目标去除神经网络进行目标去除处理，得到第一图像的目标去除粗略图像；将第一图像的二值掩模图像和第一图像的目标去除粗略图像输入第二目标去除
神经网络进行目标去除处理，得到第一图像的目标去除精细图像。
[0055]
本技术该实施例可以将目标去除，所述目标例如水印、敏感标志物、商标等。
[0056]
图2为本发明实施例提供的目标去除模型建立装置的结构示意图，该装置主要包括：训练准备模块21，用于获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集。
[0057]
二值掩膜预测模块22，用于将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像。
[0058]
粗略去除模块23，用于将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像。
[0059]
精细去除模块24，用于将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像。
[0060]
判别模块25，用于将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果。
[0061]
调整模块26，用于调整目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。其中，第一目标去除神经网络、第二目标去除神经网络和判别器神经网络是一起训练并收敛，目标分割网络是单独训练收敛的。
[0062]
一可选实施例中，训练准备模块21获取原始图像集之后，进一步用于：分别对每帧原始图像中的目标和背景进行二值掩膜处理，得到原始图像集对应的二值掩膜标注图像集；将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处理；根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值；根据第一损失函数值调整待训练的目标分割神经网络的参数，直至目标分割神经网络收敛。
[0063]
调整模块26进一步用于：根据目标去除粗略图像和对应的标准图像，计算第二损失函数值；根据目标去除精细图像和对应的标准图像，计算第三损失函数值；根据目标去除精细图像和对应的标准图像，计算第四损失函数值；调整模块26调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，包括：根据第二损失函数值调整第一目标去除神经网络的参数，根据第三损失函数值调整第二目标去除神经网络的参数，根据第四损失函数值调整判别器神经网络的参数。
[0064]
一可选实施例中，调整模块26根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值，包括：根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算目标分割神经网络的像素角度的损失函数值；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度；对目标分割神经网络的像素角度的损失函数
值、局部相似度和整体相似度进行加权求和计算，得到第一损失函数值。
[0065]
一可选实施例中，调整模块26根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算目标分割神经网络的像素角度的损失函数值，包括：计算：其中，l
pixel
为目标分割神经网络的像素角度的损失函数值，p(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，l(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，ln为自然对数运算符，h、w分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，h、w的单位为像素，α和γ为预设超参数，通常，α∈(0,1)，γ∈[1,10])；调整模块26计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度，包括：计算： 其中，l
ssim
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；i为分别在待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像上滑动的滑动窗的总数，例如：k为预设的滑动窗的大小，且该滑动窗分别在待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像上滑动，相邻两个滑动窗不重叠，i为滑动窗的序号；
µ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值均值，
µ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值均值；σ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值方差，σ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值方差；σ
xyi
表示待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值协方差；k的取值根据图像大小和精度要求等设定，c1和c2为预设常数，通常，c1∈(0,1)，c2∈(0,1)，例如：c1=0.0001，c2=0.0009；调整模块26计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，包括：计算其中，l
iou
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，p(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，l(a,b)为对应的二值掩
膜标注图像上的像素点(a,b)的像素值，h、w分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，h、w的单位为像素。
[0066]
一可选实施例中，调整模块26根据目标去除粗略图像和对应的标准图像，计算第二损失函数值，包括：根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的l1损失函数值、语义损失函数值和风格损失函数值；对l1损失函数值、语义损失函数值和风格损失函数值进行加权求和计算，得到第二损失函数值。
[0067]
一可选实施例中，调整模块26根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的l1损失函数值、语义损失函数值和风格损失函数值，包括：计算：计算：计算：其中，l
l1
为l1损失函数值，l
content
为语义损失函数值，l
style
为风格损失函数值，h、w和c分别为目标去除粗略图像和标准图像的高度、宽度和通道数，po为目标去除粗略图像的所有像素点的像素值构成的向量，lo为标准图像的所有像素点的像素值构成的向量；|| ||1为1范数运算符；f
ip
、f
il
为分别将po、lo输入预先训练好的分类网络得到的输出特征，n为f
ip
、f
il
的数目，|| ||2为2范数运算符，t为转置运算符。
[0068]
一可选实施例中，第一目标去除神经网络和第二目标去除神经网络的结构和参数相同。
[0069]
一可选实施例中，上述装置进一步包括：目标去除处理模块，用于将待去除目标的第一图像输入目标分割神经网络进行目标和背景的分割，得到第一图像的二值掩模图像；将第一图像的二值掩模图像和第一图像输入第一目标去除神经网络进行目标去除处理，得到第一图像的目标去除粗略图像；将第一图像的二值掩模图像和第一图像的目标去除粗略图像输入第二目标去除神经网络进行目标去除处理，得到第一图像的目标去除精细图像。
[0070]
本技术实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上任一实施例所述的方法的步骤。
[0071]
本技术实施例还提供一种非瞬时计算机可读存储介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时可执行如上任一实施例所述的方法中的步骤。实际应用中，所述的计算机可读介质可以是上述实施例各设备/装置/系统所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。其中，在计算机可读存储介质中存储指令，其存储的指令在由处理器执行时可执行如上任一实施例所述的方法中的步骤。
[0072]
根据本技术公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本技术保护的
范围。在本技术公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0073]
如图3所示，本发明实施例还提供一种电子设备。如图3所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：该电子设备可以包括一个或一个以上处理核心的处理器31、一个或一个以上计算机可读存储介质的存储器32以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器32的程序时，可以实现如上任一实施例所述的方法。
[0074]
具体的，实际应用中，该电子设备还可以包括电源33、输入输出单元34等部件。本领域技术人员可以理解，图3中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：处理器31是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器32内的软件程序和/或模块，以及调用存储在存储器32内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。
[0075]
存储器32可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器31通过运行存储在存储器32的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器32还可以包括存储器控制器，以提供处理器31对存储器32的访问。
[0076]
该电子设备还包括给各个部件供电的电源33，可以通过电源管理系统与处理器31逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源33还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0077]
该电子设备还可包括输入输出单元34，该输入单元输出34可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。该输入单元输出34还可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
[0078]
本技术附图中的流程图和框图，示出了按照本技术公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0079]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可
以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本技术中。特别地，在不脱离本技术精神和教导的情况下，本技术的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本技术公开的范围。
[0080]
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本技术。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。