目标去除模型建立方法、装置及可读存储介质与流程

技术特征：
1.一种目标去除模型建立方法，其特征在于，该方法包括：获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集；将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像；将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像；将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像；将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果；调整所述目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络、第二目标去除神经网络、和判别器神经网络构成的模型作为最终使用的目标去除模型。2.根据权利要求1所述的方法，其特征在于，所述获取原始图像集之后、所述将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标分割处理之前，进一步包括：分别对每帧原始图像中的目标和背景进行二值掩膜处理，得到原始图像集对应的二值掩膜标注图像集；将原始图像集中的各原始图像分别输入待训练的目标分割神经网络进行目标分割处理；根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值；根据第一损失函数值调整待训练的目标分割神经网络的参数，直至目标分割神经网络收敛。3.根据权利要求2所述的方法，其特征在于，所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算第一损失函数值，包括：根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度的损失函数值；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度；对所述目标分割神经网络的像素角度的损失函数值、所述局部相似度和所述整体相似度进行加权求和计算，得到第一损失函数值。4.根据权利要求3所述的方法，其特征在于，所述根据待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像，计算所述目标分割神经网络的像素角度
的损失函数值，包括：计算：其中，l
pixel
为所述目标分割神经网络的像素角度的损失函数值，p(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，l(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，ln为自然对数运算符，h、w分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，h、w的单位为像素，α和γ为预设超参数；所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度，包括：计算：其中，l
ssim
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的局部相似度；i为分别在二值掩膜预测图像和二值掩膜标注图像上滑动的滑动窗的总数，i为滑动窗的序号；
µ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值均值，
µ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值均值；σ
xi
为待训练的目标分割神经网络输出的二值掩膜预测图像中的第i个滑动窗内所有像素点的像素值方差，σ
yi
为对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值方差；σ
xyi
表示待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像中的第i个滑动窗内所有像素点的像素值协方差；c1和c2为预设常数；所述计算待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，包括：计算其中，l
iou
为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的整体相似度，p(a,b)为待训练的目标分割神经网络输出的二值掩膜预测图像上的像素点(a,b)的像素值，a、b分别为像素点的纵坐标、横坐标，l(a,b)为对应的二值掩膜标注图像上的像素点(a,b)的像素值，h、w分别为待训练的目标分割神经网络输出的二值掩膜预测图像和对应的二值掩膜标注图像的高度和宽度，h、w的单位为像素。5.根据权利要求1所述的方法，其特征在于，所述得到对应的目标去除粗略图像之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：根据目标去除粗略图像和对应的标准图像，计算第二损失函数值；
所述得到对应的目标去除精细图像之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：根据目标去除精细图像和对应的标准图像，计算第三损失函数值；所述得到目标去除判别结果之后、所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数之前，进一步包括：根据目标去除精细图像和对应的标准图像，计算第四损失函数值；所述调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，包括：根据第二损失函数值调整第一目标去除神经网络的参数，根据第三损失函数值调整第二目标去除神经网络的参数，根据第四损失函数值调整判别器神经网络的参数。6.根据权利要求5所述的方法，其特征在于，所述根据目标去除粗略图像和对应的标准图像，计算第二损失函数值，包括：根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的l1损失函数值、语义损失函数值和风格损失函数值；对所述l1损失函数值、所述语义损失函数值和所述风格损失函数值进行加权求和计算，得到第二损失函数值。7.根据权利要求6所述的方法，其特征在于，所述根据目标去除粗略图像和对应的标准图像，计算第一目标去除神经网络的l1损失函数值、语义损失函数值和风格损失函数值，包括：计算：计算：计算：其中，l
l1
为所述l1损失函数值，l
content
为所述语义损失函数值，l
style
为所述风格损失函数值，h、w和c分别为目标去除粗略图像和标准图像的高度、宽度和通道数，p
o
为目标去除粗略图像的所有像素点的像素值构成的向量，l
o
为标准图像的所有像素点的像素值构成的向量；|| ||1为1范数运算符；f
ip
、f
il
为分别将p
o
、l
o
输入预先训练好的分类网络得到的输出特征，n为f
ip
、f
il
的数目，|| ||2为2范数运算符，t为转置运算符。8.根据权利要求1所述的方法，其特征在于，所述第一目标去除神经网络和第二目标去除神经网络的结构和参数相同。9.根据权利要求1所述的方法，其特征在于，所述将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型之后，进一步包括：将待去除目标的第一图像输入目标分割神经网络进行目标和背景的分割，得到第一图
像的二值掩模图像；将第一图像的二值掩模图像和第一图像输入第一目标去除神经网络进行目标去除处理，得到第一图像的目标去除粗略图像；将第一图像的二值掩模图像和第一图像的目标去除粗略图像输入第二目标去除神经网络进行目标去除处理，得到第一图像的目标去除精细图像。10.一种目标去除模型建立装置，其特征在于，该装置包括：训练准备模块，用于获取原始图像集，该原始图像集中包含多帧原始图像，每帧原始图像中包含至少一个目标；获取每帧原始图像分别对应的不包含目标的标准图像，得到原始图像集对应的标准图像集；二值掩膜预测模块，用于将原始图像集中的各原始图像分别输入已训练好的目标分割神经网络进行目标和背景的分割，得到对应的二值掩膜预测图像；粗略去除模块，用于将二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络进行目标去除处理，得到对应的目标去除粗略图像；精细去除模块，用于将目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络进行目标去除处理，得到对应的目标去除精细图像；判别模块，用于将目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理，得到目标去除判别结果；调整模块，用于调整所述第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。11.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至9中任一项所述的方法的步骤。

技术总结
本发明实施例提出目标去除模型建立方法、装置及可读存储介质。方法包括：将各原始图像分别输入已训练好的目标分割神经网络，将得到的二值掩膜预测图像和对应的原始图像输入待训练的第一目标去除神经网络，将得到的目标去除粗略图像和对应的二值掩膜预测图像输入待训练的第二目标去除神经网络，将得到的目标去除精细图像和对应的标准图像输入待训练的判别器神经网络进行目标去除判别处理；调整第一目标去除神经网络、第二目标去除神经网络和判别器神经网络的参数，直至收敛，将收敛时的目标分割神经网络、第一目标去除神经网络和第二目标去除神经网络构成的模型作为最终使用的目标去除模型。本发明实施例提高了目标去除的精度。精度。精度。


技术研发人员：高思斌 范晓 杨作兴 艾国
受保护的技术使用者：深圳比特微电子科技有限公司
技术研发日：2022.06.13
技术公布日：2022/7/15