针对鱼骨式奶厅中栏杆遮挡的奶牛图像的修复方法及系统与流程

本发明涉及生物识别领域，具体涉及一种针对鱼骨式奶厅中栏杆遮挡的奶牛图像的修复方法及系统。

背景技术：

1、近年来我国的畜牧业发展迅速，在管理牧场的模式中更侧重于规范化、集约化的养殖，信息化是奶牛养殖业的必然趋势。牛背识别是实现牧场智慧化养殖的重要要求，对奶牛的识别一般在挤奶厅。目前大部分普遍采用挤奶厅采奶，挤奶厅常用的挤奶设备形式有并列式、转盘式和鱼骨式。并列式奶厅进出奶牛时间短，挤奶效率高，但需要设备数量多，投入成本较高；转盘式奶厅采集牛背图像方便且效率高，但维护成本较高，无法大规模普及；鱼骨式奶厅设备投入少且采集牛背图像方便，因此大部分的挤奶厅使用的是鱼骨式的形式。而在鱼骨式奶厅中由于栏杆遮挡较多，采集的牛背图像因栏杆遮挡导致牛背个体特征信息的丢失，无法进行有效地进行个体识别，基于此对栏杆遮挡的牛背图像进行遮挡修复具有重大意义。当前图像修复算法主要分为传统图像修复算法和基于深度学习的图像修复算法。

2、传统的图像修复算法通常适用于受损区域较小的情况。有研究提出一种基于微偏分方程的图像修复方法，通过受损区域的边缘信息来确定扩散的信息与方向，该方法在牛背图像进行遮挡修复的时候无法很好考虑牛背的全局特征，修复部分的细节不细致；有研究提出一种快速图像修复算法，利用等照线的方式对待修补区域进行信息扩散，在一定程度上考虑到了牛背的全局特征，但在信息扩散的时候对所有已知像素点都进行了计算，没有很好地考虑到牛背的局部纹理特征，容易引入多余的噪声，导致修复后的图像模糊。有研究提出基于样本块的特征合成算法，该方法通过统计待修补区域的置信度与相似度得到修复顺序，通过修复的优先度进行修复，能够对牛背缺失区域的结构和局部特征进行较好的恢复，但该算法衡量相似度的准则不够准确，导致修复后的牛背图像花纹形状有误。

3、基于深度学习的图像修复算法在当下成为新的热点。有研究提出了一种基于一个cnn生成器和一个生成对抗网络(generative adversarial network,gan)级联的修复算法，该算法在从先验图像中进行学习后，再对待修复图像进行推测得到合理的虚假图像，但该方法只使用一个判决器对图像的全局信息进行判别，忽视了修复图像的纹理细节，无法有效地考虑到牛背的局部特征，在去除栏杆遮挡后修复部分的纹理差异较大。针对该问题，有研究提出一种基于一个cnn生成器和两个gan判别器级联的修复算法，利用cnn网络对需要修复的区域进行修复，两个gan识别器各自专注于牛背图像的整体和局部数据，这样可以显著提高牛背的一致性。但在栏杆遮挡下牛背被遮挡部分特征丢失严重，cnn网络无法有效地对牛背的特征图进行融合，修复牛背图像时无法有效去除遮挡。为解决cnn网络特征融合能力不足的问题，有研究提出一种基于一个unet生成器和一个patchgan判别器级联的pix2pix模型，利用unet网络实现了编码器与解码器之间特性的跳跃式链接，并通过patchgan将生成图分解为多个子图对局部区域进行判别，能够充分地捕捉模型对牛背图像的细节和结构，提高生成图像的质量，但由于牛背图像中牛背的纹理与毛色等低层特征多样，该模型在修复花纹复杂且颜色不单调的牛背图像时修复的细节特征模糊。

技术实现思路

1、本发明的目的是针对现有技术的不足，提供一种针对鱼骨式奶厅中栏杆遮挡的奶牛图像的修复方法及系统，本发明包括一个sa-unet生成器和一个多尺度patchgan判别器构成的牛背图像修复模型sa-pix2pix。

2、本发明所采用的技术方案包括以下步骤：

3、s1、采集牛身数据；

4、s2、牛背图像修复模型sa-pix2pix的建立与数据训练；

5、所述牛背图像修复模型sa-pix2pix中的sa-unet生成器中利用空间注意力机制，在空间维度上增强栏杆遮挡区域的局部特征，抑制对修复无效的特征，以提高牛背遮挡修复时的准确性；多尺度patchgan判别器，使用不同大小卷积核尺寸的patchgan对生成的图像进行多尺度判决，通过不同感受野多尺度捕捉牛背全局与局部特征。

6、进一步地，本发明所述的sa-unet生成器的结构，具体如下：

7、前四次下采样阶段将得到的输出结果复制后一份作为相邻下一个下采样的输入特征，另一份输入到加入空间注意力机制的特征跳跃连接中，通过多空间尺度的跳跃链接将牛背的语义信息和纹理信息充分结合，第五次下采样后通过aspp模块将牛背的高级特征与低级特征更好地融合，减少池化操作后牛背图片中空间与纹理特征的丢失。

8、进一步的，本发明所述的aspp模块中引入空洞卷积替代普通卷积，aspp模块能够在不同尺度下充分提取牛背图像的纹理特征；对于输入特征图进行复制，aspp模块分别进行一次1x1卷积、3次不同扩张率的3x3卷积和一次最大池化，将得到的特征图进行拼接得到输出特征，使用大扩张率的空洞卷积能够有更大的感受野，能够充分地提取牛背的全局信息；

9、进一步的，本发明所述的patchgan判别器首先将牛背特征图分割成多个子图，分别对各个子图进行判别，将所有子图的判别结果的均值作为整幅牛背特征图的判别结果。所述的patchgan的判别效果与划分的子图大小有关，因此判别器网络采用两个不同kernel大小的patchgan组成多尺度patchgan判别器。

10、进一步的，本发明所述的多尺度patchgan判别器中共有两个patchgan判别器，patchgan由一个卷积层加relu激活函数、三个卷积批归一化激活函数串联和一个卷积层级联组成。在输入kernel为4的判别器之前将牛背图像分为2048个子图；在输入kernel为32的判别器之前将图像分为64个子图，各个子图之间能够有效的进行关联，从而使得判别器能够对牛背的全局特征进行更好的判别，最后将两个判别器得到的结果取平均值作为多尺度patchgan判别器。

11、进一步的，本发明所述的牛背图像修复模型sa-pix2pix的训练，具体实现如下

12、模型训练的总损失函数包含两部分，分别为条件生成对抗网络cgan损失、l1损失，模型总损失的公式如式1所示。

13、g*＝arg mingmaxdlcgan(g,d)+α*ll1    (1)

14、其中，g*是总损失函数，lcgan(g,d)为sa-pix2pix模型中生成器与判别器的对抗损失函数，ll1为生成器生成的图像与无遮挡图像的l1损失，α为l1损失的系数。

15、lcgan(g,d)的表达式如式2所示：

16、lcgan(g,d)＝ex,y[logd(x,y)]+ex,z[log(1-d(x,g(x,z)))]   (2)

17、其中，x是待修复的栏杆遮挡奶牛图，y为无栏杆遮挡的奶牛图，z是噪声，式中，生成器在输入的真实栏杆遮挡图的基础上，进行符合无栏杆遮挡情况下的虚假图像以欺骗判别器，而判别器则分辨输入的图像真假性。

18、ll1的表达式如式3所示：

19、ll1＝ex,y,z[||y-g(x,z)||1]   (3)

20、式子中，通过l1损失保证输入和输出的图像相似度，使得生成的虚假图片能够在像素分布上更接近真实对应图像。

21、进一步的，本发明还提供一种针对鱼骨式奶厅中栏杆遮挡的奶牛图像的修复系统，包括数据采集模块、牛背图像修复模型sa-pix2pix构建模块、模型训练模块；

22、数据采集模块：采用的图像数据集cowyctc-14440从多个牧场的挤奶厅中采集，在不同挤奶位架设摄像头，通过程序读取摄像头画面并截取牛背图片；

23、牛背图像修复模型sa-pix2pix构建模块：模型包括一个sa-unet生成器和一个多尺度patchgan判别器；牛背图像修复模型sa-pix2pix中的sa-unet生成器中利用空间注意力机制，在空间维度上增强栏杆遮挡区域的局部特征，抑制对修复无效的特征，以提高牛背遮挡修复时的准确性；多尺度patchgan判别器，使用不同大小卷积核尺寸的patchgan对生成的图像进行多尺度判决，通过不同感受野多尺度捕捉牛背全局与局部特征。

24、本发明有益效果如下：

25、本发明提出新的生成器sa-unet，在unet网络中加入空间注意力机制，在空间维度上增强牛背的边缘特征，抑制无效的特征，以提高牛背遮挡修复时的准确性；采用多尺度patchgan作为判决器降低图像中非栏杆遮挡的干扰提升图像整体性。本发明有效的解决了挤奶厅环境下牛背图像修复存在的细节模糊问题，取得了较好的图像修复结果。