一种基于弱监督的物体计数神经网络训练方法和计数方法

1.本发明涉及弱监督学习技术领域，更具体地，涉及一种基于弱监督的物体计数神经网络训练方法和计数方法。


背景技术：

2.神经网络在图像识别的应用上取得了良好的效果，利用神经网络可以识别图像中的物体，自动对图像中的识别对象计数，现有技术中的神经网络训练方法通常为：完全监督训练、不完全监督(incomplete supervision)训练或不精确监督(inexact supervision)训练三者之中的一种。
3.完全监督训练利用完全监督信息对神经网络进行训练，可获得比较高的精度，但为了得到完全监督信息需要人工进行大量的标注，浪费人力；不完全监督训练利用不完全监督信息对神经网络进行训练，不完全监督信息只需要标注图片中的部分物体，可降低标注量，但由于无法确定图片中未标注区域的标签，容易导致漏检、虚检；不精确监督训练利用不精确监督信息对神经网络进行训练，不精确监督信息即只对图片进行粗粒度的标注，例如只标注图片中物体数量，同样标注量较低，但神经网络无法确物体的位置，模型训练困难，限制了潜在的改进空间，现有的不精确监督训练方法采用预训练模型生成初始检测框确定物体位置，依赖于预训练模型对被检测物体的先验知识，预训练模型利用大型数据集训练得到，二不精确监督训练的物体类别不能确定，预训练模型在新类别物体上生成的候选框不够精确。
4.现有技术的一种基于半监督流形嵌入的人群计数方法，仅对部分样本标记标签，采用仅有部分标签的训练样本图像对神经网络实施半监督训练，以减少用于标记的人力资源和时间花销，但该技术方案仅采用不完全监督训练神经网络，容易导致漏检、虚检，检测精度不理想。


技术实现要素：

5.本发明为克服上述技术问题，提供标注量较小并且不易漏检的一种基于弱监督的物体计数神经网络训练方法和计数方法。
6.本发明技术方案如下：
7.一种基于弱监督的物体计数神经网络训练方法，包括步骤：
8.s1、利用训练样本图像对初始的神经网络进行不完全监督训练，得到不完全监督的神经网络；
9.s2、利用训练样本图像中的识别对象数量对不完全监督的神经网络进行不精确监督训练，得到物体计数神经网络。
10.本技术方案提出了一种基于弱监督的物体计数神经网络训练方法，神经网络在训练过程中结合了不完全监督训练和不精确监督训练，相比于利用完全监督信息训练得到的神经网络，可有效降低标注量节约人力成本，相比于仅利用不完全监督训练得到的神经网
络，可有效提高检测框精度；相比于常规的利用识别对象的语义信息的不精确监督训练，本方案利用识别对象的数量信息进行不精确监督训练，能够实现较好的计数效果；本方案首先对神经网络进行不完全监督训练，对于特定类别的物体具有针对性，改善了初始检测框的质量，得到的候选区域更准确、召回率更高。与单纯的不完全监督、不精确监督相比，向神经网络输入了更多的监督信息，在保证计数精度的前提下，减少单个图片的标注工作量、不易漏检识别精度高。
11.进一步地，步骤s1所述不完全监督训练的方法为：
12.s11、获取训练样本图像以及初始的神经网络；
13.s12、利用初始的神经网络对训练样本图像生成第一热图，针对第一热图中的标注框区域生成第一热图真值；
14.s13、循环地利用第一热图和第一热图真值计算第一损失值，根据第一损失值更新初始的神经网络权重，直到网络能够检测出所有已经标注的标记框，从而得到不完全监督的神经网络。
15.进一步地，步骤s12所述第一热图真值的计算方法为：
[0016][0017]
(x,y)∈{x,y∈r:x
i1
≤x≤x
i2
and y
i1
≤y≤y
i2
}
[0018]
其中，i
ti
为第一热图真值，第i个标注框的左上角坐标为(x
i1
，y
i1
)、右下角坐标为(x
i2
，y
i2
)、高为hi、宽为wi，
[0019]
步骤s13所述第一损失值的计算方法为：
[0020][0021]
其中i
pi
、i
ti
分别为第一热图在对应方框i中的预测值、第一热图真值；k为该训练样本图像的标注框数量。
[0022]
进一步地，步骤s2所述不精确监督训练的方法为：
[0023]
s21、获取已经完成不完全监督训练的不完全监督的神经网络，根据训练样本图像中识别对象的数量，所述不完全监督的神经网络对训练样本图像生成第二热图；
[0024]
s22、对第二热图进行顶帽滤波然后进行阈值化，获得一系列初始斑块，表示为b＝{be，e＝1，2，3，...，m}；
[0025]
s23、计算初始斑块的面积和均值，依据初始斑块的面积和均值对所有的初始斑块进行排序，按照从大到小的顺序，将热图斑块划分为两类：排序前n个斑块为第一斑块集合bf＝{bf，f＝1，2，3，...，n}，其中n为当前训练样本图像中的识别对象的数量，排序后m-n个斑块为第二斑块集合bg＝{bg，g＝n 1，n 2，...，m}；
[0026]
s24、计算bg的虚检损失，并计算bf和bg的gap损失；
[0027]
s25、损失函数利用第一损失值、虚检损失和gap损失计算第二损失值；
[0028]
s26、判断是否达到指定的迭代步数，若未达到迭代步数，则根据第二损失值更新不完全监督的神经网络的权重，然后返回步骤s21对不完全监督的神经网络进行迭代训练；
若达到迭代步数，则停止迭代，保存神经网络作为物体计数神经网络；
[0029]
其中，步骤s23当前训练样本图像中的识别对象的数量是通过对训练样本进行粗粒度标记得到的。
[0030]
上述技术方案中，对第二热图先进行顶帽滤波、再进行阈值化在训练中，由于热图的值逐渐从小到大，但大部分破碎、细小、不均匀，如果直接使用阈值化提取区域，值较低的区域容易丢失。先进行顶帽滤波可以避免丢失这些区域。
[0031]
进一步地，步骤s22所述顶帽滤波的计算方法为：
[0032]
其中e为结构元，所述结构元为圆形；i为第二热图。
[0033]
上述技术方案中，所述结构元为圆形，由于图片中物体的形状、方向不确定，因此使用矩形、椭圆等具有方向的图形作为结构元是不合适的，因而使用各向同性的圆形作为结构元获得更好的性能。
[0034]
进一步地，步骤s24中计算bg的虚检损失的方法为：
[0035][0036]
其中，bg为第一斑块集合bg中的斑块；
[0037]
步骤s24计算bf和bg的gap损失的方法为：
[0038][0039]
进一步地，步骤s25中所述损失函数为：
[0040]
l(p，t，n)＝αl
reg
(p，t) βl
gap
(bf，bg) γl
fp
(bg)
[0041]
其中，α、β、γ分别为损失函数中三个损失项的系数。
[0042]
一种基于弱监督的物体计数方法，将待识别图像输入物体计数神经网络，物体计数神经网络输出待识别图像中识别对象的数量。
[0043]
进一步地，所述待识别图像和训练样本图像中的识别对象为同一类物体。
[0044]
进一步地，步骤s1所述初始的神经网络为fcn神经网络或u-net神经网络。
[0045]
本技术方案提出了一种基于弱监督的物体计数神经网络训练方法和计数方法，与现有技术相比，本发明技术方案的有益效果是：神经网络在训练过程中结合了不完全监督训练和不精确监督训练，相比于利用完全监督信息训练得到的神经网络，可有效降低标注量节约人力成本，相比于仅利用不完全监督训练得到的神经网络，可有效提高检测框精度；相比于常规的利用识别对象的语义信息的不精确监督训练，本方案利用识别对象的数量信息进行不精确监督训练，能够实现较好的计数效果；本方案首先对神经网络进行不完全监督训练，对于特定类别的物体具有针对性，改善了初始检测框的质量，得到的候选区域更准确、召回率更高。与单纯的不完全监督、不精确监督相比，向神经网络输入了更多的监督信息，在保证计数精度的前提下，减少单个图片的标注工作量、不易漏检识别精度高。
附图说明
[0046]
图1为本发明基于弱监督的物体计数神经网络训练方法步骤示意图；
[0047]
图2为训练神经网络流程图；
[0048]
图3为训练样本图像的标注情况示意图；
[0049]
图4为第二热图斑块示意图。
具体实施方式
[0050]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0051]
实施例1
[0052]
一种基于弱监督的物体计数神经网络训练方法如图1所示，包括步骤：
[0053]
s1、利用训练样本图像对初始的神经网络进行不完全监督训练，得到不完全监督的神经网络；
[0054]
s2、利用训练样本图像中的识别对象数量对不完全监督的神经网络进行不精确监督训练，得到物体计数神经网络。
[0055]
本实施例的一种基于弱监督的物体计数神经网络训练方法，神经网络在训练过程中结合了不完全监督训练和不精确监督训练，相比于利用完全监督信息训练得到的神经网络，可有效降低标注量节约人力成本，相比于仅利用不完全监督训练得到的神经网络，可有效提高检测框精度；相比于常规的利用识别对象的语义信息的不精确监督训练，本方案利用识别对象的数量信息进行不精确监督训练，能够实现较好的计数效果；本方案首先对神经网络进行不完全监督训练，对于特定类别的物体具有针对性，改善了初始检测框的质量，得到的候选区域更准确、召回率更高。与单纯的不完全监督、不精确监督相比，向神经网络输入了更多的监督信息，在保证计数精度的前提下，减少单个图片的标注工作量、不易漏检识别精度高。
[0056]
实施例2
[0057]
本实施例提供一种基于弱监督的物体计数神经网络训练方法，流程图如图2所示，在实施例1的基础上，本实施例中对初始的神经网络训练前需要对训练样本图像进行不完全标记和粗粒度标记，不完全标记和粗粒度标记分别用于不完全监督训练和粗粒度监督训练，所述不完全标记是指对于每一张训练样本图像，仅对训练样本图像中的部分识别对象标记标注框；步骤s1所述初始的神经网络为fcn神经网络或u-net神经网络。
[0058]
所述粗粒度标记是指对于每一张训练样本图像仅标注其中识别对象的数量。
[0059]
对训练样本图像进行所述不完全标记时，每一张训练样本图像中标记框的数量为1-3个。
[0060]
训练样本图像的标注情况示意图如图3所示，图三左上侧图片为完全标记，即对图中的每一个识别对象均进行标记；图三右上侧图片为不完全标记，即对图中部分识别对象进行标记；图三左下侧图片为粗粒度标记，即只标记图中识别对象的数量；图三右下侧图片为不完全标记和粗粒度标记，即对图中部分识别对象进行标记，并标记图中识别对象数量。
[0061]
训练样本图像的获取方法为：对待计数物体拍摄视频，然后抽取每一帧，对每一帧图像进行不完全标记和粗粒度标记。
[0062]
步骤s1所述不完全监督训练的方法为：
[0063]
s11、获取训练样本图像以及初始的神经网络；
[0064]
s12、利用初始的神经网络对训练样本图像生成第一热图，针对第一热图中的标注框区域生成第一热图真值；
[0065]
s13、循环地利用第一热图和第一热图真值计算第一损失值，根据第一损失值更新初始的神经网络权重，直到网络能够检测出所有已经标注的标记框，从而得到不完全监督的神经网络。
[0066]
步骤s12所述第一热图真值的计算方法为：
[0067][0068]
(x，y)∈{x，y∈r：x
i1
≤x≤x
i2 and y
i1
≤y≤y
i2
}
[0069]
其中，i
ti
为第一热图真值，第i个标注框的左上角坐标为(x
i1
，y
i1
)、右下角坐标为(x
i2
，y
i2
)、高为hi、宽为wi，
[0070]
步骤s13所述第一损失值的计算方法为：
[0071][0072]
其中i
pi
、i
ti
分别为第一热图在对应方框i中的预测值、第一热图真值；k为该训练样本图像中的标注框数量。
[0073]
步骤s2所述不精确监督训练的方法为：
[0074]
s21、获取已经完成不完全监督训练的不完全监督的神经网络，不完全监督的神经网络对训练样本图像生成第二热图；
[0075]
s22、对第二热图进行顶帽滤波然后进行阈值化，获得一系列初始斑块，表示为b＝{be，e＝1，2，3，...，m}；
[0076]
s23、计算初始斑块的面积和均值，依据初始斑块的面积和均值对所有的初始斑块进行排序，按照从大到小的顺序，将热图斑块划分为两类：排序前n个斑块为第一斑块集合bf＝{bf，f＝1，2，3，...，n}，其中n为当前训练样本图像中的识别对象的数量，排序后m-n个斑块为第二斑块集合bg＝{bg，g＝n 1，n 2，...，m}；
[0077]
s24、计算bg的虚检损失，并计算bf和bg的gap损失；
[0078]
s25、损失函数利用第一损失值、虚检损失和gap损失计算第二损失值；
[0079]
s26、判断是否达到指定的迭代步数，若未达到迭代步数，则根据第二损失值更新不完全监督的神经网络的权重，然后返回步骤s21对不完全监督的神经网络进行迭代训练；若达到迭代步数，则停止迭代，保存神经网络作为物体计数神经网络；
[0080]
其中，步骤s23当前训练样本图像中的识别对象的数量是通过对训练样本进行粗粒度标记得到的。
[0081]
实施例3
[0082]
在实施例2的基础上，本实施例中，步骤s22所述顶帽滤波的计算方法为：
[0083]
其中e为结构元，所述结构元为圆形；i为第二热图。由于图片中物体的形状、方向不确定，因此使用矩形、椭圆等具有方向的图形作为结构元是不合适的，因而使用各向同性的圆形作为结构元获得更好的性能。
[0084]
步骤s24中计算bg的虚检损失的方法为：
[0085][0086]
其中，bg为第一斑块集合bg中的斑块；
[0087]
步骤s24计算bf和bg的gap损失的方法为：
[0088][0089]
步骤s25中所述损失函数为：
[0090]
l(p，t，n)＝αl
reg
(p，t) βl
gap
(bf，bg) γl
fp
(bg)
[0091]
其中，α、β、γ分别为损失函数中三个损失项的系数。
[0092]
本实施例对神经网络进行不完全监督训练和不精确监督训练得到物体计数神经网络，使用物体计数神经网络识别得到物体数量，神经网络在训练过程中结合了不完全标记信息和粗粒度标记信息，相比于利用完全监督信息训练得到的神经网络，可有效降低标注量节约人力成本，相比于仅利用不完全监督训练得到的神经网络，可有效提高检测框精度；相比于仅利用不精确监督训练得到的神经网络，本方案首先对神经网络进行不完全监督训练，对于特定类别的物体具有针对性，改善了初始检测框的质量，得到的候选区域更准确、召回率更高。与单纯的不完全监督、不精确监督相比，向神经网络输入了更多的监督信息，在保证计数精度的前提下，减少单个图片的标注工作量、不易漏检识别精度高。
[0093]
实施例4
[0094]
一种基于弱监督的物体计数方法，将待识别图像输入物体计数神经网络，物体计数神经网络输出待识别图像中识别对象的数量。所述待识别图像和训练样本图像中的识别对象为同一类物体。获取待识别图像的方法为：对待计数物体拍摄视频，然后抽取每一帧作为待识别图像，若待识别图像为侧视图像，还需要对每一帧待识别图像进行不完全标记和粗粒度标记。