一种基于深度学习的移动物体检测方法与流程

1.本发明涉及移动物体检测领域，尤其涉及一种基于深度学习的移动物体检测方法。


背景技术：

2.传统移动物体检测使用背景提取的方法，对图像中的每个像素进行统计建模；采用对每个像素连续多帧统计的方法获得每个像素点在某一段时间内的平均rgb值，这样一幅图所有像素点的平均rgb值组成了整个画面的背景，称之为背景提取方法。如果下一时刻某一像素点的值超过或者低于此像素点的平均值 -阈值，则判断此像素点为前景，当前景像素点个数超过一定值的时候则判断有移动物体。背景提取方法有个致命的弱点就是在移动物体和背景颜色相近的时候几乎无法检测到移动物体，因为此时移动物体的rgb值和背景提取的rgb值差异在阈值内，会将前景判定为背景或者判断为前景的像素点个数有限而无法捕捉到移动物体。基于目标检测的移动物体检测方法，使用yolo，ssd等卷积神经网络检测出画面内具体物体类别的bounding box,在下一个画面如果这些物体类别对应的bounding box没有变化则判断为没有物体移动，如果对应物体类别的bounding box发生变化则表示有物体移动。目标检测的移动物体检测方法需要比较大的卷积神经网络才能正确的找出物体的bounding box，这需要强的cpu或者gpu算力的支持；无法部署到arm等算力不强大的设备上。另外目标检测方法对没训练的物体类别或者只有部分特征而无法正确判断类别的物体不能检测，这样也会丢失一部分移动物体的捕捉。
3.中国专利cn201380072134.8公开了一种用于检测移动物体的方法和系统，包括，基于多个视频帧识别多个特征点；基于所述多个特征点之间的相关性从所述多个特征点中进行选择来形成第一特征点组和第二特征点组；检查所述第一特征点组和所述第二特征点组是否具有共同特征点；如果有，从所述第一特征点组中识别第一基准点，从所述第二特征点组中识别第二基准点；将所述共同特征点分类到所述第一特征点组和所述第二特征点组中的一个组来获得更新的第一特征点组和更新的第二特征点组，所述第一特征点组和所述第二特征点组中的所述一个组的基准点与所述共同特征点的相关性最大；以及分别基于所述更新的第一特征点组和所述更新的第二特征点组在至少一个视频帧中识别两个片段来作为检测到的移动物体，其中两个特征点之间的相关性包括距离分量和移动差异分量，其中所述距离分量与所述两个特征点之间的距离相关，并且所述移动差异分量与所述两个特征点的对应移动之间的差异相关。
4.目前，已经有一些基于深度学习的移动物体检测方法，但是普遍不能通过采用相对深度学习目标检测更小的网络提取特征并通过差分网络来判定是否有移动物体。


技术实现要素：

5.为此，本发明提供一种基于深度学习的移动物体检测方法，可以有效解决现有技术中不能通过采用相对深度学习目标检测更小的网络提取特征并通过差分网络来判定是
否有移动物体的技术问题。
6.为实现上述目的，本发明提供一种基于深度学习的移动物体检测方法，包括：
7.步骤s1，使用卷积神经网络分别提取需要对比的两张原始图像的特征得到原始特征图和对比特征图；
8.步骤s2，将所述原始特征图和所述对比特征图通过差分网络得到特征差异图；得到后，将s1中原始特征图和对比特征图中对应特征差异图超过阈值的区域分别提取出来作为原始特征差异区域和对比特征差异区域，提取后，将所述特征差异图经过两个或者多个全连接网络得到特征差异值；
9.步骤s3，将所述原始特征差异区域和所述对比特征差异区域分别通过一个或者多个卷积神经网络层得到原始深层特征图和对比深层特征图，得到后，将所述原始深层特征图和所述对比深层特征图通过一个或者多个全连接层分别得到原始深层特征值和对比深层特征值；
10.步骤s4，将所述原始深层特征值和所述对比深层特征值进行差异性比较得到差异区域物体特征相近值；
11.步骤s5，结合所述步骤s2中得到的特征差异值和所述步骤s4中得到的差异区域物体特征相近值综合判断物体是否移动。
12.进一步地，所述步骤s5中综合判断物体是否移动的具体计算如下：
13.a＝diff
×
(1.0-simi)；
14.始终，a表示最终判定值，diff表示特征差异值，simi表示差异区域物体相似值。
15.进一步地，所述最终判定值a得到后，将其与阈值进行比较，若最终判定值a≥阈值则表示物体移动，若最终判定值a＜阈值则表示没有物体移动。
16.进一步地，所述步骤s5中的特征差异值和差异区域物体特征相近值进行综合判断前需要通过sigmoid激活函数输出。
17.进一步地，所述步骤s2中的特征差异值为所述原始特征差值区域和所述对比特征差异区域差异程度的大小。
18.进一步地，所述步骤s4中的差异区域物体相似值通过差异的区域是否为同一物体在不同的位置确定。
19.进一步地，所述步骤s1中使用的卷积神经网络提取时选用已有的移动端开源网络mobilenet系列，适当调整网络的层数以满足需要部署的目标arm设备的算力和内存要求。
20.进一步地，所述步骤s1中得到原始特征图和对比特征图后，还可以将所述原始特征图和所述对比特征图通过差分网络得到一张差分特征图，得到后，将所述差分特征图经过一层或者多层全连接网络最终得到一个差分值。
21.进一步地，所述差分值得到后，直接将所述差分值经过sigmoid激活函数后判定画面中是否有移动物体。
22.与现有技术相比，本发明的有益效果在于，本发明通过采用相对深度学习目标检测更小的网络提取画面中物体的特征，然后将两个画面提取到的特征通过差分网络后判定是否有移动物体。cpu/gpu算力要求低，可以满足部署到arm这种边缘设备的需求有更强的应用性；且不需要提取到具体的物体类别，只需要判断深度学习提取的纹理特征发生了变化就可以判断物体是否移动。
23.进一步地，本发明通过将最终判定值a与阈值进行比较以确定物体是否发生移动，其中，最终判定值a通过预设公式精确计算得到，从而能够准确判断物体是否移动。
24.进一步地，本发明的特征差异值和差异区域物体特征相近值进行综合判断前需要通过sigmoid激活函数输出，能够提高综合判断物体是否移动的准确率。
25.进一步地，本发明的所述的直接将两张特征图差分后经过全连接后判断是否有物体移动；没有对差异区域的特征进行细化提取，一样可以达到移动物体的判断，只是可能会有误报发生。
附图说明
26.图1为本发明实施例基于深度学习的移动物体检测方法的流程示意图；
27.图2为本发明实施例基于深度学习的移动物体检测方法的原理图a；
28.图3为本发明实施例基于深度学习的移动物体检测方法的原理图b。
具体实施方式
29.为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
30.下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
31.需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
32.此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
33.请参阅图1和图2所示，图1为本发明实施例基于深度学习的移动物体检测方法的流程示意图，图2为本发明实施例基于深度学习的移动物体检测方法的原理图a，本发明提供一种基于深度学习的移动物体检测方法，包括：
34.步骤s1，使用卷积神经网络分别提取需要对比的两张原始图像的特征得到原始特征图和对比特征图；
35.步骤s2，将所述原始特征图和所述对比特征图通过差分网络得到特征差异图；得到后，将s1中原始特征图和对比特征图中对应特征差异图超过阈值的区域分别提取出来作为原始特征差异区域和对比特征差异区域，提取后，将所述特征差异图经过两个或者多个全连接网络得到特征差异值；
36.步骤s3，将所述原始特征差异区域和所述对比特征差异区域分别通过一个或者多个卷积神经网络层得到原始深层特征图和对比深层特征图，得到后，将所述原始深层特征图和所述对比深层特征图通过一个或者多个全连接层分别得到原始深层特征值和对比深
层特征值；
37.步骤s4，将所述原始深层特征值和所述对比深层特征值进行差异性比较得到差异区域物体特征相近值；
38.步骤s5，结合所述步骤s2中得到的特征差异值和所述步骤s4中得到的差异区域物体特征相近值综合判断物体是否移动。
39.具体而言，本发明通过采用相对深度学习目标检测更小的网络提取画面中物体的特征，然后将两个画面提取到的特征通过差分网络后判定是否有移动物体。cpu/gpu算力要求低，可以满足部署到arm这种边缘设备的需求有更强的应用性；且不需要提取到具体的物体类别，只需要判断深度学习提取的纹理特征发生了变化就可以判断物体是否移动。
40.具体而言，所述步骤s5中综合判断物体是否移动的具体计算如下：
41.a＝diff
×
(1.0-simi)；
42.始终，a表示最终判定值，diff表示特征差异值，simi表示差异区域物体相似值。
43.具体而言，所述最终判定值a得到后，将其与阈值进行比较，若最终判定值a≥阈值则表示物体移动，若最终判定值a＜阈值则表示没有物体移动。
44.具体而言，本发明通过将最终判定值a与阈值进行比较以确定物体是否发生移动，其中，最终判定值a通过预设公式精确计算得到，从而能够准确判断物体是否移动。
45.具体而言，所述步骤s5中的特征差异值和差异区域物体特征相近值进行综合判断前需要通过sigmoid激活函数输出。
46.具体而言，本发明的特征差异值和差异区域物体特征相近值进行综合判断前需要通过sigmoid激活函数输出，能够提高综合判断物体是否移动的准确率。
47.具体而言，所述步骤s2中的特征差异值为所述原始特征差值区域和所述对比特征差异区域差异程度的大小。本实施例中，差异程度的大小即为图像差异程度的大小。
48.具体而言，所述步骤s4中的差异区域物体相似值通过差异的区域是否为同一物体在不同的位置确定。
49.具体而言，所述步骤s1中使用的卷积神经网络提取时选用已有的移动端开源网络mobilenet系列，适当调整网络的层数以满足需要部署的目标arm设备的算力和内存要求。本实施例中，卷积神经网络可以选用mobilenet v1的前4层作为特征提取的backbone网络，也可以选用mobilenet v2的前6层作为特征提取的backbone网络，还可以按照自己的需要灵活搭配。
50.具体而言，请参阅图3所示，其为本发明实施例基于深度学习的移动物体检测方法的原理图b。所述步骤s1中得到原始特征图和对比特征图后，还可以将所述原始特征图和所述对比特征图通过差分网络得到一张差分特征图，得到后，将所述差分特征图经过一层或者多层全连接网络最终得到一个差分值。
51.具体而言，所述差分值得到后，直接将所述差分值经过sigmoid激活函数后判定画面中是否有移动物体。
52.具体而言，本发明的所述的直接将两张特征图差分后经过全连接后判断是否有物体移动；没有对差异区域的特征进行细化提取，一样可以达到移动物体的判断，只是可能会有误报发生。
53.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域
技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。