智慧社区智能监控方法及系统与流程

本发明涉及监控，具体是智慧社区智能监控方法及系统。

背景技术：

1、智慧社区的安防除了监控记录社区录像之外，部分研究人员已经将智能算法运用于监控系统，从而具备识别、跟踪和分析可疑人员的能力。现有的社区安防系统技术只能对特定目标对象特征进行布控、识别和跟踪，还不能实现针对预备犯、未遂犯的提前识别和预警。现有的技术还有针对人员的表情进行分析以识别可疑人员的思路，但是这种依赖单一的方式进行识别容易发生错误识别。

技术实现思路

1、（1）要解决的技术问题

2、本发明的目的在于提供智慧社区智能监控方法及系统，以解决单一特征识别可疑人员存在不精准的问题。

3、（2）技术方案

4、为实现上述目的，一方面，本发明提供了智慧社区智能监控方法，所述方法包括：

5、通过摄像头获取智慧社区目标人员的监控视频，将监控视频分解为逐帧图像并加载到目标人员检测网络得到目标人员的图像区域，将图像区域的人脸区域按照逐帧图像保存得到人脸图像集合；将图像区域压缩并通过帧间差分法提取关键帧图像，将关键帧图像通过surf算法提取特征点，遍历连续关键帧并计算特征点在连续关键帧图像之间的匹配度，当匹配度超过设定阈值时保存其中之一的关键帧图像得到动作图像集合；

6、将人脸图像集合提取人脸特征向量，将人脸特征向量输入表情检测网络得到人脸表情特征，所述表情检测网络是根据神经网络算法训练得到已标记的人脸图像数据库的人脸特征向量和人脸表情特征之间的映射关系；

7、将动作图像集合提取人体骨架向量，通过人体骨架向量，将标准动作图像集合多个元素得到的人体骨架向量进行比对，计算人体骨架向量在连续的标准动作图像集合中的动态轨迹变化方向向量，将动态轨迹变化方向向量和对应的人体骨架向量组合得到人体姿态特征；将人体姿态特征内的元素之间的相对位置及位置变化得到人体动作特征；

8、将动作图像集合内得到的动作特征图像提取着装特征，在建立方向坐标的监控视频的图像上提取图像区域的运动方向得到人体位移方向特征，所述运动方向是从图像区域中心点首次出现在监控视频图像的坐标点连接到尾次出现在监控视频图像的坐标点；

9、建立典型的表现模式画像集合，通过表现模式画像集合内的目标人员的表现特征包括人脸表情特征、人体动作特征、着装特征和人体位移方向特征，通过表现识别特征和表现模式画像集合内已标注的表现模式进行训练匹配并建立映射关系记为表现模式识别模型；

10、根据智慧社区目标人员的监控视频，结合表现模式识别模型得到目标人员的表现行为和表现模式画像集合内的表现模式之间的特征差值，并将特征差值中的最小值记为最小差值，若最小差值超过设定的差值阈值则预警目标人员属于可疑人员并进行预警。

11、进一步地，所述将人体姿态特征内的元素之间的相对位置及位置变化得到人体动作特征的方法包括：

12、建立典型的人体动作画像集合，所述人体动作画像集合包括已标注的人体动作类别；根据人体姿态特征内的元素包括人体骨架向量和动态轨迹变化方向向量计算不同人体骨架向量之间的相对距离变化序列和相对夹角变化序列；将具备同类人体动作的相对距离变化序列和相对夹角变化序列通过聚类算法进行聚类并求出特征聚类轮廓系数；

13、当特征聚类轮廓系数大于设定的轮廓阈值时，将对应的人体骨架向量之间的相对距离变化序列和相对夹角变化序列作为动作识别特征；依次识别人体动作画像集合内所有人体动作对应的动作识别特征；通过动作识别特征和人体动作画像集合内已标注的人体动作进行训练匹配并建立映射关系记为人体动作识别模型，所述人体动作识别模型用于将人体姿态特征输入并得到人体动作特征。

14、进一步地，所述通过动作识别特征和人体动作画像集合内已标注的人体动作进行训练匹配并建立映射关系记为人体动作识别模型的方法还包括：

15、根据动作识别特征和人体动作画像集合内已标注的人体动作的训练网络，将人体动作设定头尾分布权重，所述头尾分布权重作为人体骨架向量相对距离变化序列和相对夹角变化序列的特征映射到人体动作识别模型的调节系数，依据所述调节系数将标准动作图像集合进行识别得到人体动作集合；

16、根据人体动作集合查看不同人体动作之间是否有在时间序列上存在未识别的人体动作，当存在未识别的人体动作时，查看未识别的人体动作的时间长度；若时间长度超过时长阈值则标记未识别的人体动作且在典型的人体动作画像集合新增所述人体动作；若时长未超过时长阈值则调整调节系数，直到人体动作集合内的相邻动作达到连贯衔接。

17、进一步地，所述方法还包括：

18、将目标人员通过表现模式识别模型得到和表现模式画像集合内的表现模式之间的最小差值，当最小差值超过设定的差值阈值的百分比异常，将最小差值的分布特征通过极大似然估计拟合其正态函数曲线，按照设定的置信空间得到正态函数曲线的置信空间之外的最小差值记为可疑数据点，将可疑数据点对应的目标人员标记为可疑人员并进行预警。

19、进一步地，所述极大似然估计的方法包括：

20、建立带自变量参数和的正态函数曲线，建立正态函数曲线的单个样本误差函数；根据单个样本的误差函数得到正态函数曲线的极大似然估计函数，对极大似然估计函数求导且设其导数为零求出自变量参数和。

21、进一步地，所述将人脸图像集合提取人脸特征向量的方法包括：

22、将人脸图像集合转化得到灰度人脸图像集合，将灰度人脸图像集合通过gamma压缩公式进行尺寸归一化得到标准人脸图像集合，通过内核为1的sobel算子计算标准人脸图像集合的每个元素图像的水平梯度和垂直梯度，将水平梯度和垂直梯度合成得到每个元素图像中的每个像素位置的合成梯度，所述合成梯度包括梯度幅值和梯度方向；

23、将每个元素图像划分为正方形像素细胞块，统计每个正方形像素细胞块的合成梯度，梯度方向从0~180°等角度距离划分为角度区域，将每个像素位置的梯度方向对应的梯度幅值填入梯度方向属于的角度区域，直到累加填入所有正方形像素细胞块的梯度幅值得到梯度直方图，将完全平方数个正方形像素细胞块对应的梯度直方图拼接并进行l2归一化得到归一化直方图，将所有归一化直方图拼接得到人脸特征向量。

24、进一步地，将动作图像集合提取人体骨架向量的方法包括：

25、将动作图像集合进行尺寸归一化得到标准动作图像集合，通过人体检测网络检测标准动作图像集合的每个元素图像的人体检测框，将每个元素图像的人体检测框放入同一个容器并按照置信度从高到低进行排序，将置信度最高的人体检测框取出并和容器内其他人体检测框计算位置重叠度，当位置重叠度超过设定重叠阈值则删除容器内对应的人体检测框，将取出的人体检测框选定的图像存为动作特征图像，重复取出容器内置信度最高的人体检测框并比较其和容器内其他人体检测框之间的位置重叠度，直到容器内没有人体检测框；

26、将动作特征图像通过关节点检测网络得到人体关节点位置列表，所述人体关节点位置列表包括人体关节点坐标和人体关节点名称；将预设的人体关节点名称对应的人体关节点坐标连接扩展得到人体骨架向量。

27、进一步地，将动作图像集合内得到的动作特征图像提取着装特征的方法包括：

28、将动作图像集合内得到的动作特征图像通过vgg19算法提取着装图像特征，将着装图像特征和预设的着装类别数据库内的元素计算标准化欧式距离，当标准化欧式距离满足设定的距离阈值则将对应的着装类别输出记为着装特征；所述预设的着装类别数据库是将服装类别及其对应的图像库提取服装特征，建立服装类别和服装特征之间的映射关系。

29、进一步地，表现模式识别模型的训练方法包括：

30、建立典型的表现模式画像集合，提取表现模式画像集合内的目标人员的表现特征包括人脸表情特征、人体动作特征、着装特征和人体位移方向特征，将具备同类表现模式的人脸表情特征、人体动作特征、着装特征和人体位移方向特征通过聚类算法进行聚类并求出特征聚类轮廓系数，当特征聚类轮廓系数大于设定的轮廓阈值时，将对应的表现特征作为表现识别特征；

31、依次识别表现模式画像集合内所有表现模式对应的表现识别特征；通过表现识别特征和表现模式画像集合内已标注的表现模式进行训练匹配并建立映射关系记为表现模式识别模型；

32、将设定时间段内的目标人员的监控视频分割为头部视频和尾部视频，将头部视频输入表现模式识别模型得到第一表现，将尾部视频输入表现模式识别模型得到第二表现；当第一表现和第二表现不一致时，统计第一表现对应的第一表现识别特征和第二表现对应的第二表现识别特征，将第一表现识别特征和第二表现识别特征赋予权重，直到调整到第一表现和第二表现差异率低于设定的差异阈值。

33、基于同一发明构思，另一方面，本发明还提供了智慧社区智能监控系统，所述系统包括：

34、监控信息获取模块，用于通过摄像头获取智慧社区目标人员的监控视频，将监控视频分解为逐帧图像并加载到目标人员检测网络得到目标人员的图像区域，将图像区域的人脸区域按照逐帧图像保存得到人脸图像集合；将图像区域压缩并通过帧间差分法提取关键帧图像，将关键帧图像通过surf算法提取特征点，遍历连续关键帧并计算特征点在连续关键帧图像之间的匹配度，当匹配度超过设定阈值时保存其中之一的关键帧图像得到动作图像集合；

35、表情识别模块，用于将人脸图像集合提取人脸特征向量，将人脸特征向量输入表情检测网络得到人脸表情特征，所述表情检测网络是根据神经网络算法训练得到已标记的人脸图像数据库的人脸特征向量和人脸表情特征之间的映射关系；

36、动作识别模块，用于将动作图像集合提取人体骨架向量，通过人体骨架向量，将标准动作图像集合多个元素得到的人体骨架向量进行比对，计算人体骨架向量在连续的标准动作图像集合中的动态轨迹变化方向向量，将动态轨迹变化方向向量和对应的人体骨架向量组合得到人体姿态特征；将人体姿态特征内的元素之间的相对位置及位置变化得到人体动作特征；

37、着装识别模块，用于将动作图像集合内得到的动作特征图像提取着装特征，在建立方向坐标的监控视频的图像上提取图像区域的运动方向得到人体位移方向特征，所述运动方向是从图像区域中心点首次出现在监控视频图像的坐标点连接到尾次出现在监控视频图像的坐标点；

38、表现模式识别模块，用于建立典型的表现模式画像集合，通过表现模式画像集合内的目标人员的表现特征包括人脸表情特征、人体动作特征、着装特征和人体位移方向特征，通过表现识别特征和表现模式画像集合内已标注的表现模式进行训练匹配并建立映射关系记为表现模式识别模型；

39、预警模块，用于根据智慧社区目标人员的监控视频，结合表现模式识别模型得到目标人员的表现行为和表现模式画像集合内的表现模式之间的特征差值，并将特征差值中的最小值记为最小差值，若最小差值超过设定的差值阈值则预警目标人员属于可疑人员并进行预警。

40、（3）有益效果

41、与现有技术相比，本发明的有益效果是通过多种维度标注识别典型的人体的表现模式来识别异常行为。