一种含有云台移动及马赛克检测的视频监控质量评估方法与流程

1.本发明涉及图像质量评估技术领域，具体为一种含有云台移动及马赛克 检测的视频监控质量评估方法。


背景技术：

2.目前摄像头硬件故障可以通过设备运维管理平台检测出来，但对于一些 软性故障如遮挡干扰、偏色异常、马赛克干扰等问题的检测很难实现，其本 身不是设备故障，无法通过对摄像头硬件的监控发现问题，需要运维人员依 靠主观判断去排查。如果仅仅依赖人眼去观察监控视频，会消耗大量的人力 物力,由于人的精力有限，故障准确性、及时性无法得到保证，在进行长时间 工作后很容易造成工作效率降低，产生误检、漏检等情况。
3.目前针对图像的质量评估方法主要有两个大类：一类是基于神经网络的 评估方法例如：niqe,piqe，mse,psnr等方法；另一类是基于人的视觉特性和 图形学的方法例如：brisque、ssim等。在此介绍现有的brisque算法流程， 其包括以下步骤(1)、(2)、(3)：
4.步骤(1)提取自然场景统计(nss)：
5.自然图像的像素强度的分布不同于失真图像的像素强度的分布。当归一 化像素强度并计算这些归一化强度上的分布时，这种分布差异更加明显。特 别地，在归一化之后，自然图像的像素强度遵循高斯分布(贝尔曲线)，而不 自然或失真图像的像素强度不遵循高斯分布(贝尔曲线)。
6.提取的特征分别是：
7.表1特征提取
[0008][0009][0010]
步骤(2)计算特征向量：
[0011]
通过将mscn参数拟合到广义高斯分布(ggd)来计算36
×
1特征向量的 前两个元
素。接下来，非对称广义高斯分布(aggd)适合于4个相邻元素乘 积参数中的每一个。最终得到16个值。将图像缩小到原始尺寸的一半，并重 复相同的过程以获得18个新数字。
[0012]
表2特征描述
[0013][0014]
步骤(3)预测图像得分
[0015]
图像转换为特征向量后，将训练数据集中的所有图像的特征向量和输出 放入支持向量机(svm)中进行预测图像得分，即可得出最终的评估得分。根 据得分情况对图像的质量进行分类。
[0016]
上述包括brisque在内的各种图像质量检测评估算法虽然对于现有公开 数据集上的图片检测准确度较高。然而实际的使用场景变化多端，需要针对 各种不同的使用场景进行特殊处理：例如在监控视频领域需要考虑的不仅仅 是图像本身的清晰与否还需要考虑是否能够获取到可用的监控信息，例如在 遮挡下的视频质量可能依然较高。(2)监控被人为移动了等因此通用的检测 算法在监控视频检测还有待适配。
[0017]
即现有的图像质量评估方法与实际的监控视频质量评估结合性、适配性 较差，传统图像质量评估方法无法检测到包括监控视频存在遮挡、监控探头 转动角度异常、偏色异常、马赛克干扰等问题，导致现有的视频监控质量评 估准确率较低。


技术实现要素：

[0018]
(一)解决的技术问题
[0019]
针对现有技术的不足，本发明提供了一种含有云台移动及马赛克检测的 视频监控质量评估方法，能够解决上述技术问题。
[0020]
(二)技术方案
[0021]
为解决上述技术问题，本发明提供如下技术方案：一种含有云台移动及 马赛克检测的视频监控质量评估方法，包括以下步骤：
[0022]
步骤s1：获取视频监控图像；
[0023]
步骤s2：将视频监控图像传输到服务器；
[0024]
步骤s3：服务器对视频监控图像进行图像质量评估以获得评估结果，其 中图像质量评估包括遮挡检测、云台移动检测、偏色检测以及马赛克检测；
[0025]
步骤s4：当评估结果为存在监控安全隐患时进行预警。
[0026]
优选的，云台移动检测包括以下子步骤：
[0027]
子步骤s321：选取第一视频监控图像以及第二视频监控图像，其中第一 视频监控图像为云台移动前的视频监控图像，第二视频监控图像为云台移动 后的视频监控图像；
[0028]
子步骤s322：采用fast算法检测第一视频监控图像以及第二视频监控图 像的各个特征点；
[0029]
子步骤s323：对第一视频监控图像以及第二视频监控图像的各个特征点 进行描述以获得各个特征点描述子；
[0030]
子步骤s324：计算第一视频监控图像以及第二视频监控图像两者的相同 特征点描述子对应的两个特征点之间的距离；
[0031]
子步骤s325：判断两个特征点之间的距离是否等于预设的云台移动距离， 若不等于则评估结果为存在监控安全隐患。
[0032]
优选的，马赛克检测包括以下子步骤：
[0033]
子步骤s341：对视频监控图像进行图像预处理以获得二值边缘图像；
[0034]
子步骤s342：将二值边缘图像从左至右以及从上至下进行扫描以统计二 值边缘图像上所有矩形的数量；
[0035]
子步骤s343：判断矩形的数量是否大于预设的矩形数量阈值，若是则评 估结果为存在监控安全隐患。
[0036]
优选的，图像预处理具体包括：首先通过图像高斯滤波对视频监控图像 进行降噪，其次通过canny边缘检测获取图像边缘信息，最后通过图像膨胀 操作连接图像边缘信息上不连接的部分以获得二值边缘图像。
[0037]
优选的，遮挡检测包括以下子步骤：
[0038]
子步骤s311：将视频监控图像进行图像分割以获得若干个第一图像分块；
[0039]
子步骤s312：对每一个第一图像分块使用brenner函数计算其清晰度值 d(f)，brenner函数具体见以下公式(1)：
[0040]
d(f)＝∑y∑
x
f(x 2，y)-f(x，y)2ꢀꢀꢀ
(1)；
[0041]
其中，f(x,y)表示像素点(x,y)的灰度值，f(x 2,y)表示像素点(x 2,y) 的灰度值；
[0042]
子步骤s313：将各个清晰度值d(f)与预设的清晰度阈值进行比较以获 得视频监控图像的遮挡率；
[0043]
子步骤s314：判断视频监控图像的遮挡率是否大于预设的遮挡率阈值， 若是则评估结果为存在监控安全隐患。
[0044]
优选的，偏色检测包括以下子步骤：
[0045]
子步骤s331：将视频监控图像进行图像分割以获得若干个面积相等的第 二图像分块；
[0046]
子步骤s332：利用以下公式(2)将每一个第二图像分块从rgb颜色空间 转换到xyz颜色空间：
[0047][0048]
子步骤s333：利用以下公式(3)将每一个第二图像分块从xyz颜色空间 转换到cie lab颜色空间：
[0049][0050]
在公式(3)中，l，a，b分别代表cie lab颜色空间下的三个分量，f (t)为一函数，xn，yn以及zn均为定值；
[0051]
子步骤s334：计算a分量、b分量的方差d；
[0052]
子步骤s335：判断方差d是否大于预设的方差阈值，若是则所述第二图 像分块存在偏色现象，进一步获取视频监控图像的偏色率；
[0053]
子步骤s336：判断视频监控图像的偏色率是否大于预设的偏色率阈值， 若是则评估结果为存在监控安全隐患。
[0054]
优选的，步骤s1具体为获取多个摄像头的视频监控图像，其中各个摄像 头对应各个内网ip地址。
[0055]
优选的，步骤s2具体为通过内部网关将各个摄像头的视频监控图像分发 到各个服务器。
[0056]
优选的，步骤s3具体为各个服务器对其分发到的视频监控图像进行图像 质量评估。
[0057]
优选的，含有云台移动及马赛克检测的视频监控质量评估方法为基于 opencv软件库。
[0058]
(三)有益效果
[0059]
与现有技术相比，本发明提供了一种含有云台移动及马赛克检测的视频 监控质量评估方法，具备以下有益效果：本发明通过对视频监控图像进行遮 挡检测能够相应检测视频是否存在遮挡，通过云台移动检测能够相应检测监 控探头的转动角度是否存在异常，通过偏色检测能够相应检测视频画面是否 存在偏色异常，通过马赛克检测能够相应检测是否存在马赛克异常，解决了 传统图像质量评估算法无法检测到的一些故障，使针对监控质量的场景下有 更高的准确率。
附图说明
[0060]
图1为本发明一种含有云台移动及马赛克检测的视频监控质量评估方法 的步骤流程图；
[0061]
图2为本发明遮挡检测的步骤流程图；
[0062]
图3为本发明云台移动检测的步骤流程图；
[0063]
图4为本发明偏色检测的步骤流程图；
[0064]
图5为本发明马赛克检测的步骤流程图；
[0065]
图6为本发明云台移动检测选取特征点对的示例图；
[0066]
图7为本发明马赛克检测扫描二值边缘图像的示例图。
具体实施方式
[0067]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0068]
本发明一种含有云台移动及马赛克检测的视频监控质量评估方法包括以 下步骤：
[0069]
步骤s1：获取视频监控图像。应理解，视频监控图像对应来源于摄像头 所录制的监控视频。
[0070]
步骤s2：将视频监控图像传输到服务器。
[0071]
步骤s3：服务器对视频监控图像进行图像质量评估以获得评估结果，其 中图像质量评估包括遮挡检测、云台移动检测、偏色检测以及马赛克检测。
[0072]
具体的，上述遮挡检测包括以下子步骤：
[0073]
子步骤s311：将视频监控图像进行图像分割以获得若干个第一图像分块。 优选的，各个第一图像分块面积相等；第一图像分块的数量越多其对应的检 测效果越好。
[0074]
子步骤s312：对每一个第一图像分块使用brenner函数计算其清晰度值 d(f)，brenner函数具体见以下公式(1)：
[0075]
d(f)＝∑y∑
x
f(x 2，y)-f(x，y)2ꢀꢀꢀ
(1)；
[0076]
其中，f(x,y)表示像素点(x,y)的灰度值，f(x 2,y)表示像素点(x 2,y) 的灰度值。
[0077]
brenner函数又称梯度滤波器法，其计算量少，只需计算x方向上相差两 个像素点的差分。
[0078]
子步骤s313：将各个清晰度值d(f)与预设的清晰度阈值进行比较以获 得视频监控图像的遮挡率。
[0079]
通常来讲，图像越清晰其像素点之间的差值越大。对于某个第一图像分 块而言，若其清晰度值d(f)大于预设的清晰度阈值，则认为该第一图像分 块为清晰的。
[0080]
子步骤s314：判断视频监控图像的遮挡率是否大于预设的遮挡率阈值， 若是则评估结果为存在监控安全隐患。应理解，在遮挡检测中，监控安全隐 患对应为视频监控图像存在遮挡物，即监控视频存在遮挡。
[0081]
例如将视频监控图像进行图像分割以获得16个第一图像分块，其中4个 第一图像分块的清晰度值d(f)大于预设的清晰度阈值，则该视频监控图像 的遮挡率为4/16＝25％，预设的遮挡率阈值例如为10％，因此该视频监控图像 的评估结果为存在监控安全隐患，即对应的监控视频存在遮挡。
[0082]
云台为摄像机的支撑平台，通过控制云台移动以调整摄像机的监控方位， 云台本身损坏时可能会造成实际的移动距离与控制的移动距离两者不一致， 因此本发明通过云台移动检测进行相应检测。具体的，上述云台移动检测包 括以下子步骤：
[0083]
子步骤s321：选取第一视频监控图像以及第二视频监控图像，其中第一 视频监控图像为云台移动前的视频监控图像，第二视频监控图像为云台移动 后的视频监控图像。
[0084]
子步骤s322：采用fast算法检测第一视频监控图像以及第二视频监控图 像的各个特征点。
[0085]
fast(features from accelerated segment test)算法检测判断特征 点的方法是如果该像素点与其周围的点的灰度值均相差很大时，则认为该像 素点为特征点，例如将某个像素点与它周围半径是3的圆上的所有像素点进 行比较。
[0086]
子步骤s323：对第一视频监控图像以及第二视频监控图像的各个特征点 进行描述以获得各个特征点描述子。
[0087]
特征点的描述过程为：选取任意的一特征点作为圆心以d作为半径画圆， 在圆内将两个特征点两两连接作为一组特征点对，例如图6所示选取了4组 特征点对p1(a，b)、p2(a，b)、p3(a，b)、p4(a，b)，定义操作t如以 下公式(4)所示：
[0088][0089]
在公式(4)中，ia和ib为点的灰度值。
[0090]
分别对上述已选取的各组特征点对进行t操作，得到以下二进制串：
[0091]
t(p1(a，b))＝1
[0092]
t(p2(a，b))＝0
[0093]
t(p3(a，b))＝1
[0094]
t(p4(a，b))＝1
[0095]
即特征点描述子对应为：1011。
[0096]
子步骤s324：计算第一视频监控图像以及第二视频监控图像两者的相同 特征点描述子对应的两个特征点之间的距离。
[0097]
两个特征点之间的距离对应可为x轴的横向距离或者y轴的纵向距离。 例如第一视频监控图像上的特征点a(2，3)对应的特征点描述子为10110100， 第二视频监控图像上的特征点b(12，3)对应的特征点描述子也为10110100， 则计算得到特征点a、b两者的横向距离为10。
[0098]
子步骤s325：判断两个特征点之间的距离是否等于预设的云台移动距离， 若不等于则评估结果为存在监控安全隐患。
[0099]
应理解，上述两个特征点之间的距离即可认为是云台实际移动的距离， 若两个特征点之间的距离不等于预设的云台移动距离，则评估结果为存在监 控安全隐患，即监控探头转动角度异常。
[0100]
此外，在实际的监控中可能由于摄像头长时间对着强光源录像，强光源 可能会使摄像头的感光cmos组件老化，导致视频画面颜色偏色，然而此时硬 件检测可能依然认为该摄像头是正常工作，因此本发明引入偏色检测进行相 应检测。具体的，上述偏色检测包括以下子步骤：
[0101]
子步骤s331：将视频监控图像进行图像分割以获得若干个面积相等的第 二图像分块。例如将视频监控图像分割成4个面积相等的第二图像分块。该 子步骤s331目的是为了防止画面本身带有大面积纯色区域，而导致最终检测 结果有偏差。
[0102]
子步骤s332：利用以下公式(2)将每一个第二图像分块从rgb颜色空间 转换到xyz颜色空间：
[0103][0104]
子步骤s333：利用以下公式(3)将每一个第二图像分块从xyz颜色空间 转换到cie lab颜色空间：
[0105][0106][0107]
在公式(3)中，l，a，b分别代表cie lab颜色空间下的三个分量，f (t)为一函数，xn，yn以及zn均为定值，xn，yn以及zn的取值具体可为 95.047，100.0，108.883。经过以上公式(2)、(3)就将rgb颜色空间的图 像转换为cie lab颜色空间，转换颜色空间的目的是在cie lab颜色空间下 能很好地检测出偏色情况。
[0108]
子步骤s334：计算a分量、b分量的方差d。应理解，该方差d为a分量 和b分量的方差，即先计算a分量、b分量所构成的序列总体的均值，然后使 用方差公式以计算方差d。
[0109]
子步骤s335：判断方差d是否大于预设的方差阈值，若是则所述第二图 像分块存在偏色现象，进一步获取视频监控图像的偏色率。
[0110]
例如将视频监控图像分割成4个面积相等的第二图像分块，其中2个第 二图像分块的方差d大于预设的方差阈值，则该视频监控图像的偏色率对应 为50％。此外，当a分量的均值da大于0时则该第二图像分块偏红否则偏绿， 当b分量的均值db大于0时则该第二图像分块偏黄否则偏蓝。
[0111]
子步骤s336：判断视频监控图像的偏色率是否大于预设的偏色率阈值， 若是则评估结果为存在监控安全隐患。
[0112]
应理解，在偏色检测中，当评估结果为存在监控安全隐患，也即视频监 控图像有偏色异常出现。
[0113]
此外，当监控探头的感光模块出现损坏，传输线路破损等原因会造成画 面出现连续不规则的方块，严重影响监控图片的质量，也即出现马赛克异常， 因此本发明通过马赛克检测进行相应检测，马赛克检测包括以下子步骤：
[0114]
子步骤s341：对视频监控图像进行图像预处理以获得二值边缘图像。
[0115]
在此子步骤s341中，图像预处理具体包括：首先通过图像高斯滤波对视 频监控图像进行降噪，其次通过canny边缘检测获取图像边缘信息，最后通 过图像膨胀操作连接图像边缘信息上不连接的部分以获得二值边缘图像，二 值边缘图像上的每一个像素点只有0
和1两种情况。
[0116]
子步骤s342：将二值边缘图像从左至右以及从上至下进行扫描以统计二 值边缘图像上所有矩形的数量。
[0117]
马赛克异常是出现了大量不连续的方块，因此将二值边缘图像从左至右 以及从上至下进行扫描，如果出现了两个垂直方向上均存在像素点为1就继 续扫描下去，直到出现了0像素停止，统计长宽数组，如果超过了阈值则认 为该部分存在一个矩形；例如图7所示，发现第一个为1的像素点(2,2)后开 始向右向下扫描，只有2 1和2 1也就是(2,3)和(3,2)像素点也为1时 才继续扫描下去。在所有像素点扫描完成后，统计二值边缘图像上所有矩形 的数量。
[0118]
子步骤s343：判断矩形的数量是否大于预设的矩形数量阈值，若是则评 估结果为存在监控安全隐患。可以理解，在此马赛克检测中，存在监控安全 隐患也即视频监控图像对应存在马赛克异常。
[0119]
步骤s4：当评估结果为存在监控安全隐患时进行预警。
[0120]
可以理解，在视频监控图像在完成遮挡检测、云台移动检测、偏色检测 以及马赛克检测后，当其中至少一项检测的评估结果为存在监控安全隐患时 则进行预警，以提醒工作人员进行维护检修。进一步的，可将存在监控安全 隐患的视频监控图像及监控视频保存到数据库。对于损坏的监控探头进行更 换，并且根据监控探头的损坏频率可以分析的出那些位置的监控较为容易损 坏，并且有针对性地加强该地的维护和监管力度。
[0121]
应理解，在一些实施例中，每一个摄像机内部设有定位模块，在摄像机 没有存在安全隐患时，摄像机是不会为定位模块供电的，当在视频监控图像 在完成遮挡检测、云台移动检测、偏色检测以及马赛克检测后且当其中至少 一项检测的评估结果为存在监控安全隐患时，摄像机为定位模块供电，使定 位模块定位存在安全隐患的摄像机的位置，同时将该位置信息上传(即发送 位置信息给监控平台)，方便工作人员及时知道存在有安全隐患的摄像机的位 置，可及时维修。另外，当上传存在监控安全隐患的摄像机的位置信息后， 摄像机内部进一步自动断开电源，或者摄像机停止向个器件供电，使得摄像 机停机，这样能够在上报存在监控安全隐患的摄像机的位置信息后还能节省 电能。
[0122]
本发明通过对视频监控图像进行遮挡检测能够相应检测视频是否存在遮 挡，通过云台移动检测能够相应检测监控探头的转动角度是否存在异常，通 过偏色检测能够相应检测视频画面是否存在偏色异常，通过马赛克检测能够 相应检测是否存在马赛克异常，即本发明解决了传统图像质量评估算法无法 检测到的一些故障，使针对监控质量的场景下有更高的准确率。此外本发明 相对包括brisque在内的现有图像质量评估算法而言，无需大量的矩阵运算， 因此图像质量的检测评估所需要的耗时较短。
[0123]
优选的，上述步骤s1具体为获取多个摄像头的视频监控图像，在监控内 网下各个摄像头对应各个内网ip地址，可以使用相应的api函数对摄像头当 前的数据进行获取；步骤s2具体为通过内部网关使用基于ip的负载均衡算 法将各个摄像头的视频监控图像分发到各个服务器，其中负载均衡算法可为 ip哈希算法，源ip地址哈希的思想是根据获取客户端的ip地址，通过哈希 函数计算得到的一个数值，用该数值对服务器列表的大小进行取模运算，得 到的结果便是客服端要访问服务器的序号；步骤s3具体为各个服务器对其分 发到的视频监控图像进行图像质量评估。
[0124]
优选的，本发明的视频监控质量评估方法为基于opencv软件库。
[0125]
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不 仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这 种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由 语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、 物品或者设备中还存在另外的相同要素。
[0126]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。