一种用于音视频会议室视频画面自动巡检的方法与流程

本发明涉及视频画面检测领域，具体为一种用于音视频会议室视频画面自动巡检的方法。

背景技术：

1、在大型的音视频会议室中，安装有大量的音频设备和视频设备，供会议过程中进行使用，在会议开始之前，一般需要对各个音频设备和视频设备进行检查，保证各设备在会议过程中的正常使用，比如在检查视频设备时，需要使视频设备播放视频，并检查视频画面是否异常，在画面出现异常时，则需要及时进行检修或者切换使用备用的视频播放设备。

2、然而在大型的音频会议室中，视频播放设备众多，若要人工去依次使用视频播放设备播放视频，则无疑会浪费大量的人力和时间成本，现有技术中也有通过算法对比预制的源视频和源视频传输到视频播放设备的播放视频的方式，但是需要对每一帧的视频图像均进行对比，其运算量较大，花费的时间也相对较长。

技术实现思路

1、针对现有技术的不足，本发明提供了一种用于音视频会议室视频画面自动巡检的方法，解决了现有技术中通过人工或者算法逐帧对比预制的源视频和源视频传输到视频播放设备的播放视频的方式，运算量较大且花费的时间也相对较长问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种用于音视频会议室视频画面自动巡检的方法，该方法包括如下步骤：

4、s1、依次将预制的第一源视频传输到会议室的视频播放设备，获取预制的第一源视频和视频播放设备播放的第二源视频；

5、s2、设置若干个分割帧将第一源视频和第二源视频分割成若干个视频块，并计算第一源视频和第二源视频中相对应视频块之间的近似度；

6、s3、根据近似度是否小于近似度阈值，依次判断第一源视频和第二源视频中任意两个相对应视频块之间是否存在差异；

7、若是，则将该两个视频块标记为异常视频块，并进入下一步；

8、若否，则结束，并输出视频无异常的提示；

9、s4、按照时间顺序依次累加异常视频块内各帧图像的灰度值之和，提取灰度值之和出现差异的视频帧所对应的视频图像，标记为异常图像；

10、s5、获取所有的异常图像，并计算相对应异常图像的灰度值之差，并输出灰度值之差大于灰度值阈值的异常图像和对应的视频播放设备编号。

11、作为优选，在步骤s2中，具体包括如下步骤：

12、s21、在第一源视频和第二源视频的各帧视频画面中间位置设置焦点区域；

13、s22、在第一源视频和第二源视频中设置若干个分割帧；

14、s23、将相邻两个分割帧之间的视频标记为一个视频块；

15、s24、计算第一源视频和第二源视频中相对应视频块之间的近似度。

16、作为优选，在步骤s21中，具体包括如下步骤：

17、s211、将各帧视频画面均匀分割为若干个大小相等的分割块；

18、s212、统计分割块在视频画面中的横向数量和竖向数量；

19、s213、按照预设比例，去除各帧视频画面四周一定数量的分割块；去除的分割块距离各帧视频画面边界的距离的计算公式为：

20、

21、上式中，n2表示需要去除的分割块距离各帧视频画面横向边界或者竖向边界的距离，τ1表示去除系数，n1表示分割块在视频画面中的横向数量或竖向数量；

22、s214、将剩余分割块所组成的区域标记为焦点区域。

23、作为优选，在步骤s22中，具体包括如下步骤：

24、s221、将第一源视频和第二源视频的第一帧和最后一帧设置为分割帧；

25、s222、以固定帧步长在第一源视频上设置分割帧；

26、s223、计算第一源视频中任意两个相邻的分割帧所对应视频画面中的焦点区域的相似度；

27、s224、设置相似度阈值，依次判断任一分割帧与前一相邻分割帧的相似度是否大于相似度阈值；

28、若是，则将该分割帧同时标记为第一分割帧；

29、若否，则进入步骤s225；

30、s225、则根据下一相邻的分割帧的相似度和本分割帧的相似度更改本分割帧的位置；本分割帧更改后的位置为：

31、

32、上式中，di表示第i个分割帧即本分割帧更改后的位置，di-1表示与本分割帧相邻的上一分割帧的位置，si和si+1分别表示本分割帧的相似度和下一相邻的分割帧的相似度，d0表示预设的固定帧步长；

33、s226、删除所有第一分割帧，之后将第一源视频中各个分割帧的位置同步设置在第二源视频中。

34、作为优选，在步骤s223中，具体包括如下步骤：

35、s2231、依次计算第一源视频中任一分割帧所对应视频画面中的焦点区域的自混乱度；自混乱度的计算公式为：

36、

37、上式中，cli表示第一源视频中第i个分割帧所对应视频画面中的焦点区域的自混乱度，pi(n)表示在第i个分割帧所对应视频画面的焦点区域中灰度值为n的灰度值出现的概率，焦点区域中共有m个不同的灰度值；

38、s2232、依次计算第一源视频中各相邻分割帧所对应视频画面中的焦点区域的相互混乱度；相互混乱度的计算公式为：

39、cli，i-1＝-pi，i-1(n1，n2)logpi，i-1(n1，n2)

40、上式中，cli，i-1表示第i个分割帧和与其相邻的分割帧的相互混乱度，pi，i-1(n1，n2)表示第一源视频中两个相邻分割帧所对应视频画面中的焦点区域中在同一像素点的灰度值分别为n1和n2的概率，n1和n2不相等；

41、s2233、计算第一源视频中任意两个相邻的分割帧所对应视频画面中的焦点区域在任一颜色通道的相似度；在任一颜色通道相似度的计算公式为：

42、

43、上式中，表示第一源视频中第i个分割帧和其相邻的分割帧所对应视频画面中的焦点区域在β颜色通道的相似度，β颜色通道为r、g、b三种颜色通道的一种，和分别表示在β颜色通道中，第i个分割帧所对应视频画面中的焦点区域的自混乱度、与其相邻的分割帧所对应视频画面中的焦点区域的自混乱度和两个相邻分割帧所对应视频画面中的焦点区域的相互混乱度。

44、s2234、计算第一源视频中任意两个相邻的分割帧所对应视频画面中的焦点区域的相似度；焦点区域的相似度的计算公式为：

45、

46、上式中，表示第一源视频中第i个分割帧和与其相邻的分割帧所对应视频画面中的焦点区域的相似度，和分别表示第一源视频中第i个分割帧和其相邻的分割帧所对应视频画面中的焦点区域在r颜色通道、g颜色通道和b颜色通道的相似度。

47、作为优选，在步骤s24中，具体包括如下步骤：

48、s241、从算一源视频的视频块的任一帧图像的焦点区域中提取出若干个不同颜色的像素点的灰度值，并将不同颜色的灰度值标记为提取色；

49、s242、分别统计各对比色在第一源视频和第二源视频的视频块中各帧图像中出现的像素点总数；

50、s243、根据各对比色的像素点的总数计算第一源视频和第二源视频中相对应视频块之间的近似度。

51、作为优选，在步骤s4中，具体包括如下步骤：

52、s41、将异常视频块内的各帧图像转化为灰度图像；

53、s42、按照时间顺序依次累加异常视频块内各帧图像中所有像素点的灰度值之和；第z次累加的灰度值之和的计算公式为：

54、

55、上式中，si表示第一源视频和第二源视频中异常视频块第z次累加的灰度值之和，z表示第z次累加，也即第一源视频和第二源视频中的前z帧图像的灰度值累加，第一源视频和第二源视频中共有z1个帧的视频，x表示每个帧的视频图像中的第x个像素点，共有x1个像素点，iz,x表示第z个帧的视频图像中的第x个像素点的灰度值；

56、s43、根据灰度值之和并按照时间顺序依次计算各次累加后的两个异常视频块的差异度；差异度的计算公式为：

57、

58、上式中，dfz表示第一源视频和第二源视频中异常视频块第z次累加后的差异度，和分别表示第一源视频和第二源视频中异常视频块第z次累加的灰度值之和；

59、s44、设置差异度阈值，并挑选出差异度大于差异度阈值时异常视频块所对应的视频图像，并将该视频图像标记为异常图像；

60、s45、从获取的最接近异常视频块中最后一帧的异常图像所对应的下一帧视频图像开始，重复步骤s42～s44，直到累加到异常图像中的最后一帧视频图像。

61、作为优选，在步骤s5中，具体包括如下步骤：

62、s51、获取第一源视频中所有异常图像的帧数；

63、s52、将帧数不相连的异常图像划分为不同组异常图像，以获得若干组异常图像；

64、s53、从第一源视频的每组异常图像中挑选出任一帧异常图像作为对比图像，并从第二源视频中提取对应帧数的异常图像作为对比图像；

65、s54、获取第一源视频和第二源视频中对应帧数的对比图像，并计算对比图像中对应像素点在rgb三色通道中的灰度值之差；

66、s55、设置灰度差阈值，并输出灰度值之差大于灰度差阈值的对应的对比图像和对应的视频播放设备编号。

67、作为优选，在步骤s243中，近似度的计算公式为：

68、

69、上式中，da表示第一源视频和第二源视频中相对应视频块之间的近似度，和分别表示第一源视频和第二源视频中的第j个提取色，提取色的种类数为j个。

70、作为优选，在步骤s54中，灰度值之差的计算公式为：

71、

72、上式中，δix表示对比图像中第x个像素点在rgb三色通道中的灰度值之差，对比图像中共有x1个像素点，和分别表示第一源视频中的对比图像在第x个像素点的r颜色通道、g颜色通道和b颜色通道的灰度值，和分别表示第二源视频中的对比图像在第x个像素点的r颜色通道、g颜色通道和b颜色通道的灰度值。

73、与现有技术相比，本发明提供了一种用于音视频会议室视频画面自动巡检的方法，具备以下有益效果：

74、1、本发明先通过分割帧的设置，将第一源视频和第二源视频分割为多个视频块，且视频块中的每一帧的视频图像具有极高的相似性，随后通过近似度来衡量第一源视频和第二源视频中相对应视频块之间的近似程度，从而判定第二源视频中相对应的视频块是否存在异常，在存在异常时，通过按照时间顺序依次累加异常视频块内各帧图像的灰度值之和的方式，能够逐步判定出异常视频块中出现异常的异常图像的位置，再通过更加精准的对比方式判定第二源视频中的异常图像是否存在异常，并输出结果，从而使整个自动巡检视频播放设备的速度加快，更加省时。

75、2、本发明通过可以囊括视频画面主要信息的焦点区域，通过计算第一源视频中任意两个相邻的分割帧所对应视频画面中的焦点区域的相似度，从而能够快速的判断两个视频画面的相似程度，从而方便通过相似度阈值和对分割帧的位置更改，以减少视频块的数量，方便减少运算量。

76、3、本发明通过若干个提取色，来简化视频块之间进行近似度计算时的运算量，不需要提取整个复杂视频画面中的每个像素点的灰度值进行对比，从而能够更加快速的计算出第一源视频和第二源视频中相对应视频块之间的近似程度，方便通过近似度阈值快速的识别出异常视频块。

77、4.本发明通过从第一源视频和第二源视频所对应的异常图像中挑选出对比图像，在最后进行对比图像的逐像素点的对比，与现有技术中直接进行逐帧对比的方式，能够大大减小所需的运算量，从而能够更加快速的识别出大型音视频会议室中的视频播放设备是否存在异常，加快自动巡检的速度。