一种基于边缘计算的实时视频处理和智能分析方法与流程

本技术涉及视频编码，具体涉及一种基于边缘计算的实时视频处理和智能分析方法。

背景技术：

1、随着智能设备和通信网络的发展，对实时视频图像处理的要求越来越高，传统的中心化云计算模式无法满足实时性的要求，而边缘计算技术通过将计算和数据存储移动到网络的边缘，即设备或终端中，减少数据的传输延迟，提高了响应速度和降低网络带宽需求，实现实时视频图像处理，例如，视频图像的增强去噪的预处理、视频图像的识别、视频图像的编码压缩等。

2、边缘计算在实时视频的处理过程中，通过摄像头、编码器等视频处理设备上的相关计算完成对实时视频数据的处理分析，实现对视频的实时编码、压缩和传输等。现阶段，高效率视频编码hevc(high efficiency video coding)是应用于实时视频压缩编码的主流技术之一，hevc技术在对视频数据进行帧内预测时，预测模式选择上从h.264的8种扩展到35种，导致在预测精度提高的同时大大增加了编码复杂度，然而一个视频序列中只用少数的视频帧在做相对的运动，前后帧在时间上存在着大量的冗余信息或者存在很多相似的内容，过多的预测选择不仅忽略了实时视频中的运动特征和特征信息方向的相关性，同时也降低了边缘计算设备对视频压缩编码的处理效率。

技术实现思路

1、本技术提供一种基于边缘计算的实时视频处理和智能分析方法，通过减少hevc技术对每个边缘节点中的实时视频编码时预测方向以及预测模式的数量，提高边缘计算设备对实时视频编码的效率，降低了编码复杂性。

2、第一方面，本技术实施例提供了一种基于边缘计算的实时视频处理和智能分析方法，该方法包括：

3、将边缘节点获取的实时视频传输至边缘节点的边缘计算设备；

4、基于实时视频中每一帧内运动物体的检测结果确定每个视频帧的运动掩码图像，基于实时视频中相邻视频帧之间物体移动特征的匹配程度确定运动掩码图像之间的特征点匹配结果；

5、基于相邻视频帧的运动掩码图像之间的特征点匹配结果分别确定姿态运动向量、单点姿态向量；

6、利用hevc技术将所述实时视频划分成大量编码块，基于每个编码块中子块内特征点的单点姿态向量与姿态运动向量之间的相似程度确定子块之间的一致性特征值；

7、在每个边缘计算设备中，基于所述一致性特征值确定hevc技术对实时视频进行预测编码时的pu划分模式，得到pu块的划分结果；

8、基于pu块内每个特征点的单点姿态向量的方向角与hevc技术中预设33种帧内预测角度确定预测选择队列；

9、利用hevc技术基于所述预测选择队列将每个边缘计算设备中的实时视频封装成nal流，完成对实时视频的分析处理。

10、在上述方案中，首先，通过对实时视频中相邻视频帧内运动物体的检测得到特征点，构建每个视频帧的运动掩码图像，从而确定相邻视频帧的运动掩码图像中特征点之间的匹配结果，通过特征点的提取匹配，便于后续确定每个视频帧的运动质心；其次，通过相邻视频帧中的特征点匹配结果分别获取每个视频帧的姿态运动向量、每个特征点的单点姿态向量，完成对每个视频帧整体运动状态、单点移动情况的量化；随后，通过分析编码块内子块之间物体运动趋势特征的相似程度得到子块之间的一致性特征值，结合率失真准则确定ctu的pu划分模式；之后，对于每个帧间预测帧，根据不同的计算结果递进式的确定每个ctu内的pu划分条件，实现对不同ctu内的自适应划分，使得在对实时视频编码时，使用尽可能少的比特编码一个编码单元；之后，基于pu块内特征点的单点姿态向量的方向角与hevc技术中预设33种帧内预测角度之间的角度偏差计算每个帧内预测角度的可能性指数，评估每个帧内预测角度被选择的可能性；并基于所述可能性指数对33种帧内预测角度进行筛选，构建预测选择队列，得到预测模式，使得整个帧内预测模式数量小于35种，减少了实时视频编码时间，提高了视频编码的实时性；最后，通过网络提取层nal将vcl数据序列封装成nal流，将nal流存储在每个边缘节点中，完成本地化的实时视频处理分析以及存储。

11、结合上述第一方面，在一种可能的实现方式中，所述基于实时视频中每一帧内运动物体的检测结果确定每个视频帧的运动掩码图像的方法为：

12、将相邻两个视频帧作为输入，利用光流法确定所述视频帧中处于运动状态的像素点；

13、在每个视频帧内，获取所有所述像素点的连通域，将所述连通域外的像素点的灰度值置为0，得到每个视频帧的运动掩码图像。

14、在上述方案中，通过对相邻视频帧中移动状态的跟踪确定处于运动状态的像素点，通过对不处于运动状态的像素点的掩蔽处理，得到每个视频帧的运动掩码图像，减少不处于运动状态的像素点对后续特征点检测的干扰，提高特征点检测效率。

15、结合上述第一方面，在一种可能的实现方式中，所述基于实时视频中相邻视频帧之间物体移动特征的匹配程度确定运动掩码图像之间的特征点匹配结果的方法为：

16、将相邻两个视频帧的运动掩码图像作为输入，利用特征点检测法分别获取每幅运动掩码图像中的特征点，利用特征点匹配的方式获取两幅运动掩码图像中特征点的匹配结果。

17、在上述方案中，首先通过特征点检测的方法确定每幅运动掩码图像中的特征点，其次通过特征点匹配的方式确定相邻视频帧中特征点之间的匹配结果，以便于后续对每个视频帧整体运动质心的确定。

18、结合上述第一方面，在一种可能的实现方式中，所述基于相邻视频帧的运动掩码图像之间的特征点匹配结果分别确定姿态运动向量、单点姿态向量的方法为：

19、在每幅运动掩码图中，利用匹配成功的特征点的位置信息确定每幅运动掩码图像中的质心点；

20、将每个视频帧的运动掩码图像中的质心点与相邻下一视频帧的运动掩码图像中质心点之间的连线确定的向量作为每个视频帧的姿态运动向量；

21、分别将每个视频帧的运动掩码图像中每个特征点作为起始点，将所述特征点的匹配特征点作为终点，将每个由起始点指向终点的向量作为所述特征点的一个单点姿态向量。

22、在上述方案中，通过每个视频帧的运动掩码图像中所有特征点的位置信息确定每个视频帧中的质心点，从而确定每个视频帧的姿态运动向量以及每个特征点的单点姿态向量，实现对每个视频帧整体运动状态、单点移动情况的量化，基于特征点匹配结果确定姿态运行方向能够在受到前景、背景重叠现象影响导致部分像素点丢失时对连续视频帧中运动物体姿态运动方向实现准确评估，以便于后续分析编码块的子块之间运动趋势特征。

23、结合上述第一方面，在一种可能的实现方式中，所述基于每个编码块中子块内特征点的单点姿态向量与姿态运动向量之间的相似程度确定子块之间的一致性特征值的方法为：

24、将编码块的每个子块内每个特征点的单点姿态向量与所述特征点所在视频帧的姿态运动向量之间的相似性度量结果作为所述特征点的趋势特征值；

25、将每个子块内所有所述趋势特征值组成的序列作为每个子块的趋势特征序列，将两个子块的趋势特征序列之间的相似性度量结果作为两个子块之间的一致性特征值。

26、在上述方案中，通过计算子块内每个特征点的单点姿态向量与特征点所在视频帧的姿态运动向量之间的相似性缺点所述特征点的趋势特征值，完成单个特征点与整个视频帧运动趋势的度量；之后，利用子块内所有特征点的趋势特征值构成的趋势特征序列之间的相似程度确定子块之间的一致性特征值，通过子块内特征点的运动趋势与整个视频帧的运动趋势的一致性评估两个子块运动方向的接近程度，以便于后续确定不同编码块的pu划分模式。

27、结合上述第一方面，在一种可能的实现方式中，所述在每个边缘计算设备中，基于所述一致性特征值确定hevc技术对实时视频进行预测编码时的pu划分模式的方法为：

28、计算帧间预测帧中每个ctu与前一视频帧中相同位置ctu内像素点像素值的差值绝对值的累加和作为每个ctu的初始差异值；

29、如果每个ctu的初始差异值小于等于预设值，每个ctu沿用前一视频帧中相同位置ctu的pu划分模式；

30、如果所述初始差异值大于预设值，分别计算ctu的每个编码块内任意两个子块之间的一致性特征值；

31、如果编码块内子块之间的一致性特征值相等，进行2n×2n和skip的pu划分模式；

32、如果编码块内子块之间的一致性特征值不相等，分别计算编码块内水平方向上、垂直方向上子块之间的一致性特征值之和作为水平一致性特征值、垂直一致性特征值；

33、如果水平一致性特征值大于垂直一致性特征值，进行2n×2n、2n×n和skip的pu划分模式；

34、如果水平一致性特征值等于垂直一致性特征值，进行2n×2n的pu划分模式；

35、如果水平一致性特征值小于垂直一致性特征值，进行2n×2n、n×2n和skip的pu划分模式。

36、在上述方案中，首先通过相邻视频帧中ctu内像素点的像素值差值确定每个ctu的初始差异值，利用初始差异值与预设值确定第一种pu划分模式；其次，基于ctu的每个编码块内任意两个子块之间的一致性特征值是否相等确定第二种pu划分模式；之后，针对子块之间的一致性特征值不相等的情况，通过水平方向、垂直方向上子块的一致性特征值分别得到水平一致性特征值、垂直一致性特征值，基于水平一致性特征值、垂直一致性特征值的对比结果确定多种pu划分模式，通过多种计算结果的对比递进式的确定了不同情况下ctu内的pu划分模式，使得实时视频处理时的率失真性能更好。

37、结合上述第一方面，在一种可能的实现方式中，所述基于pu块内每个特征点的单点姿态向量的方向角与hevc技术中预设33种帧内预测角度确定预测选择队列的方法为：

38、基于所划分pu块内特征点的单点姿态向量的方向角确定预设33种帧内预测角度的可能性指数；

39、将33种帧内预测角度的可能性指数作为输入，利用大津阈值法获取分割阈值，将每个可能性指数大于分割阈值的帧内预测角度作为一个预测方向，将所有预测方向组成的序列作为预测选择队列。

40、在上述方案中，通过pu块内特征点的单向姿态向量的方向角与hevc技术中预设33种帧内预测角度的角度偏差评估每个帧内预测角度作为预测方向的可能性；其次，利用大津阈值分割算法得到可能性指数的分割阈值，通过分割阈值的筛选，确定预测方向，降低了对实时视频编码时的编码复杂度。

41、结合上述第一方面，在一种可能的实现方式中，所述基于所划分pu块内特征点的单点姿态向量的方向角确定预设33种帧内预测角度的可能性指数的方法为：

42、将每个pu块内所有特征点的单点姿态向量的方向角与每个帧内预测角度的差值绝对值之和作为每个帧内预测角度的角度累计偏差；

43、将所有帧内预测角度的角度累计偏差之和与每个帧内预测角度的角度累计偏差的比值作为每个帧内预测角度的可能性指数。

44、在上述方案中，通过计算每个帧内预测角度与所述方向角的角度差值绝对值的累加和作为每个帧内预测角度的角度累计偏差，用于评估每个帧内预测角度作为预测方向的可能性大小，以便于后续利用可能性指数筛选预测方向。

45、结合上述第一方面，在一种可能的实现方式中，所述利用hevc技术基于所述预测选择队列将每个边缘计算设备中的实时视频封装成nal流的方法为：

46、利用hevc技术基于预测选择队列将实时视频编码为vcl数据序列；

47、利用hevc技术中的网络提取层nal将vcl数据序列封装成nal流，将nal流存储在每个边缘节点中。

48、在上述方案中，分别利用hevc技术中的视频编码层、网络提取层对实时视频进行处理，得到vcl数据序列、nal流，以便于边缘节点对实时视频的后续处理。

49、结合上述第一方面，在一种可能的实现方式中，所述利用hevc技术基于预测选择队列将实时视频编码为vcl数据序列的方法为：

50、在预测选择队列中添加planar模式和dc模式，得到帧内预测模式；

51、利用hevc技术基于pu块的划分结果以及帧内预测模式在视频编码层中对实时视频进行编码，得到vcl数据序列。

52、在上述方案中，通过在预测选择队列中添加planar模式和dc模式，能够保证筛选预测模式后，对实时视频仍具有较高的编码效率，通过hevc技术中的35种预测模式的有效筛选，减少边缘计算设备在处理实时视频时的编码时间，提高了处理效率。

53、第二方面，提供了一种基于边缘计算的实时视频处理和智能分析系统，所述系统包括：

54、第一获取模块，用于将边缘节点获取的实时视频传输至边缘节点的边缘计算设备；

55、匹配模块，用于基于实时视频中每一帧内运动物体的检测结果确定每个视频帧的运动掩码图像，基于实时视频中相邻视频帧之间物体移动特征的匹配程度确定运动掩码图像之间的特征点匹配结果；

56、第二获取模块，用于基于相邻视频帧的运动掩码图像之间的特征点匹配结果分别确定姿态运动向量、单点姿态向量；

57、计算模块，用于利用hevc技术将所述实时视频划分成大量编码块，基于每个编码块中子块内特征点的单点姿态向量与姿态运动向量之间的相似程度确定子块之间的一致性特征值；

58、pu划分模块，用于在每个边缘计算设备中，基于所述一致性特征值确定hevc技术对实时视频进行预测编码时的pu划分模式，得到pu块的划分结果；

59、方向选择模块，用于基于pu块内每个特征点的单点姿态向量的方向角与hevc技术中预设33种帧内预测角度确定预测选择队列；

60、视频处理模块，用于利用hevc技术基于所述预测选择队列将每个边缘计算设备中的实时视频封装成nal流，完成对实时视频的分析处理。

61、第三方面，提供了一种服务器，包括存储器和处理器。该存储器用于存储可执行程序代码，该处理器用于从存储器中调用并运行该可执行程序代码，使得该设备执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

62、第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。