一种时间域门限的混合高斯背景分离方法、装置、设备和介质与流程

本发明涉及视频处理，具体而言，涉及一种时间域门限的混合高斯背景分离方法、装置、设备和介质。

背景技术：

1、随着智能视频监控系统的广泛应用，背景分离技术在运动目标检测、异常行为识别、交通监控等领域扮演着至关重要的角色。背景分离的目标是将视频中的静态背景与动态前景（如行人、车辆等）区分开来。

2、为了实现背景分离，本领域技术人员提出了多种背景分离方法，主要包括以下几种。帧差分法：通过比较连续帧之间的像素差异来检测运动区域。背景减除法：建立背景模型，通过与当前帧的差值来识别前景。基于分割的方法等。

3、但是，现实世界中的监控场景往往十分复杂，至少存在以下几种挑战，导致现有技术分离的准确性降低，适应性变差。光照变化：自然光和人造光源的强度变化会显著影响图像质量，导致背景分离算法性能下降。动态背景：树叶摇曳、水波荡漾等自然现象使得背景本身也呈现出动态特性，增加了分离难度。遮挡与重叠：前景目标之间的相互遮挡以及与背景的重叠，使得目标边界难以准确识别。摄像机抖动：摄像机的不稳定会导致图像序列中出现噪声，影响背景模型的稳定性。多目标跟踪：在多目标场景中，准确区分并跟踪每个目标是一个技术难题。

4、有鉴于此，申请人在研究了现有的技术后特提出本技术。

技术实现思路

1、本发明提供了一种时间域门限的混合高斯背景分离方法、装置、设备和介质，以改善上述技术问题中的至少一个。

2、第一方面、本发明实施例提供了一种时间域门限的混合高斯背景分离方法，其包含步骤s1至步骤s5。

3、s1、获取待分离视频。

4、s2、将所述待分离视频的色彩空间由rgb转换至hsv，获取hsv视频。

5、s3、根据预设的时长将所述hsv视频进行分段，获取多个时间段。其中，相邻的两个时间段之间存在重叠。时间段包含建模时间域和分离时间域。建模时间域的时长小于分离时间域。建模时间域的长度为重叠的长度。

6、s4、根据所述建模时间域的图像序列，通过高斯混合模型构建背景模型。

7、s5、根据所述背景模型识别同一个时间段的分离时间域的图像序列，获取前景图像序列。

8、在一个可选的实施例中，步骤s4具体包括步骤s41至步骤s42。

9、s41、将所述建模时间域的图像序列中的每帧图像分别输入混合高斯模型，获取各帧图像的混合高斯分布模型。其中，所述混合高斯模型为

10、式中，为第帧图像的第个像素点的概率、为高斯模型的序号、为第个高斯模型的序号、为正太分布表达符号、为输入的第帧图像的第个像素点的数据。为第个高斯模型的正态分布的均值、为第个高斯模型的正态分布的方差。

11、优选的，所述高斯模型的数量为5。

12、s42、根据所述各帧图像的混合高斯分布模型，分别比较各图像帧的对应位置的像素值的概率，获取所述背景模型。

13、在一个可选的实施例中，步骤s41具体为：将所述建模时间域的图像序列中的每帧图像的色调通道的数据分别输入混合高斯模型进行高斯拟合，获取各帧图像的混合高斯分布模型。

14、在上述实施例的基础上，本发明的一个可选地实施例中，步骤s41具体包括步骤s411至步骤s412。

15、s411、通过预先构建的稀疏降噪特征提取模型提取所述建模时间域的图像序列中的每帧图像的色调通道的数据，获取色调特征。

16、s412、将所述色调特征输入所述混合高斯模型进行高斯拟合，获取各帧图像的混合高斯分布模型。

17、优选的，所述稀疏降噪特征提取模型包含依次连接的编码器和解码器。

18、编码器包含输入层、第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层和特征向量层。输入层用以输入图像的色调通道数据。第一层卷积层使用32个3x3的卷积核，步长为2，激活函数为relu，以保持维度不变。第二层卷积层使用64个3x3的卷积核，步长为2，激活函数为relu。第三层卷积层使用128个3x3的卷积核，步长为2，激活函数为relu。第四层卷积层使用256个3x3的卷积核，步长为2，激活函数为relu。特征向量层使用一个全连接层，以将卷积层输出的特征图展平成一个一维向量。

19、解码器包含第一层全连接层、第一层反卷积层、第二层反卷积层、第三层反卷积层、第四层反卷积层和输出层。第一层全连接层使用一个全连接层，以将编码器得到的特征向量转换回一个形状适合于解码过程的张量。第一层反卷积层使用256个3x3的反卷积核，步长为2，激活函数为relu。第二层反卷积层使用128个3x3的反卷积核，步长为2，激活函数为relu。第三层反卷积层使用64个3x3的反卷积核，步长为2，激活函数为relu。第四层反卷积层使用32个3x3的反卷积核，步长为2，激活函数为relu。输出层使用一个1x1的卷积核，没有激活函数，以得到最终的重建图像，其尺寸与输入图像相同。

20、在上述实施例的基础上，本发明的一个可选地实施例中，稀疏降噪特征提取模型通过以下步骤训练得到。

21、a1、获取训练图像。

22、a2、向训练图像中添加噪声。

23、a3、将带有噪声的训练图像输入稀疏降噪特征提取模型，获取输出图像。

24、a4、根据所述输出图像和所述训练图像计算损失函数，然后根据所述损失函数调整所述稀疏降噪特征提取模型的参数。其中，损失函数为：

25、式中，为重建损失、为控制稀疏性的正则化系数、为稀疏性损失、为控制权重正则化的正则化系数、为l1或l2正则化项、为降噪损失。

26、在一个可选的实施例中，步骤s42具体包括步骤s421至步骤s424。

27、s421、根据所述各帧图像的混合高斯分布模型，分别比较各图像帧的对应位置的像素值的概率，以判断像素点属于背景还是前景。

28、s422、若各个图像帧的对应位置处的像素值的概率的最大值和最小值之差小于0.1且对应位置的相邻像素点的概率的最大值和最小值之差小于0.1，则判定该像素点为背景。否则判定像素点为前景。

29、s423、对于被前景遮盖过的位置，剔除像素值的概率的变化大于0.1的像素，获取被前景遮盖处的背景特征。

30、s424、提取背景的像素值，根据所述背景模型。

31、在一个可选的实施例中，步骤s5具体为：根据所述背景模型通过opencv分离同一个时间段的分离时间域的图像序列中各帧图像的背景，获取前景图像序列。

32、在一个可选的实施例中，时间域门限的混合高斯背景分离方法还包含步骤s6。s6、判断摄像头的拍摄角度是否发生改变。当判断到摄像头的拍摄角度发生改变后，重新执行混合高斯背景分离方法，构建背景模型，并通过背景模型分离背景，识别前景。

33、第二方面、本发明实施例提供了一种时间域门限的混合高斯背景分离装置，其包含视频获取模块、色彩转换模块、时间域模块、背景构建模块和分离模块。

34、视频获取模块，用于获取待分离视频。

35、色彩转换模块，用于将所述待分离视频的色彩空间由rgb转换至hsv，获取hsv视频。

36、时间域模块，用于根据预设的时长将所述hsv视频进行分段，获取多个时间段。其中，相邻的两个时间段之间存在重叠。时间段包含建模时间域和分离时间域。建模时间域的时长小于分离时间域。建模时间域的长度为重叠的长度。

37、背景构建模块，用于根据所述建模时间域的图像序列，通过高斯混合模型构建背景模型。

38、分离模块，用于根据所述背景模型识别同一个时间段的分离时间域的图像序列，获取前景图像序列。

39、第三方面、本发明实施例提供了一种时间域门限的混合高斯背景分离设备，其包括处理器、存储器，以及存储在所述存储器内的计算机程序。所述计算机程序能够被所述处理器执行，以实现如第一方面任意一段所述的时间域门限的混合高斯背景分离方法。

40、第四方面、本发明实施例提供了一种计算机可读存储介质。所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面任意一段所述的时间域门限的混合高斯背景分离方法。

41、通过采用上述技术方案，本发明可以取得以下技术效果：

42、本发明的时间域门限的混合高斯背景分离方法在复杂背景和动态场景下具有更高的准确性和适应性。其具有以下优势：1、具有较强的抗干扰能力，能够有效的提取背景信息，实现前后景分离；2、对光照变化和运动目标具有一定的适应性；3、能动态调整背景模型，以适应多变场景；4、算法效率高，适用于实时处理需求。