基于深度学习的运动目标分割方法、系统、设备及介质

本技术涉及图像处理，尤其是涉及一种基于深度学习的运动目标分割方法、系统、设备及介质。

背景技术：

1、传统的运动目标分割方法主要根据图像中像素点或特征点的运动信息，对静止像素点和运动像素点进行分类，如连续帧间差分法、背景差分法和光流法等。传统方法在一些简单场景下效果不错，但仍具有计算复杂度大、难以处理复杂多变场景等局限性。

2、随着深度神经网络的不断发展，基于深度学习的算法在计算机视觉领域被广泛应用并取得优异的成果。2015年全卷积神经网络的提出在像素级别上解决了图像语义分割问题，于是视频目标分割也进入了深度学习的时代。与普通图像分割相比，运动目标分割的核心在于时序模块:它的任务是在视频的每一连续帧中寻找感兴趣目标所对应的像素，因此结合静态图像分割与运动信息的模型成为主流研究方向。

3、基于静态图像分割，需要利用神经网络训练大型数据集学习特征，选择一种方法学习运动特性，通过迭代、后处理等方式提高最终正确率，因此对专有数据集依赖严重。而基于雷达或激光点云的方法虽然能够获得更准确的运动信息，但对于硬件的配置要求更高，若硬件配置精度不高，则对运动目标分割的准确度也不高，并且硬件配置难以符合普通大众的需求。因此，大部分相关技术的运动目标分割准确度比较低。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种基于深度学习的运动目标分割方法、系统、设备及介质，能够提高运动目标分割的准确度。

2、第一方面，本技术实施例提供了一种基于深度学习的运动目标分割方法，所述基于深度学习的运动目标分割方法包括：

3、获取运动目标视频，并采集所述运动目标视频中的视频帧；将相邻两帧作为第一输入图片和第二输入图片，并对所述第一输入图片和所述第二输入图片进行预处理；

4、采用特征提取网络模型提取预处理后的第一输入图片和第二输入图片中的特征，并将所述特征提取网络模型中的若干网络层输出的特征作为特征向量集，得到第一输入图片对应的第一特征向量集和第二输入图片对应的第二特征向量集；

5、基于所述第一特征向量集和所述第二特征向量集，构建第一特征金字塔和第二特征金字塔，并基于所述第一特征金字塔和所述第二特征金字塔估计光流，得到光流结果；

6、将所述第二特征向量集中最后提取的特征向量进行多尺度的深层次特征提取，得到深层次特征向量集；

7、将所述深层次特征向量集与所述光流结果进行不同尺度的特征融合，得到多个融合特征；

8、根据所述多个融合特征，采用分割头进行运动目标分割，得到运动目标分割结果。

9、与现有技术相比，本技术第一方面具有以下有益效果：

10、本方法通过基于第一特征向量集和第二特征向量集，构建第一特征金字塔和第二特征金字塔，并基于第一特征金字塔和第二特征金字塔估计光流，得到光流结果，光流场比较需要浅层特征中蕴含的一些颜色、纹理等信息，因此只需要比较浅层的特征金字塔构建，无需进行深层次特征提取，能够估计出精确的光流值，从而为后期的目标分割提供良好的数据基础；将第二特征向量集中最后提取的特征向量进行多尺度的深层次特征提取，然后将深层次特征向量集与光流结果进行不同尺度的特征融合，在做运动目标分割时，需要找出运动变化的部分（即光流结果），还需要对后一帧的图片做目标分割，通过与提取的深层次特征进行多尺度融合，目的是为了精准分割运动目标；最后根据多个融合特征，采用分割头进行运动目标分割，得到运动目标分割结果，通过采用深层次的特征和光流场的融合特征进行运动目标分割，能够提高运动目标分割的准确度。

11、根据本技术的一些实施例，所述基于所述第一特征向量集和所述第二特征向量集，构建第一特征金字塔和第二特征金字塔，并根据所述第一特征金字塔和所述第二特征金字塔，确定光流结果，包括：

12、将所述第一特征向量集和所述第一输入图片组合为第一特征金字塔；

13、将所述第二特征向量集和所述第二输入图片组合为第二特征金字塔；

14、遍历所述第一特征金字塔和所述第二特征金字塔进行相关性匹配，得到两个特征向量之间的匹配代价量；

15、采用自适应调制过滤所述匹配代价量的异常值，得到调制后的光流场；

16、计算调制后的光流场中光流的置信度图；

17、在所述调制后的光流场中，根据所述置信度图将精确光流替换不精确光流，得到优化后的光流场；

18、对所述优化后的光流场正则化，得到光流结果。

19、根据本技术的一些实施例，所述将所述深层次特征向量集与所述光流结果进行不同尺度的特征融合，得到多个融合特征，包括：

20、将所述光流结果下采样至与所述深层次特征向量集中每个特征向量相同的尺度；

21、将每个相同尺度的光流结果和特征向量在通道维度上相加，得到多个通道维度相加结果；

22、将每个所述通道维度相加结果输入至通道注意力模块并残差连接，得到多个第一输出结果；

23、将每个所述第一输出结果输入至空间注意力模块并残差连接，得到多个第二输出结果；

24、将每个所述第二输出结果与对应的通道维度相加结果进行加权求和，得到多个权重特征；

25、将后一深层权重特征上采样至与当前层权重特征相同的尺度，得到多个上采样后的权重特征；

26、将每个所述上采样后的权重特征经过卷积和激活操作，得到多个加权系数；

27、将每个所述加权系数和当前层权重特征进行逐像素相乘，得到多个融合特征。

28、根据本技术的一些实施例，通过如下方式将每个所述通道维度相加结果输入至通道注意力模块并残差连接，得到多个第一输出结果：

29、

30、

31、其中，表示平均池化，表示最大池化，表示多层感知器，表示通道维度相加结果，表示sigmoid激活函数，表示通道注意力模块，表示逐元素乘法，表示第一输出结果。

32、根据本技术的一些实施例，通过如下方式将每个所述第一输出结果输入至空间注意力模块并残差连接，得到多个第二输出结果：

33、

34、

35、其中，表示平均池化，表示最大池化，表示滤波大小为的卷积运算，表示sigmoid激活函数，表示第一输出结果，表示空间注意力模块，表示逐元素乘法，表示第二输出结果。

36、根据本技术的一些实施例，通过如下方式将所述上采样后的权重特征经过卷积和激活操作，得到加权系数：

37、

38、其中，表示采样后的权重特征，表示激活函数，表示卷积操作，表示sigmoid激活函数，表示批归一化，表示加权系数。

39、根据本技术的一些实施例，所述根据所述多个融合特征，采用分割头进行运动目标分割，得到运动目标分割结果，包括：

40、将所述多个融合特征输入至原型掩码分支，得到所述原型掩码分支输出的多个原型掩码；

41、将所述多个融合特征分别输入至原型掩码置信度分支中的分类、回归和分割三个子分支；

42、所述三个子分支通过卷积分别提取所述多个融合特征的信息，生成多个面积相等的锚框；

43、采用分类子分支预测锚框的分类置信度、采用回归子分支预测锚框的回归框系数以及采用分割子分支预测多个原型掩码的置信度；

44、采用非极大值抑制算法根据所述分类置信度、所述回归框系数和所述置信度对锚框进行筛选，得到筛选后的锚框；

45、将所述筛选后的锚框对应的原型掩码置信度和原型掩码进行线性组合，得到组合结果；

46、将所述组合结果经过非线性函数激活，得到运动目标分割结果。

47、第二方面，本技术实施例还提供了一种基于深度学习的运动目标分割系统，所述基于深度学习的运动目标分割系统包括：

48、数据处理单元，用于获取运动目标视频，并采集所述运动目标视频中的视频帧；将相邻两帧作为第一输入图片和第二输入图片，并对所述第一输入图片和所述第二输入图片进行预处理；

49、第一提取单元，用于采用特征提取网络模型提取预处理后的第一输入图片和第二输入图片中的特征，并将所述特征提取网络模型中的若干网络层输出的特征作为特征向量集，得到第一输入图片对应的第一特征向量集和第二输入图片对应的第二特征向量集；

50、光流估计单元，用于基于所述第一特征向量集和所述第二特征向量集，构建第一特征金字塔和第二特征金字塔，并基于所述第一特征金字塔和所述第二特征金字塔估计光流，得到光流结果；

51、第二提取单元，用于将所述第二特征向量集中最后提取的特征向量进行多尺度的深层次特征提取，得到深层次特征向量集；

52、特征融合单元，用于将所述深层次特征向量集与所述光流结果进行不同尺度的特征融合，得到多个融合特征；

53、运动目标分割单元，用于根据所述多个融合特征，采用分割头进行运动目标分割，得到运动目标分割结果。

54、第三方面，本技术实施例还提供了一种基于深度学习的运动目标分割设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一种基于深度学习的运动目标分割方法。

55、第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种基于深度学习的运动目标分割方法。

56、可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。