一种先验距离引导的相似性记忆匹配视频实例分割方法

本发明涉及视频分割，尤其涉及一种先验距离引导的相似性记忆匹配视频实例分割方法。

背景技术：

1、视频实例分割技术在视频监控和视频编辑领域都有广泛的应用，可以提高视频处理和分析的效率以及用户体验。视频实例分割可以用于监控摄像头拍摄的场景中的行人检测与跟踪。通过将每个像素分割并分类到行人实例中，监控系统可以准确地识别每个行人并跟踪其运动轨迹，从而实现实时的行人监控和安全警报。在此基础上，视频实例分割的异常检测技术可以帮助监控系统检测场景中的异常行为，如人员聚集、物体遗留等，从而及时发现潜在的安全风险并采取相应的措施。进一步地，视频实例分割可以为监控系统提供更丰富和准确的场景理解，帮助用户快速定位和分析视频中的关键信息，提高视频处理的智能化水平。

2、视频实例分割可以用于实现背景替换和特效添加，例如将视频中的背景替换成虚拟场景、添加特效或动画效果等，从而为视频编辑带来更多的创意和表现力。在此基础上，视频实例分割可以帮助编辑人员快速准确地分割和提取视频中的特定物体或区域，例如分割人物、汽车、道路等，以便进行后续的编辑和处理。进一步地，通过对视频实例进行分割和分类，编辑人员可以更好地理解视频内容，并针对性地进行剪辑和编辑，提高视频编辑的效率和质量。

3、然而，视频捕获的运动目标普遍存在严重遮挡，消失重现问题，现在在线视频实例分割方法需要后处理步骤来临时关联实例，这种后处理通常涉及掩码重叠等启发式方法，而启发式方法有时会陷入局部最优解，难以取得全局最优解，推广到严重遮挡的场景缺乏泛化性。

技术实现思路

1、本发明通过提供一种先验距离引导相似性记忆匹配视频实例分割方法，针对现有技术中目标实例存在严重遮挡问题提出先验距离引导模块，针对实例跨帧消失问题提出相似性记忆匹配模块及匹配损失函数，有效改善了上述问题。

2、鉴于上述问题，第一方面，本发明提供了一种先验距离引导相似性记忆匹配视频实例分割方法，所述方法包括：基于所述实验参数和所述模型环境，引入在线视频实例分割模型；通过先验距离引导模块以提供额外的空间结构信息，以帮助模型更好的理解视频场景；构建相似性记忆匹配模块，通过在不同帧之间建立相同实例历史记忆，训练过程中动态地融合每一帧历史信息，对实例进行跟踪和定位，即使在出现遮挡和实例跨帧消失重现的情况下，也能够更准确地分割目标实例；最后构建一种具有针对性监督学习机制的匹配损失函数，旨在加强对于跨帧消失重现实例的区分度。通过所述先验距离引导模块、相似性记忆匹配模块，匹配损失函数构建全监督在线视频实例分割模型。

3、另一方面，本发明还提供了一种先验距离引导相似性记忆匹配全监督视频实例分割系统，所述系统包括：第一调控单元，所述第一调控单元用于基于所述实验参数和所述模型环境，引入在线全监督视频实例分割模型；第一构建单元，所述第一构建单元用于构建先验距离引导模块；第二构建单元，所述第二构建相似性记忆匹配模块；第三构建单元，所述第三构建单元构建基于相似性记忆匹配模块匹配损失；第四构建单元，所述第四单元构建基于先验距离引导模块，相似性记忆匹配模块，匹配损失函数的全监督在线视频实例分割模型。

4、第三方面，本发明提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任意一项所述方法中的步骤。

5、第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述方法中的步骤。

6、本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

7、本发明引入全监督在线视频实例分割模型，然后在数据增强之前构建先验距离引导模块，构建相似性记忆匹配模块，构建具有针对性的匹配损失函数，实现全监督在线视频实例分割模型的技术方案。进而达到通过先验距离引导模块提供给模型关键的三维信息，通过学习不同实例之间的距离关系，分割模型能够更精确地划定实例边界，从而减轻因运动模糊导致错误分割的问题，并通过在不同帧之间建立相同实例历史记忆，训练过程中动态地融合每一帧历史信息，对实例进行跟踪和定位，即使在出现遮挡和实例跨帧消失重现的情况下，也能够更准确地分割目标实例，提升模型的分割性能与掩膜质量，完善了模型对目标实例的定位能力的技术效果。

8、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种先验距离引导的相似性记忆匹配视频实例分割方法，其特征在于，所述方法包括：

2.如权利要求1所述的一种先验距离引导的相似性记忆匹配视频实例分割方法，其特征在于，引入在线全监督视频实例分割框架包括：

3.如权利要求1所述的一种先验距离引导的相似性记忆匹配视频实例分割方法，其特征在于，在数据增强之前构建先验距离引导模块包括：

4.如权利要求3所述的一种先验距离引导的相似性记忆匹配视频实例分割方法，其特征在于，所述距离引导的计算公式为：

5.如权利要求1所述的一种先验距离引导的相似性记忆匹配视频实例分割方法，其特征在于，所述相似性记忆匹配模块的构建过程为：

6.如权利要求1所述的一种先验距离引导的相似性记忆匹配视频实例分割方法，其特征在于，所述匹配损失函数计算公式为：

7.一种先验距离引导的相似性记忆匹配视频实例分割系统，其特征在于，所述系统包括：

8.一种全监督在线视频实例分割电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1-6中任一项所述方法中的步骤。

技术总结本发明公开了一种先验距离引导的相似性记忆匹配视频实例分割方法，涉及视频分割技术领域。本发明在视频实例分割模型数据增强之前构建先验距离引导模块，引入距离信息给视频帧提供额外的空间结构信息；构建相似性记忆匹配模块在不同帧之间建立实例记忆匹配，根据实例之间的相似性进行匹配，改善模型稳定性；构建匹配损失函数，引导模型学习严重遮挡和消失重现的实例更具区分性的特征表示。通过所述基于先验距离引导模块，相似性记忆匹配模块，匹配损失函数，构建全监督在线视频实例分割模型。本发明解决了现有全监督在线视频实例分割在视频序列中下动态目标严重遮挡和消失重现导致分割错误的问题。技术研发人员：何自芬,张瑞,张印辉,张鹏林,黄滢,陈光晨,何梦云受保护的技术使用者：昆明理工大学技术研发日：技术公布日：2024/8/16