一种视频图像拼接方法、装置、电子装置和存储介质与流程

本技术涉及图像处理领域，特别是涉及一种视频图像拼接方法、装置、电子装置和存储介质。

背景技术：

1、随着视频监控技术的广泛应用，视频拼接技术已成为图像处理领域的一个重要研究方向，该技术旨在将多个摄像头的视频画面进行融合，以提供更全面、连贯的监控视角，这种技术在公共安全、交通监控、智慧城市等领域具有重要应用价值。目前，对于视频图像进行图像拼接的技术已经相对比较成熟，但在实际应用中，特别是在处理低特征图像（如在江面、公路等开阔区域的监控视频）时，仍面临诸多挑战。

2、现有的视频拼接技术主要依赖于图像计算特征点的方法。例如，通过sift算法（scale-invariant feature transform，尺度不变特征变换）计算图像中的特征点，并利用这些特征点进行匹配，进而实现图像的拼接。在此过程中，常用的匹配算法包括opencv（open source computer vision library，开源计算机视觉库）中的flann（fast libraryforapproximate nearest neighbors，快速最近邻搜索库）等。这些算法在特征点数量充足的情况下能够取得较好的拼接效果。

3、然而，在实际应用中，低特征的图像拼接问题尤为突出。例如，在江面或公路等开阔区域，由于图像中缺乏明显的特征点，传统的基于特征点的拼接方法往往难以奏效。特别是当特征点数量低于一定阈值时，后续的图像匹配和拼接过程将受到严重影响，甚至导致拼接失败。

4、此外，多路视频拼接还面临时间轴校准的难题。由于不同摄像头拍摄的视频可能存在时间偏差，直接进行拼接可能会出现目标闪现、滞后或鬼影等现象。传统的方法往往需要人工调整视频的时间轴，但这种方法不仅耗时耗力，而且难以实现精准的对齐。

5、目前针对相关技术中视频图像，特别是低特征视频图像拼接的准确性低的问题，尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种视频图像拼接方法、装置、系统、电子装置和存储介质，以至少解决相关技术中视频图像，特别是低特征视频图像拼接的准确性低的问题。

2、第一方面，本技术实施例提供了一种视频图像拼接方法，所述方法包括：

3、获取由不同摄像设备分别拍摄到的第一视频段和第二视频段；

4、基于对所述第一视频段和所述第二视频段目标跟踪到的同一运动目标，确定所述第一视频段中的第一目标图像集，以及所述第二视频段中的第二目标图像集；

5、获取所述运动目标在所述第一目标图像集中的第一目标检测框，以及所述运动目标在所述第二目标图像集中的第二目标检测框；根据所述第一目标检测框和所述第二目标检测框，确定初始拼接位置；

6、根据所述第一目标检测框到所述第二目标检测框的尺寸变化值，确定所述初始拼接位置的调整结果，并基于所述初始拼接位置和所述调整结果，拼接所述第一视频段和所述第二视频段。

7、在其中一些实施例中，确定所述第一视频段中的第一目标图像集，以及所述第二视频段中的第二目标图像集，包括：

8、基于所述运动目标确定所述第一视频段中多帧第一关联图像，按照预设的第一时间段对所述多帧第一关联图像进行延展，得到所述第一目标图像集；

9、基于所述运动目标确定所述第二视频段中多帧第二关联图像，按照预设的第二时间段对所述多帧第二关联图像进行延展，得到所述第二目标图像集。

10、在其中一些实施例中，获取所述运动目标在所述第一目标图像集中的第一目标检测框，以及所述运动目标在所述第二目标图像集中的第二目标检测框，包括：

11、根据所述第一目标图像集记录所述运动目标的第一目标位置信息，根据所述第二目标图像集记录所述运动目标的第二目标位置信息；

12、基于所述第一目标位置信息，获取所述运动目标在所述第一目标图像集中的第一目标检测框；

13、基于所述第二目标位置信息，获取所述运动目标在所述第二目标图像集中的第二目标检测框。

14、在其中一些实施例中，根据所述第一目标检测框和所述第二目标检测框，确定初始拼接位置，包括：

15、根据所述第一目标检测框计算所述运动目标的第一检测尺寸，根据所述第二目标检测框计算所述运动目标的第二检测尺寸；

16、根据所述第一检测尺寸和所述第二检测尺寸，确定初始拼接位置。

17、在其中一些实施例中，根据所述第一目标检测框到所述第二目标检测框的尺寸变化值，确定所述初始拼接位置的调整结果，包括：

18、比较所述第一检测尺寸与所述第二检测尺寸，获取尺寸变化值；

19、若检测到尺寸变化值小于预设的变化阈值，则生成指示不调整所述初始拼接位置的调整结果；否则，生成指示调整所述初始拼接位置的调整结果。

20、在其中一些实施例中，基于所述初始拼接位置和所述调整结果，拼接所述第一视频段和所述第二视频段，包括：

21、若所述调整结果为调整所述初始拼接位置，则基于光流法，获取所述第一目标检测框中的第一目标变化量和所述第二目标检测框中的第二目标变化量；

22、基于所述第一目标变化量与所述第二目标变化量的差值，确认最佳调整位置；

23、基于所述最佳调整位置和所述初始拼接位置，拼接所述第一视频段和所述第二视频段；

24、若所述调整结果为不调整所述初始拼接位置，则基于所述初始拼接位置，拼接所述第一视频段和所述第二视频段。

25、在其中一些实施例中，基于光流法，获取所述第一目标检测框中的第一目标变化量和所述第二目标检测框中的第二目标变化量，基于所述第一目标变化量与所述第二目标变化量的差值，确认最佳调整位置，包括：

26、在所述第一目标检测框中选取多个第一目标检测点，基于光流法对所述多个第一目标检测点进行计算，获取所述第一目标变化量，所述第一目标变化量为所述多个第一目标检测点的矢量速度；

27、在所述第二目标检测框中选取多个第二目标检测点，基于光流法对所述多个第二目标检测点进行计算，获取所述第二目标变化量，所述第二目标变化量为所述多个第二目标检测点的矢量速度；

28、基于所述初始拼接位置，对所述多个第一目标检测点的矢量速度与所述多个第二目标检测点的矢量速度进行矢量差值运算，确认最佳调整位置。

29、第二方面，本技术实施例提供了一种视频图像拼接装置，包括：

30、获取模块，用于获取由不同摄像设备分别拍摄到的第一视频段和第二视频段；

31、跨镜追踪模块，用于基于对所述第一视频段和所述第二视频段目标跟踪到的同一运动目标，确定所述第一视频段中的第一目标图像集，以及所述第二视频段中的第二目标图像集；

32、初始拼接模块，用于获取所述运动目标在所述第一目标图像集中的第一目标检测框，以及所述运动目标在所述第二目标图像集中的第二目标检测框；根据所述第一目标检测框和所述第二目标检测框，确定初始拼接位置；

33、调整拼接模块，用于根据所述第一目标检测框到所述第二目标检测框的目标变换趋势，确定所述初始拼接位置的调整结果，并基于所述初始拼接位置和所述调整结果，拼接所述第一视频段和所述第二视频段。

34、第三方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的视频图像拼接方法。

35、第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的视频图像拼接方法。

36、相比于相关技术，本技术实施例提供的视频图像拼接方法，通过跨镜追踪运动目标，根据相应参数对视频段进行拼接，解决了视频图像，特别是低特征视频图像拼接的准确性低的问题，实现了更高质量的视频拼接效果，提高了视频拼接的精度。

37、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。