视频图像拼接方法、装置、终端设备和存储介质与流程

本技术涉及视频处理领域，尤其涉及一种视频图像拼接方法、装置、终端设备和存储介质。

背景技术：

1、普通摄像头在过大的场景中往往不能完全收录所需画面，视频的实时拼接技术可将多个摄像头的画面拼接成完整的影像呈现在使用者眼前，可以弥补不能完全收录所需画面这个缺陷。将多个摄像头的画面进行实时拼接，对视频会议、线上教学、无人航拍、智能驾驶等应用场景下的画面呈现质量与观感有着重要提升。

2、现有技术中，不同摄像头拍摄的图像中距离摄像头较近的物体可能会产生错位，从而导致位于图像重叠区域的物体在拼接后产生错位或伪影现象，这不仅对视频图像观感造成不良影响，同时，也不利于用户对视频图像内容进行准确提取。

3、鉴于此，如何准确有效的实现视频图像的拼接，避免产生错位或伪影现象，是当前需要考虑的问题。

技术实现思路

1、本技术实施例提供了一种视频图像拼接方法、装置、终端设备和存储介质，可以准确有效的实现视频图像的拼接，避免产生错位或伪影现象，优化用户对视频图像的观感，提升用户体验。

2、第一方面，本技术实施例提供了一种视频图像拼接方法，包括：

3、获取待拼接的第一视频图像与第二视频图像；

4、对所述第二视频图像进行单应性变换，并确定所述第一视频图像与经过单应性变换后的所述第二视频图像的重叠区域，所述重叠区域包括所述第一视频图像中与所述第二视频图像重叠的第一重叠区域，以及，所述第二视频图像中与所述第一视频图像重叠的第二重叠区域；

5、对所述第一重叠区域与所述第二重叠区域分别进行区域划分，并计算划分后所述第一重叠区域与所述第二重叠区域中对应重叠子区域的相似度；

6、基于所述重叠子区域以及所述相似度，统一所述重叠区域的图像色调后得到目标重叠区域；

7、确定所述目标重叠区域的最佳接缝线；

8、根据所述最佳接缝线，对所述第一视频图像和所述第二视频图像进行视频图像拼接，得到拼接视频图像。

9、在第一方面的一种可能的实现方式中，所述重叠子区域包括第一重叠子区域与第二重叠子区域；

10、所述对所述第一重叠区域与所述第二重叠区域分别进行区域划分，并计算划分后所述第一重叠区域与所述第二重叠区域中对应重叠子区域的相似度，包括：

11、对所述第一重叠区域与所述第二重叠区域分别进行区域划分，得到若干第一重叠子区域与若干第二重叠子区域；

12、判断所述第一重叠子区域与对应的第二重叠子区域之中是否存在边缘信息；

13、若存在边缘信息，则计算所述第一重叠子区域及其对应的第二重叠子区域之间的二值相似度；

14、若不存在边缘信息，则计算所述第一重叠子区域及其对应的第二重叠子区域之间的颜色相似度。

15、在第一方面的一种可能的实现方式中，所述判断所述第一重叠子区域与对应的第二重叠子区域之中是否存在边缘信息，包括：

16、获取所述第一重叠子区域与所述第二重叠子区域中非零像素值总和；

17、若所述非零像素值总和小于预设像素阈值，则确定所述第一重叠子区域与第二重叠子区域之中不存在边缘信息；

18、若所述非零像素值总和大于或等于所述预设像素阈值，则确定所述第一重叠子区域与第二重叠子区域之中存在边缘信息。

19、在第一方面的一种可能的实现方式中，所述重叠子区域包括第一重叠子区域与第二重叠子区域；所述基于所述重叠子区域以及所述相似度，统一所述重叠区域的图像色调后得到目标重叠区域，包括：

20、对所述第一重叠区域与第二重叠区域中相似度小于预设相似度阈值的第一重叠子区域与第二重叠子区域添加掩码；

21、基于目标参数信息对所述第二重叠区域进行色彩迁移，统一所有所述第一重叠子区域及其对应的第二重叠子区域的图像色调，得到目标重叠区域，其中，所述目标参数信息根据未添加掩码的第一重叠子区域与未添加掩码的第二重叠子区域确定。

22、在第一方面的一种可能的实现方式中，所述确定所述目标重叠区域的最佳接缝线，包括：

23、若所述第一视频图像与所述第二视频图像为视频流中的首帧图像，则根据预设接缝线查找算法，确定所述目标重叠区域的最佳接缝线；

24、若所述第一视频图像与所述第二视频图像为所述视频流中的非首帧图像，则获取所述目标重叠区域中的动态信息，并根据所述动态信息，确定所述目标重叠区域的最佳接缝线。

25、在第一方面的一种可能的实现方式中，所述动态信息包括前景膨胀项，所述获取所述目标重叠区域中的动态信息，并根据所述动态信息，确定所述目标重叠区域的最佳接缝线，包括：

26、获取所述目标重叠区域中前景膨胀项的能量值，并统计前一帧拼接视频图像接缝线上能量值大于0的前景膨胀项个数；

27、若所述前景膨胀项个数不满足预设膨胀能量值条件，则沿用所述前一帧拼接视频图像的接缝线作为当前所述目标重叠区域的最佳接缝线；

28、若所述前景膨胀项个数满足所述预设膨胀能量值条件，则根据所述预设接缝线查找算法，确定所述目标重叠区域的最佳接缝线。

29、在第一方面的一种可能的实现方式中，所述根据所述预设接缝线查找算法，确定所述目标重叠区域的最佳接缝线，包括：

30、获取所述目标重叠区域的能量矩阵；

31、对所述目标重叠区域进行区域划分，得到若干目标重叠子区域；

32、基于所述能量矩阵，分别确定各所述目标重叠子区域的综合能量平均值；

33、根据各所述目标重叠子区域的综合能量平均值，构建粗略能量矩阵；

34、基于所述粗略能量矩阵与动态规划算法，确定所述目标重叠区域的最佳接缝线。

35、第二方面，本技术实施例提供了一种视频图像拼接装置，包括：

36、视频图像获取单元，用于获取待拼接的第一视频图像与第二视频图像；

37、重叠区域确定单元，用于对所述第二视频图像进行单应性变换，并确定所述第一视频图像与经过单应性变换后的所述第二视频图像的重叠区域，所述重叠区域包括所述第一视频图像中与所述第二视频图像重叠的第一重叠区域，以及，所述第二视频图像中与所述第一视频图像重叠的第二重叠区域；

38、区域相似度计算单元，用于对所述第一重叠区域与所述第二重叠区域分别进行区域划分，并计算划分后所述第一重叠区域与所述第二重叠区域中对应重叠子区域的相似度；

39、色调统一单元，用于基于所述重叠子区域以及所述相似度，统一所述重叠区域的图像色调后得到目标重叠区域；

40、接缝线确定单元，用于确定所述目标重叠区域的最佳接缝线；

41、视频图像拼接单元，用于根据所述最佳接缝线，对所述第一视频图像和所述第二视频图像进行视频图像拼接，得到拼接视频图像。

42、第三方面，本技术实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的视频图像拼接方法。

43、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的视频图像拼接方法。

44、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使终端设备执行如上述第一方面所述的视频图像拼接方法。

45、本技术实施例中，通过获取待拼接的第一视频图像与第二视频图像，对所述第二视频图像进行单应性变换，并确定所述第一视频图像与经过单应性变换后的所述第二视频图像的重叠区域，所述重叠区域包括第一重叠区域与第二重叠区域，对所述第一重叠区域与所述第二重叠区域分别进行区域划分，并计算划分后所述第一重叠区域与所述第二重叠区域中对应重叠子区域的相似度，然后基于所述重叠子区域以及所述相似度，统一所述重叠区域的图像色调后得到目标重叠区域，再确定所述目标重叠区域的最佳接缝线，根据所述最佳接缝线，对所述第一视频图像和所述第二视频图像进行视频图像拼接。本技术方案通过对第二视频图像进行单应性变换，统一图像视角，在同一视角上进行图像拼接有助于减少错位或伪影现象的产生，再基于两视频图像中对应重叠子区域的相似度实现重叠区域色调的统一，可保障拼接图像色调的统一的同时提升色调统一的有效性，进而可准确有效的实现视频图像的拼接，优化用户对视频图像的观感，提升用户体验。