视频还原方法、装置、设备、存储介质及程序产品与流程

本技术涉及音视频，尤其涉及一种视频还原方法、装置、设备、存储介质及程序产品。

背景技术：

1、随着摄影技术的发展，容积摄影技术在mv拍摄、体育赛事直播、3d医疗模拟等领域得到不断应用。与全景摄影不同，这项技术利用大量摄像头，从多个角度捕捉摄影棚中的目标任务和场景，可生成和输出动态3d影像和模型。但是现有容积拍摄的视频还原大部分采用容差拼接方式，合成完毕的视频数据经推流服务器、视频编解码处理，传输到播出端进行全量解码，再呈现给用户，这种方法前端采集物理部署环节复杂，数据传输量大且物理采集设备成本高，从而使得视频还原过程难度较大。

技术实现思路

1、本技术实施例提供一种视频还原方法、装置、设备、存储介质及程序产品，以解决现有视频还原方法中视频还原过程难度大的问题。

2、为了解决上述技术问题，本技术是这样实现的：

3、第一方面，本技术实施例提供了一种视频还原方法，该视频还原方法包括:

4、获取从多个预设方位对目标位置拍摄得到的多张原始图像，其中，每一个预设方位拍摄至少一张原始图像；

5、对所述多张原始图像进行识别分析，确定所述多张原始图像中的主体对象；

6、基于所述多张原始图像的图像信息、所述主体对象和历史数据库中的多个原始模型，构建目标模型；

7、利用虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，以还原所述目标位置在所述多个预设方位的第一环绕视频。

8、可选地，所述对所述多张原始图像进行识别分析，确定所述多张原始图像中的主体对象，包括：

9、提取所述多张原始图像中每张原始图像的边缘信息、颜色直方图和梯度直方图；

10、根据所述每张原始图像的边缘信息、颜色直方图和梯度直方图，得到所述每张原始图像的特征向量；

11、根据所述每张原始图像的特征向量，得到所述每张原始图像的边缘轮廓信息；

12、根据所述每张原始图像的边缘轮廓信息，计算所述每张原始图像的最大闭合轮廓面积；

13、将所述每张原始图像的最大闭合轮廓面积对应的对象互相进行特征匹配，在n张原始图像的最大闭合轮廓面积对应的对象相同的情况下，确定所述n张原始图像的最大闭合轮廓面积对应的对象为主体对象，n为大于1的整数。

14、可选地，所述多个原始模型包括场景模型和多个主体模型，所述基于所述多张原始图像的图像信息、所述主体对象和历史数据库中的多个原始模型，构建目标模型，包括：

15、从所述多个主体模型中确定与所述主体对象匹配的目标主体模型；

16、基于所述多张原始图像的图像信息，将所述目标主体模型与所述场景模型进行向量对齐后，将所述目标主体模型叠加到所述场景模型中，得到目标模型。

17、可选地，所述从所述多个主体模型中确定与所述主体对象匹配的目标主体模型，包括：

18、分别计算所述主体对象的特征向量与所述多个主体模型的特征向量的多个第一欧式距离，其中，每个所述第一欧式距离为所述主体对象的特征向量和每个所述主体模型的特征向量之间的欧式距离；

19、基于所述多个第一欧式距离，从所述多个主体模型中确定与所述主体对象匹配的目标主体模型，其中，所述目标主体模型的特征向量和所述主体对象的特征向量之间的第一欧式距离为所述多个第一欧式距离中的最小欧式距离。

20、可选地，在所述主体对象为物体的情况下，所述分别计算所述主体对象的特征向量与所述多个主体模型的特征向量的多个第一欧式距离，包括：

21、分别基于多组第一参数对，计算多个第二欧式距离，所述第一参数对包括第一参数以及与所述第一参数对应的第二参数，所述第一参数为所述物体在预设方位的特征向量，所述第二参数为第一主体模型在对应预设方位的特征向量；

22、计算所述多个第二欧式距离的总和，得到所述主体对象的特征向量与所述第一主体模型的特征向量的第一欧式距离，所述第一主体模型为所述多个主体模型中的任一个主体模型。

23、可选地，在所述主体对象为人物的情况下，所述分别计算所述主体对象的特征向量与所述多个主体模型的特征向量的多个第一欧式距离，包括：

24、分别基于多组第二参数对，计算多个第三欧式距离，其中，每组所述第二参数对包括第三参数以及与所述第三参数对应的第四参数，所述第三参数用于表征所述人物的骨骼关节点，所述第四参数用于表征第一主体模型的对应骨骼关节点；

25、计算所述多个第三欧式距离的总和，得到所述主体对象的特征向量与所述第一主体模型的特征向量的第一欧式距离，所述第一主体模型为所述多个主体模型中的任一个主体模型。

26、可选地，所述利用虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，还原所述目标位置在所述多个预设方位的第一环绕视频，包括：

27、获取所述目标位置在所述多个预设方位的实际拍摄视角；

28、基于所述目标位置在所述多个预设方位的实际拍摄视角，利用所述虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，得到所述目标位置在所述多个预设方位的初始环绕视频；

29、提取所述多张原始图像的关键信息；

30、利用所述关键信息对所述目标位置在所述多个预设方位的初始环绕视频进行渲染，得到所述目标位置在所述多个预设方位的第一环绕视频。

31、可选地，所述利用虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，还原所述目标位置在所述多个预设方位的第一环绕视频之后，所述方法还包括：

32、将播放器的播放视角与所述实际拍摄视角对齐后，向所述播放器发送所述目标位置在所述多个预设方位的第一环绕视频。

33、可选地，所述利用虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，还原所述目标位置在所述多个预设方位的第一环绕视频之后，所述方法还包括：

34、接收播放器发送的修正信息；

35、基于所述修正信息，及所述目标位置在所述多个预设方位的第一环绕视频生成第二环绕视频；

36、将所述播放器的播放视角与所述实际拍摄视角对齐后，向所述播放器发送所述目标位置在所述多个预设方位的第二环绕视频。

37、第二方面，本技术实施例还提供一种视频还原装置，该视频还原装置包括：

38、第一获取模块，用于获取从多个预设方位对目标位置拍摄得到的多张原始图像，其中，每一个预设方位拍摄至少一张原始图像；

39、第一确定模块，用于对所述多张原始图像进行识别分析，确定所述多张原始图像中的主体对象；

40、第一构建模块，用于基于所述多张原始图像的图像信息、所述主体对象和历史数据库中的多个原始模型，构建目标模型；

41、第一还原模块，用于利用虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，以还原所述目标位置在所述多个预设方位的第一环绕视频。

42、可选地，所述第一确定模块，包括：

43、第一提取单元，用于提取所述多张原始图像中每张原始图像的边缘信息、颜色直方图和梯度直方图；

44、第一处理单元，用于根据所述每张原始图像的边缘信息、颜色直方图和梯度直方图，得到所述每张原始图像的特征向量；

45、第二处理单元，用于根据所述每张原始图像的特征向量，得到所述每张原始图像的边缘轮廓信息；

46、第一计算单元，用于根据所述每张原始图像的边缘轮廓信息，计算所述每张原始图像的最大闭合轮廓面积；

47、第一确定单元，用于将所述每张原始图像的最大闭合轮廓面积对应的对象互相进行特征匹配，在n张原始图像的最大闭合轮廓面积对应的对象相同的情况下，确定所述n张原始图像的最大闭合轮廓面积对应的对象为主体对象，n为大于1的整数。

48、可选地，所述多个原始模型包括场景模型和多个主体模型，所述第一构建模块，包括：

49、第二确定单元，用于从所述多个主体模型中确定与所述主体对象匹配的目标主体模型；

50、第三处理单元，用于基于所述多张原始图像的图像信息，将所述目标主体模型与所述场景模型进行向量对齐后，将所述目标主体模型叠加到所述场景模型中，得到目标模型。

51、可选地，所述第二确定单元，包括：

52、第一计算子单元，用于分别计算所述主体对象的特征向量与所述多个主体模型的特征向量的多个第一欧式距离，其中，每个所述第一欧式距离为所述主体对象的特征向量和每个所述主体模型的特征向量之间的欧式距离；

53、第一确定子单元，用于基于所述多个第一欧式距离，从所述多个主体模型中确定与所述主体对象匹配的目标主体模型，其中，所述目标主体模型的特征向量和所述主体对象的特征向量之间的第一欧式距离为所述多个第一欧式距离中的最小欧式距离。

54、可选地，在所述主体对象为物体的情况下，所述第一计算子单元，具体用于：

55、分别基于多组第一参数对，计算多个第二欧式距离，所述第一参数对包括第一参数以及与所述第一参数对应的第二参数，所述第一参数为所述物体在预设方位的特征向量，所述第二参数为第一主体模型在对应预设方位的特征向量；

56、计算所述多个第二欧式距离的总和，得到所述主体对象的特征向量与所述第一主体模型的特征向量的第一欧式距离，所述第一主体模型为所述多个主体模型中的任一个主体模型。

57、可选地，在所述主体对象为人物的情况下，所述第一计算子单元，具体用于：

58、分别基于多组第二参数对，计算多个第三欧式距离，其中，每组所述第二参数对包括第三参数以及与所述第三参数对应的第四参数，所述第三参数用于表征所述人物的骨骼关节点，所述第四参数用于表征第一主体模型的对应骨骼关节点；

59、计算所述多个第三欧式距离的总和，得到所述主体对象的特征向量与所述第一主体模型的特征向量的第一欧式距离，所述第一主体模型为所述多个主体模型中的任一个主体模型。

60、可选地，所述第一还原模块，包括：

61、第一获取单元，用于获取所述目标位置在所述多个预设方位的实际拍摄视角；

62、第四处理单元，用于基于所述目标位置在所述多个预设方位的实际拍摄视角，利用所述虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，得到所述目标位置在所述多个预设方位的初始环绕视频；

63、第一提取单元，用于提取所述多张原始图像的关键信息；

64、第五处理单元，用于利用所述关键信息对所述目标位置在所述多个预设方位的初始环绕视频进行渲染，得到所述目标位置在所述多个预设方位的第一环绕视频。

65、可选地，所述装置还包括：

66、第一发送模块，用于将播放器的播放视角与所述实际拍摄视角对齐后，向所述播放器发送所述目标位置在所述多个预设方位的第一环绕视频。

67、可选地，所述装置还包括：

68、第一接收模块，用于接收播放器发送的修正信息；

69、第一生成模块，用于基于所述修正信息，及所述目标位置在所述多个预设方位的第一环绕视频生成第二环绕视频；

70、第二发送模块，用于将所述播放器的播放视角与所述实际拍摄视角对齐后，向所述播放器发送所述目标位置在所述多个预设方位的第二环绕视频。

71、第三方面，本技术实施例提供一种电子设备，该电子设备包括收发机和处理器，所述收发机用于：

72、获取从多个预设方位对目标位置拍摄得到的多张原始图像，其中，每一个预设方位拍摄至少一张原始图像；

73、所述处理器用于：

74、对所述多张原始图像进行识别分析，确定所述多张原始图像中的主体对象；

75、基于所述多张原始图像的图像信息、所述主体对象和历史数据库中的多个原始模型，构建目标模型；

76、利用虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，以还原所述目标位置在所述多个预设方位的第一环绕视频。

77、可选地，所述处理器具体用于：

78、提取所述多张原始图像中每张原始图像的边缘信息、颜色直方图和梯度直方图；

79、根据所述每张原始图像的边缘信息、颜色直方图和梯度直方图，得到所述每张原始图像的特征向量；

80、根据所述每张原始图像的特征向量，得到所述每张原始图像的边缘轮廓信息；

81、根据所述每张原始图像的边缘轮廓信息，计算所述每张原始图像的最大闭合轮廓面积；

82、将所述每张原始图像的最大闭合轮廓面积对应的对象互相进行特征匹配，在n张原始图像的最大闭合轮廓面积对应的对象相同的情况下，确定所述n张原始图像的最大闭合轮廓面积对应的对象为主体对象，n为大于1的整数。

83、可选地，所述处理器具体用于：

84、从所述多个主体模型中确定与所述主体对象匹配的目标主体模型；

85、基于所述多张原始图像的图像信息，将所述目标主体模型与所述场景模型进行向量对齐后，将所述目标主体模型叠加到所述场景模型中，得到目标模型。

86、可选地，所述处理器具体用于：

87、分别计算所述主体对象的特征向量与所述多个主体模型的特征向量的多个第一欧式距离，其中，每个所述第一欧式距离为所述主体对象的特征向量和每个所述主体模型的特征向量之间的欧式距离；

88、基于所述多个第一欧式距离，从所述多个主体模型中确定与所述主体对象匹配的目标主体模型，其中，所述目标主体模型的特征向量和所述主体对象的特征向量之间的第一欧式距离为所述多个第一欧式距离中的最小欧式距离。

89、可选地，在所述主体对象为物体的情况下，所述处理器具体用于：

90、分别基于多组第一参数对，计算多个第二欧式距离，所述第一参数对包括第一参数以及与所述第一参数对应的第二参数，所述第一参数为所述物体在预设方位的特征向量，所述第二参数为第一主体模型在对应预设方位的特征向量；

91、计算所述多个第二欧式距离的总和，得到所述主体对象的特征向量与所述第一主体模型的特征向量的第一欧式距离，所述第一主体模型为所述多个主体模型中的任一个主体模型。

92、可选地，在所述主体对象为人物的情况下，所述处理器具体用于：

93、分别基于多组第二参数对，计算多个第三欧式距离，其中，每组所述第二参数对包括第三参数以及与所述第三参数对应的第四参数，所述第三参数用于表征所述人物的骨骼关节点，所述第四参数用于表征第一主体模型的对应骨骼关节点；

94、计算所述多个第三欧式距离的总和，得到所述主体对象的特征向量与所述第一主体模型的特征向量的第一欧式距离，所述第一主体模型为所述多个主体模型中的任一个主体模型。

95、可选地，所述处理器具体用于：

96、获取所述目标位置在所述多个预设方位的实际拍摄视角；

97、基于所述目标位置在所述多个预设方位的实际拍摄视角，利用所述虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，得到所述目标位置在所述多个预设方位的初始环绕视频；

98、提取所述多张原始图像的关键信息；

99、利用所述关键信息对所述目标位置在所述多个预设方位的初始环绕视频进行渲染，得到所述目标位置在所述多个预设方位的第一环绕视频。

100、可选地，所述收发机还用于：

101、将播放器的播放视角与所述实际拍摄视角对齐后，向所述播放器发送所述目标位置在所述多个预设方位的第一环绕视频。

102、可选地，所述收发机还用于：

103、接收播放器发送的修正信息；

104、基于所述修正信息，及所述目标位置在所述多个预设方位的第一环绕视频生成第二环绕视频；

105、将所述播放器的播放视角与所述实际拍摄视角对齐后，向所述播放器发送所述目标位置在所述多个预设方位的第二环绕视频。

106、第四方面，本技术实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的视频还原方法的步骤。

107、第五方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频还原方法的步骤。

108、第六方面，本技术实施例提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面所述的方法的步骤。

109、本技术实施例的视频还原方法，该方法包括获取从多个预设方位对目标位置拍摄得到的多张原始图像，其中，每一个预设方位拍摄至少一张原始图像；对所述多张原始图像进行识别分析，确定所述多张原始图像中的主体对象；基于所述多张原始图像的图像信息、所述主体对象和历史数据库中的多个原始模型，构建目标模型；利用虚拟摄像机分别从所述多个预设方位对所述目标模型进行画面增补，以还原所述目标位置在所述多个预设方位的第一环绕视频。该方法减少了前端物理环境中摄像头的部署和数据传输量，仅以物理环境中的几个原始画面为基础，利用数字空间的虚拟摄像机对目标位置的视频进行还原，降低了视频还原过程的难度。