一种生成裸眼3D封面的方法及相关装置与流程

本技术涉及视频处理，尤其涉及一种生成裸眼3d封面的方法及相关装置。

背景技术：

1、3维(3-dimension，3d)视频的立体效果给用户带来身临其境的体验，但是3d视频的效果呈现通常依赖3d眼镜、头盔或cardboard等3d设备。在电子设备的视频播放平台，用户难以直接体验视频的3d效果。

2、裸眼3d是指不借助偏振光眼镜等外部工具，用户即可在电子设备的显示屏上观看到立体视觉效果的技术。相关裸眼3d技术中，通过对逐帧图片信息进行处理后按照拍摄时间排序，得到待展示图片集，再对待展示图片集进行渲染实现3d动态效果。但是，该裸眼3d技术无法保障3d动态效果与原3d视频内容的一致性。

技术实现思路

1、本技术提供一种生成裸眼3d封面的方法及相关装置，用以通过3d视频生成裸眼3d封面时，保证3d动态效果与原3d视频内容的一致性。

2、第一方面，本技术实施例提供了一种生成裸眼3d封面的方法。该方法可以应用于图像处理设备中。该方法包括以下步骤：

3、图像处理设备先获取3d视频中第一图像帧的第一视图和第二视图，其中，第一视图为第一图像帧中目标主体的主视图，第一视图帧中的目标主体的位置为第一位置，第二视图包括的目标主体相对于第一位置发生了偏移；图像处理设备基于第一视图和第二视图，在第一视图中确定目标主体的第一主体轮廓，再根据第一主体轮廓和第一图像帧对应的第一3d参考线，合成得到第一3d图像帧，进而根据第一3d图像帧，生成第一裸眼3d封面。

4、通过上述方法，由于第二视图中的目标主体的位置相对于第一视图中目标主体的位置有偏移，因此，可以基于第一视图和第二视图各自的目标主体的位置确定裸眼3d立体效果下的目标主体的第一主体轮廓。通过第一主体轮廓，可以实现第一视图中目标主体和背景的分离。而3d参考线可以增强裸眼3d的效果，因此，可以根据第一主体轮廓和第一图像帧对应的第一3d参考线，合成得到第一3d图像帧，进而根据第一3d图像帧，生成第一裸眼3d封面。由于本方案是通过目标主体和背景的分离，以及增加第一3d参考线，生成的第一裸眼3d封面，因此，该方案可以保证生成的第一裸眼3d封面的裸眼3d效果与3d视频内容的一致性。

5、在一种可能的设计中，该方法可以应用于图像处理设备，该图像处理设备可以是电子设备或服务器；该方法应用于电子设备时，电子设备获取3d视频，将3d视频包括的图像帧中的第一图像帧拆分为第一视图和第二视图；或者，其他设备将3d视频帧中的第一图像帧拆分为第一视图和第二视图后，向电子设备发送第一视图和第二视图。

6、该方法应用于服务器时，服务器获取3d视频，将3d视频中的第一图像帧拆分为第一视图和第二视图。可选的，电子设备或其他设备将3d视频包括的图像帧中的第一图像帧拆分为第一视图和第二视图后，向服务器发送第一视图和第二视图。服务器将生成的第一裸眼3d封面发送至电子设备进行展示。

7、在一种可能的设计中，图像处理设备基于第一视图和第二视图，在第一视图中确定目标主体的第一主体轮廓，包括以下步骤：

8、首先，图像处理设备根据第一视图中目标主体的位置和第二视图中目标主体的位置，确定第一视图和第二视图的视差图，该视差图可以用于指示目标主体在第一视图和第二视图的视差值；其次，图像处理设备根据视差图和第一视图的深度信息，在第一视图中确定目标主体的第一主体轮廓，该深度信息可以用于指示第一视图中每个像素点的深度值。

9、通过上述方法，由于视差图是根据第一视图中目标主体的位置和第二视图中目标主体的位置确定的，也就是说，视差图可以用于指示第一视图和第二视图的视差值，因此，图像处理设备可以通过视差图来确定第一视图和第二视图中目标主体存在视差的位置。另外，由于深度信息可以表明目标主体距离摄像头的远近，因此，图像处理设备根据视差图和第一视图的深度信息确定的第一视图中目标主体的第一主体轮廓构成的目标主体，涵盖了第一视图中目标主体的位置、第二视图中目标主体的位置和第一视图的深度信息。因此，本方案通过第一主体轮廓生成裸眼3d封面时，实现了裸眼3d的效果。

10、在一种可能的设计中，图像处理设备根据视差图、第一视图的深度图，在第一视图中确定目标主体的第一主体轮廓，包括以下步骤：

11、图像处理设备在第一视图中选择多个候选像素点，多个候选像素点与视差图中的多个视差像素点一一对应，任意一个候选像素点在第一视图中的像素坐标与该候选像素点对应的视差像素点在视差图中的像素坐标相同；图像处理设备针对多个候选像素点中的每个候选像素点，执行以下操作，确定每个候选像素点的视觉参数：先根据多个候选像素点中第一像素点的深度值，以及第一像素点对应的视差像素点的深度值，确定第一像素点的视觉参数；再在第一视图中多个候选像素点中，选择视觉参数大于视觉参数阈值的至少一个目标像素点；最后根据至少一个目标像素点中的边缘像素点，在第一视图中确定目标主体的第一主体轮廓；这里的第一像素点为多个候选像素点中的任意一个候选像素点。

12、通过上述方法，图像处理设备在第一视图中选择与视差图中的多个视差像素点一一对应的多个候选像素点。针对每个候选像素点，图像处理设备通过该候选像素点的深度值以及该候选像素点对应的视差像素点的视差值，可以确定该候选像素点的视觉参数。如果一个候选像素点的视觉参数大于视觉参数阈值，则图像处理设备可以将该视觉像素点作为目标像素点。图像处理设备再根据至少一个目标像素点中的边缘像素点，在第一视图中确定目标主体的第一主体轮廓。本方案确定的第一主体轮廓，与第一视图中的第一位置处的目标主体的主体轮廓相比，考虑了第二视图中目标主体偏移的因素，进而使目标主体和背景区分更准确，更有助于提升裸眼3d效果。

13、在一种可能的设计中，第一图像帧的图像质量参数大于第一阈值。

14、通过上述方法，图像处理设备通过保证第一图像帧的图像质量参数大于第一阈值，来提升基于该第一图像帧和该第一图像帧对应的第一3d参考线得到的第一裸眼3d封面的质量。

15、在一种可能的设计中，图像处理设备根据第一主体轮廓和目标主体的第二主体轮廓，确定第一图像帧的图像质量参数；这里的第二主体轮廓为目标主体在第二图像帧的主视图中的主体轮廓，第二图像帧为在3d视频中与第一图像帧的相邻的图像帧。

16、通过上述方法，图像处理设备根据第一图像帧，结合其相邻的第二图像帧，根据第一图像帧和第二图像帧各自对应的第一主体轮廓和第二主体轮廓，确定第一图像帧中目标主体和第二图像帧的目标主体的位置是否明显变动，进而确定第一图像帧的图像质量参数。

17、在一种可能的设计中，图像处理设备根据第一主体轮廓和目标主体的第二主体轮廓，确定第一图像帧的图像质量参数，包括以下步骤：

18、图像处理设备根据第一主体轮廓中多个轮廓像素点，确定第二主体轮廓上的多个参考像素点，这里的多个轮廓像素点与多个参考像素点一一对应，任意一个候轮廓像素点在第一视图中的像素坐标与该轮廓像素点对应的参考像素点在第二图像帧的主视图中的像素坐标相同；针对第一主体轮廓上的每个轮廓像素点，图像处理设备执行以下操作，确定每个轮廓像素点的匹配系数：图像处理设备根据多个轮廓像素点中第一轮廓像素点的像素值，以及第一轮廓像素点对应的参考像素点的像素值，确定第一轮廓像素点的匹配系数；根据第一主体轮廓上每个轮廓像素点的匹配系数，确定第一图像帧的图像质量参数；这里的第一轮廓像素点为多个轮廓像素点中的任意一个轮廓像素点。

19、通过上述方法，图像处理设备在根据第一图像帧中目标主体的第一主体轮廓和与第一图像帧相邻的第二图像帧中目标主体的第二主体轮廓，确定第一图像帧的图像质量参数的过程中，应用到的第一主体轮廓上的多个轮廓像素点与第二主体轮廓上的多个参考像素点一一对应。针对每个轮廓像素点，图像处理设备利用该轮廓像素点的像素值以及对应的参考像素点的像素值确定的该轮廓像素点的匹配系数，可以用来描述该轮廓像素点和对应的参考像素点的位置偏移程度。进而图像处理设备可以根据每个轮廓像素点的匹配系数确定的第一图像帧的图像质量参数，该图像质量参数可以准确描述第一图像帧与相邻图像帧中的目标主体的位置变动情况。

20、在一种可能的设计中，图像处理设备生成裸眼3d封面的方法还包括以下步骤：

21、图像处理设备根据在第一视频片段包含的每个图像帧的主视图中目标主体的主体轮廓的位置，确定目标主体的运动时序信息；并根据运动时序信息，确定第一3d参考线；这里的第一视频片段为3d视频中包含第一图像帧的视频片段，运动时序信息用于表征在第一视频片段中目标主体的运动情况。

22、通过上述方法，由于第一视频片段为3d视频中包含第一图像帧的片段，因此，图像处理设备基于第一视频片段包含的每个图像帧的主视图中的目标主体的主体轮廓的位置，可以确定第一视频片段中目标主体的运动情况。图像处理设备还可以根据用于描述该运动情况的运动时序信息生成第一3d参考线，因此，本方案可以更好的通过目标主体与第一3d参考线的位置关系体现裸眼3d效果。

23、在一种可能的设计中，图像处理设备根据运动时序信息，确定第一3d参考线，包括以下步骤：图像处理设备根据运动时序信息中的第一图像帧对应的运动时序信息，确定第一图像帧对应的第一3d参考线。

24、通过上述方法，由于不同的图像帧分别对应不同的时刻，因此，不同的图像帧分别对应不同的运动时序信息。图像处理设备应用运动时序中的第一图像帧对应的运动时序信息，可以确定第一图像帧对应的第一3d参考线。另外，其他图像帧对应的3d参考线也可以按照该方式确定。

25、在一种可能的设计中，第一裸眼3d封面包括n个3d图像帧；其中，n为大于或等于2的整数；图像处理设备根据第一3d图像帧，生成第一裸眼3d封面，包括以下步骤：图像处理设备根据第一3d图像帧和n-1个第二3d图像帧，生成第一裸眼3d封面；其中，n-1个第二3d图像帧是根据n-1个第三图像帧确定的，n-1个第三图像帧为在3d视频中与第一图像帧的相邻的图像帧。

26、通过上述方法，图像处理设备根据多个相邻的图像帧各自对应的3d图像帧，生成第一裸眼3d封面，保证3d封面的连续性，进而提升裸眼3d的效果。

27、在一种可能的设计中，n的取值为根据设定的封面时长和帧率确定的。

28、通过上述方法，封面时长和帧率可以是根据用户需求设定的，封面时长和帧率相乘可以得到封面包括的帧数。

29、在一种可能的设计中，图像处理设备确定第一裸眼3d封面的3d质量参数大于第二阈值，并将第一裸眼3d封面作为3d视频的裸眼3d封面。

30、通过上述方法，图像处理设备选择3d质量参数大于第二阈值的第一裸眼3d封面作为3d视频的裸眼3d封面，保证了裸眼3d封面的质量，提高用户裸眼观看裸眼3d封面的立体效果。

31、在一种可能的设计中，图像处理设备根据如下至少一项，确定第一裸眼3d封面的3d质量参数：第一裸眼3d封面包括的3d图像帧的数量n；或，n个3d图像帧中包含的目标3d图像帧的数量m；其中，m小于或等于n；或，n个3d图像帧中包含的图像帧组的数量p；其中，任意一个图像帧组中包括至少一个目标3d图像帧；其中，任意一个目标3d图像帧中的目标主体与该目标3d图像帧对应的3d参考线有重叠。

32、通过上述方法，第一裸眼3d封面包括的3d图像帧中，每个3d图像帧与对应的3d参考线的重叠情况可以描述第一裸眼3d封面的质量。另外，第一裸眼3d封面包括的3d图像帧的连续情况也可以描述第一裸眼3d封面的质量。由于任意一个目标3d图像帧中的目标主体与该目标3d图像帧对应的3d参考线有重叠，且任意一个图像帧组中包括至少一个目标3d图像帧，因此，图像处理设备可以根据第一裸眼3d封面包括的3d图像帧的数量n、n个3d图像帧中包含的目标3d图像帧的数量m和n个3d图像帧中包含的图像帧组的数量p中的至少一个来确定第一裸眼3d封面的3d质量参数。

33、在一种可能的设计中，第一3d参考线是用户设备的或者从其他设备接收的。

34、通过上述方法，图像处理设备无需确定第一3d参考线，直接利用用户设定的第一3d参考线或从其他设备接收的第一3d参考线即可。提高了生成裸眼3d封面的效率。

35、第二方面，本技术实施例提供了一种图像处理装置，该装置包括获取单元和处理单元；

36、获取单元，用于获取3d视频中第一图像帧的第一视图和第二视图；其中，第一视图为第一图像帧中目标主体的主视图，第二视图包括相对于第一位置发生偏移的目标主体；第一位置为目标主体在第一图像帧中的位置；

37、处理单元，用于基于第一视图和第二视图，在第一视图中确定目标主体的第一主体轮廓；根据第一主体轮廓和第一图像帧对应的第一3d参考线，合成得到第一3d图像帧；根据第一3d图像帧，生成第一裸眼3d封面。

38、第三方面，本技术实施例提供一种图像处理设备，该图像处理设备包括处理器和存储器；

39、存储器，用于存储计算机程序指令；

40、处理器，用于读取存储器中存储的计算机程序指令，使得图像处理设备以实现上述任一方面提供的方法。

41、第四方面，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序在被计算机运行时，使得计算机执行任一方面提供的方法。

42、第五方面，本技术实施例还提供一种计算机程序产品，当计算机程序在计算机上运行时，使得计算机执行上述任一方面提供的方法。

43、第六方面，本技术实施例还提供一种芯片，芯片包括处理器和存储器；处理器与存储器耦合，处理器用于读取存储器中存储的计算机程序，使得芯片执行任一方面提供的方法。