基于VR技术的第三人称视角培训视频生成方法、装置及存储介质与流程

本发明涉及培训视频生成技术，尤其是涉及一种基于vr技术的第三人称视角培训视频生成方法、装置及存储介质。

背景技术：

1、在电力领域，培训材料往往会设计一些培训视频，传统的方法中，培训视频一般是通过外部的摄像头拍摄的二维视频，但是二维的视频存在一些缺陷，不能很清楚的表达，因此需要三维的培训视频，一般的，三维的培训视频的生成需要采用多个摄像头采集的视频进行合成，但是这种方式需要大量的算力支持，或者就需要依赖于一些外部的成熟人工智能模型，存在信息安全的问题。

2、因此，一些现有技术中，为了解决这一问题，引入了vr方法进行电网相关操作培训时，通常需要将vr界面中的内容展示给接受培训的人员，但是vr方法拍摄的视频为第一人称视角，虽然这个方法可以将操作者第一视角看到的内容完全展示出来，并且演示人员可以通过vr的支持获得亲临其境的感觉，但是对于观看演示的人员来讲，仅仅观看到演示人员的双手以及其双手进行的动作并不能带给他们模拟在现场观看别人操作的感觉。对于观看演示的人员来说，vr的展示并没有起到使用vr技术所目标达到的给人身临其境仿佛观察别人操作的感觉，对此，仍然需要将。

技术实现思路

1、本发明的目的就是为了提供一种基于vr技术的第三人称视角培训视频生成方法、装置及存储介质。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于vr技术的第三人称视角培训视频生成方法，包括：

4、获取vr设备返回的数据，其中所述vr设备返回的数据包括头部位置和双手位置，以及头部朝向、头部移动速度、双手移动速度和两个手臂的朝向；

5、根据头部朝向和双手位置确定身体朝向，基于得到的身体朝向，结合头部位置和预配置的个人体型数据得到双肩位置；

6、基于得到的双肩位置、双手位置、两个手臂的朝向，以及预配置的个人体型数据得到两个手肘的位置；

7、基于头部移动速度判断是否发生移动；

8、若判断结果为未发生移动，则以头部位置、双手位置、双肩位置和两个手肘的位置生成演示者形象；

9、若判断结果为发生移动，则根据头部位置、身体朝向和双手位置，结合预配置的步长、顺拐特征和个人体型数据确定双脚位置，基于双肩位置和预配置的个人体型数据得到双腿髋关节位置，基于双脚位置、双腿髋关节位置和身体朝向和预配置的个人体型数据得到两个膝盖的位置，以头部位置、双手位置、双肩位置、两个手肘的位置、双腿髋关节位置、双脚位置和两个膝盖的位置生成演示者形象。

10、所述根据头部朝向和双手位置确定身体朝向，具体包括：

11、基于头部朝向得到第一身体朝向角；

12、以头部位置为起点，以双手位置连线的中点为终点，得到第一向量，并以第一向量在水平面上的投影的角度为第二身体朝向角；

13、当头部平移速度小于第一速度阈值，头部旋转速度小于第二速度阈值，且手部速度大于第三移动速度时，则基于第一身体朝向角得到当前帧初步身体朝向；

14、当头部平移速度小于第一速度阈值，头部旋转速度大于第二速度阈值，则基于第二身体朝向角得到当前帧初步身体朝向；

15、基于当前帧初步身体朝向和前一帧最终身体朝向确定当前帧最终身体朝向。

16、所述预配置的个人体型数据包括头脖总长和肩宽；

17、所述基于得到的身体朝向，结合头部位置和预配置的个人体型数据得到双肩位置，包括：

18、以垂直于身体朝向、并平行于水平方向确定肩膀方向；

19、基于头部位置、头脖总长，结合得到的肩膀方向得到双肩位置连线所在直线和双肩的中点；

20、基于得到的双肩位置连线所在直线和双肩的中点，结合肩宽得到双肩位置。

21、所述预配置的个人体型数据包括上臂长；

22、所述基于得到的双肩位置、双手位置、两个手臂的朝向，以及预配置的个人体型数据得到两个手肘的位置，包括：

23、以手臂的朝向、手部位置和同侧肩部位置确定手部和肩部所处的第一二维平面的角度；

24、以肩部位置、手部位置和上臂长，基于反向运动学得到肘部在所述第一二维平面中的坐标；

25、基于肘部在所述第一二维平面中的坐标，结合第一二维平面的角度得到肘部的三维坐标，并作为肘部的位置。

26、所述基于头部移动速度判断是否发生移动，包括：

27、获取最近连续多帧的头部移动速度；

28、计算所述连续多帧的头部移动速度均值；

29、若得到的均值大于预配置的头部速度阈值，则判断结果为发生移动，反之，则判断结果为未发生移动。

30、所述个人体型数据包括肩宽，

31、所述根据头部位置、身体朝向和双手位置，结合预配置的步长、顺拐特征和个人体型数据确定双脚位置，包括：

32、头部位置在水平面上的投影位置作为双脚位置的中点；

33、取身体朝向在水平面上的投影作为投影朝向，在水平面中，将与投影朝向平行，到投影朝向所在直线的距离为肩宽的一半的两条直线作为双脚所在直线；

34、以双手位置和顺拐特征确定双脚位置的方位；

35、基于步长和双脚位置的方位分别确定双脚位置。

36、所述预配置的体型数据还包括躯干长度；

37、所述基于双肩位置和预配置的个人体型数据得到双腿髋关节位置，为：以肩部位置为基准，沿竖直方向向下，取与肩部位置的距离为躯干长度的点作为同侧腿的髋关节位置。

38、所述个人体型数据包括大腿长度；

39、所述基于双脚位置、双腿髋关节位置和身体朝向和预配置的个人体型数据得到两个膝盖的位置，包括：

40、以脚部位置和同侧髋关节位置，结合身体朝向确定脚部和同侧髋关节所处的第二二维平面的角度；

41、以髋关节位置、脚步位置和大腿长度，基于反向运动学得到膝盖在所述第二二维平面中的坐标；

42、基于膝盖在所述第二二维平面中的坐标，结合第二二维平面的角度得到膝盖的三维坐标，并作为膝盖的位置。

43、一种基于vr技术的第三人称视角培训视频生成装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如上述的方法。

44、一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如上述的方法。

45、与现有技术相比，本发明具有以下有益效果：

46、1、可以利用vr设备提供的数据实现生成演示者形象，进而生成第三人称视角的培训视频，并且需要算力要求较少。

47、2、根据头部速度和手部速度综合获得身体朝向，可以区分站立观察和动手操作两种状态，从而可以获得更加准确的身体朝向，并且最终身体朝向参考上一帧的结果，从而可以避免画面发生大范围的突变。

48、3、基于反向运动学求解肘部和髋关节位置，具有计算效率高，准确率高的优点。

49、4、当头部检测结果为未发生移动时，以头部位置、双手位置、双肩位置和两个手肘的位置生成演示者形象，可以将重点放在上半身。

50、5、当头部检测结果为发生移动时，可以准确的基于较少的vr设备返回的数据估算出脚步位置、膝盖位置和髋关节位置，从而生成全身的演示者形象。