一种实景复现的训练讲评系统、方法及设备与流程

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

背景技术：

1、机组是保障飞行运行安全的人员，机组人员须完成必需的训练，确保个人资质符合飞行运行要求。客舱模拟训练设备是机组实施规章所要求的训练时使用的重要设备。目前客舱训练设备仅供教学员实施训练和教学活动，没有课后评价系统。教员根据笔录和记忆对于学员进行考核评价，学员无法课后回看自己的操作和表现。因此，有必要设计一套机组训练课后讲评系统，能够记录训练全程供课后查阅，并为教员考核提供更加客观的依据和参考；为学员提供一项有利的重温和自我纠错机制；结合系统自动分析功能，帮助训练机组进行总结，从而有效的提高训练质量、提升训练机组飞行技能、降低飞行安全风险。

技术实现思路

1、为了解决现有技术中的上述问题，即现有的训练教学系统仅通过教员的记忆和笔录对学员进行评价，且学员仅能通过看回放录像进行回顾，以至于学习训练效率较低的问题，本发明提供了一种实景复现的训练讲评系统，所述系统包括：

2、环境构建模块，配置为基于训练实景构建虚拟环境模型；

3、过程采集模块，配置为采集训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录；

4、学员数据模块，配置为将所述姿态序列与过程定位信息关联获得关联信息，基于关联信息通过姿态估计算法获取学员的姿态序列，并将所述关联信息添加到所述虚拟环境模型中，获得第一模拟训练过程模型；

5、记录信息添加模块，配置为向第一模拟训练过程模型中添加所述训练过程声音记录和训练过程设备操作记录，获得第二模拟训练过程模型；

6、实景复现模块，配置为通过vr或ar展示第二模拟训练过程模型及训练评价。

7、进一步的，所述将第一模拟训练过程模型，其获得方法包括：

8、根据分工和编号为参训人员创建虚拟形象，使虚拟形象执行姿态序列并将虚拟形象根据过程定位信息添加到虚拟环境模型中，获得第一模拟训练过程模型。

9、进一步的，所述姿态估计算法为openpose算法。

10、进一步的，所述通过姿态估计算法获取学员的姿态序列，包括通过多人训练场景姿态提议网络实现，具体为：

11、步骤a1，将所述训练过程视频逐帧标准化为设定尺寸；

12、步骤a2，将标准化后的视频帧输入所述多人训练场景姿态提议网络，通过cnn的前向传播方式，获得人物实例rp、人物部位rp和肢体检测rp；

13、步骤a3，基于所述人物实例rp、人物部位rp和肢体检测rp分别通过非极大值抑制算法处理并合并为单个个人姿态数据和姿态评估建议。

14、进一步的，所述多人训练场景姿态提议网络，通过多人训练场景姿态提议损失函数lpp训练：

15、

16、其中，i表示将视频帧划分的网格的序号，k表示肢体部位的序号，k＝0表示为一个完整的人体，r和i表示不同的二进制随机变量，表示第i个网格负责检测第k个肢体部位的概率标签值，表示第i个单元格是否负责第k个part的检测(0,1)变量，p(i|r,k,i)表示第i个网格预测的第k个肢体部位与真实区域的iou，表示边界框的中心相对于当前网格的边界的距离，表示真实情况下边界框的中心相对于当前网格的边界的距离，表示表示边界框的宽、高，表示表示真实情况下边界框的宽、高，j表示与i不同的另一个网格的序号，第i个单元格是否负责第k个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，表示第i个单元格是否负责第k1个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，表示第i个单元格是否负责第k2个部位的检测的(0,1)变量为根据当前特殊场景所加入的损失变量，g表示表示将视频帧划分的网格的总数，g＝{1,...,h×w}，h表示标准化后的视频帧的高，w表示标准化后的视频帧的宽，k表示需要检测的部位的数量，k1、k2表示不同的两个关节，δx∈x表示从该关节延伸的向量，x表示关节所处位置的横坐标，y表示关节所处位置的纵坐标，l表示能被检测到的肢体部位，表示关节k1与k2的连接是肢体的概率；λresp表示负责检测物体的置信度误差，λiou表示iou损失误差，λcoor.表示中心定位误差，λsize表示宽高定位误差，λlimb表示肢体识别分类误差

17、进一步的，所述虚拟环境模型，包括添演训场景的单元，配置为基于实训场景中的任务内容及任务时间，在虚拟环境模型中添加动态演训场景。

18、进一步的，所述记录信息添加模块，具体包括：基于多个声音采集设备获取到的训练过程声音记录，确定声音记录发出者并分离出环境声音，将训练过程声音记录添加到第一模拟训练过程模型中；

19、基于训练过程设备操作记录，将实训场景中发生的控制信息传递路径、通信路径和设备操作引起的训练实景改变添加到第一模拟训练过程模型中；

20、获得第二模拟训练过程模型。

21、进一步的，所述展示第二模拟训练过程模型及训练评价，配置为预先构建规范训练过程模型，并为规范训练过程模型标记多个维度的关键阶段；比对关键阶段对应的第二模拟训练过程模型的训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录，生成多个维度的训练评价；

22、将所述训练评价，在第二模拟训练过程模型的发生时间及对应的学员位置突出显示。

23、进一步的，所述训练评价，包括执行方面评价和接收方面评价；

24、所述执行方面评价，包括基于姿态序列、训练过程声音记录和训练过程设备操作记录判断学员在关键阶段是否执行设定的动作，和设定的动作的执行程度；

25、所述接收方面评价，包括基于训练过程声音记录和训练过程设备操作记录，判断学员发出的声音记录的判别率和训练实景改变程度。

26、进一步的，若通过vr展示第二模拟训练过程模型及训练评价，则在所述第二模拟训练过程模型中确立虚拟视角，根据训练评价将整个训练过程划分为多个训练项目，通过列表的形式在第二模拟训练过程模型的时间轴上关联，并突出显示各学员在各训练项目中的训练评价；

27、教员可通过控制时间轴或选中训练项目的方式展示第二模拟训练过程模型及训练评价，完成训练过程的实景复现。

28、进一步的，若通过ar展示第二模拟训练过程模型及训练评价，则通过ar设备在实景环境中进行位置校准，在训练实景中复现第二模拟训练过程模型中虚拟环境模型外的部分，完成训练过程的实景复现。

29、本发明的另一方面，提出了一种实景复现的训练讲评方法，所述方法包括：

30、步骤s1，基于训练实景构建虚拟环境模型；

31、步骤s2，采集训练过程视频、训练过程定位信息、训练过程声音记录和训练过程设备操作记录；

32、步骤s3，将所述姿态序列与过程定位信息关联获得关联信息，基于关联信息通过姿态估计算法获取学员的姿态序列，并将所述关联信息添加到所述虚拟环境模型中，获得第一模拟训练过程模型；

33、步骤s4，向第一模拟训练过程模型中添加所述训练过程声音记录和训练过程设备操作记录，获得第二模拟训练过程模型；

34、步骤s5，通过vr或ar展示第二模拟训练过程模型及训练评价。

35、本发明的第三方面，提出了一种电子设备，包括：

36、至少一个处理器；以及

37、与至少一个所述处理器通信连接的存储器；其中，

38、所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的一种实景复现的训练讲评系统。

39、本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的一种实景复现的训练讲评系统。

40、本发明的有益效果：

41、(1)本发明通过自动采集和处理多元信号，将图像、声音、操作状态和操作记录，按时间整合为模拟图像和文字记录进行展示并自动标记处典型动作，有利教员和学院的训后复盘，提高训练质量。

42、(2)本发明通过将采集到的信息加入到虚拟训练模型中，并通过vr或ar设备使学员能够在训后从多个角度反复查看训练过程及训练评价，提高训练效率。