一种动作规范训练系统的制作方法

本发明属于训练技术以及数据处理，具体涉及一种动作规范训练系统。

背景技术：

1、目前动作规范大都依靠老带新的方式或者自主观摩视频进行学习，但是训练效果往往都不佳，训练人员不能清楚地了解到自身哪些指挥动作符合标准，没有考虑到动作手势的标准化和规范化，并且在考核的过程中，对动作的评判标准过于笼统和主观。

技术实现思路

1、本发明提供一种动作规范训练系统，用以解决现有技术中训练过程中不规范、没有统一评价水平，从而导致训练效果不佳的问题。

2、一种动作规范训练系统，包括：权限信息获取模块、训练参照模块、数据采集模块、视觉数据分析模块、语音数据分析模块、交互考核模块以及分析结果存储模块；

3、所述权限信息获取模块，用于获取训练人员的身份信息，并对所述身份信息进行验证，获取身份验证结果，当所述身份验证结果为身份验证通过时，则为训练人员开放训练参照模块、数据采集模块、视觉数据分析模块以及分析结果存储模块的使用权限，所述身份验证结果包括身份验证通过或者身份验证不通过；

4、所述训练参照模块，用于为训练人员提供训练参照数据的预览，并基于该预览，获取训练人员通过人机交互输入的确定指令，以播放确定指令对应的目标训练参照数据；所述训练参照数据包括视频数据以及图像数据，所述视频数据中设置有参照语音以及插帧有对齐帧；

5、所述数据采集模块，用于确定目标训练参照数据的数据类型，当数据类型为视频数据时，采集训练人员的训练视频；当数据类型为图像数据时，采集训练人员的训练图像；

6、所述视觉数据分析模块，用于根据数据采集模块采集的训练视频或者训练图像，采用目标训练参照数据作为参照，进行训练人员的训练过程分析，获取视觉分析结果；

7、所述语音数据分析模块，用于提取训练视频对应的语音数据，并以训练参照数据中的参照语音为基础，进行训练人员的语音数据分析，获取语音分析结果；

8、所述交互考核模块，用于提供交互问答场景，并获取训练人员回答的考核视频，联合调度视觉数据分析模块以及语音数据分析模块对考核视频进行分析，获取考核分析结果；每个交互问答场景均关联有训练参照数据；

9、所述分析结果存储模块，用于将视觉分析结果以及语音分析结果共同作为训练分析结果，将训练分析结果以及考核分析结果与训练人员的身份信息关联存储，并允许系统管理员通过广域网或者局域网远程查看训练分析结果。

10、进一步地，所述权限信息获取模块包括用户身份获取单元、验证单元、使用权限开放单元以及密码参数库；

11、所述用户身份获取单元，用于获取训练人员所对应的唯一编号以及该唯一编号对应的密码参数；

12、所述验证单元，用于对用户身份获取单元获取的唯一编号以及该唯一编号对应的密码参数进行匹配，匹配密码参数库中是否存在相同的映射关系，若是，则确定身份验证结果为身份验证通过，否则确定身份验证结果为身份验证不通过；

13、所述使用权限开放单元，用于当所述身份验证结果为身份验证通过时，则为训练人员开放训练参照模块、数据采集模块、视觉数据分析模块以及分析结果存储模块的使用权限；

14、所述密码参数库，用于存储训练人员的唯一编码以及预设的密码参数之间的映射关系进行存储。

15、进一步地，所述训练参照模块包括预览单元、确定单元以及参数数据库；

16、所述预览单元，用于以参数数据库中的数据作为支撑，向训练人员提供训练项目选择界面以及每个训练项目对应的训练参照数据的预览；

17、所述确定单元，用于基于该预览，获取训练人员通过人机交互输入的确定指令，以播放确定指令对应的目标训练参照数据；

18、所述参数数据库，用于存储训练参照数据。

19、进一步地，所述数据采集模块包括数据类型确定单元、第一视觉采集单元以及第二视觉采集单元；

20、所述数据类型确定单元，用于确定目标训练参照数据的数据类型，所述数据类型包括视频数据或者图像数据；

21、所述第一视觉采集单元，用于当数据类型为视频数据时，采集训练人员的训练视频；所述训练视频与对应的训练参照数据的采集角度相同；

22、所述第二视觉采集单元，用于当数据类型为图像数据时，采集训练人员的训练图像；所述训练图像与对应的训练参照数据的采集角度相同。

23、进一步地，所述视觉数据分析模块包括调用单元、第一分析单元以及第二分析单元；

24、所述调用单元，用于当第一视觉采集单元传输训练视频时，则调用第一分析单元进行分析；当第二视觉采集单元传输训练图像时，则调用第二分析单元进行分析；

25、所述第一分析单元，用于将数据采集模块采集的训练视频输入第一特征提取模型，以获取包含关节点特征的训练视频；以对齐帧为基础，将训练视频与目标训练参照数据对齐，并提取训练视频与目标训练参照数据中的关键帧；以提取的关键帧为基础，进行训练动作相似对比，以获取训练分析结果；

26、所述第二分析单元，用于将数据采集模块采集的图像数据与目标训练参照数据输入第二特征提取模型，以提取图像数据对应的第一关节图像以及目标训练参照数据对应的第二关节图像，并将第一关节图像与第二关节图像拼接，获取第一拼接图像，将第一拼接图像输入第一图像分析模型中，以获取训练分析结果。

27、进一步地，将数据采集模块采集的训练视频输入第一特征提取模型，以获取包含关节点特征的训练视频；以对齐帧为基础，将训练视频与目标训练参照数据对齐，并提取训练视频与目标训练参照数据中的关键帧；以提取的关键帧为基础，进行训练动作相似对比，以获取训练分析结果，包括:

28、将数据采集模块采集的训练视频输入第一特征提取模型，以获取包含关节点特征的训练视频；

29、将目标训练参照数据输入第一特征提取模型，以获取包含关节点特征的目标训练参照数据；

30、以对齐帧为基础，将包含关节点特征的训练视频与包含关节点特征的目标训练参照数据对齐，以第一个对齐帧为起点，从包含关节点特征的训练视频与包含关节点特征的目标训练参照数据中抽取相同时间点的关键帧，得到多个时间点上的第一关键帧以及第二关键帧；

31、其中，第一关键帧用于表征包含关节点特征的训练视频中抽取的关键帧，第二关键帧用于表征包含关节点特征的目标训练参照数据中抽取的关键帧；

32、针对每个时间点，将第一关键帧与第二关键帧进行拼接，获取第二拼接图像，并将第二拼接图像输入第二图像分析模型中，以获取训练动作相似度；

33、将每个时间点对应的训练动作相似度相加，并求取平均值，得到训练分析结果。

34、进一步地，所述第一特征提取模型以及第二特征提取模型均采用人体姿态估计模型alphapose。

35、进一步地，所述第一图像分析模型与第二图像分析模型的获取方式相同，且均包括：

36、构建顺次连接的输入层、第一卷积层、第二卷积层、平均池化层、第三卷积层、第一最大池化层、第四卷积层、第二最大池化层、全连接层和输出层；其中，所述第一卷积层的大小为3×3，步长为2；所述平均池化层的大小为2×2，步长为2；所述第二卷积层、第三卷积层和第四卷积层的大小均为3×3，步长均为1；

37、采用混沌序列策略初始化图像分析模型的网络超参数，得到参数特征序列；

38、重复获取多次参数特征序列；

39、以拼接图像作为图像分析模型的输入数据，获取图像分析模型的实际输出数据，并以拼接图像对应的人工标定相似度作为期望输出数据，获取每个参数特征序列的误差函数值；

40、获取误差函数值最小的参数特征序列，得到最优序列；

41、根据所述最优序列，对其他参数特征序列进行引导更新，得到引导更新后的参数特征序列；

42、针对引导更新后的参数特征序列，采用全局更新的方式进行二次更新，获取全局更新后的参数特征序列；

43、重新获取所有全局更新后的参数特征序列所对应的误差函数值，并确定最小误差函数值，判断最小误差函数值是否小于设定阈值，若是，则将最小误差函数值对应的参数特征序列作为图像分析模型的最终网络超参数，否则进行迭代次数的判断；

44、判断当前迭代次数是否大于预设次数阈值，若是，则将最小误差函数值对应的参数特征序列作为图像分析模型的最终网络超参数，否则返回引导更新的步骤。

45、进一步地，根据所述最优序列，对其他参数特征序列进行引导更新，得到引导更新后的参数特征序列为：

46、

47、ωt＝ωi+(ωf-ωi)exp(-(αt/t)2)

48、

49、其中，xt表示某一个其他参数特征序列，xt+1表示引导更新后的xt，表示最优序列，ωt表示第t次更新过程中的惯性权重因子，γ表示系数向量，e表示自然常数，b表示常数，l表示(-1,1)之间的随机数，π表示圆周率，ωi表示惯性权重因子的起始值，ωf表示惯性权重因子的最终值，α表示收敛因子，α＝2-(2/(1+e-t/tmax))，t表示预设次数阈值，levy(λ)表示服从莱维分布的随机搜索路径，表示点对点乘。

50、进一步地，针对引导更新后的参数特征序列，采用全局更新的方式进行二次更新，获取全局更新后的参数特征序列为：

51、对第i个引导更新后的参数特征序列中第d维参数进行搜索，得到对应的搜索值：

52、

53、其中，表示第i个引导更新后的参数特征序列中第d维参数的更新值，即搜索值；表示第一随机参数特征序列的第d维参数，表示第二随机参数特征序列的第d维参数，表示第三随机参数特征序列的第d维参数，rand表示(0,1)之间的随机数，表示第t次训练过程中最优序列的第d维参数，d＝1,2,…,d，d表示图像分析模型中网络超参数的总数；

54、以所述搜索值为基础，采用贪心算法对第i个引导更新后的参数特征序列中第d维参数进行更新，获取全局更新后的参数特征序列。

55、本发明提供的一种动作规范训练系统，通过为每个训练人员进行权限管理，使存在权限的训练人员能够进行自主训练，为训练人员提供训练参照数据，并且采集训练人员在训练过程中产生的视觉及语音数据，对这些数据采用统一的约束条件进行识别，从而使训练过程中评判标准统一，并且最终对相似度进行识别，可以精准地知晓训练人员的训练效果；除了训练之外，还可以提供交互考核场景，从而实现训练考核，能够有效地提升交通指挥的规范性。