一种陆空通话复诵检测与校正方法及装置

本发明涉及一种陆空通话复诵检测与校正方法及装置，属于民用航空空中交通管理领域。

背景技术：

1、目前，我国空中交通管理主要是以“人”为主导的管制方式，管制员通过空管指令对空域中的飞行活动进行统一调配。在陆空通话中，管制员通过无线电信道向飞行员发送指令，飞行员在收到指令后应复诵指令，并由管制员对复诵指令的正确性进行判断，以此确保飞行员执行正确的指令。

2、由于语音信号容易受到噪声干扰以及实际飞行情况复杂多变等多种因素，容易出现飞行员复诵错误或管制员不能正确判断飞行员复诵指令的情况。如果管制员和飞行员都不能及时发现复诵错误，飞行员将执行错误的飞行指令，这会给飞行安全带来极大的安全隐患。

3、为减少上述风险，本发明提出一种陆空通话复诵检测与校正方法，能够及时对陆空通话中的复诵错误指令进行自动校正，从而保证空中交通管制过程中的指令正确。

技术实现思路

1、本发明的目的在于：针对现有技术中无法及时对陆空通话中复诵错误指令进行自动校正的问题，提供一种陆空通话复诵检测与校正方法及装置。

2、本发明解决上述技术问题所提供的技术方案是：一种陆空通话复诵检测与校正方法，包括以下步骤：

3、s1、采集陆空通话的指令数据，获取管制员与飞行员的指令文本，并用相似信息替换复诵正确指令中的指令要素，生成复诵错误指令，构建用于陆空通话复诵检测与校正的指令数据集，并划分为训练集、验证集和测试集；

4、s2、构建基于多任务学习的陆空通话复诵检测与定位模型，并对陆空通话复诵检测与定位模型进行训练；

5、所述陆空通话复诵检测与定位模型包括指令信息提取模块、复诵判断模块以及复诵指令定位模块；

6、s3、构建陆空通话复诵校正模型，并对陆空通话复诵校正模型进行训练；

7、所述陆空通话复诵校正模型包括编码器模块、特征融合模块以及解码器模块；

8、s4、分别将管制员指令和飞行员指令输入到训练完备的陆空通话复诵检测与定位模型中，获取复诵指令的检测结果与定位信息，判断复诵指令是否复诵正确，若飞行员指令复诵错误，则执行步骤s5；

9、s5、将复诵错误指令输入到训练完备的陆空通话复诵校正模型中，得到校正后的复诵指令。

10、进一步的技术方案是，所述步骤s1中复诵错误指令的具体生成过程为：

11、s11、通过实体识别器将所述复诵正确指令中的指令要素识别出来；

12、s12、用相似信息替换一种或多种指令要素，生成复诵错误指令，并标注出错误位置信息；

13、其中指令要素包括航班号、高度、速度、航向、航陆点、修正海压、联系频率以及飞导航台，相似信息则是指在所有识别出来的对应指令要素中，选择与被替代指令要素文本一致性大于所设阈值的替代指令要素；

14、所述实体识别器包括一个双向lstm层和一个crf层；其双向lstm层用于捕捉所述复诵正确指令的上下文信息，crf层利用上下文信息，学习相邻标签之间的依赖关系，从而更好地约束标签的输出。

15、进一步的技术方案是，所述步骤s2中指令信息提取模块为含有bert编码器的孪生网络，分别对管制员指令和飞行员指令进行编码，得到有助于复诵判断和复诵定位的中间表示；

16、所述复诵判断模块包括池化层、级联层和预测层；池化层用于将经过所述指令信息提取模块的编码特征压缩成固定维度的语义特征；级联层用于将所述管制员指令和飞行员指令的语义特征以及两者相减后的向量拼接起来；预测层为线性层，用于判断所述复诵指令是否复诵正确，即是否按照空管规则完整地复诵了管制员指令中的所有指令要素；

17、所述复诵指令定位模块由4个改进编码器和1个全连接层组成，每个改进编码器由多头自注意力模块、多头交叉注意力模块、前馈神经网络堆叠而成，其中多头自注意力模块、多头交叉注意力模块和前馈神经网络均使用残差连接，解决梯度消失的问题。

18、进一步的技术方案是，所述步骤s2中复诵判断模块通过所述管制员指令和飞行员指令的语义特征来判别复诵指令是否正确，计算过程为：

19、

20、式中：分别为管制员指令和飞行员指令经过bert编码后在池化层的语义特征，表示和相减的绝对值，为训练权重。

21、进一步的技术方案是，所述改进编码器中注意力计算方法为：令为管制员指令经过所述指令信息提取模块的输出，为飞行员指令编码特征在改进编码器中经过多头自注意力层的输出，那么飞行员指令编码特征在改进编码器中经过多头交叉注意力层的输出为，满足以下公式：

22、

23、

24、

25、式中：为的线性变换，和为的线性变换，为的转置，为向量维数，为非线性激活函数，为注意力机制的计算函数，、、和为权重矩阵，和分别表示注意力机制中的第一个和最后一个注意力头的输出向量，为注意力头数，为第个注意力头的输出向量，为拼接操作。

26、进一步的技术方案是，所述步骤s2中使用预设的联合损失函数和训练集训练陆空通话复诵检测与定位模型，使用验证集测试该模型得到测试结果，并根据测试结果对超参数进行微调，得到训练完备的陆空通话复诵检测与定位模型；使用测试集测试，并根据评价指标评估训练完备的陆空通话复诵检测与定位模型；

27、所述联合损失函数 l由复诵判断模块的交叉熵损失和复诵指令定位模块的交叉熵损失组成，计算公式如下：

28、

29、

30、

31、式中： n为一个batch的样本数， s为复诵指令中的字总数，和分别为复诵判断的真实值和预测值，和分别为复诵指令定位中第 i个字的真实值和预测值， l为联合损失函数，为复诵判断模块的交叉熵损失，为复诵指令定位模块的交叉熵损失。

32、进一步的技术方案是，所述步骤s3中编码器模块由8个堆叠的bert编码器和4个堆叠的改进编码器组成，该模块使用训练完备的陆空通话复诵检测与定位模型中的参数；

33、特征融合模块由bert嵌入层组成，分别将复诵错误指令和复诵指令定位信息的特征映射为嵌入向量，再求和得到相应的校正嵌入向量；

34、解码器模块由8个堆叠的transformer解码器组成；输入部分除所述校正嵌入向量之外，还包括编码器模块的输出；上述过程可以表示为：

35、

36、

37、式中：和分别表示所述复诵错误指令和复诵指令定位信息经过bert嵌入层的嵌入向量，表示所述编码器模块的输出，表示解码器模块，表示校正后的复诵指令；

38、使用训练集来训练陆空通话复诵校正模型，直至网络收敛；在训练过程中，使用验证集来选择最优模型和超参数；在完成模型训练和调优后，使用测试集对模型进行最终评估。

39、进一步的技术方案是，所述步骤s4的具体过程为：

40、s41、分别将管制员指令和飞行员指令输入到训练完备的陆空通话复诵检测与定位模型中，得到复诵指令的检测结果与定位信息;

41、其中定位信息表示飞行员指令中每个关键字的错误情况，即在复诵过程中，判断飞行员指令中每个关键字是否出现错误，若关键字复诵错误，则标记为0，否则标记为1；

42、s42、通过检测结果来判断复诵指令是否复诵正确，若飞行员指令复诵错误，则对复诵错误指令进行校正。

43、进一步的技术方案是，所述步骤s5的具体过程为：

44、s51、将复诵指令的定位信息与复诵错误指令进行特征融合，得到复诵错误指令的校正嵌入向量；

45、s52、将复诵错误指令的校正嵌入向量与飞行员指令经编码器模块的输出一同输入到训练完备的陆空通话复诵校正模型中的解码器模块，生成正确的复诵指令。

46、一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的一种陆空通话复诵检测与校正方法。

47、本发明具有以下有益效果：

48、1、本发明分别对管制员指令和飞行员指令进行编码，并利用交叉注意力提取复诵文本间对应信息，能够得到飞行员指令中每个关键字的错误情况。

49、2、本发明将复诵错误指令和指令定位信息进行特征融合，端到端地生成正确的复诵指令，能够及时对复诵错误指令进行自动校正，为空中交通管制过程中的指令正确提供可靠保证，进一步提高管制效率与安全等级。