基于小波时频图和轻量级混合神经网络的复杂飞行动作识别方法

本发明属于飞行数据智能处理，具体涉及一种基于小波时频图和轻量级混合神经网络的复杂飞行动作识别方法。

背景技术：

1、随着现代航空系统的进步，飞行质量自动化评估、自主空战决策和飞行安全监测等需求的不断增长，飞行动作准确识别日益受到关注。飞行质量自动化评估依赖于飞行动作的准确识别，自主空战则需实时识别敌机飞行动作以辅助决策。此外，通过分析飞行动作的飞行数据，能够监控飞机结构和负载状态，确保飞行安全。因此，飞行动作识别研究对提升飞行训练效果、增强自主空战能力和强化飞行安全至关重要，具有显著的军事意义和现实应用价值。

2、基于传感器的飞行动作识别是通过对机载传感器获取的飞行参数数据的分析来识别飞行员操纵飞机的飞行动作类型。在过去的几年中，基于神经网络的方法在飞行动作识别领域表现出了显著的性能。然而，现有基于深度学习的研究工作大部分是在仿真场景下进行训练和测试的，未充分考虑实际飞行训练和应用场景。实际飞行中，由于飞机性能、飞行员操作水平、习惯以及飞行条件等多种因素的影响，机动动作飞参信号长度不一致，复杂机动动作类别多样、边界模糊，且多维度参数之间相互关联和耦合。为推动基于深度学习的复杂机动动作技术从实验室走向实际应用，还需要解决以下关键难题：第一，现有的方法通常需预先确定机动动作的起止时间，且模型要求输入为等长的飞参序列片段，这不仅限制了模型的通用性，而且可能导致原始数据信息的丢失。第二，模型通常假设复杂飞行动作由一系列基本飞行动作单元按时间顺序组合而成，存在基本飞行动作单元边界模糊难以精确划分的局限性。第三，现有方法能够识别的复杂机动动作识别类别数量有限，存在识别类别不全面的问题。

3、如何有效解决机动动作飞参信号长度不一致的问题，在有效提取并整合飞参信号的长期依赖和短期特征的同时，减小模型的计算复杂度和模型参数，对于提升机动动作识别性能和实现工程实践应用至关重要。针对上述问题，提出了一种基于小波时频图和轻量级混合神经网络的复杂飞行动作识别方法。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术的不足，提供了一种基于小波时频图和轻量级混合神经网络的复杂飞行动作识别技术方案，用以提高复杂飞行动作识别准确率和优化模型计算复杂度。

2、为了达到上述发明目的，本发明采用以下技术方案：

3、s1、采集机载传感器记录的与飞行状态相关的原始飞参信号数据，并从单架次飞参信号中提取飞行动作子序列；

4、s2、利用连续小波变化将飞行动作子序列转换为多维度小波时频图，并构建复杂飞行动作训练数据集；

5、s3、构建用于复杂飞行动作识别的轻量级混合神经网络模型;

6、s4、创建损失函数，使用训练集和验证集对轻量级混合神经网络模型进行训练；

7、s5、使用步骤s4完成训练的模型对测试集进行飞行动作识别，以验证和分析模型性能。

8、优选地，s1中采集机载传感器记录的与飞行状态相关的原始飞参信号数据，并从单架次飞参信号中提取飞行动作子序列；具体包括：

9、s1-1、采集机载多传感器记录的飞行员进行基本特技和复杂特技飞行科目飞行训练的多传感器飞行参数数据，取能够表征飞行状态和区分不同飞行动作类别的关键参数作为识别特征信号，包括滚转角、相对航向角、俯仰角、相对气压高度、升降速度、发动机低压转子转速、空速和法向加速度。

10、s1-2、根据法向载荷系数从单架次飞参信号中提取飞行动作子序列，具体步骤如下。

11、首先，设定法向过载阈值，作为分割指标；然后，遍历单架次飞参序列，当法向过载超过，标记当前时刻正在做某个飞行动作；其次，以大小为的滑动窗口在法向过载大于时刻的前后滑动，窗口内法向过载均值接近1，且滚转角、俯仰角和滚转速率值接近0时停止滑动，完成当前飞行动作的分割；最后，重复上述过程，直至遍历整个飞参序列，将单架次飞参序列分割为多个独立的飞行动作子序列。

12、优选地，s2中利用连续小波变化将飞行动作子序列转换为多维度小波时频图，并构建复杂飞行动作训练数据集；具体包括：

13、s2-1、对提取的飞行动作子序列飞参信号进行连续小波变换，将其表示为多维度小波时频图，具体步骤如下。

14、步骤1：根据尺度变换因子计算实际频率，计算公式为：

15、（1）；

16、其中，为采样频率，为小波中心频率。

17、通过尺度对起点为totalscal，终点为１，步长为-１的等差序列进行变换得到尺度序列scales的表示式如下:

18、(2)；

19、其中，对信号进行小波变化时所用的尺度序列长度totalscal设置为256；为常数；取尺度序列中最小尺度对应的最大实际频率为，因此可计算为：

20、(3)；

21、步骤2：连续小波变换。将公式（3）代入公式（1）和公式（2），以计算出实际频率和尺度序列scales。利用飞参信号和小波基以及尺度序列scales计算小波系数矩阵，公式为：

22、 (4)；

23、其中，为飞行动作子序列第个特征的飞参信号，为小波基函数，表示的共轭复数；表示尺度为、位置偏移为的小波基函数进行连续小波变换时得到的时频系数。

24、步骤3：将得到的二维小波系数矩阵作为像素值，构建原始信号的二维小波时频图像。

25、步骤4：对生成的二维小波时频图像进行裁剪，确保图例、坐标轴和多余的空白区域都不显示。然后，将多个维度的飞参信号小波时频图像宽度不变，高度等比例缩小，并将处理后的图像从上到下按顺序拼接起来，得到长宽一致的图像，即为单个飞行动作子序列对应的多维度小波时频图样本。

26、s2-2、对上述得到的多维度小波时频图进行飞行动作类别标注，将所有样本按照指定比例划分为训练、验证和测试集，以进行模型训练和评估。

27、优选地，s3中构建用于复杂飞行动作识别的轻量级混合神经网络模型；具体包括：

28、s3-1、所述用于复杂飞行动作识别的轻量级混合神经网络模型由三个关键模块组成：输入层、轻量级特征提取层和输出层。

29、s3-2、所述输入层的输入为多维度小波时频图，该层由两个连续的卷积层构成，每个卷积层使用的卷积核和relu激活函数，旨在进行局部特征建模。

30、s3-3、所述轻量级特征提取层由三个堆叠的特征提取块组成，每个特征提取块由两个关键模块构成：多尺度可分离卷积模块和双向线性自注意力模块。多尺度可分离卷积模块用于提取多局部感受野特征，双向线性自注意力模块用于在空间和通道两个维度上提取特征图中全局范围内的关键细节特征。

31、所述多尺度可分离卷积模块首先对输入应用核大小为的跨通道逐点卷积操作，将每个通道维度的信息集成在一起，并调整通道的维度。接着，对输出应用具有不同尺寸卷积核的并行可分离卷积操作。每个通道仅被单个卷积核卷积，即输出通道和输入通道一一对应。最后，将多局部感受野的特征图在通道维度上连接起来，并通过批量归一化层和高斯误差线性单位激活函数对特征图进行映射。

32、所述双向线性自注意力模块由空间维度和通道维度线性自注意力两个分支组成。空间维度线性自注意力首先将输入特征图经过3个卷积层，分别得到上下文得分向量、键矩阵和值矩阵。然后，与的每个通道维度进行元素级乘法操作，将上下文得分向量分配给矩阵，实现信息的传递。进一步，对空间维度求和，得到上下文向量。接着，上下文向量中编码的上下文信息通过广播元素的乘法运算共享到值矩阵，以从特征图的全局范围中提取关键特征。最后，将输出注意力特征图通过核大小为的卷积进行线性映射得到最终输出。

33、所述通道维度线性自注意力分支中，将输入特征图中每个通道的所有像素点组成的向量被视作一个token，其计算过程与空间维度线性自注意力分支类似。通道方向分支的计算结果经转置后和空间方向分支的计算结果在通道维度方向拼接。最后，通过核大小为的卷积层来调整特征的维度，得到最终的双向融合输出特征。

34、s3-4、所述输出层由平均池化层和全连接层构成。平均池化层在空间维度上对输入特征进行池化操作。随后，全连接层将提取的高维特征映射到类别维度，为分类任务构建特征与类别之间的关系。最终，softmax函数将全连接层的输出转换为每个类别的后验概率分布，从而实现对不同类别的最终识别。

35、优选地，s4中创建损失函数，使用训练集和验证集对轻量级混合神经网络模型进行训练；具体包括：

36、s4-1、选择交叉熵函数或标签平滑正则化函数等损失函数，随机梯度下降或adam等优化算法作为所述基于小波时频图和轻量级混合神经网络的复杂飞行动作识别模型的目标函数和优化方法，并对模型的参数进行随机初始化。

37、s4-2、将训练集输入所构建的模型计算损失值，并利用反向传播算法计算模型中每个参数的梯度。随后，使用所定义的优化方法来更新模型的学习参数，最小化损失函数值。在迭代过程中，选取验证集上准确率最高的模型作为训练良好的模型。

38、优选地，s5中使用测试集对训练良好的模型进行飞行动作识别，以验证和分析模型性能；具体包括：

39、s5-1、将测试集输入步骤s4完成训练的模型中，通过比较模型的预测结果与实际飞行动作类别进行比较，从而计算出模型的评价指标，以客观地评估模型的性能。

40、s5-2、将实际飞行训练的单架次飞参数据进行飞行动作子序列提取，并转换为多维度小波时频图，输入到训练好的模型实现对复杂飞行动作的自动化识别。

41、本发明提供的技术方案，至少具有如下有益效果：

42、1、本发明提出了一种飞行动作分割方法，从多维飞参数据中提取飞行动作子序列，并将其转换为包含时频特征的多维度小波时频图，作为深度学习模型的输入，解决了飞行动作飞参数据长度不一致的问题，且多维度时频图显著提升了模型的识别准确率。

43、2、本发明设计了一种轻量级混合神经网络架构，主要由多尺度可分离卷积模块和双向线性自注意力模块组成。提出的多尺度可分离卷积模块能够提取飞参信号的多种局部感受野特征，且显著减少了学习参数量和浮点计算量。设计的双向线性自注意力模块在保持传统自注意力机制的全局建模能力的同时，避免了复杂的矩阵乘法和多维指数运算，与单向空间维自注意力相比，显著提高了识别准确率。

44、3、本发明结合多维度小波时频图转换与轻量级混合神经网络架构，提出了一种新的复杂飞行动作识别方法。该方法在识别准确率、计算复杂度上具有显著优势。