一种多域特征融合网络解码方法

本发明涉及人工智能与机器学习领域，尤其涉及一种多域特征融合网络解码方法。

背景技术：

1、在精细动作运动想象领域，当前技术广泛采用lstm、gru、cnn等深度学习模型，结合csp、psd、de等特征提取方法，以及svm、lda等分类器，实现运动想象的解码与分类。eegnet作为一种专为eeg信号设计的紧凑型网络，通过不同卷积块有效提取脑电信号特征。此外，集成学习策略也被用于整合多通道信息，提升解码性能。尽管技术多样且取得一定成果，但当前技术未能充分利用各特征域蕴含的丰富信息，导致精细动作运动想象的解码精度难以达到理想状态。各技术间缺乏有效融合与互补，限制了整体性能的提升。因此现有方法没有利用到全部特征信息以及没有对特征信息进行增强导致同一上肢精细动作解码效果低的问题，仍是亟待解决的问题。

2、例如，一种在中国专利文献上公开的“基于时频空注意力解耦的认知信号解码方法”，其公告号cn118228771a，包括首先构建由基于多视野注意力的频域特征提取模块、基于动态脑连接图注意力的空间域特征提取模块、融合模块、基于局部时间滑窗注意力的时域特征提取模块、聚合模块构成的基于时频空注意力解耦的认知信号解码系统，然后准备训练解码系统所需的数据集，采用数据集中的训练集对解码系统进行训练，得到训练后的解码系统。最后采用训练后的解码系统对输入的脑认知数据集开展认知分类任务，得到认知分类结果。能够一定程度上解决全局特征利用率低以及不同域特征提取互相干扰导致解码准确率低的问题，然而其计算较为复杂、泛化能力待验证，需进一步优化以提升实用性能。

技术实现思路

1、本发明主要解决现有技术中因特征信息利用不充分导致精细动作解码效果差的问题；提供一种多域特征融合网络解码方法，通过构建mffnca模型，集成lstm/gru、cnn、csp及时频分析psd和de等多种技术，分别提取eeg信号的时域、空域和频域特征。模型分为两通道处理，一通道结合通道注意力、残差模块、gru和cnn增强时空特征；另一通道独立处理频域特征。通过特征融合与全连接层，实现高精度分类预测，有效解决了多域特征提取与融合的挑战，提升了eeg信号解码的准确性和鲁棒性。

2、本发明的上述技术问题主要是通过下述技术方案得以解决的：

3、本发明包括：时域、空域和频域特征提取网络构成的多域特征融合网络，基于多域特征融合网络中的各个特征提取网络分别解码eeg信号；从每个特征提取网络中分别选取一种解码效果结合得到mffnca网络；mffnca网络设置两路并行前向的通道，通道一提取时域特征和空域特征，通道二单独提取频域特征，融合两路通道的特征提取结果并通过全连接层与sigmoid函数完成分类预测。多域特征融合网络(mffnca)通过时域、空域、频域特征提取网络结合，能更全面充分地解码eeg信号。

4、作为优选，所述的通道一中引入增强空域信息的注意力模块获取通道关注度，基于输入数据及其维度，引入残差模块还原时域信息，得到空域和时域的特征提取结果；通道二中直接利用de对输入数据提取频域特征；将两路通道对于特征提取结果的输出展平化处理，合并得到融合后的特征维度。通过引入注意力与残差模块增强空时特征，直接de提取频域特征，融合后提升特征全面性，增强解码精度与稳定性。

5、作为优选，所述的注意力模块通过分析输入数据的通道间关系，计算得到每个通道的权值矩阵，权值矩阵反映不同通道对于最终特征的贡献度，基于权值对输入数据进行加权处理，增强重要通道的信息并抑制次要通道的信息。注意力模块通过动态调整通道权重，增强关键信息，抑制冗余，提升特征表达能力和模型性能。

6、作为优选，所述的提取空域特征前对输入数据提升通道维度使其满足cnn要求，提升通道维度后利用cnn提取空域特征，设置四个卷积层，重新计算并还原空域特征维度后输出，能够增强特征表达能力，提高模型对复杂空域特征的捕捉能力作为优选，所述的全连接神经网络的大小设置为维度和分类数目组成的数组；sigmod函数负责将数值压缩到0-1，设定该函数满足对第1至与分类数目相同个数为标号的全连接神经网络的输出数值求和，使其等于1。全连接层配合sigmoid，确保输出和为1，实现概率化分类，提升分类决策的合理性和准确性。

7、作为优选，还包括对数据集进行可视化处理以评估分类效果步骤：使用t-sne算法将特征提取后的数据映射到二维空间，并绘制散点图以直观展示样本的分类效果；对比特征提取前后的样本分布，验证特征提取对于提高分类准确性和区分度的有效性。能够观展示分类效果，验证特征提取对分类的改善，提升模型理解与优化方向。

8、作为优选，所述的分别利用lstm和gru作为候选时域特征提取网络，cnn和csp作为候选空域特征提取网络，psd和de作为候选频域特征提取网络，对eeg信号进行解码；在构建mffnca网络的模型时，引入残差模块通过添加一个恒等映射辅助特征提取。多候选网络筛选最优，残差模块增强特征提取，mffnca模型解码更精准，提升eeg信号分析能力。

9、作为优选，直接利用离散能量分析方法对输入数据进行处理，de方法通过计算输入数据在频域上的能量分布，识别出信号中的关键频率成分，从而提取出具有代表性的频域特征。de方法直接分析频域能量，高效提取关键频率特征，简化频域特征提取过程，提高特征代表性和分类精度。

10、作为优选，所述的注意力模块通过计算通道的权值矩阵得到通道关注度；设注意力模块的输出结果与输入数据维度相同。注意力模块同维输出能够确保通道权重直接应用于输入，精准增强关键通道信息，提升特征质量。

11、作为优选，对两路通道提取的特征展平化处理，将多维特征矩阵转换为一维特征向量，将特征向量逐一首尾相连合并得到两路通道多域的所有特征。展平并合并特征，实现多维到一维的有效转换，融合多域信息，提升模型综合特征表示能力。

12、本发明的有益效果是：

13、1.本发明的一种多域特征融合网络解码方法，通过构建多域特征融合网络(mffnca)，将时域、频域和空域特征进行有效融合，显著提升了精细动作脑机接口的解码准确率；相较于单一域特征提取方法，mffnca能够捕捉更全面的信号特征，避免了单域特征信息不足的问题；实验结果表明，mffnca在mi-2数据集上达到了70.13％的平均准确率，优于其他对比方法，证明了多域特征融合在提高解码性能方面的优越性。

14、2.本发明的一种多域特征融合网络解码方法，mffnca网络设计灵活，能够兼容不同的特征提取模块，如lstm、gru用于时域特征提取，cnn、csp用于空域特征提取，以及psd、de用于频域特征提取。这种设计不仅使得mffnca能够根据不同应用场景和需求进行定制优化，还增强了其泛化能力；通过引入残差模块和注意力机制等深度学习技术，mffnca进一步提升了特征提取的效率和效果，为精细动作脑机接口技术的发展提供了有力支持。

技术特征：

1.一种多域特征融合网络解码方法，其特征在于，包括时域、空域和频域特征提取网络构成的多域特征融合网络，具体包括：

2.根据权利要求1所述的一种多域特征融合网络解码方法，其特征在于，

3.根据权利要求2所述的一种多域特征融合网络解码方法，其特征在于，

4.根据权利要求2所述的一种多域特征融合网络解码方法，其特征在于，

5.根据权利要求2所述的一种多域特征融合网络解码方法，其特征在于，

6.根据权利要求1或2或3或4或5所述的一种多域特征融合网络解码方法，其特征在于，还包括s3：对数据集进行可视化处理以评估分类效果步骤：s3.1：使用t-sne算法将特征提取后的数据映射到二维空间，并绘制散点图以直观展示样本的分类效果；s3.2：对比特征提取前后的样本分布，验证特征提取对于提高分类准确性和区分度的有效性。

7.根据权利要求1所述的一种多域特征融合网络解码方法，其特征在于，

8.根据权利要求2所述的一种多域特征融合网络解码方法，其特征在于，

9.根据权利要求2或4所述的一种多域特征融合网络解码方法，其特征在于，

10.根据权利要求2所述的一种多域特征融合网络解码方法，其特征在于，

技术总结本发明公开了一种多域特征融合网络解码方法。为了克服现有技术中因特征信息利用不充分导致精细动作解码效果差的问题，本发明包括：基于多域特征融合网络中的各个特征提取网络分别解码EEG信号；从每个特征提取网络中分别选取一种解码效果结合得到MFFNCA网络；MFFNCA网络设置两路并行前向的通道，通道一提取时域特征和空域特征，通道二单独提取频域特征，融合两路通道的特征提取结果并通过全连接层与Sigmoid函数完成分类预测。分别提取EEG信号的时域、空域和频域特征，一通道结合通道注意力、残差模块、GRU和CNN增强时空特征；另一通道独立处理频域特征；有效解决了多域特征提取与融合的挑战。技术研发人员：祝磊,袁杰,李雨,黄爱爱受保护的技术使用者：杭州电子科技大学技术研发日：技术公布日：2024/10/10