基于改进时序卷积神经网络的情绪脑信号识别方法及系统

本发明涉及脑信号分类的，尤其是指一种基于改进时序卷积神经网络的情绪脑信号识别方法及系统。

背景技术：

1、相较于非生理信号，脑信号具有不可匿性，可靠性高，基于脑信号的情绪识别受到研究人员的广泛关注。目前基于脑信号的情绪识别方法大多基于采用点估计的传统时序神经网络，这些方法具有一些局限性：第一，情绪脑信号识别是小样本分类问题，点估计神经网络存在易过拟合的问题，且点估计神经网络未触及对神经网络不确定性的评估。第二，传统时序神经网络，如rnn、lstm、gru等，在处理时序信号的某一数据之前，需等这一数据时序之前的数据全部处理完毕，因而时间复杂度较高，且传统时序神经网络具有梯度爆炸或梯度消失的问题，此外，lstm和gru等门控循环神经网络在处理长时间序列时，还会占用大量内存存储门控单元各单元门的中间结果。

2、贝叶斯神经网络将神经网络权值分布化，相当于多个点估计神经网络的集成，其带来的的正则化效果可以消减过拟合，同时，还可以通过对权值分布设置先验函数带来更多的正则化效果。因此，应用贝叶斯神经网络处理情绪脑信号分类这类小样本分类问题，可解决易过拟合的难点。进一步，利用贝叶斯神经网络的权值分布可以计算权值的不确定性估计，通过用0值替换均值小且不确定性高的权值，可以优化网络剪枝，部署轻量级情绪脑信号分类神经网络。进一步，在贝叶斯神经网络的测试阶段，通过对权值分布进行多次采样得到预测结果的分布，利用预测结果分布的方差度量预测结果的不确定性估计，通过拒绝对预测结果不确定性大的样本进行分类，可以提高情绪脑机接口系统的可靠性。

3、时序卷积神经网络是一种新型的时序模型，由连续的残差块堆叠而成，每个残差块由因果卷积、空洞卷积等部分组成。因果卷积是一种严格的时间约束模型，下一层t时刻的输出，只依赖于上一层t时刻以及t时刻之前的输入。空洞卷积，可以在同等隐藏层数的前提下扩大感受野。残差连接使网络可以跨层传递信息，在深层神经网络中可有效提高模型的性能。相比于传统的时序模型，如rnn、lstm等，时序卷积神经网络具有能并行处理数据、没有梯度爆炸或消失、对内存要求较低等优点，适用于情绪脑信号这一时序信号的处理。

4、基于此，本发明将贝叶斯神经网络与时序卷积神经网络相结合，提出一种基于改进时序卷积神经网络的情绪脑信号识别方法及系统。

技术实现思路

1、本发明的第一目的在于克服现有技术的缺点和不足，提供一种基于改进时序卷积神经网络的情绪脑信号识别方法，可有效实现情绪脑信号的精准识别，具有准确率高、鲁棒性强、时间复杂度低等优点。

2、本发明的第二目的在于提供一种基于改进时序卷积神经网络的情绪脑信号识别系统。

3、本发明的第一目的通过以下技术方案实现：基于改进时序卷积神经网络的情绪脑信号识别方法，包括以下步骤：

4、1)利用电极帽采集情绪脑信号，并统计受试者在情绪维度上的自我评价分作为情绪脑信号的情绪标签；

5、2)将采集到的带有情绪标签的情绪脑信号进行数据预处理，得到去除噪声的情绪脑信号，并将其划分为训练集和测试集；

6、3)将训练集中的数据输入构建的改进时序卷积神经网络进行训练，利用变分推断和贝叶斯反向传播训练该改进时序卷积神经网络的参数，得到一个训练好的性能最优的改进时序卷积神经网络；其中，该改进时序卷积神经网络的改进是对由四个残差块堆叠而成的时序卷积神经网络进行权值分布化，所述残差块是以空洞因果卷积作为基础；

7、4)调用训练好的改进时序卷积神经网络，对测试集中的数据进行识别，得到情绪脑信号分类结果。

8、进一步，在步骤1)中，利用10-20标准导联系统的电极帽，其32个电极通道以512hz的采样率采集受试者的情绪脑信号，另有8个电极通道采集eog信号，受试者分别在效价和唤醒度这两个情绪维度做出1-9分的自我评价。

9、进一步，在步骤2)中，将采集到的情绪脑信号下采样到128hz、eog伪迹去除、4.0-45.0hz带通滤波器滤波、将电极排序调整为geneva order、归一化处理以及基线信号移除；

10、其中，基线信号移除实施方法如下：每段实验记录基线数据和实验数据，基线数据为无情绪诱发的脑信号，实验数据为情绪脑信号，将基线数据用1秒无重叠窗口切分为m段，每段基线数据用形状为电极通道数*采样点数的矩阵matrix表示，定义基线数据basemean为：

11、

12、将实验数据用1秒无重叠窗口切分为小段raw eeg signal，对每段数据减去basemean，得到最终经过数据预处理的去除噪声的情绪脑信号bri：

13、bri＝raweegsignal-basemean。

14、进一步，在步骤3)中，使用四个连续的残差块搭建时序卷积神经网络，每个残差块由2个连续的相同结构的模块组成，每个模块由空洞因果卷积层、weight normalization层、relu层和dropout层构成，在最后一个残差块后连接全连接层和softmax层；其中，空洞因果卷积层使用32个卷积核大小为7×32、卷积步长为1的一维卷积，第一个残差块的空洞因果卷积层的空洞率为1，第二个残差块为2、第三个残差块为4、第四个残差块为8，将最后一个残差块的最后一个神经元输出的特征输入全连接层和softmax层；

15、设改进时序卷积神经网络权值的真实后验分布为p(w|d)，w为改进时序卷积神经网络的权值，d为训练样本，定义变分后验分布q(w|θ)为比真实后验分布简单的斜高斯分布n(μ，σ2)，θ为控制权值w变分后验分布的一组参数，μ为斜高斯分布的均值，σ为斜高斯分布的标准差，使用训练集中的训练样本训练改进时序卷积神经网络，通过贝叶斯反向传播迭代更新θ＝(μ，σ)，最小化变分后验分布与真实后验分布之间的kl散度，使变分后验分布不断逼近真实后验分布，得到训练好的改进时序卷积神经网络；其中，真实后验分布p(w|d)与变分后验分布q(w|θ)之间的kl散度公式为：

16、

17、式中，p(w|d)为给定训练样本d的情况下，权值w的后验分布函数；q(w|θ)为给定参数θ的情况下，权值w的变分后验分布函数；p(d)为训练样本d的边界函数，p(d|w)为似然函数，p(w)为权值w的先验分布函数；

18、最小化真实后验分布与变分后验分布的kl散度，等同于最小化下式损失函数，并利用蒙特卡洛采样对损失函数取近似值：

19、

20、式中，f(d，θ)为训练时给定训练样本d和参数θ的改进时序卷积神经网络的损失函数，w(i)是权值w在其变分后验分布上采样的第i个蒙特卡洛样本，n为权值w的蒙特卡洛采样总数；

21、对改进时序卷积神经网络权值进行n次采样，对产生的n个点估计神经网络分别计算损失，再将它们的平均值作为最终的损失；其中，一次采样的损失函数loss如下：

22、

23、式中，out为改进时序卷积神经网络的输出，y为训练样本的标签，crossentropy(out，y)为out和y的交叉熵，对应f(d，θ)中的似然性代价logp(d|w)，m代表训练批次数量，即为训练数据个数或批大小，q(w|θ)为比真实后验分布简单的斜高斯分布n(μ，σ2)，权值w的先验分布p(w)采用混合高斯先验：

24、

25、式中，σ1、σ2、π为改进时序卷积神经网络的超参数，wj是第j个权值，n(wj|0，σ12)是wj处均值为0、标准差为σ1的高斯分布，n(wj|0，σ22)是wj处均值为0、标准差为σ2的高斯分布；

26、利用重参数化解决直接从变分后验分布中采样会导致μ、σ不可微的问题，将n(μ，σ2)视为单位高斯分布n(0，1)平移μ、放缩σ的结果，即将q(w|θ)～n(μ，σ2)变换为q(w|θ)＝σε+μ，ε～n(μ，σ2)，ε为服从单位高斯分布的变量，通过从单位高斯分布中采样再进行变换，实现对μ和σ的可导引入，其中，σ值标志权值不确定性的大小，σ值越大，不确定性越大，当σ＝0时，改进时序卷积神经网络与原来时序卷积神经网络没有区别，为保证σ＞0，设：

27、σ＝log(1+eρ)

28、式中，ρ为标准差参数，对权值进行重参数化后的结果：

29、w＝μ+log(1+eρ)*ε，ε～n(0，1)

30、由此，计算均值μ的梯度δμ为：

31、

32、其中，f(w，θ)代表改进时序卷积神经网络的损失函数loss；

33、标准差参数ρ的梯度δρ为：

34、

35、通过梯度下降，对μ和ρ进行更新，从而更新w，实现训练改进时序卷积神经网络的参数：

36、μ←μ-αδμ

37、ρ←ρ-αδρ

38、式中，α为学习率，←表示更新迭代。

39、本发明的第二目的通过以下技术方案实现：基于改进时序卷积神经网络的情绪脑信号识别系统，用于实现上述的基于改进时序卷积神经网络的情绪脑信号识别方法，其包括：

40、数据获取模块，利用电极帽采集情绪脑信号，并统计受试者在情绪维度上的自我评价分作为情绪脑信号的情绪标签；

41、数据处理模块，用于将采集到的带有情绪标签的情绪脑信号进行数据预处理，得到去除噪声的情绪脑信号，并将其划分为训练集和测试集；

42、训练模块，用于将训练集中的数据输入构建的改进时序卷积神经网络进行训练，利用变分推断和贝叶斯反向传播训练该改进时序卷积神经网络的参数，得到一个训练好的性能最优的改进时序卷积神经网络；

43、识别模块，调用训练好的改进时序卷积神经网络，对测试集中的数据进行识别，得到情绪脑信号分类结果。

44、本发明与现有技术相比，具有如下优点与有益效果：

45、1、本发明将贝叶斯不确定性估计引入情绪脑信号识别，弥补了点估计神经网络对情绪脑信号识别的不足，提升了识别准确率和鲁棒性，以及情绪脑机接口系统的可靠性。

46、2、本发明利用改进时序卷积神经网络，提取情绪脑信号的时序特征，弥补了传统时序模型不能并行处理数据、易梯度爆炸或消失的缺点，降低了时间复杂度，提升了识别准确率。