一种基于Wi-Fi无线感知的面部表情识别方法

本发明属于无线感知，涉及一种波形提取和双分支深度学习网络的方法，具体涉及一种基于wi-fi无线感知的面部表情识别方法。

背景技术：

1、日常生活中的情绪表达直接反映了我们的心理活动和生理信号，情绪识别技术也被应用于我们生活的方方面面。在商业领域，商家可以根据我们观看广告或使用新应用时的表情来评估产品、收集用户反馈，并提供更准确的服务，使人与计算机之间的交互更加流畅和人性化。情绪识别还可应用于其他领域，如vr、ar和智能家居。

2、面部识别技术主要包括基于肌电传感器的表情识别技术，基于视频的表情识别技术以及基于无线的表情识别。基于肌电传感器的表情识别技术，可以识别更加细微的表情变化。cai等人设计一种基于面部肌电信号传感器的面部表情识别系统，通过在面部放置电极来记录肌肉收缩时产生的电信号，并利用这些信号来识别和分析用户的面部表情，这种方法虽然可以感知细微的表情变化，但是它属于一种侵入式的识别方法，需要用户实时地佩戴传感设备，用户穿戴这些设备不仅会给用户的日常生活带来不便，而且不同设备以及佩戴是否正确都会对识别的精度产生影响。为了解决这个问题，基于图像的面部表情识别技术应运而生。基于图像的面部表情识别技术虽然有着非接触、准确率高的优点，但是系统的性能不仅受图像的质量影响，还受拍摄的光线视角以及面部是否遮挡的影响，而且由于是图像数据，系统就有着隐私泄露的风险。而基于无线感知的面部表情识别技术不仅有着非接触、非入侵、不受光线、视角的影响的优点，而且还不会有隐私泄露的风险。

3、而由于表情变化比较细微，诸如这类细微动作，在wi-fi识别分类中，zhang等人设计出一个基于wi-fi csi的呼吸监测系统farsence，系统使用特殊的usrp设备采集设备，实现对呼吸及其频率的检测。而shen等人实现了wipass系统，利用定向天线实现了智能手机数字按键识别。从现有的研究中可以看到，为了识别细微动作，部分研究者采用的设备都比较特殊，大部分的应用场景在实验室等比较专用的场景，并不具备普适性。

4、现有基于无线感知的面部表情识别技术中，zhao等人设计了一套eq-radio系统，系统通过无线射频信号开发了一个用于情感检测的深度神经网络框架实现对人情感的感知。chen等人设计了wiface系统，使用定向天线收集csi信息对人脸表情进行分类。现有基于无线感知的识别方法除了使用的设备都比较特殊外，由于表情变化比较细微，采用机器学习或简单的深度学习方法无法达到一个比较可观的识别精度。

5、因此，需要一款更加普适的、可以提取细微动作、识别精度较高的面部表情识别方法。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于wi-fi无线感知的面部表情识别方法，解决了现有技术中无法从普适的设备中提取表情波形以及表情分类识别准确率不高的问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于wi-fi无线感知的面部表情识别方法，包括如下步骤：

4、步骤1：采用wi-fi路由器采集面部表情变化的csi数据，收集整合面部表情数据生成用于深度学习研究的数据集；

5、步骤2：对数据集中的数据进行去噪预处理，去除数据中的突发噪声，以配合后续任务输入的需求；

6、步骤3：采用比率模型和pca相结合的方法从预处理后的数据中提取出代表表情的波形，比率模型将不同天线的数据进行比值，去除随机噪声以及突发噪声，并通过比值放大面部表情变化数据，更容易被提取出来，通过pca主成分分析方法将数据中高度相关的与表情变化无关的子载波数据降维；

7、比率模型的公式示为：

8、

9、其中，h1(f,t)代表第一根天线的csi值，h2(f,t)为第二根天线的csi值；

10、步骤4：将得到的表情波形数据送入双分支网络进行特征提取；

11、双分支网络中一个分支为3个卷积层、3个池化层和一个全连接层组成，公式表示为：

12、fc＝cnn(x；θ)

13、双分支网络中另一个分支采用双向长短期记忆网络bilstm组成，bilstm针对时间序列的数据捕捉到时序的特征，公式表示为：

14、fb＝lstm(x；θ)

15、其中，x为波形数据，fc为提取出的特征，θ是所有参数的集合；

16、步骤5：将步骤4中得到的数据特征进行融合，通过点乘的方式将不同的特征进行融合，生成一个包含时序和通道的特征，随后送入cbam注意力机制中凸显出数据特征重要的通道；

17、步骤6：将步骤5得到的特征送入全连接层中进行分类，完成面部表情的分类。

18、进一步，所述步骤2中去噪预处理包括采用线性去噪、部分多路消除或巴特沃斯低通滤波器去噪。

19、进一步，还包括步骤7，定义显著性的指标，包含准确率和f1分数，使用这些指标来评估模型在测试集上的性能，以及与其他分类方法进行定性定量比较。

20、本发明与现有技术相比，有益的技术效果是：

21、本发明采用普适的商用wi-fi路由器采集面部表情变化的csi数据，通过比率模型和pca方法从预处理后的数据中提取出代表表情的波形，比率模型将不同天线的数据进行比值，不仅可以去除随机噪声以及突发噪声，还可以通过比值放大面部表情变化的数据，使它可以更容易地被提取出来，而pca主成分分析方法可以将数据中高度相关的与表情变化无关的子载波数据降维，降维后的数据不仅可以表示表情波形而且相比于原始数据量要更少，减少了计算成本。最终从预处理后的数据中提取出代表表情的波形。可以成功地从原始数据中提取对应的表情波形，克服了使用更加普适的全向天线下在无线感知的环境中由于表情变化过于细微而无法分离表情波形。

22、本发明通过使用基于注意力机制的双分支网络，可以充分挖掘同种表情变化数据之间相似特性，提高表情识别的精度，克服了现有检测方法精度不高的问题。

23、本发明基于无线感知进行面部表情识别，收集整合面部表情数据生成可以用于深度学习研究的数据集不仅架构完整，而且在面部表情识别方面表现出来优异的性能。

技术特征：

1.一种基于wi-fi无线感知的面部表情识别方法，其特征在于包括如下步骤：

2.如权利要求1所述的基于wi-fi无线感知的面部表情识别方法，其特征在于：所述步骤2中去噪预处理包括采用线性去噪、部分多路消除或巴特沃斯低通滤波器去噪。

3.如权利要求1所述的基于wi-fi无线感知的面部表情识别方法，其特征在于：还包括步骤7，定义显著性的指标，包含准确率和f1分数，使用这些指标来评估模型在测试集上的性能，以及与其他分类方法进行定性定量比较。

技术总结本发明公开了一种基于Wi‑Fi无线感知的面部表情识别方法，本发明采用普适的商用Wi‑Fi路由器采集面部表情变化的CSI数据，通过比率模型和PCA方法从预处理后的数据中提取出代表表情的波形，然后从波形中提取出可以代表表情的特征，实现表情分类，无需特殊设备，克服了使用更加普适的全向天线下在无线感知的环境中由于表情变化过于细微而无法分离表情波形；使用基于注意力机制的双分支网络，可以充分挖掘同种表情变化数据之间相似特性，提高表情识别的精度，克服了现有检测方法精度不高的问题。技术研发人员：卜起荣,吕朝昕受保护的技术使用者：西北大学技术研发日：技术公布日：2024/8/16