基于注意力和神经网络的脑卒中患者表情分类算法及系统

1.本发明涉及计算机视觉技术领域，具体为基于注意力和神经网络的脑卒中患者表情分类算法及系统。


背景技术：

2.近几十年来，脑卒中患病率显著上升，大量医学研究也在进行，由此对其的监测和研究水平也在不断提高，在训练康复过程中对卒中患者的表情进行识别侦察是医院亟待解决的问题。
3.现有技术的方法大都依赖对脑卒中患者康复训练的表情言语和行为等直接进行训练康复后的观测，忽略训练过程中的卒中患者情绪筛查，不仅耗时耗力，诊断结果也容易受到医院水平，医生的主观程度，康复患者的教育程度以及年龄等各种外界因素干扰，从而造成康复训练之后对患者造成各种抑郁等各种并发性综合症状，同时，现有技术不能及时在康复训练过程中发现患者消极情绪，造成医生不能及时调整甚至停止患者的康复训练从而进行个性化康复治疗，为此，本技术提出了基于注意力和神经网络的脑卒中患者表情分类算法及系统。


技术实现要素：

4.针对现有技术的不足，本发明提供了基于注意力和神经网络的脑卒中患者表情分类算法及系统，具备准确率高、识别速度快等优点，解决了现有技术，耗时耗力，诊断结果也容易受到医院水平，医生的主观程度，康复患者的教育程度以及年龄等各种外界因素干扰，从而造成康复训练之后对患者造成各种抑郁等各种并发性综合症状，同时，现有技术不能及时在康复训练过程中发现患者消极情绪，造成医生不能及时调整甚至停止患者的康复训练从而进行个性化康复治疗的问题。
5.为实现上述准确率高、识别速度快的目的，本发明提供如下技术方案：基于注意力和神经网络的脑卒中患者表情分类算法，包括以下步骤：
6.a、建立卒中患者表情数据库；
7.a1、抽调全国范围内，大量患者，作为样本，拍摄样本各种表情图；
8.a2、将所有表情图上传到系统中心；
9.a3、读取待识别的目标图像；
10.a4、利用dlib正向人脸检测器进行检测；
11.a5、得到返回的人脸特征的图片；
12.a6、获取人脸并且裁剪出人脸；
13.a7、将人脸作为单条数据存入数据库；
14.b、建立面部表情识别模型：面部表情识别模型包括降采样特征提取结构、通道注意力结构、三个图神经网络层以及损失层；
15.b1、降采样特征提取结构用于通过小卷积块对目标框中的人脸图像进行特征提
取，以得到粗糙特征图；
16.b2、通道注意力结构用于通过深度可分离卷积结构对输入的特征图进行特征提取，以得到精细特征图，并在通道域上对输入的特征图采用全局平均池化(globalaveragepooling)，将一个通道上整个空间特征编码为一个全局特征，来实现特征图的权重加权，得到关键特征图，以及将所得到的精细特征图与关键特征图点乘后与精细特征图叠加，从而得到通道注意力特征图；
17.b3、将特征图经过三个图卷积神经层，图卷积神经层会将特征图上特征作为节点，根据不同特征距离生成边，简单有效的实现图网络的构建以及能快速学习到脑卒中患者表情的全部空间特征；
18.b4、经过损失层用于获取图卷积神经层结构输出的特征图的损失值，以根据该损失值预测面部表情类别；
19.c、从脑卒中患者表情数据库进行算法模型训练，然后得到一个已离线训练好的面部表情分类识别模型。
20.进一步，面部表情识别模型的降采样特征提取结构中，利用小卷积块对包含人脸区域的目标框进行特征提取，能够充分利用图像中每个像素点的信息并且能够达到快速提取出人脸表情特征的目的。
21.进一步，面部表情识别模型的通道注意力结构中，一方面利用通道信息做加权特征，从而进行进一步的面部表情特征提取，获取到了能够进行分类的表情关键信息。
22.进一步，图卷积神经层能快速通过特征图进行图建构。
23.进一步，所述通道注意力结构示意图中，通道注意力是关注有效的通道特征，与原特征图相乘来对特征进行自适应调整，通道的特征变化公式为：mc＝σ(mlp(avg pool(f)))。
24.进一步，所述特征图先在通道上进行平均池化和最大池化，选出其最大值后，通过多层感知器进行特征值融合，然后将原始特征与特征值相乘完成通道加权。
25.本发明要解决的另一技术问题是提供基于注意力和神经网络的脑卒中患者表情分类系统，包括目标框提取模块和面部表情识别模块。
26.进一步，所述目标框提取模块用于从待识别的目标图像中提取包含人脸区域的目标框，并对所提取的目标框进行特征归一化处理。
27.进一步，所述面部表情识别模块用于利用已离线训练好的面部表情识别模型对特征归一化之后的目标框进行面部表情识别，从而识别出目标图像中人脸的面部表情类别，通过计算机直接实时处理捕捉的数据。
28.与现有技术相比，本发明提供了基于注意力机制和图卷积神经网络的表情分类算法和系统，具备以下有益效果：
29.1、该基于注意力和神经网络的脑卒中患者表情分类算法及系统，在面部表情识别模型的降采样特征提取结构中，利用小卷积块对包含人脸区域的目标框进行特征提取，能够充分利用图像中每个像素点的信息并且能够达到快速提取出人脸表情特征的目的；在面部表情识别模型的通道注意力结构中，一方面利用通道信息做加权特征，从而进行进一步的面部表情特征提取，获取到了能够进行分类的表情关键信息，从而提高了面部表情识别的识别精度；另一方面图卷积神经层能快速通过特征图进行图建构，从而降低模型大小，提
高面部表情识别的识别速度；总的来说，上述基于通道注意力机制和图卷积神经网络的面部表情识别方法，能够提高面部表情识别的识别精度和识别速度。
30.2、该基于注意力和神经网络的脑卒中患者表情分类算法及系统，利用最新的人工智能技术并且能达到较高的识别准确率。主要使用了表情识别分类的深度学习技术，主要作用是捕捉人脸的表情运动、处理和分析捕捉数据以及对人脸表情进行判断。涉及人体工程学、计算机图形学、图像处理、数据处理等多个学科，鉴于目前脑卒中诊断标准存在的种种问题以及脑卒中患者的面部表情反应往往存在偏瘫等面部表情不对称问题，与健康孩童存在一定的差异，本发明结合深度学习技术，构建人脸表情识别模型，提取脑卒中的面部表情特征数据，通过深度学习脑卒中表情反应特征来进行训练过程中的表情识别分类，从而达到高效便捷地脑卒中患者的训练过程中情绪，并且及时发现，实现医疗智能化的目的。
附图说明
31.图1为本发明实施例提供的基于dlib建立脑卒中面部表情数据库示意图；
32.图2为本发明实施例提供的基于于通道注意力机制和图卷积神经网络的面部表情识别模型结构示意图；
33.图3为本发明实施例提供的图卷积神经网络结构示意图；
34.图4为本发明实施例提供的利用训练数据集训练面部表情识别模型的流程图；
35.图5为本发明实施例提供的不同面部表情识别方法的识别结果对比示意图；
36.图6为本发明实施例提供的面部表情采样图；
37.图7为本发明实施例提供的实时分类识别框图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.请参阅图1-7，基于注意力和神经网络的脑卒中患者表情分类算法，包括以下步骤：
40.a、建立卒中患者表情数据库；
41.a1、抽调全国范围内，大量患者，作为样本，拍摄样本各种表情图；
42.a2、将所有表情图上传到系统中心；
43.a3、读取待识别的目标图像；
44.a4、利用dlib正向人脸检测器进行检测；
45.a5、得到返回的人脸特征的图片；
46.a6、获取人脸并且裁剪出人脸；
47.a7、将人脸作为单条数据存入数据库；
48.b、建立面部表情识别模型：面部表情识别模型包括降采样特征提取结构、通道注意力结构、三个图神经网络层以及损失层；
49.b1、降采样特征提取结构用于通过小卷积块对目标框中的人脸图像进行特征提
取，以得到粗糙特征图；
50.b2、通道注意力结构用于通过深度可分离卷积结构对输入的特征图进行特征提取，以得到精细特征图，并在通道域上对输入的特征图采用全局平均池化(globalaveragepooling)，将一个通道上整个空间特征编码为一个全局特征，来实现特征图的权重加权，得到关键特征图，以及将所得到的精细特征图与关键特征图点乘后与精细特征图叠加，从而得到通道注意力特征图；
51.b3、将特征图经过三个图卷积神经层，图卷积神经层会将特征图上特征作为节点，根据不同特征距离生成边，简单有效的实现图网络的构建以及能快速学习到脑卒中患者表情的全部空间特征；
52.b4、经过损失层用于获取图卷积神经层结构输出的特征图的损失值，以根据该损失值预测面部表情类别；
53.c、从脑卒中患者表情数据库进行算法模型训练，然后得到一个已离线训练好的面部表情分类识别模型。
54.本发明要解决的另一技术问题是提供基于注意力和神经网络的脑卒中患者表情分类系统，包括目标框提取模块和面部表情识别模块。
55.其中，面部表情识别模块用于利用已离线训练好的面部表情识别模型对特征归一化之后的目标框进行面部表情识别，从而识别出目标图像中人脸的面部表情类别，通过计算机直接实时处理捕捉的数据。
56.同时，面部表情识别模型的降采样特征提取结构中，利用小卷积块对包含人脸区域的目标框进行特征提取，能够充分利用图像中每个像素点的信息并且能够达到快速提取出人脸表情特征的目的。
57.在面部表情识别模型的通道注意力结构中，一方面利用通道信息做加权特征，从而进行进一步的面部表情特征提取，获取到了能够进行分类的表情关键信息。
58.其次，目标框提取模块用于从待识别的目标图像中提取包含人脸区域的目标框，并对所提取的目标框进行特征归一化处理。
59.而在通道注意力结构示意图中，通道注意力是关注有效的通道特征，与原特征图相乘来对特征进行自适应调整，通道的特征变化公式为：
60.mc＝σ(mlp(avg pool(f)))。
61.特征图先在通道上进行平均池化和最大池化，选出其最大值后，通过多层感知器进行特征值融合，然后将原始特征与特征值相乘完成通道加权。
62.实施例：本发明提供的基于注意力机制和图卷积神经网络的表情分类算法和系统：
63.基于dlib建立脑卒中面部表情数据库方法，包括：
64.(1)读取待识别的目标图像；
65.(2)利用dlib正向人脸检测器进行检测；
66.(3)得到返回的人脸特征的图片。
67.在脑卒中面部表情数据库建立好之后，我们在此数据库上进行面部表情分类识别模型的训练和测试。面部表情识别模型包括降一个通道注意力结构，三个图神经卷积网络层以及损失层。
68.请参阅图2，降采样特征提取结构用于通过小卷积块对目标框中的人脸图像进行特征提取，以得到粗糙特征图；通道注意力结构用于通过深度可分离卷积结构对输入的特征图进行特征提取，以得到精细特征图，并在通道域上对输入的特征图采用全局平均池化(globalaveragepooling)，将一个通道上整个空间特征编码为一个全局特征，来实现特征图的权重加权，得到关键特征图，以及将所得到的精细特征图与关键特征图点乘后与精细特征图叠加，从而得到通道注意力特征图；然后将此特征图再经过三个图卷积神经层，图卷积神经层会将此特征图上特征作为节点，根据不同特征距离生成边，简单有效实现图网络的构建以及能快速学习到脑卒中患者表情的全部空间特征；融合损失层用于获取特征图的损失值，以根据该损失值预测面部表情类别；
69.其中，上述基于通道注意力机制和图卷积神经网络的面部表情识别方法，在面部表情识别模型的降采样特征提取结构中，利用小卷积块对包含人脸区域的目标框进行特征提取，能够充分利用图像中每个像素点的信息并且能够达到快速提取出人脸表情特征的目的；在面部表情识别模型的通道注意力结构中，一方面利用通道信息做加权特征，从而进行进一步的面部表情特征提取，获取到了能够进行分类的表情关键信息，从而提高了面部表情识别的识别精度；另一方面图卷积神经层能快速通过特征图进行图建构，从而降低模型大小，提高面部表情识别的识别速度；总的来说，上述基于通道注意力机制和图卷积神经网络的面部表情识别方法，能够提高面部表情识别的识别精度和识别速度。
70.在本通道注意力结构示意图中，通道注意力是关注有效的通道特征，与原特征图相乘来对特征进行自适应调整。下面为通道的特征变化公式：
71.mc＝σ(mlp(avg pool(f)))
72.特征图先在通道上进行平均池化和最大池化，选出其最大值后，通过多层感知器进行特征值融合，然后将原始特征与特征值相乘完成通道加权。
73.请参阅图3：图卷积神经网络结构通过输入特征图和邻接矩阵，就可以计算出更新的节点特征从而构建出图结构。
74.在一个包括n个节点的图上(n＝1，2，3，
…
，n)，x∈rd表示所以节点的特征，xi表示节点i的特征a∈rn×n。表示邻接矩阵，a
ij
示节点i和节点j之间边的权重(目前没有自环，即a
ii
＝0)。gcn在向前传播时，每一个节点都会融合其邻接节点的信息，作为下一层该节点的嵌入。gcn的训练可以理解为是在训练一个映射函数fg(.，.)。gcn的输入是表示节点嵌入的向量矩阵h∈rn×d和节点之间的邻接矩阵a。然后通过计算更新每一个节点的嵌入，其中，第i层的节点嵌入为h
(l 1)
∈rn×d。
75.在经过图神经网络层得到的特征图后，我们选用交叉熵损失函数进行计算损失值，其计算方式为：
76.l＝-[ylogy^ (1-y)log(1-y^)]
[0077]
其中y代表真实标签，y^代表网络预测标签。通过损失函数的不断迭代更新。
[0078]
本实施例中，在面部表情识别模型的降采样特征提取结构中，通过融合特征注意力和图神经网络层，使得模型学习到的特征差异最大化并且学习了图像的空间语义信息，从而能更好地区分表情并能够防止网络过拟合，提高模型的泛化能力。
[0079]
由于本发明所使用的神经网络模型相对于其他面部表情识别网络十分轻量级只有三层，并且面部表情识别的识别速度得到了提高。
[0080]
在此基础上本发明提出了基于通道注意力机制和图卷积神经网络脑卒中面部表情识别方法的系统，如图7所示：
[0081]
(1)从待识别的目标图像中提取包含人脸区域的目标框，并对所提取的目标框进行特征归一化处理；
[0082]
(2)利用已离线训练好的面部表情识别模型对特征归一化之后的目标框进行面部表情识别，从而识别出目标图像中人脸的面部表情类别，通过计算机直接实时处理捕捉的数据。
[0083]
因此，本发明能够对实时性要求较高的视频进行处理，实时识别出其中各帧图像的面部表情类别。
[0084]
下面结合实验对本发明作进一步描述。
[0085]
1.本发明创建的脑卒中面部表情库
[0086]
在本实施例中，所选用的面部表情数据集为我们自己创建的脑卒中表情数据库，通过图一中的dlib的方法进行构建数据集。该数据集图像来源华山医院提供，已经经过伦理允许，具体我们采集视频然后截取出来的表情数据图片，由1143张人脸表情图片组成，图像格式均为png；在该数据集中包含六类表情，具体的表情类别标签包括：生气(angry)、疼痛(pain)、害怕(fear)、高兴(happy)、伤心(sad)以及自然(neutral)每一类数据是均衡的，这些图像的表情都是经过医生标记，并且丢弃有歧义表情的图像。按照比例将数据集按照8：1：1划分为作为训练集和测试集和验证集。
[0087]
2.图片数据预处理。
[0088]
最终效果为图6所示，训练集、测试集、验证集分别分为三个文件夹，每个文件夹中存放着6种不同表情的单通道灰度图片，图3右侧展示了“生气”类型的图片。因得到的表情图片已是纯脸图片，尺寸大小也相同(48*48)，并都已经经过了人脸检测、无关背景剪裁和归一化，本文将不利用其他算法(如adaboost算法)对图片进行进一步的预处理。至此，就完成了对脑卒中面部表情库的预处理部分。
[0089]
3.实验平台
[0090]
相关的实验平台为：cpu intel(r)coretmi5-7500cpu@3.40ghz，内存32g ddr4 2400mhz，gpu geforce gtx 1080ti，显存16g；操作系统windows 64位，实验平台pycharm,pytorch。
[0091]
4.在神经网络中进行训练得到训练好的面部表情识别模型
[0092]
将训练集全部传入本发明设计的神经网络，网络的降采样特征提取结构用于通过小卷积块对目标框中的人脸图像进行特征提取，以得到粗糙特征图；通道注意力结构用于通过深度可分离卷积结构对输入的特征图进行特征提取，以得到精细特征图，并在通道域上对输入的特征图采用全局平均池化(globalaveragepooling)，将一个通道上整个空间特征编码为一个全局特征，来实现特征图的权重加权，得到关键特征图，以及将所得到的精细特征图与关键特征图点乘后与精细特征图叠加，从而得到通道注意力特征图；然后将此特征图再经过三个图卷积神经层，图卷积神经层会将此特征图上特征作为节点，根据不同特征距离生成边，简单有效实现图网络的构建以及能快速学习到脑卒中患者表情的全部空间特征；融合损失层用于获取特征图的损失值，以根据该损失值预测面部表情类别，从而得到训练好的面部表情识别模型。
[0093]
其中，对于模型测试的结果，使用两种评价方式：
[0094]
1)准确率：用来度量分类器正确分类的性能。准确率的计算方式为：
[0095][0096]
其中，n表示测试数据集样本总数；当时候，为1，否则为0。
[0097]
(2)混淆矩阵(confusion matrix)：每一列代表预测类别，每一列的总数表示为预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。
[0098]
本发明方法生成的混淆矩阵如图6所示，从图中可以看出，对于疼痛和恐惧这两种表情的识别准确率比较高，这两类尤其是对疼痛的表情识别准确度基本都有90％以上。
[0099]
5.利用已离线训练好的面部表情识别模型对实时脑卒中患者进行面部表情识别。
[0100]
请参阅图7，将实时视频帧使用基于dlib的人脸特征提取器提取出患者人脸，然后传入已离线训练好的面部表情识别模型，模型对传入特征进行分类并得到分类表情结果。
[0101]
文中出现的电器元件均与主控器及电源电连接，主控器可为计算机等起到控制的常规已知设备，且现有公开的电力连接技术，不在文中赘述。
[0102]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0103]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。