基于注意力调制上下文空间信息的表情识别方法

技术特征：
1.一种基于注意力调制上下文空间信息的表情识别方法，其特征在于，具体包括以下步骤：s1：获取待训练的自然场景人脸表情图像公共数据集，对人脸表情图像进行预处理；s2：构建用于自然场景人脸表情识别的注意力调制上下文空间信息网络模型acsi；s3：利用预处理过的人脸表情图像对上下文空间信息网络模型acsi进行训练；s4：重复步骤s3的模型训练，直至达到设定的训练次数，得到训练后的深度残差网络模型，利用训练后的深度残差网络模型进行人脸表情识别。2.根据权利要求1所述的基于注意力调制上下文空间信息的表情识别方法，其特征在于，所述步骤s2具体包括以下步骤：s21：利用上下文卷积块替换残差块的中间卷积层，形成上下文卷积残差模块构建上下文卷积残差网络；s22：使用协调注意力构建协调注意力ca模块对所述步骤s21中构建的上下文卷积残差网络coresnet提取的多尺度特征分配注意力权重以强化特征表征能力。3.根据权利要求2所述的基于注意力调制上下文空间信息的表情识别方法，其特征在于，所述步骤s21具体为：s211：上下文卷积块接收输入特征图m
in
，其在不同层级l＝{1,2,3,...,n}应用具有不同膨胀率的卷积核d＝{d1,d2,d3,...,d
n
}，即level
i
上的卷积核具有膨胀率d
i
,s212：在不同上下文卷积的级别level上，上下文卷积均输出多个特征图对于所有i∈l，每个图具有宽度w
out
和高度h
out
；s213：保持残差结构将层间的相关性结合起来，得到上下文卷积残差模块；s214：根据特征图的尺寸调整每层中上下文卷积块的级别，从而构建上下文卷积残差网络。4.根据权利要求3所述的基于注意力调制上下文空间信息的表情识别方法，其特征在于，所述步骤s21中上下文卷积的可学习参数和浮点运算的数量采用公式(1)和(2)进行计算；params＝m
in
·
k
w
·
k
h
·
m
out
ꢀꢀꢀꢀ
(1)；flops＝m
in
·
k
h
·
k
w
·
m
out
·
w
out
·
h
out
ꢀꢀꢀꢀ
(2)；其中，m
in
和m
out
表示输入和输出特征映射的数量，k
w
和k
h
表示卷积核的宽度和高度，最后，w
out
和h
out
表示输出特征映射的宽度和高度。5.根据权利要求2所述的基于注意力调制上下文空间信息的表情识别方法，其特征在于，所述步骤s22具体为：s221：将coresnet提取的特征记为x，首先使用尺寸(h,1)和(1,w)的平均池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，高度为h的第c个通道的编码输出由公式(3)计算：该公式(3)计算水平坐标方向上高度为h时的第c个通道的编码输出，沿宽度i，对输入
特征进行求和运算；宽度为w的第c个通道的编码输出由公式(4)计算：该公式(4)计算竖直坐标方向上高度为w时的第c个通道的编码输出，沿高度j，0≤j≤h对输入特征进行求和运算；s222：将步骤s221中的两个变换沿着两个空间方向进行特征聚合，返回一对方向感知注意力图；s223：将所述步骤s222中生成的一对方向感知注意力图连接起来，将其送入一个1
×
1的卷积变换函数f中；f＝δ(f([y
h
,y
w
]))
ꢀꢀꢀꢀ
(5)；其中，[，]表示沿着空间维度的拼接操作，δ为非线性的sigmoid激活函数，f∈r
c/r
×
(h w)
为水平方向和垂直方向对空间信息进行编码的中间特征映射；s224：继续沿着空间维把f分解成两个单独的张量f
h
∈r
c/r
×
h
和f
w
∈r
c/r
×
w
，对其使用两个1
×
1卷积变换f
h
和f
w
将f
h
和f
w
分别变换为相同通道数的张量，采用公式(6)和(7)；m
h
＝δ(f
h
(f
h
))
ꢀꢀꢀꢀ
(6)；m
w
＝δ(f
w
(f
w
))
ꢀꢀꢀꢀ
(7)；其中，δ为sigmoid函数，输出的m
h
和m
w
作为注意力权值，最后协调注意力模块的输出z，由公式(8)所示：其中z
c
(i,j)为输出，x
c
(i,j)为输入，和为注意力权值。6.根据权利要求2所述的基于注意力调制上下文空间信息的表情识别方法，其特征在于，所述步骤s1具体为：首先将输入图像尺寸调整为256
×
256，然后对其进行上下左右以及中心的裁剪，获得五张224
×
224的人脸图像，它们拥有相同的表情标签，再以0.5的概率对其进行水平翻转。7.根据权利要求2所述的基于注意力调制上下文空间信息的表情识别方法，其特征在于，所述步骤s3的具体步骤为：s31：通过上下文卷积残差网络coresnet对输入的人脸表情图像进行多尺度特征提取和上下文空间信息整合；s32：在每个上下文卷积残差模块中嵌入注意力模块以关注显著尺度特征，对coresnet输出特征使用协调注意力对提取的特征进行注意力加权，分别在两个空间方向上捕捉到表情信息的相关性和保留人脸关键区域信息；s33：将注意力加权后的特征进行下采样操作，对下采样后的特征进行分类处理。8.根据权利要求7所述的基于注意力调制上下文空间信息的表情识别方法，其特征在于，所述步骤s3中的上下文空间信息网络模型acsi包括依次相连的卷积层、bn层、relu层、maxpool层、四个上下文残差模块、协调注意力ca模块、全局平均池化层、fc层和softmax分类层；所述卷积层将输入的人脸表情图像经过3*3标准卷积操作提取特征；bn层对提取的特征进行批量归一化防止梯度消失或爆炸；然后所述relu层对其进行非线性激活；最大池化
层用于特征降维；四个上下文卷积模块用于从降维的特征中提取到多尺度的人脸特征；嵌入上下文卷积模块的协调注意力ca模块用于关注不同尺度的特征；所述coresnet输出特征层后的ca模块对输出特征进行注意力加权；全局平均池化层和fc层进行下采样操作，下采样后的人脸表情特征再经过softmax分类器进行分类。9.根据权利要求8所述的基于注意力调制上下文空间信息的表情识别方法，其特征在于，所述softmax分类器的输入的是一个任意实数的向量，输出的是一个向量，其中每个元素的取值在(0，1)之间，且其和为1，设有一个数组，其softmax的计算公式为式(9)：其中，x
i
表示第i个元素，softmax(x
i
)表示softmax的取值中为第i个元素的输出值，i为元素个数，即分类的类别个数；通过softmax函数就可以将多分类的输出值转换为范围在[0,1]且其和为1的概率分布。10.根据权利要求8所述的基于注意力调制上下文空间信息的表情识别方法，其特征在于，所述步骤s3中在利用人脸表情数据集对注意力调制上下文空间信息网络模型acsi训练前，采用超过1000万数据的大型人脸数据集ms-celeb-1m作为训练集，预先训练了acsi，然后分别将人脸表情数据集affectnet-7和raf_db输入预训练后的acsi模型中，经过前向传播得到输出值，根据输出值采用交叉熵损失函数计算acsi模型的损失值；交叉熵损失函数计算公式为式(10)所示：其中，p(x)是指真实的类别概率，q(x)是模型的预测类别概率；所述步骤s4根据式(10)计算得到的acsi模型的损失值进行反向传播更新网络权值，重复训练，直至达到设定的训练次数时结束训练，得到训练好的注意力调制上下文空间信息网络模型acsi模型。

技术总结
本发明公开了一种基于注意力调制上下文空间信息的表情识别方法，具体步骤为：S1：获取待训练的自然场景人脸表情图像公共数据集，对人脸表情图像进行预处理；S2：构建用于自然场景人脸表情识别的注意力调制上下文空间信息网络模型；S3：利用预处理过的人脸表情图像对上下文空间信息(ACSI)网络模型进行训练；S4：重复步骤S3的模型训练，直至达到设定的训练次数，得到训练后的深度残差网络模型，利用训练后的深度残差网络模型进行人脸表情识别。上下文卷积和协调注意力的联合可以显著提高表情识别性能。在公开的表情数据集上，与同类的算法相比，ACSI具有更高的识别性能。ACSI具有更高的识别性能。ACSI具有更高的识别性能。


技术研发人员：朱春华 李雪 周飞 郭歆莹 杨静 杨卫东 许德刚 李智 张闻强 魏蔚 梁义涛 张雪萍
受保护的技术使用者：河南工业大学
技术研发日：2022.03.29
技术公布日：2022/7/15