基于自蒸馏Transformer的人脸属性识别方法及系统

技术特征：
1.一种基于自蒸馏transformer的人脸属性识别方法，其特征在于，包括以下步骤：a.对获取的人脸属性数据图片进行预处理；b.将预处理后的数据输入到transformer中，利用transformer促进不同层级之间特征的信息交互，以避免在网络迭代的过程中忽略重要信息；c.将transformer进行分组，将每组transformer的编码器所提取的tokens中的分类token用于自蒸馏模块；d.将transformer中最后一个编码器组输出的分类token归一化后输入到全连接层用于人脸属性识别；e.将自蒸馏模块和人脸属性识别模块进行联合训练；f.利用训练得到的网络模型进行人脸属性识别。2.根据权利要求1所述的基于自蒸馏transformer的人脸属性识别方法，其特征在于，所述步骤a具体包括以下步骤：a1.分别获取人脸图片和人脸属性识别标签；a2.对于每个待输入的人脸图像将其划分为一系列扁平化的图像块其中n表示图像块的数量，p是块的大小，c表示图像块的通道数；然后，通过可训练的线性投影将图像块映射到d维嵌入空间中；将分类token与图像块扁平化后所映射的tokens拼接一起；每个token对应的位置信息被嵌入到所有的tokens中；经过预处理后，该图像的嵌入信息表示为：其中，代表第j个扁平化后的图像块。3.根据权利要求1所述的基于自蒸馏transformer的人脸属性识别方法，其特征在于，所述步骤b的具体实现方法为：为了避免在迭代过程中编码器忽略浅层中的信息，在transformer的每组编码器中，每层的编码器保留前一个编码器的多头自注意力的信息键和值共同输入到时区自注意力中用于不同编码器块中的信息交互；假设transformer由g个编码器组构成，每个编码器组包含个堆叠的编码器，其中l表示transformer中编码器的总数；每个编码器由一个时区自注意力和一个多层感知机构成；则第l层的输出表示为：z
l
′
＝zsa(ln(z
l-1
),k
l-1
,v
l-1
) z
l-1
,l＝1,...,lz
l
＝mlp(ln(z
l
′
)) z
l
′
,l＝1,...,l其中，ln(
·
)表示层次归一化操作；z
l
′
和z
l
是编码器中的隐藏特征；k
l-1
和v
l-1
分别是第l-1个编码器获得的键和值；所述时区自注意力在第l个编码器中的时区自注意力也接收查询q
l
、键k
l
和值v
l
，第l层的编码器中的时区自注意力包含第l-1层的键k
l-1
和值v
l-1
，以增加不同层信息的交互，使得时区自注意力可以学习不同时区的特征信息之间的关系；第l个编码器中的时区自注意力表示为：zsa(ln(z
l-1
),k
l-1
,v
l-1
)＝concat(head0,...,head
n
)w
o
其中为一个可学习的线性映射器，concat(
·
)为一个拼接操作；并且，head
i
表示为：其中和是head
i
的线性映射器；attn(
·
)的自注意力操作按照以下公式计算：其中4.根据权利要求1所述的基于自蒸馏transformer的人脸属性识别方法，其特征在于，所述步骤c的具体实现方法为：采用基于分类token的自蒸馏机制，以促进不同编码器组之间重要信息的交互；所述基于分类token的自蒸馏机制从最后一个编码器组获得的分类token的信息蒸馏到其他浅层的编码器组的分类token中；transformer中总共l个编码器被分成g组，每组有个编码器，第j组的编码器的输出为令其中表示的第0个token；使用最后一组的编码器得到的分类token，即作为教师来影响从第g组生成的分类token，即其中g＝{1,...,g-1}；则基于kullback-leibler散度kl(
·
)的自蒸馏损失函数描述如下：其中τ是温度参数，被设置为g＝4和τ＝2。5.根据权利要求1所述的基于自蒸馏transformer的人脸属性识别方法，其特征在于，所述步骤d的具体实现方法为：transformer最后一个编码器组的分类token，即被输入层次归一化ln(
·
)和全连接层fc(
·
)以获得人脸属性的预测值给定人脸属性的预测值和真实值y，人脸属性识别的损失计算如下：
其中，m是训练图像的数量，a是人脸属性的数量。6.根据权利要求5所述的基于自蒸馏transformer的人脸属性识别方法，其特征在于，所述步骤e的具体实现方法为：将自蒸馏模块和人脸属性识别模块进行联合训练，表示如下：l
total
＝l
fac
λ
·
l
self
其中λ是自蒸馏损失l
self
的超参数。7.一种基于自蒸馏transformer的人脸属性识别系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-6任一项所述的方法步骤。

技术总结
本发明涉及一种基于自蒸馏Transformer的人脸属性识别方法及系统，该方法包括以下步骤：A.对获取的人脸属性数据图片进行预处理；B.将预处理后的数据输入到Transformer中，利用Transformer促进不同层级之间特征的信息交互，以避免在网络迭代的过程中忽略重要信息；C.将Transformer进行分组，将每组Transformer的编码器所提取的Tokens中的分类Token用于自蒸馏模块；D.将Transformer中最后一个编码器组输出的分类Token归一化后输入到全连接层用于人脸属性识别；E.将自蒸馏模块和人脸属性识别模块进行联合训练；F.利用训练得到的网络模型进行人脸属性识别。该方法及系统增强了不同编码器块之间的信息交互，以避免在迭代过程中忘记编码器块中的信息，同时提高人脸属性识别的性能。的性能。的性能。


技术研发人员：陈思 朱雪岩 王大寒 朱顺痣 吴芸
受保护的技术使用者：厦门理工学院
技术研发日：2022.08.18
技术公布日：2022/11/11