一种中文文本中基于词性融合的对抗训练的防御方法

技术特征：
1.一种中文文本中基于词性融合的对抗训练的防御方法，其特征在于，所述方法包括采集原始中文文本数据集，采用多种词级的对抗攻击对所述中文文本数据集进行处理，并形成对抗样本数据集；将中文文本数据集与对抗样本数据集进行混合并构成训练集；采用中文分词工具从所述训练集中提取出中文文本词语的语义信息和词性信息，以不同的词嵌入方式分别将其编码成语义特征和词性特征，并将所述语义特征和所述词性特征拼接组成高级联合特征，将所述高级联合特征作为神经网络模型的输入数据，进行对抗训练，以最小化对抗损失为目标，训练得到可防御词级攻击的强化模型。2.根据权利要求1所述的一种中文文本中基于词性融合的对抗训练的防御方法，其特征在于，所述提取出中文文本的语义信息和词性信息包括使用训练完成的中文分词工具包对中文文本句子进行分词处理，将句子分割成若干个神经网络模型可以直接处理的词语，并将词语作为语义信息，对词语进行词性标注，并将词性标注信息作为词性信息。3.根据权利要求2所述的一种中文文本中基于词性融合的对抗训练的防御方法，其特征在于，语义信息的词嵌入方式包括在所述训练集上去除停用词后，使用分词器在指定数据集上生成编码字典，并统计出数据集语料库中词频相关信息，形成语义信息和向量的对应关系，从而将文本转换成向量表示，并采用补零法将句子设置为固定长度的语义特征。4.根据权利要求2所述的一种中文文本中基于词性融合的对抗训练的防御方法，其特征在于，词性信息的词嵌入方式包括构建词性与数字一一对应的词性编码转换表，将每个词性信息都按照词性编码转换表转换成数值作为词性特征，运用补零法将词性特征表示成语义特征的长度。5.根据权利要求1所述的一种中文文本中基于词性融合的对抗训练的防御方法，其特征在于，将所述语义特征和所述词性特征拼接组成高级联合特征包括将一维语义特征和一维词性特征分别以横向融合和纵向融合的方式对齐拼接形成高级联合特征，其中所述横向融合表示为将一维语义特征和一维词性特征进行横向拼接，形成一维高级联合特征；所述纵向融合表示为将一维语义特征和一维词性特征进行纵向拼接，形成二维高级联合特征。6.根据权利要求1所述的一种中文文本中基于词性融合的对抗训练的防御方法，其特征在于，对抗训练的过程包括对抗样本生成和模型训练两个步骤：在样本生成阶段，采用多种词级攻击策略攻击原始神经网络模型，并生成混合的对抗样本数据集；在模型训练阶段，采用自适应方法迭代抽取部分对抗样本数据集替换原始训练集中对应中文文本数据集，并训练神经网络模型。7.根据权利要求1或6所述的一种中文文本中基于词性融合的对抗训练的防御方法，其特征在于，所述进行对抗训练的过程包括：利用当前抽取出的原始样本和对抗样本，以最大化分类损失为目标，即尽可能让当前参数的神经网络模型对原始样本和对抗样本的分类预测结果出错；以最小化分布损失为目标，即尽可能让当前参数的神经网络模型对原始样本和对抗样本的分类预测结果一致；通过对抗训练的方式来更新神经网络模型的参数θ；按自适应方式更新对抗样本的抽取比例，更新对抗样本利用更新后的原始样本和对抗样本，优化神经网络模型的参数，在不同抽取过程中，以最大化神经网络模型对对抗样本识别的准确率为目标，通过反向传播更新抽取比例，并输出最优抽取比例所对应的最优神经网络模型。8.根据权利要求7所述的一种中文文本中基于词性融合的对抗训练的防御方法，其特
征在于，最优神经网络模型的目标函数表示为：其中，表示采用对抗训练集中对抗样本x
′
对应的识别准确率，表示原始中文文本训练集，表示对抗样本训练集，θ表示神经网络模型参数，l(x δx,y；θ)表示原始样本x经过对抗扰动δx生成对抗样本并经过预测得到分类结果y所对应的损失值，表示通过模型最小化损失值来更新模型参数θ，ω表示扰动空间，x表示原始样本，δx表示对抗扰动，x
′
表示对抗样本。9.根据权利要求7所述的一种中文文本中基于词性融合的对抗训练的防御方法，其特征在于，所述通过反向传播更新抽取比例包括以当前抽取比例所对应的对抗损失进行梯度运算，结合梯度运算的结果对神经网络模型的模型参数进行反向传播，直至神经网络模型收敛，输出当前最优抽取比例下的模型参数。

技术总结
本发明请求公开一种对抗样本词级攻击的防御方法，属于计算机技术领域；该方法利用分词工具提取中文文本的词性信息，根据不同的词嵌入方式分别将文本的语义信息和词性信息转化为语义特征和词性特征，再将两者拼接形成高联合表征作为神经网络模型的输入数据，以此加强文本中词语间的关联，有助于解决中文对抗样本中基于人类视觉局限性的常见词级攻击，即包括同音字、象形字替换所引起的未登录词现象对句子结构的破坏问题，能够提高模型对于词级攻击对抗样本识别的准确率，可以广泛的应用于现有中文自然语言处理相关任务的神经网络模型。另外，用以高级联合表征为形式的的输入样本对模型进行对抗训练提升模型的鲁棒性。模型进行对抗训练提升模型的鲁棒性。模型进行对抗训练提升模型的鲁棒性。


技术研发人员：陈龙 谢荣鹏 黄嘉成
受保护的技术使用者：重庆邮电大学
技术研发日：2022.03.31
技术公布日：2022/8/5