情感分析模型训练方法、装置、设备及存储介质与流程

技术特征：
1.一种情感分析模型训练方法，其特征在于，所述方法包括：提取训练文本中包括真实情感标签的情感关键词，构建由所述训练文本中每个词的词嵌入向量组成的嵌入向量序列；利用所述嵌入向量序列对深度神经网络模型进行预训练，并获取预训练完成的深度神经网络模型的模型参数；基于所述模型参数利用快速梯度符号法计算所述情感关键词对应的关键扰动，基于所述关键扰动向所述嵌入向量序列添加扰动，得到对抗文本；将所述对抗文本输入至所述预训练完成的深度神经网络模型中，得到对抗预测情感标签；计算所述对抗预测情感标签与所述真实情感标签之间的对抗损失值，判断所述对抗损失值是否小于预设损失阈值；在所述对抗损失值不小于所述预设损失阈值时，调整所述预训练完成的深度神经网络模型的模型参数，并返回上述将所述对抗文本输入至所述预训练完成的深度神经网络模型中，得到对抗预测情感标签的步骤；在所述对抗损失值小于所述预设损失阈值时，确定所述预训练完成的深度神经网络模型为目标情感分析模型。2.如权利要求1所述的情感分析模型训练方法，其特征在于，所述构建由所述训练文本中每个词的词嵌入向量组成的嵌入向量序列，包括：去除所述训练文本中的停用词及标点符号，得到标准文本；对所述标准文本进行文本分词及向量转化，得到所述标准文本中每个词的词向量；利用预设的词向量嵌入模型分别对所述词向量进行前后向卷积，得到上下文信息；根据所述上下文信息获取上下文特征向量及位置嵌入向量；将所述词向量、上下文特征向量及位置向量进行向量叠加，得到所述标准文本中每个词的词嵌入向量，合并所述标准文本中每个词的词嵌入向量，得到嵌入向量序列。3.如权利要求1所述的情感分析模型训练方法，其特征在于，所述利用所述嵌入向量序列对深度神经网络模型进行预训练，包括：将所述嵌入向量序列输入至预构建的深度神经网络模型中的隐藏层，得到所述嵌入向量序列的多个中间层向量特征及最后一层向量特征；将所述最后一层向量特征与所述多个中间层向量特征进行特征融合，得到所述嵌入向量序列对应的训练文本特征；利用所述预构建的深度神经网络对所述训练文本特征及所述最后一层向量特征进行训练，直至所述深度神经网络模型收敛，得到预训练完成的深度神经网络。4.如权利要求3所述的情感分析模型训练方法，其特征在于，所述利用所述预构建的深度神经网络对所述训练文本特征及所述最后一层向量进行训练，包括：将所述训练文本特征及所述最后一层向量进行全连接，得到所述嵌入向量序列的预测情感标签；计算所述预测情感标签与所述情感关键词对应的真实情感标签之间的第一损失值；根据所述第一损失值对所述深度神经网络进行迭代训练，直至所述第一损失值小于预设预训练损失阈值。
5.如权利要求1所述的情感分析模型训练方法，其特征在于，所述基于所述模型参数利用快速梯度符号法计算所述情感关键词对应的关键扰动，基于所述关键扰动向所述嵌入向量序列添加扰动，得到对抗文本，包括：基于所述模型参数利用预设的损失函数计算所述预训练完成的深度神经网络模型的第二损失值，根据所述第二损失值计算所述损失函数梯度；利用符号函数计算所述损失函数梯度的梯度方向；将预构建的扰动因子与所述梯度方向相乘，得到所述情感关键词对应的关键扰动；利用线性递减法向所述嵌入向量序列添加所述关键扰动，得到对抗文本。6.如权利要求1所述的情感分析模型训练方法，其特征在于，所述将所述对抗文本输入至所述预训练完成的深度神经网络模型中，得到对抗预测情感标签，包括：利用所述预训练完成的深度神经网络提取所述对抗文本的特征信息；对所述特征信息进行池化，得到所述对抗文本的语义特征；利用预设的激活函数对所述语义特征进行分类，得到所述对抗文本对应的预测情感标签。7.如权利要求1所述的情感分析模型训练方法，其特征在于，所述计算所述对抗预测情感标签与所述真实情感标签之间的对抗损失值，包括：利用如下公式计算所述对抗预测情感标签与所述真实情感标签之间的对抗损失值：其中，为所述对抗损失值，为所述对抗预测情感标签的数量，为第个对抗预测情感标签，为所述对抗预测情感标签的类别数量，为所述对抗预测情感标签的其中一种类别，为符号函数，为第个对抗预测情感标签属于类别的概率,为对抗预测情感标签类别在真实情感标签中的概率。8.一种情感分析模型训练装置，其特征在于，所述装置包括：嵌入向量序列构建模块，用于提取训练文本中包括真实情感标签的情感关键词，构建由所述训练文本中每个词的词嵌入向量组成的嵌入向量序列；神经网络模型训练模块，用于利用所述嵌入向量序列对深度神经网络模型进行预训练，并获取预训练完成的深度神经网络模型的模型参数；添加扰动模块，用于基于所述模型参数利用快速梯度符号法计算所述情感关键词对应的关键扰动，基于所述关键扰动向所述嵌入向量序列添加扰动，得到对抗文本；对抗情感标签预测模块，用于将所述对抗文本输入至所述预训练完成的深度神经网络模型中，得到对抗预测情感标签；损失值计算模块，用于计算所述对抗预测情感标签与所述真实情感标签之间的对抗损失值，判断所述对抗损失值是否小于预设损失阈值；参数调整模块，用于在所述对抗损失值不小于所述预设损失阈值时，调整所述预训练完成的深度神经网络模型的参数，并返回上述将所述对抗文本输入至所述预训练完成的深度神经网络模型中，得到对抗预测情感标签的步骤。9.目标情感分析模型确定模块，用于在所述对抗损失值小于所述预设损失阈值时，确
定所述预训练完成的深度神经网络模型为目标情感分析模型。10.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的情感分析模型训练方法。11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的情感分析模型训练方法。

技术总结
本发明涉及人工智能技术，揭露了一种情感分析模型训练方法，包括：获取训练文本中包括真实情感标签的情感关键词，构建所述训练文本的嵌入向量序列；利用所述嵌入向量序列训练深度神经网络模型，并获取训练完成的神经网络模型的模型参数；基于所述模型参数向所述嵌入向量序列添加扰动，得到对抗文本；将对抗文本输入至预训练完成的深度神经网络模型中，得到预测情感标签，根据预测情感标签计算深度神经网络模型的对抗损失值，在对抗损失值小于预设损失阈值时，确定预训练完成的深度神经网络模型为目标情感分析模型。本发明还提出一种情感分析模型训练装置、电子设备以及存储介质。本发明可以情感分析模型的预测准确度。明可以情感分析模型的预测准确度。明可以情感分析模型的预测准确度。


技术研发人员：桑佳俊
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2022.10.27
技术公布日：2022/11/25