一种基于情感线索检测与推理的对话情感分析系统及方法

本发明涉及情感计算领域，特别是涉及一种基于情感线索检测与推理的自动识别语句对应情感类别的分析系统和方法，以自动识别对话中说话人所表达情感类别的分析方法。

背景技术：

1、在当今迅猛发展的人工智能领域，人机对话作为其核心组成部分，引领了一场技术和社会变革。在这一进程中，情感智能的研究和应用日益引起关注。对话情感分析作为情感智能的重要方向，在实际应用中展现出巨大潜力。

2、除了早期基于情感词典的关键词匹配方法[1]以及基于特征工程的统计机器学习方法[2]外，现有的方法主要是基于神经网络模型[3-7]。这些用于对话情感分析任务的模型通过采用端到端的策略，分析和理解对话中的文本内容，自动感知并识别语句中所蕴涵的情感状态。这些聚焦于对话文本情感分析任务、有着不同架构设计的神经网络模型大致可以分为以下几类，即基于transformer的模型、基于gnn的模型、基于rnn的模型以及基于这几种网络架构的混合模型。

3、然而，最近针对对话情感分析任务的研究逐渐遇到了瓶颈。究其原因，一是目前主流对话情感分析数据集无法摆脱的质量问题[8]。这是由于情感固有的主观属性，不同的标注人员往往会给同一个语句分配不同的情感标签，目前解决该问题的办法是增加标注人员数量并采取多数投票的策略来确定最终的标签，但这种方法可能忽略正确但是非主流的情感标签，进而限制模型理解细腻情感的能力。二是模型过于聚焦对话情感分析任务而导致的过拟合问题。当前研究将重点放在语句情感特征向量的表示上，在现有的神经网络模型基础上，通过组合重构增大网络模型的复杂度，以此来获取具有强大情感表征能力的对话情感分析模型。但是，这种方法容易受到数据集固有质量的影响，模型性能的提高往往不是因为模型真正拥有了强大的情感理解能力，而是由于在特定的数据集上出现的过拟合问题。

4、为了解决上述问题，提出了一种来源于对话情感分析数据集真实标注场景下确定语句情感类别的方法，即基于情感线索检测与推理的对话情感分析方法。

5、参考文献：

6、[1]ojamaa b,jokinen k,muischenk k.sentiment analysis onconversational texts[c].in proceedings of the 20th nordic conference ofcomputational linguistics(nodalida 2015),2015:233–237.

7、[2]de bruyne l,de clercq o,hoste v.lt3at semeval-2018task 1:aclassifier chain to detect emotions in tweets[c].in proceedings of the 12thinternational workshop on semantic evaluation,2018:123–127.

8、[3]ghosal d,majumder n,gelbukh a,et al.cosmic:commonsense knowledgefor emotion identification in conversations[j].arxiv preprint arxiv:2010.02795,2020.

9、[4]majumder n,poria s,hazarika d,et al.dialoguernn:an attentive rnnfor emotion detection in conversations[c].in proceedings of the aaaiconference on artificial intelligence,2019:6818–6825.

10、[5]ghosal d,majumder n,poria s,et al.dialoguegcn:agraph convolutionalneural network for emotion recognition in conversation[j].arxiv preprintarxiv:1908.11540,2019.

11、[6]shen w,wu s,yang y,et al.directed acyclic graph network forconversational emotion recognition[j].arxiv preprint arxiv:2105.12907,2021.

12、[7]li j,lin z,fu p,et al.past,present,and future:conversationalemotion recognition through structural modeling of psychological knowledge[c].in findings of the association for computational linguistics:emnlp 2021,2021:1204–1214.

13、[8]lian z,sun l,xu m,et al.explainable multimodal emotion reasoning[j].arxiv preprint arxiv:2306.15401,2023.

技术实现思路

1、本发明的目的是为了克服现有技术中的不足，提供一种基于情感线索检测与推理的对话情感分析系统及方法。

2、本发明的目的是通过以下技术方案实现的：

3、一种基于情感线索检测与推理的对话情感分析系统，包括数据处理模块、直观检索模块、有意识推理模块；

4、所述数据处理模块包括语句表征获取模块和因果线索获取模块；在语句表征获取模块中首先利用预训练语言模型获取语句与上下文无关的语义表示，在此基础上，再通过循环神经网络获取语句与上下文相关的语义表示；在因果线索获取模块中通过用于自动构建知识图谱的常识转换器模型comet提取日常常识推理图集atomic中与语句相关的因果线索；

5、所述直观检索模块，用于检索对话语境中与语句所表达情感相关的因果线索，将数据处理模块中提取的因果线索区分为自身原因线索和他人原因线索，从情感原因检测角度，识别对话语境中的自身原因语句和他人原因语句，并对自身原因语句和他人原因语句对语句中所表达的情感的影响程度进行统一评估；

6、所述有意识推理模块，用于整合对话语境中与语句所表达情感相关的因果线索，以推断出语句所表达的情感类别；通过将情感线索、对话历史语句以及相应的说话人信息处理成情感线索导向的提示，利用预训练语言模型的推理能力整合情感线索，对语句的情感类别做出推断。

7、本发明还提供基于上述对话情感分析系统进行对话情感分析的方法包括：

8、s1.对于语句ui＝[wi,1,wi,2,…,wi,m]，其中wi,m表示一段对话中第i条语句ui对应的第m个标记，将标记[cls]拼接到语句ui标记序列的开始，输入至预训练语言模型roberta中，将输出中对应标记[cls]的特征向量作为语句级表示ci，计算公式如下：

9、ci＝roberta([cls],wi,1,wi,2,…,wi,m)

10、s2.将一段对话中的语句级表示ci依次输入lstm神经网络中迭代获取会话级表示hi，计算公式如下：

11、hi＝lstm(ci,hi-1)

12、s3.使用日常常识推理图集atomic中六种类型的常识知识，将xeffect、xreact和xwant归类为自身原因线索将oeffect、oreact和owant归类为他人原因线索将语句ui和关系类型用标记[mask]拼接起来，输入用于自动构建知识图谱的常识转换器模型comet，获取对应关系类型的因果线索；

13、s4.对于自身原因语句，利用自身原因线索获取情感原因影响加权分数，公式如下：

14、

15、其中，i和j表示对话中语句的索引，fq(x)、fk(x)、fe(x)都是线性变换；dh是查询向量fq(hi)的维度；确保仅探究自身原因语句，并保证自身原因语句均来自历史语句，符合因果关系的逻辑，其计算公式如下：

16、

17、其中，函数s将语句的索引映射为相应说话人的索引；

18、对于他人原因语句，利用他人原因线索获取情感原因影响加权分数，公式如下：

19、

20、

21、对自身情感原因影响加权分数和他人情感原因影响加权分数归一化处理，获取历史语句情感原因影响相对值计算公式如下：

22、

23、s5.构建情感原因线索导向的提示，利用预训练语言模型建模推理过程；原始提示语为：

24、e([s(ui)may feel[mask]])

25、其中，s(ui)用于获取一段对话中第i条语句ui对应的说话人；使用聚合的情感原因线索替换提示语[mask]位置的嵌入，情感原因线索导向提示语promptemot_clues如下：

26、

27、其中，聚合的情感原因线索计算公式如下：

28、

29、其中表示对话中第j条语句uj对第i条语句ui的情感原因影响相对值，hj表示语句uj的会话级表示；

30、接着，分别构造预训练语言模型编码器和解码器对应语句ui的输入，其形式分别如下：

31、ii＝promptemot_clues,e([[sep]s(ui-w),ui-w,...,*,s(ui),ui,*])

32、其中，ii表示编码器的输入，promptemot_clues表示语句ui对应的情感原因线索导向提示语，sep表示分隔标记，s(ui)表示对话中第i条语句ui对应的说话人，w表示考虑的历史语句的数目，需要依据具体的对话数据集进一步调整；

33、pi＝[s(ui)feels[mask]]

34、其中，pi表示编码器的输入，s(ui)表示对话中第i条语句ui对应的说话人；

35、将解码器输出中对应[mask]的向量作为语句ui最终的情感特征表示hi′，计算公式如下：

36、h′i＝bart-decoder(e(pi),bart-encoder(ii))

37、其中，bart-encoder和bart-decoder分别表示预训练语言模型的编码器和解码器；

38、最后，获取语句的情感类别的计算公式如下：

39、

40、其中，we和be表示对语句ui的情感特征表示h′i进行线性变换的参数，表示语句的情感类别。

41、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现对话情感分析的方法的步骤。

42、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现对话情感分析的方法的步骤。

43、与现有技术相比，本发明的技术方案所带来的有益效果是：

44、1.先前的对话情感分析方法针对数据集给定的情感类别，利用深度学习的方法进行情感分类，由于情感的主观性，不同的标注人员可能赋予同一句话不同的情感类别，导致现有的方法可靠性较低。本方法通过考虑主观情感的客观原因，来检测对话中的情感线索，进而丰富对话情感分析系统识别语句所表达情感的判别依据，提升对话情感分析方法的准确性。

45、2.先前基于语句的语义相似度来检测情感线索的方法由于缺乏显式的推理路径信息，难以基于准确的因果关系来识别情感原因。本方法通过从结构化的日常常识推理图集atomic中提取与语句相对应的推理常识用作缺失的推理路径信息，并将其归类为他人推理路径信息和自身推理路径信息。从情感原因检测角度，将历史语句特征表示和与之相对应的推理路径信息特征表示拼接后与语句的特征表示进行相似度计算，获取的分数作为历史语句和原因语句的因果关联程度值。在这一过程中，根据与语句对应说话人的异同，历史语句被区分为他人原因语句和自身原因语句，这决定了在检测过程中是使用他人推理路径信息还是自身推理路径信息。

46、3.先前基于传统神经网络的对话情感分析方法由于缺乏推理能力的支持，难以基于对话上下文和外部常识中的情感线索来推断情感类别。本方法通过注意力机制将历史原因语句整合为情感原因导向的提示，将该提示与包括说话人信息的对话历史语句及语句拼接后作为输入，利用预训练语言模型的推理能力，结合上下文信息对情感原因进行整合推断，最终获取语句的情感类别。

47、4.通过考虑对话中导致情感产生的原因，利用预训练语言模型对情感线索进行推理，与现有的对话情感分析方法进行比较和分析，证明了本方法能够摆脱数据集标注质量的影响，提高模型描述细腻情感的能力，缓解模型在特定数据集上的过拟合问题，提升模型的泛化性能。

48、5.本发明系统和方法能够自动识别对话语句中所表达的情感类别。并充分研究了对话情感分析模型在利用日常常识推理图集atomic来考虑对话中导致情绪产生的原因并通过预训练语言模型基于情感线索进行推断后，模型情感理解能力、可解释性以及泛化能力的提升。