基于提示学习的事件因果关系识别方法及系统

本发明属于自然语言处理，具体是涉及到一种基于提示学习的事件因果关系识别方法及系统。

背景技术：

1、事件因果关系识别(eci)是一项从文本中识别出事件间因果关系的任务，在自然语言处理(nlp)领域中，eci是一项能够支撑许多nlp应用的重要任务，例如机器阅读理解、过程抽取、未来事件预测等。但在eci的研究过程中，存在因果表达形式的多样性以及训练数据稀缺的困难挑战。通常可以通过引入端到端的神经网络模型实现全局自主学习以解决因果表达形式的多样性问题，然而由于现存eci数据集的规模较小，这并不足以训练出一个能够彻底理解事件上下文内容的神经网络。

2、因此现有技术中可以运用训练语言模型(plm)解决上述问题，并且启发于人在推理因果时能够结合现存的与两个事件相关的知识，在plm模型的基础上考虑引入外部知识，改善了因果关系的识别效果。但是，plm模型的预训练和微调阶段之间会存在鸿沟问题，也即在微调阶段输入到plm模型中的eci相关的数据的底层特征与模型在预训练阶段从数据中学到的最终的顶层特征并不相同。所以现有技术中在引入外部知识的时候没有考虑知识的结构化信息损失问题，也未考虑过知识偏差的问题，导致在最终的事件因果关系识别过程中容易出现误差较大的识别结果。

技术实现思路

1、本发明提供一种基于提示学习的事件因果关系识别方法及系统，以解决识别事件间因果关系的任务中识别结果误差较大的问题。

2、第一方面，本发明提供一种基于提示学习的事件因果关系识别方法，该方法包括如下步骤：

3、获取需要进行事件因果关系识别的目标文本实例，所述目标文本实例中包含由第一事件表示和第二事件表示组成的目标事件对，所述第一事件表示和所述第二事件表示均带有提示信息；

4、利用编码器和基于强化理解上下文表示的提示学习单元构建提示学习模块，并将所述目标文本实例输入至所述提示学习模块，得到所述目标文本实例的基本内容表示向量、综合提示学习表示向量和所述目标文本实例的初始事件因果关系识别结果；

5、根据所述初始事件因果关系识别结果，将所述目标文本实例中存在因果关系的所有关联事件对存储于预设的因果事件记忆空间；

6、利用预设的知识图谱和知识库分别查找补全所述第一事件表示和所述第二事件表示的知识节点，并构建所述第一事件表示对应的第一知识网和所述第二事件表示对应的第二知识网；

7、通过预设的图卷积神经网络分别对所述第一知识网和所述第二知识网进行卷积计算，得到所述第一事件表示对应的第一外部知识编码向量和所述第二事件表示对应的第二外部知识编码向量，拼接所述第一外部知识编码向量和所述第二外部知识编码向量得到所述目标事件对的综合知识表示向量；

8、基于预设的转换矩阵并通过线性交互融合方法将所述基本内容表示向量和所述综合知识表示向量进行去偏融合，将去偏融合后的表示向量与所述综合提示学习表示向量拼接得到融合表示向量；

9、根据所述目标事件对与所述因果事件记忆空间中各个所述关联事件对之间的事件相似度，结合所述目标事件对与所述因果事件记忆空间分别构建所述第一事件表示和所述第二事件表示对应的第一因果相似记忆图和第二因果相似记忆图；

10、结合所述第一因果相似记忆图和所述第二因果相似记忆图，并采用信息聚合方式微调所述融合表示向量中所述第一事件表示和所述第二事件表示对应的表示向量部分，得到微调后的最终融合表示向量；

11、将所述最终融合表示向量输入至预设的二分类器中，获取所述目标文本实例的最终事件因果关系识别结果。

12、可选的，所述基于强化理解上下文表示的提示学习单元包括第一提示学习单元和第二提示学习单元，所述第一提示学习单元用于建立所述目标文本实例中所述目标事件对与上下文表示之间的映射关系，所述第二提示学习单元用于推断所述目标文本实例中表示事件因果关系的线索词，并用于分析所述目标文本实例中每个事件表示的语义作用。

13、可选的，所述利用编码器和基于强化理解上下文表示的提示学习单元构建提示学习模块，并将所述目标文本实例输入至所述提示学习模块，得到所述目标文本实例的基本内容表示向量、综合提示学习表示向量和所述目标文本实例的初始事件因果关系识别结果包括如下步骤：

14、结合所述第一提示学习单元、所述第二提示学习单元和编码器构建提示学习模块；

15、在所述目标文本实例中插入预设的起始标签和结束标签后，将所述目标文本实例输入至所述提示学习模块；

16、通过所述编码器将所述目标文本实例编码为基本内容表示向量；

17、通过所述第一提示学习单元处理所述目标文本实例，得到包含掩码区域的第一提示学习实例；

18、利用预设的因果结果集合限制所述掩码区域中所有事件表示的取值范围；

19、通过所述第一提示学习单元构建所述因果结果集合与预设的因果标签之间的因果映射关系，并根据所述因果映射关系计算得到所述掩码区域中所有事件表示的因果关系取值结果，将所述掩码区域中所有事件表示的因果关系取值结果作为所述目标文本实例的初始事件因果关系识别结果；

20、通过所述第二提示学习单元处理所述目标文本实例，得到第二提示学习实例；

21、将所述第一提示学习实例和所述第二提示学习实例拼接为综合提示学习实例，并通过所述编码器将所述综合提示学习实例编码为综合提示学习表示向量。

22、可选的，所述利用预设的知识图谱和知识库分别查找补全所述第一事件表示和所述第二事件表示的知识节点，并构建所述第一事件表示对应的第一知识网和所述第二事件表示对应的第二知识网包括如下步骤：

23、利用预设的知识图谱查找所述第一事件表示和所述第二事件表示的知识节点；

24、若存在利用所述知识图谱未能查找到的知识节点，则利用所述知识库补全所述第一事件表示和/或所述第二事件表示的知识节点；

25、结合所述第一事件表示和所述第一事件表示对应的所有知识节点构建第一知识网，并根据所述第一知识网中各节点的连接关系构建第一邻接矩阵；

26、结合所述第二事件表示和所述第二事件表示对应的所有知识节点构建第二知识网，并根据所述第二知识网中各节点的连接关系构建第二邻接矩阵。

27、可选的，所述基于预设的转换矩阵并通过线性交互融合方法将所述基本内容表示向量和所述综合知识表示向量进行去偏融合，将去偏融合后的表示向量与所述综合提示学习表示向量拼接得到融合表示向量包括如下步骤：

28、基于预设的转换矩阵并结合所述基本内容表示向量和所述综合知识表示向量计算得到亲和矩阵；

29、基于所述亲和矩阵并使用线性变换方法将所述基本内容表示向量和所述综合知识表示向量分别进行去偏融合，得到去偏基本内容表示向量和去偏综合知识表示向量；

30、将所述去偏基本内容表示向量、所述去偏综合知识表示向量和所述综合提示学习表示向量拼接为融合表示向量。

31、可选的，所述亲和矩阵的计算公式如下：

32、

33、式中：t表示所述亲和矩阵，表示矩阵转置，表示所述基本内容表示向量，w表示所述转换矩阵，表示所述综合知识表示向量，表示所述第一外部知识编码向量，表示所述第二外部知识编码向量；

34、所述去偏基本内容表示向量的计算公式如下：

35、

36、式中：表示所述去偏基本内容表示向量；

37、所述去偏综合知识表示向量的计算公式如下：

38、

39、式中：表示所述去偏综合知识表示向量。

40、可选的，所述转换矩阵包含多个可学习参数，所述方法还包括如下步骤：

41、将所述第一知识网和所述第二知识网组合为综合知识网，并将所述综合知识网文本化为知识网表示；

42、结合所述知识网表示和所述去偏综合知识表示向量构建基于所述目标文本实例的带有知识提示的事件上下文训练序列；

43、通过所述事件上下文训练序列预测所述综合知识网中的知识节点，并在预测过程中优化所有所述可学习参数。

44、可选的，各个所述关联事件对中均包含第一关联事件表示和第二关联事件表示，所述根据所述目标事件对与所述因果事件记忆空间中各个所述关联事件对之间的事件相似度，结合所述目标事件对与所述因果事件记忆空间分别构建所述第一事件表示和所述第二事件表示对应的第一因果相似记忆图和第二因果相似记忆图包括如下步骤：

45、计算所述第一事件表示与所述因果事件记忆空间中各个所述第一关联事件表示之间的第一事件相似度；

46、按照所述第一事件相似度由大至小的顺序对所述因果事件记忆空间中各个所述第一关联事件表示进行排序；

47、根据排序后的顺序从所述因果事件记忆空间中读取预设数量的所述第一关联事件表示；

48、将所述第一事件表示作为第一根节点，将所有所述第一关联事件表示作为第一子节点，以所述第一根节点与各个所述第一子节点之间的所述第一事件相似度作为第一边权重构建所述第一根节点与各个所述第一子节点之间的节点边，形成第一因果相似记忆图；

49、计算所述第二事件表示与所述因果事件记忆空间中各个所述第二关联事件表示之间的第二事件相似度；

50、按照所述第二事件相似度由大至小的顺序对所述因果事件记忆空间中各个所述第二关联事件表示进行排序；

51、根据排序后的顺序从所述因果事件记忆空间中读取预设数量的所述第二关联事件表示；

52、将所述第二事件表示作为第二根节点，将所有所述第二关联事件表示作为第二子节点，以所述第二根节点与各个所述第二子节点之间的所述第二事件相似度作为第二边权重构建所述第二根节点与各个所述第二子节点之间的节点边，形成第二因果相似记忆图。

53、可选的，所述结合所述第一因果相似记忆图和所述第二因果相似记忆图，并采用信息聚合方式微调所述融合表示向量中所述第一事件表示和所述第二事件表示对应的表示向量部分，得到微调后的最终融合表示向量包括如下步骤：

54、基于所述第一边权重计算得到所述第一因果相似记忆图的第一对称权重矩阵；

55、基于所述第二边权重计算得到所述第二因果相似记忆图的第二对称权重矩阵；

56、结合所述第一因果相似记忆图和所述第一对称权重矩阵计算得到所述第一事件表示对应的第一微调表示向量，将所述第一微调表示向量替换所述融合表示向量中所述第一事件表示对应的表示向量部分；

57、结合所述第二因果相似记忆图和所述第二对称权重矩阵计算得到所述第二事件表示对应的第二微调表示向量，将所述第二微调表示向量替换所述融合表示向量中所述第二事件表示对应的表示向量部分，得到微调后的最终融合表示向量。

58、第二方面，本发明还提供一种基于提示学习的事件因果关系识别系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中所述的基于提示学习的事件因果关系识别方法。

59、本发明的有益效果是：

60、本发明所提供的基于提示学习的事件因果关系识别方法主要提供了一个带有知识融合和因果记忆的提示学习框架，它可以通过整合外部知识和内部因果记忆来增强事件的内容和表现。为了解决外部知识引入中的偏差，本发明设计了一种交互式融合机制，与传统方法相比，该机制具有很强的事件因果关系识别增强效果，从而可以在引入外部知识的同时考虑知识的结构化信息损失问题。另外，基于嵌入因果关系的已知事件来构建因果记忆空间以调整事件表示，以减轻知识表示和事件表示之间的语义不齐问题，最终起到提升事件因果关系识别准确率的效果。