一种基于注意力的边增强图卷积网络的事件检测方法

本发明涉及数据处理，具体涉及一种基于注意力的边增强图卷积网络的事件检测方法。

背景技术：

1、随着互联网技术的飞速发展和数字信息时代的到来，目前进入了一个数据爆炸的时代。社交媒体、新闻网站和各种在线平台每天都在产生海量的文本数据。这些文本数据中蕴含着丰富的信息，对于信息抽取、知识挖掘和智能决策等多个领域具有非常重要的价值。然而，鉴于数据量的巨大且持续增长，传统的手工处理方式已无法满足人们对于快速获取与分析信息的需求。这一现状促进了自然语言处理(natural language processing，nlp)技术的发展与应用。自然语言处理，作为计算机科学与人工智能领域的一个关键分支，旨在使计算机能够自动理解、分析和生成人类语言，从而高效地挖掘和利用文本数据中的有价值信息及知识。

2、如何从大量的非结构化数据中迅速而准确地提取出用户所需的信息，对事件抽取技术提出了更高的要求。事件抽取的目标是从自然语言文本中提取事件信息，通过结构化形式呈现。事件抽取(event extraction)旨在从文本中自动识别特定事件的发生，并提取与这些事件相关的详细信息，为后续的信息处理、构建知识图谱、决策支持等提供了基础。事件抽取任务包含两个子任务：事件检测和事件论元抽取。

3、事件检测旨在从文本中识别特定事件的发生，涉及到事件的识别、分类和信息提取等一系列过程，主要工作是确定文本句子中表示事件发生的关键词或短语，这些关键或短语被称为触发词。

4、当前的事件检测方法主要依赖于循环神经网络(rnn)和图神经网络(gcn)这两类模型。最新的基于图卷积网络的方法通过将句子转化为图，同时建模语法结构和依赖标签以充分利用依赖树来进一步提高事件检测的性能。但是会忽略节点之间本身存在的关系，不能根据节点之间的重要性给每条边分配不同的权重，从而导致事件检测的准确性较差。

技术实现思路

1、为了解决事件检测的准确性较差的技术问题，本发明提出了一种基于注意力的边增强图卷积网络的事件检测方法。

2、本发明提供了一种基于注意力的边增强图卷积网络的事件检测方法，该方法包括：

3、构建嵌入层，获取句子中每个单词的词向量和类型向量，并通过拼接操作，对词向量和类型向量进行拼接，获取句子的向量；

4、根据获取的句子的向量，通过双向长短期记忆网络，捕获每个单词的上下文表示；

5、基于单词的上下文表示，将类型化依赖标签信息融合特征向量中，并确定连接两端节点的边的重要性；

6、基于连接两端节点的边的重要性，采用自注意力机制获取句子的全局特征向量；

7、采用门控注意力机制动态融合图卷积网络向量和全局特征向量，获取综合特征向量，并对综合特征向量进行触发词的识别和分类。

8、可选地，所述获取句子中每个单词的词向量和类型向量，并通过拼接操作，对词向量和类型向量进行拼接，获取句子的向量，包括：

9、通过语料库预训练得到skip-gram模型，使用预训练得到的skip-gram模型，生成词嵌入，通过预测给定句子s＝(s1，s2，…，si，…，sn)中第i个单词si的上下文来学习单词的向量表示si；

10、为句子中的实体按照bio标注模式进行注解；为每种实体类型创建一个向量嵌入表，其中，嵌入表预先设置了每种实体类型的向量表示；对于标注的每个实体，根据其标签类型在嵌入表中查找对应的实体类型嵌入ei，将每种实体类型标签映射到一个实值向量；

11、对词嵌入si和实体类型嵌入ei进行拼接，作为对应单词的描述信息xi＝[si：ei]，用于构成句子的向量。

12、可选地，所述根据获取的句子的向量，通过双向长短期记忆网络，捕获每个单词的上下文表示，包括：

13、对于每个位置i，正向lstm产生一个隐藏状态反向lstm产生一个隐藏状态这两个隐藏状态拼接来形成单词si的上下文表示

14、可选地，所述基于单词的上下文表示，将类型化依赖标签信息融合特征向量中，并确定连接两端节点的边的重要性，包括：

15、在图卷积网络中加入边的表示向量使用一个多维邻接张量捕捉边缘信息边表示矩阵其中，vi，j表示节点i和节点j之间的边；vi，j，m表示vi，j在第m个维度上的值；模型中的第l层节点的向量更新利用邻接张量聚合了每个节点周围邻居的信息对应的公式为：

16、

17、其中，(t:d*n*n)指的是根据维度顺序进行的矩阵转置，w是可学习参数，re l u()是激活函数；

18、模型中的第l层边向量更新基于节点的上下文动态更新依赖标签的表示对应的公式为：

19、

20、其中，操作将对应元素逐个相加，wu为可学习参数；

21、通过一种新的基于注意力权重的边更新策略，确定一个权重值，该权重值表征边在整个图结构中的重要性；得到边的权重后，模型根据该权重更新边向量对应的公式为：

22、

23、其中，wc是可学习参数，经过l次迭代得到最后的输出表示xi＝[x1，x2，…，xn]。

24、可选地，所述基于连接两端节点的边的重要性，采用自注意力机制获取句子的全局特征向量，包括：

25、自注意力通过计算每对向量之间相互关注度以计算序列表示，实现了序列中不同位置元素间的联系，自注意力的形式对应的公式为：

26、

27、其中，q为查询矩阵，k为键矩阵，v为值矩阵；

28、计算每个单词的注意力值aij对应的公式为：

29、

30、计算aij和之间的矩阵相乘得到整个句子的最终表示hi＝[h1，h2，…，hn]对应的公式为：

31、

32、其中，向量hi代表了第i个单词的最终表示。

33、可选地，所述采用门控注意力机制动态融合图卷积网络向量和全局特征向量，获取综合特征向量，并对综合特征向量进行触发词的识别和分类，包括：

34、通过门控注意力机制动态融合基于注意力的边增强图卷积网络模型获取的向量和自注意力机制获取的向量，获取句子的综合特征向量；计算一个权重门参数gi对应的公式为：

35、gi＝σ(wg[xi,hi]+bg)

36、其中，wg是一个门控权重矩阵，bg是偏置项，σ为sigmoid激活函数；

37、通过使用gi和1-gi作为权重进行加权求得到句子最终的表示对应的公式为：

38、fi＝gi⊙xi+(1-gi)⊙hi

39、利用前馈神经网络，得到触发词的预测对应的公式为：

40、pt＝softmax(ffnn(fi)

41、采用偏差损失函数j(θ)加强触发词标签对模型的影响对应的公式为：

42、

43、其中，ns为句子数量，ni为第i句的单词数量，α是偏置权重；i(o)是一个用于区别是否被标记为标签“o”的函数对应的公式为：

44、本发明具有如下有益效果：

45、本发明的一种基于注意力的边增强图卷积网络的事件检测方法，融合了类型标签信息，充分利用边的信息。通过注意力权重分配机制将边两端节点的特征来对边的重要性进行计算评分，并依据这个评分来更新边向量，动态权衡不同边的贡献率，加强了模型的表示能力和对关键信息的捕捉能力。此外，引入自注意力机制捕获文本的全局信息，作为对局部特征理解的有效补充。最后，采用门控注意力机制高效的融合文本的全局信息和局部信息。本发明有效地提高了事件检测的准确度。