一种基于加权扩散卷积和恒等映射的关系抽取方法

本发明涉及自然语言处理、实体关系抽取，特别给出了一种基于加权扩散卷积和恒等映射的关系抽取方法。

背景技术：

1、随着互联网技术的发展，各种信息的数量呈几何式增长。而文本蕴含着丰富的信息，对文本的研究越来越被重视。知识图谱是将文本信息结构化，对现实世界的事物及其相互的关系进行描述，知识图谱被广泛应用于搜索，问答，推荐等方面。关系抽取作为知识图谱构建的一项基本任务旨在识别和确定文本中实体间的特定关系，在自然语言处理领域发挥着重要作用。近年来，使用cnn、lstm和gcn等神经网络完成re任务取得了良好的效果。tree-lstm应用解析树对句子语义进行编码以获得单词的语法表示，将线性结构的lstm推广到树结构网络拓扑。充分考虑文本和自然语言中实际句子的结构，句法特性，自然地将单词与短语结合起来，在序列上表示句子含义。gcn(“graph convolution over pruneddependency trees improves relation extraction”，in proceedings of the2018conference on empirical methods in natural language processing，2018)结合剪枝树可以将文本保持在两个实体之间可能存在关系的最短路径附近，并有效地并行收集任何依赖结构上的信息，然后在合并相关信息的同时最大程度地删除无关内容，这种增强大大提高了原始模型的性能。aggcn(“attention guided graph convolutional networksfor relation extraction”,in proceedings of the 57th annual meeting of theassociation for computational linguistics，2019)提出一种软剪枝的方法，自动学习如何选择性地关注关系提取任务中有用的相关子结构，并有效地利用相关信息，同时忽略依赖树中的不相关信息。trgcn(“research on entity relationship extraction ofchinese medical literature and application in diabetes medical literature”，journal of biomedical engineering，2021)通过将一个句子中两个实体之间的关系形成的三元组视为节点和具有共同实体和相同关系的三元关系图，再采用多层图卷积网络进行训练。中国专利申请号202111021201.6，基于图卷积的关系抽取方法，利用自然语言分析工具得到原始句子的分词结果，并利用图卷积神经网络提取特征，再根据特征获得实体对在各关系上的概率分布。

2、以上基于句法依存树和图神经网络的论文和专利主要考虑在构建句子的正确性和关系间的逻辑上改进，通过解析句子来捕获图结构中的局部信息，或者基于解析树本身对于长距离的语法关系的缩短效果来提高信息提取的效果。但是忽略了gcn本身难以处理长距离信息的问题。

技术实现思路

1、本发明针对现有关系抽取方法中图卷积本身难以处理长距离信息的问题，提出了一种基于加权扩散卷积和恒等映射的关系抽取方法，本方法使用图卷积神经网络结合扩散卷积进行剪枝依赖树的不同上下文词语的特征表示，并将权重矩阵添加单位矩阵，减少模型过度拟合，最后利用混合池化层拼接得到最终表示。

2、本发明采用的技术方案是，一种基于加权扩散卷积和恒等映射的关系抽取方法，包括以下步骤：

3、步骤一、句子进行文本预处理；

4、步骤二、基于进行文本预处理的句子，使用glove进行词向量表示；

5、步骤三、基于词向量表示，采用基于加权扩散卷积和恒等映射的网络模型抽取节点特征表示，得到句子向量和实体向量的特征表示；

6、步骤四、将抽取出句子向量和实体向量的特征表示进行混合池化操作，获取最终的关系特征；

7、步骤五、将最终得到的关系特征放入softmax，获取关系特征所属的标签和评价指标。

8、步骤一中所述句子进行文本预处理的方法为：预处理训练集中包含若干句子，记为句子s＝w1,w2…wn，n表示句子s中所有词语的个数；对训练集中的句子进行文本预处理，其中文本预处理包括实体，词性，成分分析，实体位置的标注以及对句子进行句法依存分析生成句法依存关系树，并运用剪枝策略处理依存树。

9、步骤二中所述使用glove进行词向量表示的方法为：对步骤一中预处理后的句子使用glove构成句子词法矩阵x＝x1,x2…xn。

10、步骤三中所述得到句子向量和实体向量的特征表示的方法为：

11、1)构建加权扩散卷积；

12、在加权扩散图卷积网络中，将得到的r作为邻接矩阵a的距离权重，由扩散卷积公式计算如下：

13、

14、其中，p是加权扩散卷积邻接矩阵，do是出度矩阵，di是入度矩阵，k是扩散步骤，a是邻接矩阵，r是距离加权矩阵，它的计算如下：

15、rij＝exp(-γd(vi,vj)2)

16、其中，rij是距离加权矩阵r中的元素，它是由节点间最短距离计算得到，距离加权矩阵由所有节点和目标节点的距离大小组成，通过聚合所有节点间的距离信息来计算权重分数为邻接矩阵加权，权重分数随着距离的增加而减少，其值范围为0到1，d(vi,vj)是节点vi和节点vj的非欧氏距离，γ是超参数，exp是指数函数；

17、2)基于加权扩散卷积和恒等映射的词节点特征表示：

18、将得到的加权扩散卷积邻接矩阵p引入图卷积，通过图卷积操作并结合残差神经网络得到句子和实体的输出表示h(l)，计算方式如下：

19、

20、其中，h(l)是句子和实体的输出表示，h(l-1)是图卷积层的输入，l是模型的层数，σ表示激活函数relu，w(l-1)是一个线性变换，b(l-1)是一个偏置项，iw是一个单位矩阵，αl是一个超参数；公式通过对w(l-1)正则化，保证w(l-1)的范数小，使(1-αl)iw+αlw(l-1)的奇异值将接近1，模型的收敛速度较大，信息损失得到缓解；简单的恒等映射使模型权重衰减的同时仍保持了一定的强度，在扩散图卷积中，节点聚合邻居节点特征时可以通过扩散在图上随机游走捕捉下一跳的节点信息，加强对长周期节点信息的聚合，使得每个加权扩散卷积层可以处理由不同粒度级别的扩散卷积提取的节点信息特征的空间相关性。

21、步骤四中所述获取最终的关系特征为：将整个句子的表示h(l)和两个实体的表示和送入一个混合池化层降维得到句子表示hsent和两个实体的表示hes，heo，再通过前馈神经网络得到最终的表示h。

22、步骤五中所述将最终得到的关系特征放入softmax，获取关系特征所属的标签和评价指标的方法为：将最终的表示h送入线性层，然后执行softmax操作，以获得关系特征所属的标签和评价指标。

23、本发明的有益效果如下：本发明将图卷积和加权扩散卷积相结合得到的加权扩散卷积层，使得每个加权扩散卷积层可以处理由不同粒度级别的扩散卷积分层提取的节点信息的空间相关性，可以消除了图卷积只使用直接邻居的限制，捕获下一跳的节点信息，更好地聚合长期信息，解决了其他论文和专利中图卷积难以处理长距离信息的问题。此外，受残差神经网络的启发，进一步在每个扩散卷积层之间的权重矩阵中添加了恒等映射，以确保权重矩阵的衰减随着层数的增加而自适应增加。最后，在线性层，使用softmax函数，避免了所有节点的完全连接，保持了矩阵的稀疏性，提高了模型的鲁棒性。该方法在公开的大型数据集tacred比传统的gcn模型提高了3.9％，比基于自注意力的aggcn高出了2.8％，在数据集semeval 2010task 8上比trgcn高2.5％。