一种基于多元素超图门控注意力网络的文档分类方法

本申请属于文档分类，尤其涉及一种基于多元素超图门控注意力网络的文档分类方法。

背景技术：

1、网络出版物的快速增长导致了每日发布的文献数量愈发庞大，有效组织与管理文档数据变得至关重要。在这种背景下，文档分类已经成为确保信息检索有效性和提高知识管理效率不可或缺的一环，并在各个领域引起了广泛关注，比如垃圾邮件检测、新闻推荐和法律文件分类等领域。

2、在过去，解决文档分类任务主要由人工提取文档特征，并根据特征结构进行分类。涉及的方法包含词袋模型、词频-逆文档频率(tf-idf)等。然而，这些方法依赖于劳动密集型的特征工程，且难以全面刻画文档语义。近十年来，深度学习的研究，进一步催生了更有效的方法，例如word2vec、rnns和cnns，这些方法能够高效地利用文档中上下文信息。除了这些方法外，基于图的文档分类方法在近年来表现出了优越的性能，引起了广泛关注。

3、相较于现有的公开的文件中，都是通过捕捉文字间的序列信息来进行文档分类，其中基于图的文档分类方法能够通过捕捉文档的内生拓扑结构与单词间的交互关系，从而实现精准分类；具体而言，基于图的文档分类方法将文档中的每个单词作为节点，单词之间的关系构成边来刻画文档拓扑结构；随后，使用图神经网络来捕捉单词之间的交互关系进行分类。

4、尽管基于图的方法在文档分类任务中取得了一定成效，但仍然存在诸多问题。首先，受限于图模型固有的排列不变性，目前基于图的文档分类方法无法有效捕捉文本中的单词位置信息。例如：“小猫追狗”和“小狗追猫”，由于单词位置的不同，传达了不同的语义。而此类语句在先前的图文档分类模型中被视为相同语句，无法被准确分析与表示。此外，一份文档中存在多种元素，例如，单词，句子，段落，全文内容。目前的方法只建模了单词元素，不能准确刻画多种文档元素间的全面信息，导致在全面刻画文档信息方面仍有局限性，进而制约了模型的语义理解能力。

技术实现思路

1、为解决上述现有的基于图的方法大多只涉及对文档的简化处理，不能捕捉多种元素之间的丰富信息的问题，以及没有有效利用单词的位置信息，制约了模型理解语义的能力的问题，本发明公开了一种新的多元素超图结构，该结构能够全面刻画文档元素间的拓扑信息，并将单词位置信息纳入文档建模。并公开了一种多元素超图门控注意力网络的文档分类方法，能够有效学习和捕捉文档语义，实现准确的文档分类。克服先前方法在刻画文档结构与捕捉文档语义方面的局限性。

2、一种基于多元素超图门控注意力网络的文档分类方法，其中多元素超图门控注意力网络包括多元素同质化模块、超图门控注意力模块和分块读出模块，所述基于多元素超图门控注意力网络的文档分类方法，具体步骤包括以下：

3、步骤1：使用分词器处理输入文档，将每个单词视为节点，提取每个单词的特征作为节点特征，将每个句子视为一个句子超边，根据句子中所有节点的节点特征生成句子超边特征，将整个文档视为一个内容超边，根据文档中所有节点的节点特征生成内容超边特征，将不同句子中相同位置的单词视为一个位置超边，并以位置嵌入作为位置超边特征；

4、步骤2：在多元素同质化模块中，位置超边特征、句子超边特征和内容超边特征通过全连接层进行转换，转换后内容超边特征和转换后句子超边特征作为同质化内容超边特征和同质化句子超边特征输出，转换后位置超边特征与所有转换后内容超边特征和转换后句子超边特征进行交互，得到同质化位置超边特征输出；

5、步骤3：将各同质化超边特征输入超图门控注意力模块，执行节点级注意力机制、门控融合机制和超边级注意力机制，获得超边表征和节点表征；

6、步骤4：在分块读出模块中，融合节点表征和超边表征得到文档表示，然后通过一个全连接层，最终得到文档分类结果。

7、进一步地，所述步骤1中的句子超边特征为句子超边中所有节点的节点特征的均值。

8、进一步地，所述步骤1中的内容超边特征为内容超边中所有节点的节点特征的均值。

9、进一步地，所述步骤2中转换后位置超边特征与所有转换后内容超边特征和转换后句子超边特征进行交互，得到同质化位置超边特征，包括：

10、步骤21：转换后位置超边特征与各转换后内容超边特征或转换后句子超边特征进行哈达玛乘积，得到对应的位置向量；

11、步骤22：将位置向量拼接成位置张量，通过均值池化操作，得到同质化位置超边特征。

12、进一步的，所述步骤3中将各同质化超边特征输入超图门控注意力模块，执行节点级注意力机制、门控融合机制和超边级注意力机制，获得超边表征和节点表征，包括：

13、步骤31:执行节点级注意力机制，将节点特征和同质化各超边特征通过全连接层，然后经过第一注意力层，得到中间超边表征；

14、步骤32:执行门控融合机制，融合同质化超边特征和中间超边表征，得到超边表征；

15、步骤33:执行超边级注意力机制，将节点特征通过全连接层后，与超边表征经过第二注意力层，得到节点表征。

16、进一步地，所述步骤4：:融合节点表征和超边表征得到文档表示，包括：

17、步骤41：分别通过全连接层将节点表征或句子超边表征映射到低维空间；然后通过注意力池化操作，以得到对应的特征；

18、步骤42：通过全连接层将内容超边表征转换至与其他两个表征相同的维度；

19、步骤43：将注意力池化操作后输出的特征与内容超边表征经过全连接层后的特征融合，得到文档表示。

20、本发明的有益效果：

21、本申请提出的一种基于多元素超图门控注意力网络的文档分类方法，提出了一种新的多元素超图，不仅能够捕获文档中诸多元素信息，还能整合具体的单词位置信息，实现了对文档语义与单词拓扑结构的全面建模。提出了一种新的基于图的文档分类方法(mhgat)，由多元素同质化模块、超图门控注意力模块和分块读出模块组成。通过融合捕捉文档中的单词位置与多种文档元素中蕴含的信息，该方法能够实现准确的文档分类。实验证明，mhgat在文档分类任务中优于其他先进方法，并且适用于实际领域。

技术特征：

1.一种基于多元素超图门控注意力网络的文档分类方法，其特征在于，多元素超图门控注意力网络包括多元素同质化模块、超图门控注意力模块和分块读出模块，其中基于多元素超图门控注意力网络的文档分类方法，具体包括以下步骤：

2.根据权利要求1所述的一种基于多元素超图门控注意力网络的文档分类方法，其特征在于，所述步骤1中：所述句子超边特征为句子超边中所有节点的节点特征的均值。

3.根据权利要求1所述的基于多元素超图门控注意力网络的文档分类方法，其特征在于，所述步骤1中：所述内容超边特征为内容超边中所有节点的节点特征的均值。

4.根据权利要求1所述的基于多元素超图门控注意力网络的文档分类方法，其特征在于，所述步骤2中：所述转换后位置超边特征与所有转换后内容超边特征和转换后句子超边特征进行交互，得到同质化位置超边特征，包括：

5.根据权利要求1所述的基于多元素超图门控注意力网络的文档分类方法，其特征在于，所述步骤3中将各同质化超边特征输入超图门控注意力模块，执行节点级注意力机制、门控融合机制和超边级注意力机制，获得超边表征和节点表征，包括：

6.根据权利要求1所述的基于多元素超图门控注意力网络的文档分类方法，其特征在于，所述步骤4中融合节点表征和超边表征得到文档表示，包括：

技术总结本发明公开了一种基于多元素超图门控注意力网络的文档分类方法，首先构建新的多元素超图，能够捕获文档中诸多元素信息，还能整合具体的单词位置信息。在多元素同质化模块中，位置超边特征与所有内容超边特征和句子超边特征进行交互，得到同质化超边特征，将各同质化超边特征输入超图门控注意力模块，执行节点级注意力机制、门控融合机制和超边级注意力机制，获得超边表征和节点表征。最后在分块读出模块中，融合节点表征和超边表征得到文档表示，然后通过一个全连接层，最终得到文档分类结果。本发明能够有效缓解异质性并捕捉异质超边信息间的深层交互，获得准确的分类结果。技术研发人员：尹威,金意伦受保护的技术使用者：东南大学技术研发日：技术公布日：2024/7/29