一种文本分类方法以及相关设备与流程

本技术涉及人工智能，具体涉及一种文本分类方法以及相关设备。

背景技术：

1、人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，ai基础理论等。

2、人工智能技术在文本分类任务场景中被广泛应用。目前，传统的文本分类方法通常是通过诸如循环神经网络(recurrent neural network,rnn)等神经网络对输入的文本数据进行处理。

3、而传统的rnn等神经网络通常只能获得最终的分类结果，神经网络的可解释性较差，难以为分类结果提供证据支持。

技术实现思路

1、本技术提供一种文本分类方法，以解决通过神经网络执行文本分类任务时，神经网络所提供的分类结果难以解释的问题。本技术还提供了相应的装置、设备、计算机可读存储介质和计算机程序产品等。

2、本技术第一方面提供一种文本分类方法，该方法包括：获取文本数据；通过神经网络中的多个信息提取子网络，获得文本数据的多个尺度的文本特征，其中，不同的信息提取子网络用于获得不同尺度的文本特征；通过每个信息提取子网络，获得多个预设类别标签中，每个预设类别标签与每个相应尺度的文本特征之间的相关性信息；根据每个信息提取子网络获得的相关性信息，获得文本数据的分类结果。

3、在第一方面中，可以通过多个信息提取子网络，有效地捕捉不同尺度的文本特征，便于根据不同尺度的文本特征进行后续的处理操作，从而提升了神经网络的性能，提升了文本分类的精度。

4、此外，传统的神经网络作为黑盒算法，通常只能输出最终的分类结果，而难以获得该最终的分类结果的分类依据，从而难以对该最终的分类结果进行解释。

5、而第一方面中，在确定该文本数据对应的目标类别之后，则可以根据每个信息提取子网络获得的相关性信息，从多个尺度的文本特征中确定出与该目标类别的相关性较高的文本特征，从而可以确定出文本数据中与该目标类别相关度较高的文本内容。此时，与该目标类别相关度较高的文本内容可以认为是该目标类别的推理依据，从而实现对文本数据的分类结果的解释，大大提升神经网络的推理结果的可解释性。

6、在第一方面的一种可能的实现方式中，每个信息提取子网络包括特征提取模块，特征提取模块用于根据文本数据，获得对应尺度的文本特征，不同信息提取子网络的特征提取模块用于获得不同尺度的文本特征。

7、该种可能的实现方式中，特征提取模块可以理解为功能模块，该特征提取模块的功能包括但不限于对文本数据的特征提取。各个特征提取模块可以为并列结构，以用于提取不同尺度的文本特征。

8、在第一方面的一种可能的实现方式中，每个特征提取模块包括至少一个卷积层，不同的特征提取模块的卷积层中的卷积核的尺寸不同。

9、在第一方面的一种可能的实现方式中，每个信息提取子网络包括注意力模块，注意力模块用于通过注意力机制，根据对应的文本特征和多个预设类别标签，获得多个预设类别标签与对应的文本特征之间的相关性信息。

10、该种可能的实现方式中，多个预设类别标签用于获得注意力机制中的查询矩阵q，而注意力模块对应的文本特征用于获得注意力机制中的索引矩阵k和值矩阵v。这样，每个注意力模块可以基于注意力机制，输出对应尺度的文本特征相对于每个预设类别标签的权重。该注意力模块的输出可以包括对应尺度的文本特征相对于每个预设类别标签的权重。通过该权重，可以反映相应文本特征对相应预设类别标签的贡献程度。

11、在第一方面的一种可能的实现方式中，该方法还包括：基于分类结果和每个信息提取子网络获得的相关性信息，从文本数据中确定与分类结果相关的第一文本实体；显示文本数据中的第一文本实体。

12、该种可能的实现方式中，可以对文本数据的分类结果在字符级别的可解释性进行证据展示，为分类结果提供证据支持。

13、在第一方面的一种可能的实现方式中，根据每个信息提取子网络获得的相关性信息，获得文本数据的分类结果，包括：根据第一图结构的信息和每个信息提取子网络获得的相关性信息，获得文本数据的分类结果，第一图结构用于描述多个预设类别标签中，每个预设类别标签与多个预设文本实体之间的关系。

14、该种可能的实现方式中，该第一图结构可以是通过训练后的图卷积网络(graphconvolutional network，gcn)从多个预设文本数据以及每个预设文本数据对应的类别标签中提取到的结构化知识。

15、第一图结构的信息中所描述的每个预设类别标签与多个预设文本实体之间的关系可以认为是每个预设类别标签对应的类别表征，具体可以描述每个预设类别标签所关联的文本实体。而将第一图结构与各个相关性信息进行融合后，再通过神经网络中的分类器等结构来获得文本数据的分类结果，可以使得神经网络可以结合文本数据对应的文本特征与预设类别标签之间的相关性信息，以及结构化的文本分类知识等多个方面的数据，准确地进行文本分类，提高了神经网络的表征能力，提升了文本分类的准确性。

16、在第一方面的一种可能的实现方式中，神经网络还包括图卷积网络，图卷积网络用于对第二图结构进行处理，获得第三图结构，第二图结构基于多个预设文本数据中的多个实体和每个预设文本数据的类别标签而得到；第一图结构是根据第三图结构而得到的。

17、该种可能的实现方式中，第二图结构中，可以初步地描述预设文本数据中实体与预设类别标签之间的关系。可见，第二图结构可以反映出基于文本数据中的实体推理出文本数据的类别的溯因过程，并且，第二图结构中，实体对应的节点与预设类别标签对应的节点之间的边可以是由实体对应的节点指向预设类别标签对应的节点，因此，该种可能的实现方式中的第二图结构可以理解为初始的溯因因果图，该初始的溯因因果图可以反映文本分类中的溯因关系，也即是反映预设文本数据中实体与预设类别标签之间的关系。

18、在获得第二图结构之后，可以通过图卷积网络对第二图结构进行处理，从而根据第二图结构进行知识融合，使得预设类别标签可以获得更多实体相关的信息，帮助神经网络有效提升性能。

19、在第一方面的一种可能的实现方式中，第一图结构是根据第三图结构和预设权重矩阵而得到的，预设权重矩阵用于对第三图结构中的多个边的权重进行调整以获得第一图结构。

20、该种可能的实现方式中，考虑到第三图结构中可能会存在一些虚假边，从而对训练过程造成干扰，导致训练后的神经网络的性能受到影响，因此，该种可能的实现方式中，通过干预操作来减少第三图结构中的虚假边，获得更为正确合理的第一图结构，从而更好地利用结构化信息来进行知识融合，以提升神经网络的性能。

21、其中，为了从第三图结构中识别出虚假边，该种可能的实现方式中，可以设置预设权重矩阵来实现对第三图结构的干预操作，以使得降低第三图结构中的虚假边的权重，使得获得的第一图结构为更为准确的溯因因果图。

22、权重矩阵的维度可以为第三图结构中的边的数量。此时，该权重矩阵中的各个元素与第三图结构中的各个边一一对应。也即是说，在该预设权重矩阵中，可以为第三图结构中的每一条边设置一个权重。第三图结构中的每一条边的权重可以与相应权重矩阵中的对应元素相乘，以实现对第三图结构中的边的权重的调整，在该相乘操作后获得的图结构即为第一图结构。

23、在第一方面的一种可能的实现方式中，该方法还包括：根据分类结果和文本数据中的至少一个第二文本实体，从第一图结构中，提取文本数据对应的目标图结构的信息，目标图结构的多个节点包括文本数据对应的目标类别和至少一个第三文本实体，至少一个第三文本实体包含于至少一个第二文本实体中；显示目标图结构。

24、该种可能的实现方式中，可以为文本数据对应的分类结果提供结构化的可解释性信息，并为实体与文本数据的目标类别之间的关系提供清晰且可视化的证据，为分类结果在实体级别的可解释性提供了证据支持和直观的可视化展示，使得文本数据的分类结果具有较好的可解释性。

25、本技术第二方面提供一种神经网络训练方法，该方法包括：根据训练数据集，对待训练的神经网络进行训练，以获得训练后的神经网络，训练数据集包括多个预设文本数据和每个预设文本数据对应的预设类别标签；其中，在训练过程的第i次迭代过程中：根据第i次迭代过程的预设文本数据，通过第i次迭代过程的神经网络中的多个信息提取子网络，获得第i次迭代过程的多个尺度的文本特征，其中，不同的信息提取子网络用于获得不同尺度的文本特征，i为正整数；通过第i次迭代过程的每个信息提取子网络，获得多个预设类别标签中，每个预设类别标签与第i次迭代过程的每个相应尺度的文本特征之间的相关性信息；根据第i次迭代过程的每个信息提取子网络获得的相关性信息，获得第i次迭代过程中文本数据的分类结果；根据第i次迭代过程对应的分类结果，确定是否完成训练。

26、在第二方面的一种可能的实现方式中，每个信息提取子网络包括特征提取模块，特征提取模块用于根据文本数据，获得对应尺度的文本特征，不同信息提取子网络的特征提取模块用于获得不同尺度的文本特征。

27、在第二方面的一种可能的实现方式中，每个特征提取模块包括至少一个卷积层，不同的特征提取模块的卷积层中的卷积核的尺寸不同。

28、在第二方面的一种可能的实现方式中，每个信息提取子网络包括注意力模块，注意力模块用于通过注意力机制，获得多个预设类别标签中，每个预设类别标签与第i次迭代过程的每个相应尺度的文本特征之间的相关性信息。

29、在第二方面的一种可能的实现方式中，根据第i次迭代过程的每个信息提取子网络获得的相关性信息，获得第i次迭代过程中文本数据的分类结果，包括：根据第i次迭代过程的每个信息提取子网络获得的相关性信息以及第i次迭代过程的第一图结构，获得第i次迭代过程中文本数据的分类结果，第i次迭代过程的第一图结构用于描述至少一个预设类别标签中的每个预设类别标签与多个预设文本数据中的多个实体之间的关系。

30、在第二方面的一种可能的实现方式中，在第i次迭代过程中，该方法还包括：根据第i次迭代过程的第二图结构，通过根据第i次迭代过程的图卷积网络，获得第i次迭代过程的第三图结构，第i次迭代过程的第二图结构基于多个预设文本数据中的多个实体和至少一个预设类别标签而得到；根据第i次迭代过程的第三图结构，获得第i次迭代过程的第一图结构。

31、该种可能的实现方式中，可以通过第二图结构反映出基于文本数据中的实体推理出文本数据的类别的溯因过程，并且，第二图结构中，实体对应的节点与预设类别标签对应的节点之间的边可以是由实体对应的节点指向预设类别标签对应的节点，因此，第二图结构可以理解为初始的溯因因果图，该初始的溯因因果图可以反映文本分类中的溯因关系，也即是反映预设文本数据中实体与预设类别标签之间的关系。

32、获得第二图结构之后，可以在训练过程的每次迭代过程中，通过gcn对第二图结构进行知识融合，并更新第二图结构中的各个节点对应的向量表征以及节点之间的边的权重，以获得gcn输出的第三图结构。

33、在第二方面的一种可能的实现方式中，第二图结构为根据多个预设文本数据的多个实体中，任意两个实体在多个预设文本数据中的相关性，以及任一实体与任一预设类别标签在训练数据集中的相关性而得到的。

34、该种可能的实现方式中，在一种示例中，任意两个实体在多个预设文本数据中的相关性可以基于任意两个实体在多个预设文本数据中的共现情况来确定，而任一实体与任一预设类别标签在训练数据集中的相关性可以基于该实体与该预设类别标签在训练数据集中的共现情况而确定。

35、在第二方面的一种可能的实现方式中，根据第i次迭代过程的第三图结构，获得第i次迭代过程的第一图结构，包括：根据第i次迭代过程的第三图结构和第i次迭代过程的权重矩阵，获得第i次迭代过程的第一图结构，第i次迭代过程的权重矩阵能够基于训练过程而更新，第i次迭代过程的权重矩阵用于调整第i次迭代过程的第三图结构中的多个边的权重以获得第i次迭代过程的第一图结构。

36、该种可能的实现方式中，可以设置一个在训练过程中可学习的权重矩阵来实现对第三图结构的干预操作，以使得降低第三图结构中的虚假边的权重，使得获得的第一图结构为更为准确的溯因因果图。

37、本技术第三方面提供一种文本分类装置，该装置具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块，例如获取模块、处理模块以及显示模块等。

38、本技术第四方面提供一种神经网络训练装置，该装置具有实现上述第二方面或第二方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块，例如训练模块等。

39、本技术第五方面提供一种计算设备集群，该计算设备集群包括至少一个计算设备，每个计算设备包括处理器和存储器，至少一个计算设备的存储器中存储有可在处理器上运行的计算机执行指令，当计算机执行指令被处理器执行时，处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法，和/或，执行如上述第二方面或第二方面任意一种可能的实现方式的方法。

40、本技术第六方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质，当计算机执行指令被计算设备集群执行时，计算设备集群执行如上述第一方面或第一方面任意一种可能的实现方式的方法，和/或，执行如上述第二方面或第二方面任意一种可能的实现方式的方法。

41、本技术第七方面提供一种存储一个或多个计算机执行指令的计算机程序产品，该计算机程序产品包含计算机执行指令，当计算机执行指令被计算设备集群执行时，计算设备集群执行如上述第一方面或第一方面任意一种可能的实现方式的方法，和/或，执行如上述第二方面或第二方面任意一种可能的实现方式的方法。

42、本技术第八方面提供了一种芯片系统，该芯片系统包括处理器，用于支持计算设备集群实现上述第一方面或第一方面任意一种可能的实现方式中所涉及的功能，和/或，实现上述第二方面或第二方面任意一种可能的实现方式中所涉及的功能。在一种可能的设计中，芯片系统还可以包括存储器，存储器用于保存必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

43、其中，第二方面至第八方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面的相关可能实现方式以及第二方面或第二方面的相关可能实现方式所带来的技术效果，此处不再赘述。