一种基于异构神经网络的文本分类方法及装置与流程

1.本发明本发明涉及自然语言处理、人工智能领域，特别是涉及一种基于异构神经网络的文本分类方法及装置。


背景技术：

2.文本分类是计算机对自然语言按照一定的分类体系进行自动化归类的过程，在很多领域有应用。随着应用场景的不断增多，分类体系大的场景越来越常见，以客服中心平台为例，商家希望通过自动文本分类的手段，实现客户来访工单的准确分类及快速记录，从而达到加快现场话务员服务响应能效，提升整体服务质量；通过提高热线整体运营数据分析的智能化程度，以优化管理。但由于业务逻辑复杂，此场景下的分类体系十分庞大，不同于传统文本分类问题。
3.分类体系大往往伴随着类别间存在着更丰富的关系，比如层级关系。这种多层级的分类体系是指，多个类别的层级之间是递进关系，一般先分为几大类，每一大类中又包含若干中类，每个中类又包含若干小类，每一小类下再分小小类，如此类推；最后，每一个文本都可以分到某一个类目下，而其中的大类、中类、小类、小小类之间存在着自上而下的逻辑关系。因此，为了充分利用这种关系，现有性能较好的方法是使用机器学习算法进行分层分类，即每层使用一个模型进行分类，下一层在上一层的分类结果上继续分类，直到得到最后的分类结果。目前这种分层分类方法取得了相对于传统文本分类方法更好的效果。


技术实现要素：

4.为克服上述现有技术存在的不足，本发明的目的在于提供一种基于异构神经网络的文本分类的实现方法及装置，其中该方法针对分类体系较大，即类别数量达到上百甚至上千规模的文本，基于异构神经网络表示学习的框架对其进行分类。
5.为达上述目的，本发明提出一种基于异构神经网络的文本分类方法，包括如下步骤：
6.步骤s0，获取文本的训练数据集合、验证数据集合及待分类的测试数据集合；
7.步骤s1，结合训练数据集合中的实际分类体系的树形结构，构建与该树形结构对应的 n层文本分类多叉树，并根据n层文本分类多叉树的结构，将训练数据集合中的训练数据分别写入到各层级对应的分类文件中，以文件命名规则r进行文件命名，将类别号的命名规则与其对应的中文类别名称保存为分类文件，方便进行读取,选择相应的分词工具对中文文本进行分词，并将分词结果通过停用词库进行筛除，然后进行特征选择保存到对应的特征文件中；
8.步骤s2，将整个文档数据集构建为一个大型文本异构神经网络，所述网络中的节点包括步骤s1得到的去除停用词后的所述单词节点、文档节点和类别节点。按照所述节点之间边的权重计算公式得到任意两个节点间的邻接权重矩阵；
9.步骤s3，设定异构神经网络分类算法参数，及参数调整，将步骤s2保存的特征文件
数据导入所述异构神经网络算法中，迭代生成训练数据的每个分类与子分类模型并保存；
10.步骤s4,依次逐条读取步骤0整理的测试数据，从第一层t＝1开始进行层级预测，直至最后一层的分类结果，所述预测公式为：
[0011][0012]
其中，p(.)为模型预测出的概率，t为层级数，t为第t层级，c
t
为第t层级的总类别数，hd为文档d的向量，h
dt
为文档d的向量的转置，h
ct
为第t层下的类别c的向量，u
t
为第t层下的类别u，h
ut
为第t层下的类别u的向量，为第t-1层的分类类别的向量。
[0013]
优选地，所述步骤s0，还包括：采用d＝{d1，d2，
…dm
}代表样本数据集，采用代表文档i的真实层级类别集合；其中，c
it
为文档i在第t层级的类别，c
it
∈(1,2，
…
，c
t
)， c
t
为第t层级的总类别数。
[0014]
优选地，所述步骤s1进一步包括：
[0015]
步骤s100，利用中文分词工具依次对分类文件的中文文本进行分词；
[0016]
步骤s101，构建停用词库，将利用构建的停用词库对步骤s100的分词结果进行筛除；
[0017]
步骤s102，对分词结果进行特征提取，并利用特征选择工具选择前m维特征作为特征库。
[0018]
优选地，于步骤s101中，所述停用词库包括但不限于数字、英文字符、副词、语气词以及与业务无关词汇，可根据实际工单文本数据内容的需要，增添、删改停用词库。
[0019]
优选地，于步骤s2中，节点x与z之间边的权重a
x,z
计算公式为：
[0020][0021]
其中，tf为单词的词频；idf为逆文档频率；其中词频是单词在文档中出现的次数，逆文档频率是包含该单词的文档数取对数后的倒数。
[0022]
优选地，于步骤s2中，使用以下公式来计算单词节点i与j之间的边权重pmi(i，j)：
[0023][0024]
[0025][0026]
其中，#w是语料库中滑动窗口的总数，#w(i，j)是同时包含单词i和j的滑动窗口的数量，#w(i)是包含单词i的语料库中滑动窗口的数量。
[0027]
优选地，于步骤s3中，读取步骤s0中整理的验证数据集以对分类算法的结果进行准确率判定，若高于给定阈值，则模型训练结束，否则返回执行步骤s2。
[0028]
优选地，首先在文本异构神经网络中显示学习到了所述第t层下的类别c的向量h
ct
和文档d的向量hd，然后将二者向量做内积再归一化得到类别的概率分布，然后将上一层级分类得到的类别向量加入进来辅助本层级的预测分类，以此类推直到最后一层的预测分类，然后将内存中保持的测试数据以及分类结果保存到结果文件中。
[0029]
优选的，于步骤s4中，使用多层级的分类损失，即将每一层级的分类损失都加权算入最终的损失，其最终的损失公式如下：
[0030][0031]
其中，l为最终损失，γ
t
为第t层级分类损失的权重，y
t
为第t层级的真实类别矩阵，d
train
为训练集，i为训练集中的样本i，p(.)为模型预测出的概率。
[0032]
为了实现上述目的，本发明还提供一种异构神经网络表示学习的多层级的中文文本分类方法的实现装置，包括：
[0033]
数据集合生成单元，用于获取文本的训练数据集合、验证数据集合及待分类的测试数据集合；
[0034]
分词及特征处理单元，用于对各分类文件的中文文本进行分词，并将分词结果通过停用词库进行筛除，并进行特征选择保存到对应的特征文件中；
[0035]
神经网络构建单元，用于结合训练数据集合中的实际分类体系的结构，构建与该结构对应的多层级文本分类异构神经网络，并根据多层级文本分类异构神经网络的结构，将训练数据集合中的训练数据分别写入到各层级对应的分类文件中；
[0036]
分类训练单元，用于设定异构神经网络分类算法参数，及参数调整，将所述分词及特征处理单元保存的特征文件数据导入所述异构神经网络分类算法中，迭代生成训练数据的每个分类与子分类模型并保存；
[0037]
预测分类单元，用于依次逐条读取所述数据集合生成单元整理的测试数据集，依次加载所述分类训练单元生成各层级模型文件，进行预测分类，并保存结果。
[0038]
本发明有益效果如下：
[0039]
1、使用异构神经网络对文本数据进行建模，利用网络在建模复杂关系上的天然优势，将单词和文档节点与类别节点共建为一个异构神经网络，同时与已有建模方法只将单词和文档当作节点不同的是，本方法将类别及类别间层级关系也加入异构神经网络中，对类别显示地学习向量表示，环节数据稀疏性问题。
[0040]
2、为了同时捕捉节点属性和网络结构信息，同时利用好标签，在构建好的异构神经网络上使用图神经网络进行节点表示的学习，考虑到节点异构性，针对不同类型的节点
使用不同的聚合函数从而让信息在网络中进行有效传递。在分类阶段，考虑到类别间的层级关系，上层的分类结果可以指导下一层级的分类，因此对于除第一层之外的层级，将上一层级分类得到的类别向量加入进来辅助本层级的分类，使得分类精度得到进一步提升。
附图说明
[0041]
图1为本发明一种基于异构神经网络的文本分类的文本异构神经网络框架；
[0042]
图2为本发明一种基于异构神经网络的文本分类的分类体系树；
[0043]
图3为本发明一种基于异构神经网络的文本分类的实现方法的步骤流程图。
具体实施方式
[0044]
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
[0045]
采用d＝{d1，d2，
…dm
}代表样本数据集，采用代表文档i的真实层级类别集合；其中，t为层级数，c
it
为文档i在第t层级的类别，c
it
∈(1,2，
…
，c
t
)，c
t
为第t层级的总类别数。此问题的最终目的是将新文档分类到正确的第t层类别上。结合附图1-3，详细阐述本发明关键技术。
[0046]
图1为本发明一种基于异构神经网络的文本分类的文本异构神经网络框架，此框架主要包括三部分，首先是文本异构网络构建，其目的在于将整个文本数据集构造为一个异构网络，其节点包括单词、文档和类别，并且由于类别数量较多，类别间存在层级关系，将类别的层级关联建模进异构网络中来，以加强信息传递；第二部分是使用异构图神经网络学习节点表示，由于节点及关系的异构性，对不同类型节点使用不同的聚合函数；第三部分是层级分类，其目的在于按照层级顺序，将文档向量与类别向量做内积得到每个类别的分数，直到得到最后一层的分类。相比于其他多模型方法，本发明所提方法使用单模型进行训练和测试，在保持准确率的同时大大降低训练和预测的开销。
[0047]
其中，文本异构神经网络中的节点包括单词节点、文档节点和类别节点。网络中的边包括单词与单词间的共现关系，单词与文档间的共现关系，文档与类别间的所属关系，并且考虑到类别间是具有层级关联的，所以还包含类别与类别间的层级关系，引入这种关联有助于网络中信息传递从而缓解数据稀疏性。为了得到全局的词共现信息，在文本数据集中的所有文档上使用一个固定大小的滑动窗口来统计，使用点态互信息(pmi)来计算两个词节点之间的权重，点态互信息是互信息的一种特例,在文本处理中可以用于计算两个词语之间的关联程度，pmi的优势在于,它可以从统计的角度来分析出词语间是否存在语义相关的情况。在具体实验中，发现使用pmi比使用词共现计数有更好的效果，其计算方式如下：
[0048][0049]
其中，#w是语料库中滑动窗口的总数，#w(i，j)是同时包含单词i和j的滑动窗口的数量，#w(i)是包含单词i的语料库中滑动窗口的数量。
[0050]
正的pmi值意味着单词的语义相关性很高，而负的pmi值表示语料库中的语义相关性很小或没有。因此，只对pmi值为正的词对之间建立边。
[0051]
本文将文档节点和单词节点之间的边的权重定义为文档中单词的词频-逆文档频率(tf-idf)，其中词频是单词在文档中出现的次数，逆文档频率是包含该单词的文档数取对数后的倒数，字词的重要性随着词频成正比增加，但同时会随着文档频率成反比下降。
[0052]
由于文档和类别节点以及类别与类别值间是所属关系，其权重没有特殊意义，因此将其定义为1。因此形式上，节点x与z之间边的权重a
x,z
计算公式为：
[0053][0054]
其中，tf为单词的词频；idf为逆文档频率；其中词频是单词在文档中出现的次数，逆文档频率是包含该单词的文档数取对数后的倒数。
[0055]
由于类别数量较多，类别间存在层级关系，通过将整个文本数据集构造为一个异构神经网络，尤其是将类别的层级关联建模进异构神经网络中来，可以加强信息传递；
[0056]
构建异构神经网络后，接着要设计异构图神经网络算法，对节点表示进行学习。
[0057]
本方法对节点的向量进行随机初始化，这些参数是跟随整个网络一起训练的。对于单词节点，它的邻居节点只有文档节点，对于文档节点，它的邻居节点有单词节点和类别节点，但由于类别节点属于指导网络学习的标签信息，所以在进行信息聚合时不能将类别节点的消息传递进来，否则会发生信息泄露。因此对于单词节点和类别节点，它们的邻居互相只有对方，并且由于他们的边上是带有权重的，可以采用gcn的聚合公式：
[0058][0059]
在公式3中，l表示卷积的层数，h为节点向量，w为转移矩阵，σ为激活函数，h
l 1
和h
l
分别为第l 1层和第l层的节点向量，w
l
为第l层转移矩阵向量，是规范化的对称邻接矩阵，a是关键技术一所介绍的邻接矩阵，d是度矩阵。然而，权重矩阵a中所包含的信息是基于统计信息的重要程度，而缺乏内容信息的交互，比如具有相似含义的词语在统计上可能联系并不紧密，但在内容上是具有紧密联系的，因此，本文考虑在统计信息的基础上进一步捕捉节点内容的交互。具体的，对于节点i和节点j,使用注意力机制计算邻居节点的内容重要程度权重，计算方式如下：
[0060][0061]
其中，a
t
是权重向量，表示向量拼接操作，leakyrelu是激活函数，ni为节点i的邻居节点，hi、hj和hk分别为节点i、节点j和节点k的向量，w1为第一训练参数矩阵。
[0062]
接着，使用统计权重与内容权重相加得到邻居节点的权重，再与节点自身向量拼接后聚合得到节点在卷积层l 1的向量表示：
[0063][0064]hil 1
和h
il
分别为第l 1层和第l层节点i的向量，h
jl
为第l层节点j的向量，w
2l
为第 2训练参数矩阵。
[0065]
对于类别节点的聚合方法不同于对单词和文档节点的聚合，将层级关系建模进文本异构神经网络的原因在于，通过类别的层级关联传递信息可以缓解数据稀疏性，比如，“建设交通类”包括“城管执法”和“交通执法”两个子类别，数据集中“城管执法”类别占比高，“交通执法”类别占比很低，因此前者的向量相比后者训练得更充分，而由于二者在图中的父类别都是“建设交通类”，所以“交通执法”类可以获得父类传递来的信息，模型只需要在这个信息的基础上进一步学习细粒度的知识，从而降低了模型学习的难度。对于t层的类别节点，本文将其邻居节点分为t-1层和t 1层两部分，对这两部分分别进行平均聚合后，按比例进行聚合得到邻居向量，再与节点自身向量拼接后经过就激活函数得到节点在卷积层l 1的向量表示，以下为聚合公式：
[0066][0067]
其中，h
it-1
代表节点i的t-1层级的向量，h
it 1
代表节点i的t 1层级的向量，hv代表节点v的向量，h
ni
代表i的邻居节点的聚合向量，n
t-1
(i)代表节点i的t-1层级的邻居节点， n
t 1
(i)代表节点i的t 1层级的邻居节点，w
3l
为第3训练参数矩阵，mean(.)代表取平均的操作，β为传入比例。β用于控制父类别信息与子类别信息传入的比例，β越大，子类别信息传入的越多，模型将更着重学习更细粒度的节点表示，反之，模型将传递更多父类别信息，解决数据量少的类别面临的数据稀疏性问题。
[0068]
图2为本发明一种基于异构神经网络的文本分类的分类体系树，是一种层级分类方法，目前，大多数文本分类方法都是学习到文档表示后，使用softmax分类器进行分类，这种方式是对类别的向量做隐式学习，而本文在文本异构神经网络中显示学习到了类别向量h
ct
和文档向量hd，所以可以将二者向量做内积再归一化得到类别的概率分布，考虑到类别
间的层级关系，上层的分类结果可以指导下一层级的分类，因此对于除第一层之外的层级，将上一层级分类得到的类别向量加入进来辅助本层级的分类，
[0069][0070]
其中，p()为模型预测出的概率，t为层级数，t为第t层级，c
t
为第t层级的总类别数，hd为文档d的向量，h
dt
为文档d的向量的转置，h
ct
为第t层下的类别c的向量，u
t
为第t层下的类别u，h
ut
为第t层下的类别u的向量，为第t-1层的分类类别的向量。
[0071]
但由于最后一层类别的分类空间非常大，如果只计算最后一层分类的损失，依然不能充分利用层级结构的优势，因此，本文使用多层级的分类损失，即将每一层级的分类损失都加权算入最终的损失，公式如下：
[0072][0073]
其中，l为最终损失，γ
t
为第t层级分类损失的权重，y
t
为第t层级的真实类别矩阵，d
train
为训练集，i为训练集中的样本i，p(.)为模型预测出的概率。
[0074]
图3为本发明一种基于异构神经网络的文本分类的实现方法的步骤流程图，包括如下步骤：
[0075]
步骤s0，获取文本的训练数据集合、验证数据集合及待分类的测试数据集合；采用 d＝{d1，d2，
…dm
}代表样本数据集，采用代表文档i的真实层级类别集合；其中，c
it
为文档i在第t层级的类别，c
it
∈(1,2，
…
，c
t
)，c
t
为第t层级的总类别数。
[0076]
步骤s1，结合训练数据集合中的实际分类体系的树形结构，构建与该树形结构对应的n层文本分类多叉树，并根据n层文本分类多叉树的结构，将训练数据集合中的训练数据分别写入到各层级对应的分类文件中，以文件命名规则r进行文件命名，将类别号的命名规则与其对应的中文类别名称保存为分类文件，方便进行读取,选择相应的分词工具对中文文本进行分词，并将分词结果通过停用词库进行筛除，然后进行特征选择保存到对应的特征文件中，其中，步骤s1具体包括：
[0077]
步骤s100，利用中文分词工具依次对分类文件的中文文本进行分词；
[0078]
步骤s101，构建停用词库，所述停用词库包括但不限于数字、英文字符、副词、语气词以及与业务无关词汇，可根据实际工单文本数据内容的需要，增添、删改停用词库，将利用构建的停用词库对步骤s100的分词结果进行筛除；
[0079]
步骤s102，对分词结果进行特征提取，并利用特征选择工具选择前m维特征作为特征库。
[0080]
步骤s2，将整个文档数据集构建为一个大型文本异构神经网络，所述网络中的节
点包括步骤s1得到的去除停用词后的所述单词节点、文档节点和类别节点。使用点态互信息 (pmi)来计算两个词节点之间的权重(公式1)，并根据节点i和节点j之间的边的权重定义公式(公式2)，计算得到任意两个节点间的邻接权重矩阵；
[0081]
步骤s3，设定异构神经网络分类算法参数，及参数调整，将步骤s1保存的特征文件数据导入所述异构神经网络算法中，读取步骤s0中整理的验证数据集对分类算法的结果进行准确率判定，若高于给定阈值，则模型训练结束，否则返回执行步骤s2，进而迭代生成训练数据的每个分类与子分类模型并保存。
[0082]
步骤s4,依次逐条读取步骤s0整理的测试数据，首先在文本异构神经网络中显示学习到了所述第t层下的类别c的向量h
ct
和文档d的向量hd，然后将二者向量做内积再归一化得到类别的概率分布(公式7)；然后考虑到类别间的层级关系，将上一层级分类得到的类别向量加入进来辅助本层级的预测分类；从t＝1开始一直到最后一层的预测分类完毕，然后将内存中保持的测试数据以及分类结果保存到结果文件中；使用多层级的分类损失，即将每一层级的分类损失都加权算入最终的损失，其最终的损失公式如公式8。
[0083]
为了实现上述目的，本发明还提供一种异构神经网络表示学习的多层级的中文文本分类方法的实现装置，包括：
[0084]
数据集合生成单元201，用于获取文本的训练数据集合st、验证数据集合v及待分类的测试数据集合u。
[0085]
在本发明具体实施例中，以呼叫中心用户投诉工单文本为例，数据集合生成单元201 获取工单文本的训练数据集合st、验证数据集合v及待分类的测试数据集合u。
[0086]
分词及特征处理单元202，用于对各分类文件的中文文本进行分词，并将分词结果通过停用词库进行筛除，并进行特征选择保存到对应的特征文件中；
[0087]
具体地，分词及特征处理单元202进一步地包括：
[0088]
分词模块，用于利用中文分词工具依次对分类文件的中文文本进行分词。例如利用jieba中文分词工具依次对分类文件的中文文本进行分词。
[0089]
停用词库构建模块，用于构建停用词库，将利用构建的停用词库对步骤分词模块的分词结果进行筛除。在本发明具体实施例中，所述停用词库包括数字和英文字符和副词、语气词以及与业务无关词汇等，并可根据实际工单文本数据内容的需要，增添、删改停用词库。
[0090]
特征选取模块，用于对分词结果进行特征提取，并利用特征选择工具选择前m维特征作为特征库，m值根据模型结果自行设置。
[0091]
神经网络构建单元203，用于结合训练数据集合st中的实际分类体系的结构，构建与该结构对应的多层级文本分类异构神经网络，并根据多层级文本分类异构神经网络的结构，将训练数据集合中的训练数据分别写入到各层级对应的分类文件中；
[0092]
分类训练单元204，用于设定异构神经网络分类算法参数，及参数调整，将分词及特征处理单元202保存的特征文件数据导入所述分类算法中，迭代生成训练数据的每个分类与子分类模型并保存。读取数据集合生成单元201中整理的验证数据集v进行准确率判定，若高于给定阈值δ，则模型训练结束，否则返回执行神经网络构建单元203；
[0093]
优选地，本发明之一种多层级多类别的中文文本分类的实现装置，还包括：
[0094]
预测分类单元205，用于依次逐条读取数据集合生成单元201整理的测试数据集u，依次加载分类训练单元204生成各层级模型文件，进行预测分类，并保存结果。具体地说，首先加载分类算法对应的第一层级模型文件，进行第一层级的预测分类，并保存；然后加载相应的第二层级模型文件进行第二层级预测分类，并保存；然后加载相应的第三层级的模型文件预测分类并保存；一直到相应的第n层级的模型预测分类完毕，然后将内存中保存的将内存中保存测试数据以及分类结果保存到结果文件中。
[0095]
实施例
[0096]
在本实施例中，以呼叫中心用户投诉工单文本分类为例，该呼叫中心用户投诉分类的实现方法如下：
[0097]
步骤s0，获取工单文本的训练数据集合100000条，验证数据集合20000条，及待分类的测试数据集合4000条。
[0098]
步骤s1，结合训练数据集合中的实际分类体系的树形结构，构建与该树形结构对应的 n层文本分类多叉树，并根据n层文本分类多叉树的结构，将训练数据集合中的训练数据分别写入到各层级对应的分类文件中，以文件命名规则r进行文件命名，将类别号的命名规则与其对应的中文类别名称保存为分类文件，方便进行读取,选择相应的分词工具对中文文本进行分词，并将分词结果通过停用词库进行筛除，然后进行特征选择保存到对应的特征文件中，具体地如下：
[0099]
步骤s100，利用jieba中文分词工具依次对该文件的中文文本进行分词。
[0100]
步骤s102，停用词库构建，根据业务的需要，增添、删改停用词库，停用词库包括数字和英文字符和副词、语气词以及与业务无关词汇等。
[0101]
步骤s2，整理呼叫中心工单文本数据的训练数据与其对应的四层级分类，其中第一层级共有9个类别，第二层级有63个类别，第三层级有226个类别，第四层级有676个类别(实施例中，根据业务需要，引用的例子为4层级的类目结构)。将整个文本数据集构建为一个大型文本异构网络。网络中的节点包括步骤1得到的去除停用词后的单词节点、文档节点和类别节点。按照公式2计算任意两个节点间的邻接矩阵权重。
[0102]
步骤s3，设定算法参数在步骤0整理的训练数据集进行训练，首先对每个节点的向量进行随机初始化，这些参数是跟随整个网络一起训练的。对于单词节点和文档节点，使用公式5进行聚合，对于类别节点，是用公式6进行聚合，使用如公式8所示的函数作为模型的损失函数。读取步骤0整理的验证数据集进行准确率判定，若验证数据集不再提升，则模型训练结束，否则继续训练。
[0103]
步骤s4，依次逐条读取步骤0整理的测试数据，使用公式7，从t＝1开始进行层级预测，直至得到第4层的分类结果。
[0104]
综上所述，本发明公开了一种基于异构神经网络的文本分类方法及装置，借助异构网络建模多层级多类别的文本，利用异构网络表示学习方法学习节点表示，最终实现准确率较高的文本分类，本发明可应用于在线客服工单系统中，能够实现对客户来访工单的精准分类，达到加快现场话务员服务响应能效，提升整体服务质量，提高热线整体运营数据分析的智能化程度，优化管理的效果。
[0105]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，
本发明的权利保护范围，应如权利要求书所列。