一种基于Bert多层信息融合与双曲神经网络的情感分类方法

本发明涉及一种神经网络文本分类方法，尤其涉及一种基于bert多层信息融合与双曲神经网络的情感分类方法，属于自然语言处理中的文本情感分析。

背景技术：

1、微博作为互联网时代的一个主要社交网络平台，已经吸引了超过3亿的用户群体。它允许用户通过网页和应用客户端分享生活点滴、表达个人看法以及与朋友进行互动。在庞大的微博数据海洋中蕴含着众多表达了用户个人情感态度的内容，有效识别并分析这些数据中的情感对于政府进行舆情分析、网络监控至关重要，同时也对各企事业单位在关注话题的舆论导向上提供了支持。因此，探索如何从复杂的微博信息中精确挖掘出情感，成为了一个有意义的研究方向。舆情网络是典型的社会复杂网络，具有复杂系统的特征，所以需要通过对复杂网络的表示学习，由于现实世界的网络通常表现出非欧氏结构，有近似树状的层次结构，有的还满足幂律分布等，这就导致了在传统的欧氏空间嵌入会出现失真和维度爆炸的问题，而且现有的微博文本分类多是采用一种隐含狄利克雷分布模型和卷积神经网络模型进行微博文本分类，而且属性信息缺失，网络拓扑结构信息及节点属性信息学习单一，深层语义理解不足等问题，提出一套基于bert多层信息融合与双曲神经网络的情感分类方法。

技术实现思路

1、本发明的目的是提供一种基于bert多层信息融合与双曲神经网络的情感分类方法，将预处理后的微博文本数据输入bert嵌入层进行词嵌入，转变成向量的形式。将文本向量进入bert多层信息特征提取层进行特征提取，进一步挖掘语义信息，通过注意力机制来将bert中各个隐藏层中的cls向量进行融合，将融合后的特征向量输入到双曲空间中挖掘深层层次信息，在双曲空间中完成特征聚合，实现高质量的情感分类。本发明特别适用于处理社会舆论网络等复杂网络的情感分类和公共舆论监控，解决传统方法在高维、非欧几里得结构数据空间中的分类难题，提高对网络数据中微博文本的表示和分类能力。

2、本发明的目的是通过如下技术方案实现的。

3、本发明公开的一种基于bert多层信息融合与双曲神经网络的情感分类方法，包括以下步骤：

4、步骤一：采集指定话题下的微博文本，对文本数据进行预处理，并对微博文本的情感类别进行标注，得到标注后的微博文本数据集，将微博文本数据集作为后续步骤二用于bert模型的输入。

5、步骤1.1：采集指定话题下的微博文本。

6、步骤1.2：通过预设规范信息清洗原则对步骤1.1采集的微博文本数据进行数据清洗，去除无关信息，得到规范信息的微博文本。预设规范信息清洗原则包括清洗滤除文本长度小于预设长度阈值的微博文本、只包含表情无文字信息的微博文本。

7、步骤1.3：对预处理后的微博文本进行情感类别标注，得到标注后的微博文本数据集，将微博文本数据集作为后续步骤二用于bert模型的输入。

8、步骤二：对于步骤一得到的微博文本数据集中的微博文本，利用bert模型多层提取微博文本语义特征。首先构造预训练bert模型输入，得到bert模型中隐藏层的输出，利用注意力机制权重分配算法将bert模型中隐藏层输出中的cls向量按权重分配成全局句向量xc，将全局句向量xc作为步骤三的输入。

9、步骤2.1：构造预训练模型bert输入：初始文本序列其中为文本c中的第i个词汇，在文本起始处和结尾处分别插入“[cls]”以及“[sep]”标志符，转换为序列将该输入送入bert模型，得到bert模型中第l层隐藏层的输出：

10、步骤2.2：由步骤2.1得到的ic-l通过自注意力机制聚合ic-l中的[cls]c-l向量得到全局句向量表示xc：

11、xc＝xc-1+…+xc-l,xc-l＝softmax{[cls]c-l×al}       (1)

12、其中al是能够训练的参数，xc是多层xc-l相加的和。

13、步骤三：利用指数映射将步骤二得到每条微博文本对应的全局句向量xe映射到双曲空间，在欧氏空间e与双曲空间h之间转换信息，保留双曲空间的双曲结构特征x0,h作为步骤四的输入。

14、将处理后的数据映射到双曲空间，利用指数映射在欧氏空间与双曲空间之间转换信息，同时保留了双曲空间的层次结构特征。

15、

16、其中，x0,e表示欧氏空间中的一个特征，hd,k是具有常数负曲率-1/k(k>0)的d维双曲球面，表示在hd,k中作为参考点使用的原点，用来执行切空间操作。

17、步骤四：将双曲特征向量x0,h输入到双曲神经网络中，在双曲神经网络完成层次信息提取。双曲神经网络通过特征转换、特征聚合以及非线性激活三个步骤实现节点信息的更新。在情感分类层利用softmax函数将双曲神经网络输出的值转化为概率值，所述概率值代表不同情感类别的可能性，用于执行情感分类。选取概率最高的情感作为预测的分类结果。

18、步骤4.1：以步骤四得到的双曲特征x0,h为初始输入，在双曲神经神经网路中的进行特征转换得到双曲特征特征转换公式如式(3)。

19、

20、其中l为对应的层数，wl与bl是可训练的参数，k是曲率。

21、步骤4.2：输入步骤6.1的双曲特征对节点进行特征聚合，在聚合操作中，每个将自己的信息与其他节点的信息进行聚合，从而更新自己的表示，得到特征聚合后的节点特征聚合表示双曲空间的特征聚合公式如式(4)。

22、

23、wi,j计算如公式(5)所示。

24、

25、步骤4.3：对聚合后得到的特征进行非线性激活，引入非线性变换以增强双曲神经网络模型的学习能力，提高双曲神经网络模型的表达能力的同时改善模型的收敛速度。在双曲空间中进行非线性激活时，双曲神经网络通过双曲空间与切线空间之间的映射操作，使双曲神经网络能够在保持双曲几何性质的同时，实现对图数据的非线性处理，双曲空间下的非线性激活公式如式(6)所示。

26、

27、步骤4.4：通过利用softmax函数，情感分类层将双曲神经网络输出的xl+1′转化为位于[0,1]范围内的概率值，所述概率值代表不同情感类别的可能性，用于执行情感分类。选取概率最高的情感作为预测的分类结果。

28、

29、其中，x为双曲神经网络步骤4.3输出的双曲向量，wa为参数矩阵，ba为偏置项。

30、步骤五：结合损失函数训练步骤四构建的双曲神经网络，得到训练好的双曲神经网络。

31、损失函数采用交叉熵函数，公式如式(8)。

32、

33、在其中k是类别总数，代表着情感的类别，n是文本的总数量，yi,k是一个指示器函数，当样本i属于类别k时为1，否则为0；是模型预测样本i属于类别k的概率。

34、步骤六：将待分类的微博文本输入到训练好的双曲神经网络，得到待分类的微博文本情感分类结果，即基于双曲神经网络和层次聚类实现微博文本的情感分类。

35、还包括步骤七：将步骤六得到的微博文本的情感分类结果应用于自然语言处理与机器学习领域，解决相关技术问题。

36、所述相关技术问题包括智能文本挖掘与服务、社交网络信息挖掘、舆情监控。

37、将训练好的双曲神经网络应用于网络舆情监控，通过对微博文本进行情感分类，监测到与预定事件、话题相关的舆情信息，实现舆情的实时监控和预警。根据情感分类结果，针对不同的舆情情感采取不同的应对策略，处置负面舆情，加强正面舆情的传播，提高舆情监控系统的准确性和效率，提升舆情监控工作的效果，维持网络舆情积极向上和社会稳定。

38、有益效果：

39、1.本发明公开的一种基于bert多层信息融合与双曲神经网络的情感分类方法，通过提取bert的编码器含有的多层隐藏层中丰富的语言特征，将多层的cls向量融合，融合向量最终会转化为包含全局语义信息的句向量。该方法能够有效捕捉微博文本数据的全局语义信息，实现高准确度的情感分类。

40、2.本发明公开的一种基于bert多层信息融合与双曲神经网络的情感分类方法，使用双曲神经网络对数据进行特征提取，挖掘数据层次特征，适用于处理社会舆论网络等复杂网络的情感分类，解决传统方法在高维、非欧几里得结构数据空间中的分类困难，提高网络数据中微博文本的表示和分类能力。

41、3.本发明公开的一种基于bert多层信息融合与双曲神经网络的情感分类方法，将微博文本的情感分类结果应用于自然语言处理与机器学习领域，解决相关技术问题。例如智能文本挖掘与服务、社交网络信息挖掘、舆情监控等技术问题。