一种基于ALBERT与分割注意力网络的情感分析方法及系统

本发明涉及情感分析，特别指一种基于albert与分割注意力网络的情感分析方法及系统。

背景技术：

1、随着人工智能技术的迅猛发展，基于nlp(自然语言处理)的智能智能对话系统已经被应用于教育、医疗、金融等各个领域。情感分析作为自然语言处理技术领域的一个重要分支，旨在识别和理解文本中的情感信息，为智能对话系统提供更加人性化和智能化的交互体验。

2、使用深度学习进行情感分析的方法虽然在对话流畅度、回复准确度以及回复逻辑等方面取得了显著的成果，但所使用的模型通常较为复杂，为了追求更卓越的效果，还不断往模型中加入新模块，这使得模型的复杂度进一步提升，复杂的模型意味着大量的计算，这导致传统方法的情感分析效率不尽如人意。

3、因此，如何提供一种基于albert与分割注意力网络的情感分析方法及系统，实现提升情感分析效率，成为一个亟待解决的技术问题。

技术实现思路

1、本发明要解决的技术问题，在于提供一种基于albert与分割注意力网络的情感分析方法及系统，实现提升情感分析效率。

2、第一方面，本发明提供了一种基于albert与分割注意力网络的情感分析方法，包括如下步骤：

3、步骤s1、获取待情感分析的文本序列，将所述文本序列中的各语句转换为对应的令牌号，生成各所述语句的注意力掩码；

4、步骤s2、通过albert模型分别对所述令牌号以及注意力掩码进行特征提取，得到字符级语义特征以及句子级语义特征；

5、步骤s3、分别对所述字符级语义特征以及句子级语义特征进行降维，得到降维字符特征以及降维句子特征；

6、步骤s4、通过分割注意力网络对所述降维字符特征添加一个通道维度得到字符级特征；

7、步骤s5、基于所述字符级特征与降维句子特征进行情感分析，输出所述文本序列的情感分析结果。

8、进一步的，所述步骤s1具体为：

9、获取待情感分析的包括若干句语句的文本序列，通过albert模型的分词器对各所述语句进行文本清理和分割以得到若干个令牌，将各所述令牌分别映射到一个唯一的令牌号，在映射的同时生成各所述语句的注意力掩码。

10、进一步的，所述步骤s3具体为：

11、通过线性层分别对所述字符级语义特征以及句子级语义特征进行降维，得到降维字符特征以及降维句子特征。

12、进一步的，所述步骤s4具体为：

13、通过分割注意力网络对所述降维字符特征进行卷积操作得到卷积特征张量，依次对所述卷积特征张量进行批标准化操作以及dropb l ock操作，再通过relu函数对所述卷积特征张量进行激活操作；

14、基于预设的分割参数对激活操作后的卷积特征张量进行分割，得到若干个局部特征向量；

15、对各所述局部特征向量进行自适应平均池化操作，得到全局特征向量；

16、通过softmax函数计算注意力系数，通过所述注意力系数对全局特征向量的各特征进行加权求和，以完成对所述降维字符特征添加一个通道维度得到字符级特征。

17、进一步的，所述步骤s5具体为：

18、将所述字符级特征与降维句子特征合并为融合特征张量，将所述融合特征张量输入随机失活层进行随机丢弃；

19、将随机丢弃后的所述融合特征张量输入全连接层并进行softmax操作以进行情感分析，输出所述文本序列的情感分析结果。

20、第二方面，本发明提供了一种基于albert与分割注意力网络的情感分析系统，包括如下模块：

21、文本序列转换模块，用于获取待情感分析的文本序列，将所述文本序列中的各语句转换为对应的令牌号，生成各所述语句的注意力掩码；

22、特征提取模块，用于通过albert模型分别对所述令牌号以及注意力掩码进行特征提取，得到字符级语义特征以及句子级语义特征；

23、特征降维模块，用于分别对所述字符级语义特征以及句子级语义特征进行降维，得到降维字符特征以及降维句子特征；

24、通道维度添加模块，用于通过分割注意力网络对所述降维字符特征添加一个通道维度得到字符级特征；

25、情感分析模块，用于基于所述字符级特征与降维句子特征进行情感分析，输出所述文本序列的情感分析结果。

26、进一步的，所述文本序列转换模块具体用于：

27、获取待情感分析的包括若干句语句的文本序列，通过albert模型的分词器对各所述语句进行文本清理和分割以得到若干个令牌，将各所述令牌分别映射到一个唯一的令牌号，在映射的同时生成各所述语句的注意力掩码。

28、进一步的，所述特征降维模块具体用于：

29、通过线性层分别对所述字符级语义特征以及句子级语义特征进行降维，得到降维字符特征以及降维句子特征。

30、进一步的，所述通道维度添加模块具体用于：

31、通过分割注意力网络对所述降维字符特征进行卷积操作得到卷积特征张量，依次对所述卷积特征张量进行批标准化操作以及dropb l ock操作，再通过relu函数对所述卷积特征张量进行激活操作；

32、基于预设的分割参数对激活操作后的卷积特征张量进行分割，得到若干个局部特征向量；

33、对各所述局部特征向量进行自适应平均池化操作，得到全局特征向量；

34、通过softmax函数计算注意力系数，通过所述注意力系数对全局特征向量的各特征进行加权求和，以完成对所述降维字符特征添加一个通道维度得到字符级特征。

35、进一步的，所述情感分析模块具体用于：

36、将所述字符级特征与降维句子特征合并为融合特征张量，将所述融合特征张量输入随机失活层进行随机丢弃；

37、将随机丢弃后的所述融合特征张量输入全连接层并进行softmax操作以进行情感分析，输出所述文本序列的情感分析结果。

38、本发明的优点在于：

39、1、通过获取待情感分析的文本序列，将文本序列中的各语句转换为对应的令牌号，生成各语句的注意力掩码，接着通过albert模型分别对令牌号以及注意力掩码进行特征提取，得到字符级语义特征以及句子级语义特征，分别对字符级语义特征以及句子级语义特征进行降维，得到降维字符特征以及降维句子特征，接着通过分割注意力网络对降维字符特征添加一个通道维度得到字符级特征，最后基于字符级特征与降维句子特征进行情感分析，输出文本序列的情感分析结果；即结合albert模型和分割注意力网络进行情感分析，由于albert模型引入了跨参数层参数共享(cross-l ayer parameter shar i ng)和嵌入因式分解(factor i zed embedd i ng parameter i zat i on)两种参数缩减技术，保证模型性能的同时，显著降低参数量，分割注意力网络通过通道划分和分组卷积操作来实现减少参数量，有效减少计算量，同时引入注意力机制来确保表示学习能力，最终极大的提升了情感分析效率。

40、2、通过分割注意力网络进行情感分析，可以在不同通道上关注文本序列中的不同部分，例如关键词、上下文等，从而更好地捕捉文本序列的特征(情感信息)，同时可以适应不同长度的文本序列，可以根据文本序列的长度动态地调整每个通道的注意力权重，使得分割注意力网络能够在处理不同长度的文本序列时保持高效和准确；同时分割注意力网络在每个通道组内应用一组共享的卷积核，可以减少模型参数量，提高计算效率，通过结合注意力机制又可以确保较好的精度。