基于双层transformer的语义处理方法及系统与流程

本发明涉及语义处理，特别是涉及一种基于双层transformer的语义处理方法及系统。

背景技术：

1、随着互联网的快速发展，用户在网络中发表的各种各样的文本和图像数据迅速增加，为了利用这些数据，在不同场景中需要将海量数据进行语义处理分类；例如，通过对网络平台评论区中文本进行语义处理，挖掘用户对特定目标或主题(例如，事件、产品、政策、人物或者服务等)的态度或立场，以便于进行满意度调查、情感分析、广告判断等；又例如，通过对社交平台上用户发表内容进行语义处理，挖掘用户观点以及倾向，确定流行的趋势和热点，从而可以帮助企业分析用户的消费倾向，以便于进行精准化的推广与营销等。

2、近年来，深度学习技术在自然语言处理和其他领域取得了巨大成功；为了对用户数据进行语义处理，已有工作通过机器学习方法建立语义处理模型，如朴素贝叶斯分类器，或者随机森林分类器等，但是上述方法在性能上存在一定的瓶颈，分类效果并不理想；对输入数据的高级特征提取能力不足，在处理某些复杂任务时存在一定局限性，准确性和泛化能力有待提高。

3、因此，如何提升语义处理的准确性，是本领域技术人员亟需解决的技术问题。

技术实现思路

1、有鉴于此，本发明提供至少解决上述部分技术问题的一种基于双层transformer的语义处理方法及系统，以便于在处理复杂数据时提升语义处理的准确性。

2、为实现上述目的，本发明采取的技术方案为：

3、第一方面，本发明实施例提供一种基于双层transformer的语义处理方法，该方法包括：

4、获取待处理用户数据；

5、基于双层transformer网络构建语义处理模型，所述语义处理模型中第一层transformer网络与第二层transformer网络进行级联，所述第一层transformer网络对输入数据进行特征提取和初步编码分类；所述第二层transformer网络对第一层transformer网络的输出数据进行特征提取、编码和解码，获取数据最终分类；

6、对所述语义处理模型进行训练，其中：第一层transformer网络和第二层transformer网络分别进行监督训练；并构建联合损失函数，通过损失反馈平衡语义处理模型的训练强度；

7、利用训练好的语义处理模型对获取的用户数据进行语义处理，完成数据分类。

8、可选的，利用网络爬虫获取待处理用户数据，所述待处理用户数据包括文本数据和图像数据；在获取的数据为图像数据时，利用图生文工具将图像自动生成为文字描述。

9、可选的，对获取的待处理用户数据进行数据预处理，所述数据预处理包括：

10、文本清洗：清除文本中标点符号、html标签，以及处理大小写和拼写错误；

11、分词：将文本分割成单词、短语或符号的序列；

12、停用词过滤：移除频率高于阈值且无实际意义的停用词；

13、文本向量化：将文本转换为向量表示；

14、数据增强：通过同义词替换、随机插入、随机交换增加数据的多样性；

15、数据标注，对文本数据进行标注，添加分类标签。

16、可选的，所述第一层transformer网络中，使用bert作为文本编码器，样本数据输入bert，利用bert不同的输出层作为输出，获得不同方面的文本语义特征表示，并进行平均池化得到池化后的特征，公式为：

17、

18、其中，fk表示池化后的特征，pool表示池化，fk表示在编码器输出的第k层提取的特征，m表示特征总数，fk[i]表示第i个特征的特征向量。

19、可选的，所述第一层transformer网络和所述第二层transformer网络中，分别通过交叉熵损失对网络训练进行监督，公式为：

20、

21、其中，l表示交叉熵损失，y表示真实标签值，表示预测值。

22、可选的，构建的联合损失函数为；

23、loss＝λ1*l1+λ2*l2

24、其中，loss表示联合损失，λ1表示第一层transformer网络的权重系数，λ2表示第二层transformer网络的权重系数，l1表示第一层transformer网络的损失，l2表示第二层transformer网络的损失。

25、可选的，所述第一层transformer网络的规模小于第二层transformer网络的规模。

26、第二方面，本发明还提供一种基于双层transformer的语义处理系统，应用于上述的一种基于双层transformer的语义处理方法，进行语义处理；该系统包括：

27、数据获取模块，用于获取待处理用户数据；

28、模型构建模块，用于基于双层transformer网络构建语义处理模型，所述语义处理模型中第一层transformer网络与第二层transformer网络进行级联，所述第一层transformer网络对输入数据进行特征提取和初步编码分类；所述第二层transformer网络对第一层transformer网络的输出数据进行特征提取、编码和解码，获取数据最终分类；

29、模型训练模块，用于对所述语义处理模型进行训练，其中：第一层transformer网络和第二层transformer网络分别进行监督训练；并构建联合损失函数，通过损失反馈平衡语义处理模型的训练强度；

30、模型应用模块，用于利用训练好的语义处理模型对获取的用户数据进行语义处理，完成数据分类。

31、第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现能够执行上述的一种基于双层transformer的语义处理方法。

32、第四方面，本发明还提供一种存储介质，其上存储有计算设备可读的一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如上述的一种基于双层transformer的语义处理方法。

33、与现有技术相比，本发明至少具有如下有益效果：

34、1.本发明中提供了一种基于双层transformer的语义处理方法，本发明中通过叠加两个transformer网络构建语义处理模型，能够更好地捕获输入数据之间的复杂关系，在处理复杂数据时有利于提升语义处理的准确性。

35、2.本发明中利用两个不同规模的transformer层次进行特征提取和表示，有效提高了模型的性能；本发明中通过两个transformer层的可以协同学习，不断优化模型参数，有利于提高模型的泛化能力和学习效果，适应更多复杂的任务和数据处理。

36、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

37、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。