一种基于预训练大模型的告警分类方法及系统与流程

本申请涉及ai、数据处理，尤其涉及一种基于预训练大模型的告警分类方法及系统。

背景技术：

1、告警分类是公共安全领域的一个关键任务，它涉及到将公众报告的告警信息按照其紧急性、类型和所需资源进行分类。准确的告警分类对于资源的合理分配、响应时间的缩短以及整体的事件处理效率至关重要。传统上，告警分类主要依赖于接线员的经验和判断，这种方法不仅耗时且易出错，而且难以应对大量或复杂的告警信息。随着报警电话量的日益增加，需要一种更加高效和准确的自动化解决方案。自动化告警分类面临着多种挑战，包括但不限于语言的多样性、口语化表达、方言以及紧急情况下的语速快和语言组织混乱等问题。这些挑战要求分类模型具有高度的理解能力和适应性。

2、在深度学习出现之前，文本分类任务通常采用基于规则的方法或传统的机器学习算法，如支持向量机(svm)、朴素贝叶斯等。这些方法依赖于精心设计的特征提取，但在处理复杂和非结构化的文本数据时表现有限。随着深度学习的发展，基于神经网络的模型如卷积神经网络(cnn)、循环神经网络(rnn)和长短期记忆网络(lstm)在文本分类任务上取得了显著的进展。这些模型能够自动从数据中学习复杂的特征表示。更近期，基于transformer的预训练语言模型如bert、gpt和xlnet等在各种自然语言处理任务中取得了突破性进展。这些模型在大规模语料库上预训练，学习丰富的语言表示，然后在特定任务上进行微调，以适应具体的应用场景。

3、对于语言分类任务，目前存在基于传统模型的分类模型以及部分基于预训练的模型。相比于预训练的模型，基于传统模型的告警分类捕捉文本上下文关系的能力较差，精度也较低。预训练的模型通常没有针对特定类型的文本，如告警报告进行优化。部分模型可能在其特定领域内表现出色，但并不适用于告警分类。

技术实现思路

1、本申请实施例提供一种基于预训练大模型的告警分类方法及系统，用以对具体告警数据的二次微调，不仅能够捕捉到通用的语言特征，还能够学习到与新闻话题和告警相关的特定知识，从而提高分类的准确性和效率。

2、本申请实施例提供一种基于预训练大模型的告警分类方法，包括：

3、构建告警分类模型，其中所述告警分类模型为包括指定数量的transformer层数以及指定的隐藏层维度，每个transformer模块包含一个多头自注意力机制和一个前馈神经网络，所述多头自注意力机制与所述前馈神经网络之间通过残差和归一化层连接，所述隐藏层维度是transformer中每一层的输出向量的维度；

4、基于预设的语料库，对语料库的数据进行清洗，并在清洗后，将数据通过字典映射转换为输入序列；

5、利用预设的语料库对应的输入序列对所述告警分类模型进行预训练，并在模型预训练过程使用mlm任务和nsp任务的方式；

6、获取指定数据集，在通过字典映射转换为输入序列后，对预训练后的所述告警分类模型执行第一阶段训练，且在所述第一阶段训练过程中使用带有tanh激活函数的全连接层，采用交叉熵损失来执行第一阶段参数调整，其中带有tanh激活函数的全连接层隐藏层的大小与告警分类模型的维度相同，全连接层的输出与类别数量相同，在交叉熵损失中将模型输出映射成概率分布后再计算损失；

7、在第一阶段训练后，选取基于告警的数据，执行第二阶段训练；

8、利用第二阶段训练后的告警分类模型，执行告警分类。

9、可选的，将告警数据通过字典映射转换为输入序列包括：

10、通过预设中文字典将中文转化为数值，以将文本转换为文本序列，对所转换的文本序列进行向量化，对于不同的语句长度，通过填充或截断的方式，以使得生成的序列满足输入长度要求，从而生成第一字段；以及，

11、基于所述第一字段添加第二字段，所述第二字段用以标识第一字段中的关注信息。

12、可选的，使用带有tanh激活函数的全连接层，采用交叉熵损失来进行训练，以执行第一阶段模型调整具体包括：

13、tanh激活函数满足：

14、softmax函数满足：

15、损失函数满足：

16、其中n是样本的数量，m是类别的数量yi表示第i个样本的真实标签，pi是模型的输出，yij是是第i个样本是否属于类别j的指示器(0或1)，pij是模型预测第i个样本属于类别j的概率。

17、可选的，利用预设的语料库对应的输入序列对所述告警分类模型进行预训练，并在模型预训练过程使用mlm任务和nsp任务的方式包括：

18、在mlm任务中，训练过程随机选择输入序列中的token，并将选择的token替换为指定标记；

19、在nsp任务中，利用训练数据中部分连续的句子对，剩余部分为随机组合句子对，以训练所述告警分类模型根据上下文判断两个句子是否为连续关系。

20、可选的，在第一阶段训练后，选取基于告警的数据，执行第二阶段训练包括：

21、在第一阶段训练后的告警分类模型上增加两个并行的全连接层，一个全连接层的输出用于父类的分类，另一个用于子类的分类，并利用选取基于告警的数据，执行第二阶段训练。

22、可选的，执行第二阶段训练的损失函数使用交叉熵损失函数。

23、本申请实施例还提出一种基于预训练大模型的告警分类系统，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的基于预训练大模型的告警分类方法的步骤。

24、本申请实施例的分类方法对具体告警数据的二次微调，不仅能够捕捉到通用的语言特征，还能够学习到与新闻话题和告警相关的特定知识，从而提高分类的准确性和效率。

25、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种基于预训练大模型的告警分类方法，其特征在于，包括：

2.如权利要求1所述的基于预训练大模型的告警分类方法，其特征在于，将告警数据通过字典映射转换为输入序列包括：

3.如权利要求1所述的基于预训练大模型的告警分类方法，其特征在于，使用带有tanh激活函数的全连接层，采用交叉熵损失来进行训练，以执行第一阶段模型调整具体包括：

4.如权利要求1所述的基于预训练大模型的告警分类方法，其特征在于，利用预设的语料库对应的输入序列对所述告警分类模型进行预训练，并在模型预训练过程使用mlm任务和nsp任务的方式包括：

5.如权利要求3所述的基于预训练大模型的告警分类方法，其特征在于，在第一阶段训练后，选取基于告警的数据，执行第二阶段训练包括：

6.如权利要求5所述的基于预训练大模型的告警分类方法，其特征在于，执行第二阶段训练的损失函数使用交叉熵损失函数。

7.一种基于预训练大模型的告警分类系统，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于预训练大模型的告警分类方法的步骤。

技术总结本申请公开了一种基于预训练大模型的告警分类方法及系统，包括：构建告警分类模型；基于预设的语料库，对语料库的数据进行清洗，并在清洗后，将数据通过字典映射转换为输入序列；利用预设的语料库对应的输入序列对所述告警分类模型进行预训练；获取指定数据集，在通过字典映射转换为输入序列后，对预训练后的所述告警分类模型执行第一阶段训练；在第一阶段训练后，选取基于告警的数据，执行第二阶段训练；利用第二阶段训练后的告警分类模型，执行告警分类。本申请对告警数据的二次微调，能够捕捉到通用的语言特征，从而提高分类的准确性和效率。技术研发人员：毕严先,张瑞,张兵,武振江,张前,常安,鲍帆,熊海渊,刘美麟,吉祥受保护的技术使用者：中国电子科技集团有限公司电子科学研究院技术研发日：技术公布日：2024/10/10