基于微调模型的工单摘要聚类方法、电子设备及存储介质与流程

本技术涉及自然语言处理，尤其涉及一种基于微调模型的工单摘要聚类方法、电子设备及存储介质。

背景技术：

1、随着社会的不断进步和信息化水平的持续提升，政务热线已经成为政府与公众沟通的关键纽带。这不仅促进了双方的互动，但也带来了大量的工单处理任务，这些工单中蕴含着丰富的实体信息和事件描述。有效处理工单对政府而言至关重要，通过对这些工单信息的深入分析，政府能够迅速掌握民众普遍关心的问题和面临的挑战，从而为政策的制定、优化和调整提供有力的数据支持和决策参考。

2、在相关技术中，政务热线业务的诉求工单主要依赖于人工处理，即当工作人员接到市民的诉求工单后，会进行初步的审核和分类，在处理过程中，可能会遇到内容相似或针对同一问题的多个诉求工单，为了提升诉求工单的处理效率，工作人员会手动将相似诉求工单进行关联聚类，以便于集中管理和响应相似诉求工单。

3、然而，采用上述的方式，当诉求工单的数量激增时，人工处理无法满足大规模诉求工单的高效处理需求，且通过人工关联聚类相似诉求工单时，由于工作量大且操作复杂，容易出现遗漏或错误，从而可能导致相似诉求工单的关联聚类结果不准确，进而导致相关技术中因人工处理的局限性，导致相似诉求工单关联聚类的准确率较低。

技术实现思路

1、本技术提供了一种基于微调模型的工单摘要聚类方法、电子设备及存储介质，用于提升相似诉求工单关联聚类的准确率。

2、第一方面，本技术提供了一种基于微调模型的工单摘要聚类方法，应用于上述电子设备，该方法包括：在得到微调语言模型的情况下，将目标工单信息输入微调语言模型中；获取微调语言模型输出的n个目标工单摘要，其中，n个目标工单摘要为微调语言模型根据目标工单信息所生成的；利用预设编码方式对n个目标工单摘要进行编码，以得到k组向量编码表示，其中，n为大于或等于1的正整数，k小于或等于n的正整数；将k组向量编码表示中包括的每组向量编码表示确定为一个节点，以得到k个节点；根据k个节点构建目标网络图，其中，目标网络图中包括k个节点和k个节点之间的连接线，连接线指示k个节点之间的相似度；根据目标网络图对k个节点执行摘要聚类操作。

3、通过采用上述技术方案，通过微调语言模型自动接收和处理目标工单信息，减少了人工输入的需求，提升了目标工单信息的处理速度和效率。利用微调语言模型生成n个目标工单摘要，可以快速地提炼目标工单信息的核心内容，便于后续分析和处理。将n个目标工单摘要转换为k组向量编码，实现了文本信息(即n个目标工单摘要)的数值化，便于进一步分析和计算。将每组向量编码表示作为一个节点，构建起网络图的基础结构，为后续的相似度分析和聚类操作打下基础。通过目标网络图直观展示各节点(即k个节点)之间的相似度，提供了一个可视化的分析工具。最后自动对k个节点执行摘要聚类操作，可以进一步地提升工单管理的准确性和响应效率。采用本技术的方法，通过微调语言模型自动处理工单信息并生成工单摘要，然后通过编码转换为向量形式，构建网络图以可视化工单间的相似度，最终通过聚类分析实现了工单的高效、准确分类，进而解决了相关技术中因人工处理的局限性，导致相似诉求工单关联聚类的准确率较低的技术问题，达到了提升相似诉求工单关联聚类的准确率的技术效果。

4、结合第一方面的一些实施例，在一些实施例中，在得到微调语言模型的情况下，将目标工单信息输入微调语言模型中，具体包括：在确定原始语言模型的基础参数已冻结的情况下，在原始语言模型中增加旁路网络层，其中，原始语言模型为预先训练好的用于生成摘要的；在确定原始语言模型中已增加旁路网络层的情况下，将预设工单摘要数据集输入旁路网络层中；根据旁路网络层和预设工单摘要数据集得到微调语言模型；将目标工单信息输入微调语言模型中。

5、通过采用上述技术方案，通过在预先训练好的原始语言模型中增加旁路网络层，能够在不改变原始模型基础参数的前提下，增强原始语言模型的灵活性和适应性，为后续工单摘要生成提供更为精准和高效的处理模型。通过将预设工单摘要数据集输入旁路网络层，可以对旁路网络层进行针对性地训练和优化，使其更好地适应工单摘要生成任务，从而提升工单摘要的生成质量和生成效率。基于旁路网络层和预设工单摘要数据集得到的微调语言模型，能够更准确地捕捉目标工单信息的核心要点，并生成高质量的工单摘要。通过将目标工单信息输入微调语言模型中，可以快速、准确地获取目标工单的摘要，为后续的分析和决策提供了有力支持。综上所述，通过在原始语言模型中增加旁路网络层，并利用预设工单摘要数据集进行微调，得到了一个针对工单摘要生成任务优化的微调语言模型，为后续的分析和决策提供了高效、准确的工具。

6、结合第一方面的一些实施例，在一些实施例中，根据旁路网络层和预设工单摘要数据集得到微调语言模型，具体包括：根据旁路网络层的初始适应参数和预设工单摘要数据集模拟基础参数的内在秩，其中，内在秩指示基础参数的复杂度；根据内在秩和预设工单摘要数据集对初始适应参数执行目标训练，以得到更新适应参数，其中，更新适应参数为根据内在秩和预设工单摘要数据集对初始适应参数执行目标训练后所得到的；在得到更新适应参数的情况下，将更新适应参数合并至已增加旁路网络的原始语言模型的解冻后的基础参数中，以得到微调语言模型。

7、通过采用上述技术方案，通过模拟原始语言模型的基础参数内在秩，可以更准确地评估基础参数的复杂度，为后续的目标训练提供更为精细化的指导，确保训练过程更加高效和精准。通过结合内在秩和预设工单摘要数据集进行目标训练，可以实现对初始适应参数的优化和更新，得到更加符合工单摘要生成任务需求的更新适应参数，从而提升工单摘要的生成质量和生成效率。通过将更新适应参数合并至解冻后的基础参数中，能够实现对原始语言模型的微调，得到更加适合工单摘要生成任务的微调语言模型，该微调语言模型不仅保留了原始语言模型的优点，还针对特定任务进行了优化，进一步提升了模型的性能和实用性。综上所述，通过模拟内在秩、执行目标训练以及合并更新适应参数，能够实现对原始语言模型的精准微调，得到针对工单摘要生成任务优化的微调语言模型，不仅提升了生成工单摘要的质量和效率，还增强了微调语言模型的灵活性和适应性，为后续的工单处理和分析提供了有力支持。

8、结合第一方面的一些实施例，在一些实施例中，根据目标网络图对k个节点执行摘要聚类操作，具体包括：对k个节点进行随机采样，以得到j个节点，其中，j为小于或等于k的正整数；确定j个节点的随机采样顺序，并按照随机采样顺序对j个节点中包括的每个节点执行转移优化操作，其中，摘要聚类操作包括转移优化操作。

9、通过采用上述技术方案，通过对k个节点进行随机采样，得到数量较少但具有代表性的j个节点，随机采样能够保留节点的多样性，有助于更全面地反映原始数据的特征。确定j个节点的随机采样顺序后，按照随机采样顺序执行转移优化操作，能够确保j个节点中包括的每个节点都得到相应的优化处理，转移优化操作作为摘要聚类的一部分，能够进一步提升节点间的聚类效果，使相似的节点更加紧密地聚集在一起，为后续的分析和决策提供更加准确的信息。综上所述，通过对k个节点进行随机采样得到j个节点，并按照随机采样顺序执行转移优化操作，实现了对节点的高效处理和优化。

10、结合第一方面的一些实施例，在一些实施例中，确定j个节点的随机采样顺序，并按照随机采样顺序对j个节点中包括的每个节点执行转移优化操作，具体包括：循环执行如下操作，直至确定目标平均编码长度：按照随机采样顺序依次将j个节点中包括的每个节点转移至相邻节点所在的第一社区，其中，相邻节点为每个节点在目标网络图中通过连接线直接相连的其他节点，每个节点均对应有一个社区；在确定j个节点中包括的每个节点均已转移至第一社区的情况下，利用预设公式确定目标网络图的第一平均编码长度；根据第一平均编码长度执行节点转移优化判断操作，以得到优化判断结果，其中，优化判断结果包括第一平均编码长度、将j个节点转移至第一社区的第一编码方式、对j个节点执行转移优化操作的次数；在优化判断结果显示第一平均编码长度小于预设平均编码长度的情况下，将第一平均编码长度确定为目标平均编码长度。

11、通过采用上述技术方案，通过循环操作，能够动态地将节点分配到相邻节点所在的第一社区，这有助于实时更新和维护社区结构，使其更贴合当前的目标网络图的状态。在j个节点都被分配到对应社区后，利用预设公式来确定第一平均编码长度，为评估社区结构的效率提供了一个量化指标。基于第一平均编码长度，执行节点转移的优化判断操作，有助于找到更优的节点分配方案，从而提高社区划分的质量。当优化结果显示第一平均编码长度小于预设平均编码长度时，将第一平均编码长度确定为目标平均编码长度，确保了社区结构的编码效率达到最优，或接近最优状态，不仅提升了社区划分(即工单摘要聚类)的准确性，还提升了目标网络图(即工单信息)分析的效率和准确性。

12、结合第一方面的一些实施例，在一些实施例中，在确定j个节点中包括的每个节点均已转移至第一社区的情况下，利用预设公式确定目标网络图的第一平均编码长度，具体包括：按如下公式确定第一平均编码长度l(m)：

13、

14、其中，m为第一编码方式，l(m)为将j个节点转移至第一社区后，第一社区所对应的第一平均编码长度，为按照随机采样顺序依次将j个节点中包括的每个节点转移至相邻节点所在的第一社区的转移概率，q为转移概率矩阵，h(q)为转移概率分布的熵，m为目标网络图中包括的所有社区的数量，为第i个第一社区内部的状态转移概率，pi为第i个第一社区内部的状态转移概率矩阵，h(pi)为第i个第一社区内部的状态转移概率分布的熵。

15、通过采用上述技术方案，通过计算和优化网络图中节点的编码长度，来改进社区结构的质量和编码效率，可以更有效地管理和分析网络图中的节点，尤其是在处理大规模复杂网络图时。

16、结合第一方面的一些实施例，在一些实施例中，在优化判断结果显示第一平均编码长度小于预设平均编码长度的情况下，将第一平均编码长度确定为目标平均编码长度之后，上述方法还包括：对预设聚类规则表进行检测，以确定优化判断结果是否在预设聚类规则表内；在确定优化判断结果不在预设聚类规则表内的情况下，根据优化判断结果对预设聚类规则表进行更新；对优化判断结果进行分析，并在可视化屏幕上显示分析后的优化判断结果。

17、通过采用上述技术方案，检测优化判断结果是否在预设聚类规则表内，如果优化判断结果不在预设规则表内，将自动更新预设规则表，对优化判断结果进行分析，并通过可视化界面展示，以便于进一步的审查和决策，有助于适应数据变化，提升聚类分析的准确性，并促进结果的透明性。

18、第二方面，本技术实施例提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

19、第三方面，本技术实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

20、第四方面，本技术实施例提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

21、可以理解地，上述第二方面提供的电子设备，第三方面提供的计算机程序产品和第四方面提供的计算机存储介质均用于执行本技术实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

22、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

23、1、通过微调语言模型自动处理工单信息并生成工单摘要，然后通过编码转换为向量形式，构建网络图以可视化工单间的相似度，最终通过聚类分析实现了工单的高效、准确分类，进而解决了相关技术中因人工处理的局限性，导致相似诉求工单关联聚类的准确率较低的技术问题，达到了提升相似诉求工单关联聚类的准确率。

24、2、通过在原始语言模型中增加旁路网络层，并利用预设工单摘要数据集进行微调，得到了一个针对工单摘要生成任务优化的微调语言模型，为后续的分析和决策提供了高效、准确的工具。

25、3、通过模拟内在秩、执行目标训练以及合并更新适应参数，能够实现对原始语言模型的精准微调，得到针对工单摘要生成任务优化的微调语言模型，不仅提升了生成工单摘要的质量和效率，还增强了微调语言模型的灵活性和适应性，为后续的工单处理和分析提供了有力支持。