一种数据分类方法、装置、设备及存储介质与流程

本发明涉及数据分类领域，尤其涉及一种数据分类方法、装置、设备及存储介质。

背景技术：

1、分类问题是机器学习中的经典问题，但在现实世界的许多问题上，标签之间具有层次结构，层次结构中低的标签受到层级较高的标签的约束，层次结构在带来类标签之间层次关系的同时，也带来了计算复杂等更具有挑战性的特点。

2、目前已知的层次多标签分类算法主要分为两种，第一种方法为将标签展平，把层级多标签分类问题转换成为多标签分类问题，使用单个分类器进行预测，但这种方法忽略了层次分类中各类别之间的依赖关系。在上一种方法的基础上提出第二种方法，为各类别或各层级单独训练分类器，每个分类器负责预测相应的类别或相应的类别层级，在预测时根据父类的预测结果来预测最终的子类，但因为涉及到的分类器过多，模型的参数量会巨大，因此该方法存在计算消耗巨大的缺陷。

3、因此，在现有技术中，存在层次多标签分类方法计算消耗过大的问题。

4、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种数据分类方法、装置、设备及存储介质，旨在解决层次多标签分类方法计算消耗过大的技术问题。

2、为实现上述目的，本发明提供数据分类方法，包括：

3、获取政务数据以及所述政务数据对应的分类标签体系，并根据所述政务数据以及所述分类标签体系构建政务数据集；

4、对所述政务数据集中的各数据进行分词，并将各分词转化为词向量；

5、基于所述分类标签体系中的层次结构，对各所述词向量进行特征提取，得到各层级的显著特征；

6、将每一层级的显著特征分别与上一层级的部分显著特征进行拼接，得到各层级的目标特征，将所述各层级的目标特征作为每一层级的分类结果。

7、可选地，所述根据所述政务数据以及所述分类标签体系构建政务数据集的步骤包括：

8、根据所述分类标签体系中的预设类别字段识别所述政务数据中的预设类别信息；

9、基于所述预设类别信息对所述政务数据进行分类，确定每条政务数据的数据类别；

10、根据各所述政务数据对应的数据类别对各所述政务数据进行数据增强，得到政务增强数据；

11、根据所述政务数据与所述政务增强数据构建政务数据集。

12、可选地，所述根据各所述政务数据对应的数据类别对各所述政务数据进行数据增强，得到政务增强数据的步骤包括：

13、对各所述数据类别的政务数据进行数据量统计，确定各所述数据类别的数据量占比；

14、判断各所述数据类别的数据量占比是否达到平衡；

15、若平衡，则将所有数据类别作为待增强类别；

16、若不平衡，则将各数据类别中数据量占比偏小的数据类别作为待增强类别；

17、根据所述待增强类别对各所述政务数据进行数据增强，得到政务增强数据，其中，所述政务增强数据与所述政务数据的数据合集中，各数据对应数据类别的数据量占比平衡。

18、可选地，所述基于所述预设类别信息对所述政务数据进行分类，确定每条政务数据的数据类别的步骤包括：

19、确定所述预设类别信息对应的第一类别；

20、根据所述分类标签体系获取所述预设类别信息的层级关系，并根据所述层级关系判断所述预设类别信息是否存在低层级的第二类别；

21、若存在，则将所述第一类别和所述第二类别作为所述政务数据的数据类别；

22、若不存在，则将所述第一类别作为所述政务数据的数据类别。

23、可选地，所述基于所述分类标签体系中的层次结构，对各所述词向量进行特征提取，得到各层级的显著特征的步骤包括：

24、将各所述词向量输入预设的预训练语言模型中，得到各词向量对应的语义信息；

25、获取所述分类标签体系中存在的层次结构，并确定所述层次结构中存在的多个层级；

26、通过卷积神经网络对各所述语义信息进行特征提取，得到各层级的显著特征。

27、可选地，所述通过卷积神经网络对各所述语义信息进行特征提取，得到各层级的显著特征的步骤包括：

28、将各所述语义信息输入不同层级的卷积神经网络，对所述语义信息分别进行不同层级的特征提取，得到各层级对应的语义特征；

29、对每一层级的语义特征进行池化，从各所述语义特征中提取各层级的显著特征。

30、可选地，不同层级的卷积神经网络的卷积核宽度不同，其中，所述卷积神经网络的层级越低，所述卷积神经网络的卷积核越宽，对应层级提取到的语义特征的颗粒度越粗。

31、此外，为实现上述目的，本申请还提供一种数据分类装置，所述数据分类装置包括：

32、数据模块，用于获取政务数据以及所述政务数据对应的分类标签体系，并根据所述政务数据以及所述分类标签体系构建政务数据集；

33、向量模块，用于对所述政务数据集中的各数据进行分词，并将各分词转化为词向量；

34、特征模块，用于基于所述分类标签体系中的层次结构，对各所述词向量进行特征提取，得到各层级的显著特征；

35、分类模块，用于将每一层级的显著特征分别与上一层级的部分显著特征进行拼接，得到各层级的目标特征，将所述各层级的目标特征作为每一层级的分类结果。

36、此外，为实现上述目的，本申请还提供一种数据分类设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据分类程序，所述数据分类程序被所述处理器执行时实现如上述的数据分类方法。

37、此外，为实现上述目的，本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有数据分类程序，所述数据分类程序被处理器执行时实现如上述的数据分类方法的步骤。

38、在本实施例中，通过获取政务数据以及所述政务数据对应的分类标签体系，并根据所述政务数据以及所述分类标签体系构建政务数据集，结合领域化微调后的生成模型对政务数据进行数据增强，平衡政务数据的分类类别，使得增强后的政务数据集更符合政务数据的原始特点，作为分类模型的输入可提高数据分类模型的准确性；对所述政务数据集中的各数据进行分词，并将各分词转化为词向量；基于所述分类标签体系中的层次结构，对各所述词向量进行特征提取，得到各层级的显著特征，将不同层级的分类视为独立的分类任务，实现多个任务并行学习；将每一层级的显著特征分别与上一层级的部分显著特征进行拼接，得到各层级的目标特征，将所述各层级的目标特征作为每一层级的分类结果，从而能够让高层级的分类能够获取到上一层级的重要信息，捕捉层级与层级之间的关联性，实现层级多标签分类。本申请引入多任务学习框架进行数据分类，实现多个任务并行学习，能够提高分类的效率，减少计算损耗。

技术特征：

1.一种数据分类方法，其特征在于，所述数据分类方法包括以下步骤：

2.如权利要求1所述的数据分类方法，其特征在于，所述根据所述政务数据以及所述分类标签体系构建政务数据集的步骤包括：

3.如权利要求2所述的数据分类方法，其特征在于，所述根据各所述政务数据对应的数据类别对各所述政务数据进行数据增强，得到政务增强数据的步骤包括：

4.如权利要求2所述的数据分类方法，其特征在于，所述基于所述预设类别信息对所述政务数据进行分类，确定每条政务数据的数据类别的步骤包括：

5.如权利要求1所述的数据分类方法，其特征在于，所述基于所述分类标签体系中的层次结构，对各所述词向量进行特征提取，得到各层级的显著特征的步骤包括：

6.如权利要求5所述的数据分类方法，其特征在于，所述通过卷积神经网络对各所述语义信息进行特征提取，得到各层级的显著特征的步骤包括：

7.如权利要求6所述的数据分类方法，其特征在于，不同层级的卷积神经网络的卷积核宽度不同，其中，所述卷积神经网络的层级越低，所述卷积神经网络的卷积核越宽，对应层级提取到的语义特征的颗粒度越粗。

8.一种数据分类装置，其特征在于，所述数据分类装置包括：

9.一种数据分类设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据分类程序，所述数据分类程序配置为实现如权利要求1至7中任一项所述的数据分类方法的步骤。

10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有数据分类程序，所述数据分类程序被处理器执行时实现如权利要求1至7任一项所述的数据分类方法的步骤。

技术总结本发明公开了一种数据分类方法、装置、设备及存储介质，属于数据分类技术领域。本发明通过获取政务数据以及政务数据对应的分类标签体系，并根据政务数据以及分类标签体系构建政务数据集；对政务数据集中的各数据进行分词，并将各分词转化为词向量；基于分类标签体系中的层次结构，对各词向量进行特征提取，得到各层级的显著特征；将每一层级的显著特征分别与上一层级的部分显著特征进行拼接，得到各层级的目标特征，将各层级的目标特征作为每一层级的分类结果，实现了多个任务并行学习，能够提高分类的效率，减少计算损耗。技术研发人员：张晓春,曾馨,张惠玲,张景景,巩怀志受保护的技术使用者：深圳市智慧城市科技发展集团有限公司技术研发日：技术公布日：2024/9/17