文本分类方法、装置以及非易失性存储介质与流程

本发明涉及计算机科学和人工智能领域，具体而言，涉及一种文本分类方法、装置以及非易失性存储介质。

背景技术：

1、随着技术的飞速发展，大模型正逐渐成为推动人工智能领域前进的核心力量，然而，大模型包含数亿甚至数千亿个参数，导致内存消耗和延迟方面计算成本很高，但效率低下，限制了模型在现实场景的部署和工业场景的应用。神经网络(neural network)是一种模拟人脑神经思维方式的数据模型，有多种神经网络，包括bp神经网络(backpropagation)、卷积神经网络、多层感知器mlp(multilayer perception)、transformer(转换器模型)等，相关技术中基于transformer框架的大模型在文本分类过程中，常常由于模型本身的网络设置复杂，存在推理延迟和过度思考的问题，导致文本分类效率不理想。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种文本分类方法、装置以及非易失性存储介质，以至少解决相关技术中存在的文本分类效率不理想的技术问题。

2、根据本发明实施例的一个方面，提供了一种文本分类方法，包括：基于待分类的文本向量，输入存在预定顺序的多个网络层进行逐层特征提取；在所述多个网络层中包括目标层，所述目标层之前存在前置层的情况下，确定所述目标层对应的层分类结果，与所述前置层对应的层分类结果之间的相似度得分，其中，所述目标层为所述多个网络层中除最后一层之外的网络层；基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值；在所述更新后的次数值大于第一预定阈值的情况下，将所述目标层对应的层分类结果，作为所述文本向量的目标分类结果。

3、可选地，所述相似度得分与对应网络层的层分类结果的置信度负相关，所述基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值，包括：在所述前置层为多个的情况下，基于多个前置层分别与所述目标层之间的相似度得分，确定所述多个前置层中相似度得分小于或等于第二预定阈值的目标数量的前置层；在所述目标数量大于第三预定阈值的情况下，确定执行对所述次数值的增数处理，得到所述更新后的次数值。

4、可选地，所述基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值，包括：在所述前置层为多个，并且多个前置层与所述目标层连续相邻的情况下，如果所述多个前置层中存在相似度得分大于第二预定阈值的前置层，对所述次数值进行清零处理，得到更新后的次数值；如果所述多个前置层中的每一前置层分别对应的相似度得分小于或等于第二预定阈值的情况下，对所述次数值进行增数处理，得到所述更新后的次数值。

5、可选地，所述方法还包括：在所述更新后的次数值小于所述第一预定阈值的情况下，基于所述目标层的输出向量，输入所述目标层的下一层进行特征提取，直到所述下一层为所述最后一层，确定所述最后一层对应的层分类结果，作为所述目标分类结果。

6、可选地，所述前置层为所述目标层的上一层，所述基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值，包括：在所述前置层与所述目标层之的相似度得分小于或等于第二预定阈值的情况下，对所述次数值进行增数处理，得到所述更新后的次数值；在所述前置层与所述目标层之间的相似度得分大于第二预定阈值的情况下，对所述次数值进行清零处理，得到所述更新后的次数值。

7、可选地，所述确定所述目标层对应的层分类结果，与所述前置层对应的层分类结果之间的相似度得分，包括：确定所述目标层对应的层分类结果，与所述前置层对应的层分类结果之间的距离；基于所述距离，确定所述相似度得分。

8、可选地，所述方法还包括：确定所述文本向量的文本复杂度；在多个候选更新条件中与所述文本复杂度对应的目标更新条件，其中，所述多个候选更新条件分别于不同的文本复杂度；所述基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值，包括：基于所述相似度得分，采用所述目标更新条件，对所述次数值执行更新处理，得到所述更新后的次数值。

9、可选地，所述方法还包括：确定允许所述多个网络层使用的处理资源，以及所述文本向量所需的分类精度；基于所述处理资源和所述分类精度，确定所述第一预定阈值。

10、根据本发明实施例的另一方面，提供了一种文本分类装置，包括：输入模块，用于基于待分类的文本向量，输入存在预定顺序的多个网络层进行逐层特征提取；第一分类结果模块，用于在所述多个网络层中包括目标层，所述目标层之前存在前置层的情况下，确定所述目标层对应的层分类结果，与所述前置层对应的层分类结果之间的相似度得分，其中，所述目标层为所述多个网络层中除最后一层之外的网络层；次数值计算模块，用于基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值；第二分类结果模块，用于在所述更新后的次数值大于第一预定阈值的情况下，将所述目标层对应的层分类结果，作为所述文本向量的目标分类结果。

11、根据本发明实施例的另一方面，提供了一种非易失性存储介质，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行任意一项所述的文本分类方法。

12、在本发明实施例中，采用一种文本分类方式，通过基于待分类的文本向量，输入存在预定顺序的多个网络层进行逐层特征提取；在所述多个网络层中包括目标层，所述目标层之前存在前置层的情况下，确定所述目标层对应的层分类结果，与所述前置层对应的层分类结果之间的相似度得分，其中，所述目标层为所述多个网络层中除最后一层之外的网络层；基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值；在所述更新后的次数值大于第一预定阈值的情况下，将所述目标层对应的层分类结果，作为所述文本向量的目标分类结果。达到了提高利用模型早退，减少模型处理时长的目的，实现了提高大模型推理过程效率的技术效果，进而解决了相关技术中存在的文本分类效率不理想的技术问题。

技术特征：

1.一种文本分类方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述相似度得分与对应网络层的层分类结果的置信度负相关，所述基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述前置层为所述目标层的上一层，所述基于所述相似度得分，对预定的次数值进行更新，得到更新后的次数值，包括：

6.根据权利要求1所述的方法，其特征在于，所述确定所述目标层对应的层分类结果，与所述前置层对应的层分类结果之间的相似度得分，包括：

7.根据权利要求1至6中任意一项所述的方法，其特征在于，

8.根据权利要求1至6中任意一项所述的方法，其特征在于，所述方法还包括：

9.一种文本分类装置，其特征在于，包括：

10.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至8中任意一项所述的一种文本分类方法。

技术总结本发明公开了一种文本分类方法、装置以及非易失性存储介质。其中，该方法包括：基于待分类的文本向量，输入存在预定顺序的多个网络层进行逐层特征提取；在多个网络层中包括目标层，目标层之前存在前置层的情况下，确定目标层对应的层分类结果，与前置层对应的层分类结果之间的相似度得分，其中，目标层为多个网络层中除最后一层之外的网络层；基于相似度得分，对预定的次数值进行更新，得到更新后的次数值；在更新后的次数值大于第一预定阈值的情况下，将目标层对应的层分类结果，作为文本向量的目标分类结果。本发明解决了相关技术中存在的文本分类效率不理想的技术问题。技术研发人员：高香香,谢巍盛,徐小龙受保护的技术使用者：天翼电子商务有限公司技术研发日：技术公布日：2024/11/14