模型训练方法、图像识别方法、计算机设备和存储介质与流程

本技术涉及图像处理，特别是涉及一种模型训练方法、图像识别方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着生成式人工智能（artificial intelligence generated content，aigc）技术的发展，人工智能（artificial intelligence，ai）绘画也逐渐成为研究和应用的热点之一。然而通过aigc技术生成的人物图画中，经常会出现手指数量异常、多手臂、肢体错位等人体畸形问题。

2、目前，在图片生成之后，用户通常是自行对生成的图片进行质量检查，从而过滤掉存在人体畸形的低质量图片。但是，肉眼的识别速度有限，在图像数量较多时，需要用户花费大量的时间去逐张检查图片中是否存在人体畸形情况，导致识别效率较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种模型训练方法、图像识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种模型训练方法。所述方法包括：

3、通过训练后的图像生成模型，生成样本图像集；所述训练后的图像生成模型包括基座模型和与所述基座模型连接的多个不同类型的微调模型；所述微调模型通过各畸形类型标签对应的样本畸形图像定向训练得到；

4、确定所述样本图像集对应的目标畸形类型标签和目标评分标签；

5、根据所述样本图像集和所述目标评分标签，对待训练的畸形图像评分模型进行迭代训练，得到训练完成的畸形图像评分模型；

6、根据所述样本图像集和所述目标畸形类型标签，对待训练的畸形部位检测模型进行迭代训练，得到训练完成的畸形部位检测模型；

7、其中，所述训练完成的畸形图像评分模型与所述训练完成的畸形部位检测模型，用于配合实现对待识别图像的畸形识别处理。

8、在其中一个实施例中，在通过训练后的图像生成模型，生成样本图像集之前，还包括：

9、获取样本非畸形图像和所述畸形类型标签对应的样本畸形图像；

10、根据待训练的微调模型和所述基座模型，构建第一图像生成模型；

11、根据所述样本非畸形图像和所述样本畸形图像，对所述第一图像生成模型中待训练的微调模型进行微调训练，得到所述畸形类型标签对应的训练完成的微调模型。

12、在其中一个实施例中，在通过训练后的图像生成模型，生成样本图像集之前，还包括：

13、根据待训练的微调模型和所述基座模型，构建第二图像生成模型；

14、将样本描述文本输入至所述第二图像生成模型中，得到所述样本描述文本对应的第一预测图像；所述样本描述文本表征描述人体畸形的文本数据；

15、将所述第一预测图像输入至预训练的文本生成模型中，得到所述第一预测图像对应的预测文本；

16、将所述预测文本输入至所述第二图像生成模型中，得到所述预测文本对应的第二预测图像；

17、根据所述第一预测图像与所述第二预测图像之间的差异，对所第二图像生成模型中待训练的微调模型进行迭代更新，得到所述训练完成的微调模型。

18、在其中一个实施例中，通过训练后的图像生成模型，生成样本图像集，包括：

19、根据获取到的畸形关键词和文本生成模板，得到与所述畸形关键词关联的目标描述文本；

20、将所述目标描述文本输入至所述训练后的图像生成模型中，得到与所述训练后的图像生成模型中各所述训练完成的微调模型所对应的目标畸形图像；

21、根据各所述目标畸形图像，构建所述样本图像集。

22、在其中一个实施例中，根据所述样本图像集和所述目标评分标签，对待训练的畸形图像评分模型进行迭代训练，得到训练完成的畸形图像评分模型，包括：

23、获取样本图像集的关节点特征和视觉特征；所述关节点特征表征描述人体关节的图像特征；所述视觉特征表征描述肢体部位和人体区域的图像特征；

24、将所述视觉特征和所述关节点特征作为所述待训练的畸形图像评分模型约束，通过所述待训练的畸形图像评分模型，对所述样本图像集进行图像评分处理，得到所述样本图像集的预测评分结果；

25、根据所述预测评分结果与所述目标评分标签之间的差异，对所述待训练的畸形图像评分模型进行迭代训练，得到所述训练完成的畸形图像评分模型。

26、在其中一个实施例中，获取样本图像集的关节点特征和视觉特征，包括：

27、对所述样本图像集中的人体关节进行目标检测处理，得到所述样本图像集的关节点特征；

28、根据所述关节点特征，确定所述样本图像集的视觉特征。

29、在其中一个实施例中，确定所述样本图像集对应的目标畸形类型标签和目标评分标签，包括：

30、对所述样本图像集进行畸形部位标注，得到所述样本图像集对应的畸形部位标签；

31、基于所述畸形部位标签，对所述样本图像集中的畸形部位进行畸形类型标注，得到所述样本图像集对应的目标畸形类型标签；

32、对所述样本图像集进行评分处理，得到所述样本图像集对应的目标评分标签。

33、第二方面，本技术提供了一种图像识别方法。所述方法包括：

34、获取待识别图像；

35、通过训练完成的畸形图像评分模型，对所述待识别图像进行图像评分处理，得到所述待识别图像的图像评分结果；

36、若所述评分结果满足预设评分条件，则通过训练完成的畸形部位检测模型，对所述待识别图像进行目标检测处理，得到所述待识别图像的畸形部位检测结果；所述训练完成的畸形图像评分模型、所述训练完成的畸形部位检测模型通过如第一方面所述的方法的步骤训练得到；

37、根据所述图像评分结果和所述畸形部位检测结果，得到所述待识别图像的畸形识别结果。

38、在其中一个实施例中，根据所述图像评分结果和所述畸形部位检测结果，得到所述待识别图像的畸形识别结果，包括：

39、获取所述图像评分结果对应的第一权重和所述检测结果对应的第二权重；

40、根据所述第一权重和所述第二权重，对所述图像评分结果和所述畸形部位检测结果进行加权求和处理，得到所述畸形识别结果。

41、第三方面，本技术还提供了一种模型训练装置。所述装置包括：

42、样本生成模块，用于通过训练后的图像生成模型，生成样本图像集；所述训练后的图像生成模型包括基座模型和与所述基座模型连接的多个不同类型的微调模型；所述微调模型通过各畸形类型标签对应的样本畸形图像定向训练得到；

43、标签确定模块，用于确定所述样本图像集对应的目标畸形类型标签和目标评分标签；

44、第一训练模块，用于根据所述样本图像集和所述目标评分标签，对待训练的畸形图像评分模型进行迭代训练，得到训练完成的畸形图像评分模型；

45、第二训练模块，用于根据所述样本图像集和所述目标畸形类型标签，对待训练的畸形部位检测模型进行迭代训练，得到训练完成的畸形部位检测模型；其中，所述训练完成的畸形图像评分模型与所述训练完成的畸形部位检测模型，用于配合实现对待识别图像的畸形识别处理。

46、第四方面，本技术还提供了一种图像识别装置。所述装置包括：

47、图像获取模块，用于获取待识别图像；

48、图像评分模块，用于通过训练完成的畸形图像评分模型，对所述待识别图像进行图像评分处理，得到所述待识别图像的图像评分结果；

49、目标检测模块，用于若所述评分结果满足预设评分条件，则通过训练完成的畸形部位检测模型，对所述待识别图像进行目标检测处理，得到所述待识别图像的畸形部位检测结果；所述训练完成的畸形图像评分模型、所述训练完成的畸形部位检测模型通过如第一方面所述的方法的步骤训练得到；

50、结果得到模块，用于根据所述图像评分结果和所述畸形部位检测结果，得到所述待识别图像的畸形识别结果。

51、第五方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

52、通过训练后的图像生成模型，生成样本图像集；所述训练后的图像生成模型包括基座模型和与所述基座模型连接的多个不同类型的微调模型；所述微调模型通过各畸形类型标签对应的样本畸形图像定向训练得到；

53、确定所述样本图像集对应的目标畸形类型标签和目标评分标签；

54、根据所述样本图像集和所述目标评分标签，对待训练的畸形图像评分模型进行迭代训练，得到训练完成的畸形图像评分模型；

55、根据所述样本图像集和所述目标畸形类型标签，对待训练的畸形部位检测模型进行迭代训练，得到训练完成的畸形部位检测模型；其中，所述训练完成的畸形图像评分模型与所述训练完成的畸形部位检测模型，用于配合实现对待识别图像的畸形识别处理。

56、第六方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

57、获取待识别图像；

58、通过训练完成的畸形图像评分模型，对所述待识别图像进行图像评分处理，得到所述待识别图像的图像评分结果；

59、若所述评分结果满足预设评分条件，则通过训练完成的畸形部位检测模型，对所述待识别图像进行目标检测处理，得到所述待识别图像的畸形部位检测结果；所述训练完成的畸形图像评分模型、所述训练完成的畸形部位检测模型通过如第一方面所述的方法的步骤训练得到；

60、根据所述图像评分结果和所述畸形部位检测结果，得到所述待识别图像的畸形识别结果。

61、第七方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

62、通过训练后的图像生成模型，生成样本图像集；所述训练后的图像生成模型包括基座模型和与所述基座模型连接的多个不同类型的微调模型；所述微调模型通过各畸形类型标签对应的样本畸形图像定向训练得到；

63、确定所述样本图像集对应的目标畸形类型标签和目标评分标签；

64、根据所述样本图像集和所述目标评分标签，对待训练的畸形图像评分模型进行迭代训练，得到训练完成的畸形图像评分模型；

65、根据所述样本图像集和所述目标畸形类型标签，对待训练的畸形部位检测模型进行迭代训练，得到训练完成的畸形部位检测模型；其中，所述训练完成的畸形图像评分模型与所述训练完成的畸形部位检测模型，用于配合实现对待识别图像的畸形识别处理。

66、第八方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

67、获取待识别图像；

68、通过训练完成的畸形图像评分模型，对所述待识别图像进行图像评分处理，得到所述待识别图像的图像评分结果；

69、若所述评分结果满足预设评分条件，则通过训练完成的畸形部位检测模型，对所述待识别图像进行目标检测处理，得到所述待识别图像的畸形部位检测结果；所述训练完成的畸形图像评分模型、所述训练完成的畸形部位检测模型通过如第一方面所述的方法的步骤训练得到；

70、根据所述图像评分结果和所述畸形部位检测结果，得到所述待识别图像的畸形识别结果。

71、第九方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

72、通过训练后的图像生成模型，生成样本图像集；所述训练后的图像生成模型包括基座模型和与所述基座模型连接的多个不同类型的微调模型；所述微调模型通过各畸形类型标签对应的样本畸形图像定向训练得到；

73、确定所述样本图像集对应的目标畸形类型标签和目标评分标签；

74、根据所述样本图像集和所述目标评分标签，对待训练的畸形图像评分模型进行迭代训练，得到训练完成的畸形图像评分模型；

75、根据所述样本图像集和所述目标畸形类型标签，对待训练的畸形部位检测模型进行迭代训练，得到训练完成的畸形部位检测模型；其中，所述训练完成的畸形图像评分模型与所述训练完成的畸形部位检测模型，用于配合实现对待识别图像的畸形识别处理。

76、第十方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

77、获取待识别图像；

78、通过训练完成的畸形图像评分模型，对所述待识别图像进行图像评分处理，得到所述待识别图像的图像评分结果；

79、若所述评分结果满足预设评分条件，则通过训练完成的畸形部位检测模型，对所述待识别图像进行目标检测处理，得到所述待识别图像的畸形部位检测结果；所述训练完成的畸形图像评分模型、所述训练完成的畸形部位检测模型通过如第一方面所述的方法的步骤训练得到；

80、根据所述图像评分结果和所述畸形部位检测结果，得到所述待识别图像的畸形识别结果。

81、上述模型训练方法、图像识别方法、装置、计算机设备、存储介质和计算机程序产品，通过训练后的图像生成模型，生成样本图像集；确定样本图像集对应的目标畸形类型标签和目标评分标签；根据样本图像集和目标评分标签，对待训练的畸形图像评分模型进行迭代训练，得到训练完成的畸形图像评分模型；根据样本图像集和目标畸形类型标签，对待训练的畸形部位检测模型进行迭代训练，得到训练完成的畸形部位检测模型，进而利用训练完成的畸形图像评分模型与训练完成的畸形部位检测模型，配合实现对待识别图像的畸形识别处理。采用本方法，将多个不同类型的微调模型与基座模型组合为图像生成模型，使得图像生成模型能够生成不同风格、不同畸形类型的样本图像，为畸形图像评分模型和畸形部位检测模型的训练提供了丰富的训练样本，有利于提升训练完成的畸形图像评分模型和畸形部位检测模型对畸形图像的处理能力。