图像处理方法、设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种图像处理方法、设备及存储介质。

背景技术：

1、虚拟试衣技术是一项模拟指定人物穿着特定衣物效果的图像生成技术，具有广泛的发展前景，消费者可以通过虚拟试衣体验衣物上身效果，极大提升线上购物体验。

2、相关技术中，采用目前的机器学习模型可以生成试穿效果图，但是存在以下问题：对于复杂的服装细节难以准确捕捉，导致衣物一致性保持不足，并且生成的虚拟试穿图像与真实试衣效果不贴合。

技术实现思路

1、本技术提供一种图像处理方法、设备及存储介质，用以解决衣物一致性保持不足、生成的虚拟试穿图像与真实试衣效果不贴合的技术问题。

2、第一方面，本技术提供一种图像处理方法，包括：

3、获取第一图像和第二图像，所述第一图像中包括穿戴第一衣物的目标人物，所述第二图像中包括第二衣物；

4、将所述第一图像和所述第二图像输入训练好的图像处理模型，得到第三图像，所述第三图像中所述目标人物穿戴所述第二衣物；

5、所述图像处理模型用于提取所述第一图像中所述目标人物的特征图和所述第二图像中所述第二衣物的特征图，分别对所述目标人物的特征图和所述第二衣物的特征图进行下采样，根据下采样后的所述目标人物的特征图和下采样后的所述第二衣物的特征图进行联合上采样，对联合上采样后的特征图进行图像重构，得到所述第三图像。

6、第一方面的一个可选实施例中，所述图像处理模型包括：第一特征提取模块、特征融合模块、第二特征提取模块、第一下采样模块、第二下采样模块、上采样模块和图像重构模块；所述将所述第一图像和所述第二图像输入训练好的图像处理模型，得到第三图像，包括：

7、将所述第一图像输入所述第一特征提取模块，提取所述第一图像中所述目标人物在多个维度的特征图；以及，将所述第二图像输入所述第二特征提取模块，提取所述第二图像中所述第二衣物的特征图；

8、通过所述特征融合模块对所述目标人物在多个维度的特征图进行特征融合；

9、通过所述第一下采样模块对特征融合后的所述目标人物的特征图进行下采样；以及，通过所述第二下采样模块对所述第二衣物的特征图进行下采样；

10、通过所述上采样模块对所述第一下采样模块输出的特征图和所述第二下采样模块输出的衣物特征图进行联合上采样；

11、通过所述图像重构模块对所述上采样模块输出的特征图进行图像重构，得到所述第三图像。

12、第一方面的一个可选实施例中，所述第一特征提取模块包括第一图像编码模块、人体关键点提取模块和人体部位提取模块；所述将所述第一图像输入所述第一特征提取模块，提取所述第一图像中所述目标人物在多个维度的特征图，包括：

13、将所述第一图像同时输入所述第一图像编码模块、所述人体关键点提取模块和所述人体部位提取模块；

14、通过第一图像编码模块对所述第一图像中除所述第一衣物之外的图像区域进行特征编码，得到第一特征图；

15、通过所述人体关键点提取模块对所述第一图像进行人体关键点检测，得到第二特征图；

16、通过所述人体部位提取模块对所述第一图像进行人体部位检测，得到第三特征图；

17、所述第一图像中所述目标人物在多个维度的特征图，包括所述第一特征图、所述第二特征图和所述第三特征图。

18、第一方面的一个可选实施例中，所述第二特征提取模块包括第二图像编码模块；所述将所述第二图像输入所述第二特征提取模块，提取所述第二图像中所述第二衣物的特征图，包括：

19、通过第二图像编码模块对所述第二图像中所述第二衣物的图像区域进行特征编码，得到所述第二图像中所述第二衣物的特征图。

20、第一方面的一个可选实施例中，所述第一下采样模块和所述第二下采样模块均包括级联的n个下采样子模块，所述上采样模块包括级联的n个上采样子模块，n为大于2的正整数。

21、第一方面的一个可选实施例中，所述图像处理模型还包括n个多层感知机，所述多层感知机用于对所述第一下采样模块和所述第二下采样模块中同级的下采样子模块分别输出的特征图，进行特征融合。

22、第一方面的一个可选实施例中，所述图像处理模型还包括注意力机制模块，所述方法还包括：

23、所述第二下采样模块输出的衣物特征图输入所述注意力机制模块，得到处理后的衣物特征图，将所述处理后的衣物特征图输入所述上采样模块的每一级上采样子模块；

24、所述通过所述上采样模块对所述第一下采样模块输出的特征图和所述第二下采样模块输出的特征图进行联合上采样，包括：

25、通过所述上采样模块对所述第一下采样模块输出的特征图和所述处理后的衣物特征图进行联合上采样。

26、第一方面的一个可选实施例中，所述图像处理模型的训练过程，包括：

27、构建训练数据集和初始的图像处理模块，所述训练数据集包括多组训练数据以及标准人台图，每组训练数据包括人物样本图像以及衣物样本图像；

28、将所述人物样本图像和衣物样本图像输入所述初始的图像处理模块，得到试穿效果图，所述试穿效果图中所述人物样本穿戴所述衣物样本；

29、将所述试穿效果图和所述标准人台图输入所述初始的图像处理模块，得到衣物展示图，所述衣物展示图中所述标准人台穿戴所述衣物样本；

30、对所述衣物展示图进行图像后处理，得到衣物样本的平铺图；

31、根据所述衣物样本的平铺图和所述衣物样本图像，确定本轮训练的损失值；

32、重复上述步骤直至所述损失值收敛，停止模型训练。

33、第二方面，本技术提供一种图像处理装置，包括：

34、获取模块，用于获取第一图像和第二图像，所述第一图像中包括穿戴第一衣物的目标人物，所述第二图像中包括第二衣物；

35、处理模块，用于将所述第一图像和所述第二图像输入训练好的图像处理模型，得到第三图像，所述第三图像中所述目标人物穿戴所述第二衣物；

36、所述图像处理模型用于提取所述第一图像中所述目标人物的特征图和所述第二图像中所述第二衣物的特征图，分别对所述目标人物的特征图和所述第二衣物的特征图进行下采样，根据下采样后的所述目标人物的特征图和下采样后的所述第二衣物的特征图进行联合上采样，对联合上采样后的特征图进行图像重构，得到所述第三图像。

37、第三方面，本技术提供一种电子设备，包括：处理器以及存储器，存储器与处理器通信连接，存储器存储计算机执行指令，处理器执行存储器存储的计算机执行指令以使电子设备执行第一方面任一项的方法。

38、第四方面，本技术提供一种计算机可读存储介质，其上存储有计算机执行指令，计算机执行指令被处理器执行时实现如第一方面任一项的方法。

39、本技术提供的一种图像处理方法、设备及存储介质，涉及图像处理技术领域，该方法包括：获取第一图像和第二图像，第一图像中包括穿戴第一衣物的目标人物，第二图像中包括第二衣物；将第一图像和第二图像输入训练好的图像处理模型，得到第三图像，第三图像中目标人物穿戴第二衣物；图像处理模型用于提取第一图像中目标人物的特征图和第二图像中第二衣物的特征图，分别对目标人物的特征图和第二衣物的特征图进行下采样，根据下采样后的目标人物的特征图和下采样后的第二衣物的特征图进行联合上采样，对联合上采样后的特征图进行图像重构，得到第三图像。上述方法中，图像处理模型分别对第一图像的人物特征图和第二图像的衣物特征图进行下采样，以提取第一图像中人物的主要特征和第二图像中衣物的主要特征，再对人物的主要特征与衣物的主要特征进行联合上采样，从而生成更加贴合真实试衣效果的第三图像。