一种图像处理方法和装置与流程

本申请涉及图像处理，特别涉及一种图像处理方法和装置。

背景技术：

1、随着人工智能技术的发展，基于人工智能的图像转换技术已经得到广泛应用。图像转换技术，又称为图像到图像(image-to-image，i2i)转换，该项技术能够将输入的一幅图片(即源图片)转换为另一副图片(即目标图片)。该项技术能够用于图像增强、风格迁移、图像编辑等多种应用场景。目前的图像转换技术的问题在于，转换后图像中第二对象的所占区域的形状无法控制，难以满足特定场景下的使用需求。

技术实现思路

1、为此，本申请公开如下技术方案：

2、本申请第一方面提供一种图像处理方法，包括：

3、获得第一掩码和第二掩码，所述第一掩码表征第一对象的占用区域，所述第二掩码表征第二对象的占用区域；

4、根据所述第一掩码、所述第二掩码和所述源图像生成第三掩码，所述第三掩码用于在所述源图像中指示所述第二对象的占用区域，所述源图像包括所述第一对象；

5、根据所述第一掩码、所述第二掩码和所述第三掩码确定前景图像，所述前景图像包括所述第二对象；

6、将所述源图像中的所述第一对象去除，确定为背景图像；

7、将所述前景图像和所述背景图像融合，得到包括所述第二对象并且不包含所述第一对象的目标图像。

8、可选的，所述根据所述第一掩码、所述第二掩码和所述源图像生成第三掩码，包括：

9、获得所述第一掩码和所述第二掩码融合形成的联合掩码；

10、根据所述联合掩码和所述源图像生成第三掩码。

11、可选的，所述根据所述联合掩码和所述源图像生成第三掩码，包括：

12、根据目标处理模型的第一权重参数处理所述联合掩码和所述源图像，得到第一图像特征；

13、根据目标处理模型的第二权重参数处理所述联合掩码和所述源图像，得到第二图像特征；

14、根据所述第一图像特征对所述第二图像特征进行筛选，得到第三掩码。

15、可选的，所述根据所述第一掩码、所述第二掩码和所述第三掩码确定前景图像，包括：

16、利用目标处理模型的第一生成器处理所述第一掩码、所述第二掩码和所述第三掩码，得到前景图像；

17、调整所述第一生成器的参数过程包括：

18、利用所述第一生成器处理第一样本图像和第一样本掩码，得到第一生成图像和第一生成掩码，所述第一样本图像包含所述第一对象，所述第一样本掩码表征所述第一样本图像中所述第一对象的占用区域，所述第一生成器用于将输入的图像的第一对象转换成第二对象；

19、利用第二生成器处理第二样本图像和第二样本掩码，得到第二生成图像和第二生成掩码，所述第二样本图像包含所述第二对象，所述第二样本掩码表征所述第二样本图像中所述第二对象的占用区域，所述第二生成器用于将输入的图像的第二对象转换成第一对象；

20、根据所述第一生成图像，所述第一生成掩码，所述第二生成图像和所述第二生成掩码确定所述第一生成器的生成器损失；

21、根据所述第一生成器的生成器损失调整所述第一生成器的参数。

22、可选的，所述生成器损失包括判别器损失、循环一致性损失、识别损失和上下文损失。

23、可选的，所述将所述源图像中的所述第一对象去除，确定为背景图像，包括：

24、在所述源图像中裁剪掉所述联合掩码指示的待填充区域；

25、根据所述源图像中位于所述待填充区域外的图像特征填充所述待填充区域内的像素，得到背景图像。

26、可选的，获得第二掩码，包括：

27、确定包含所述第二对象的占用区域的初始图像掩码；

28、沿所述第二对象对应的最小边界区域从所述初始图像掩码中裁剪得到待调整掩码，所述最小边界区域为包含所述第二对象的占用区域在内的最小矩形区域；

29、将所述待调整掩码的长度和宽度调整至与所述第一对象的占用区域的长度和宽度一致，得到所述第二掩码。

30、可选的，所述确定包含所述第二对象的占用区域的初始图像掩码，包括：

31、响应于选择指令，在多张包括所述第二对象的候选图像中选择一张候选图像，不同的所述候选图像中所述第二对象的占用区域不同；

32、从选中的所述候选图像提取得到所述初始图像掩码。

33、可选的，所述根据所述第一掩码、所述第二掩码和所述第三掩码确定前景图像，包括：

34、获得所述第一掩码和所述第二掩码融合形成的联合掩码；

35、在通道上整合所述第三掩码和所述联合掩码，得到联合输入；

36、根据所述联合输入生成前景图像。

37、本申请第二方面提供一种图像处理装置，包括：

38、获得单元，用于获得第一掩码和第二掩码，所述第一掩码表征第一对象的占用区域，所述第二掩码表征第二对象的占用区域；

39、生成单元，用于根据所述第一掩码、所述第二掩码和所述源图像生成第三掩码，所述第三掩码用于在所述源图像中指示所述第二对象的占用区域，所述源图像包括所述第一对象；

40、确定单元，用于根据所述第一掩码、所述第二掩码和所述第三掩码确定前景图像，所述前景图像包括所述第二对象；

41、去除单元，用于将所述源图像中的所述第一对象去除，确定为背景图像；

42、融合单元，用于将所述前景图像和所述背景图像融合，得到包括所述第二对象并且不包含所述第一对象的目标图像。

技术特征：

1.一种图像处理方法，包括：

2.根据权利要求1所述的方法，所述根据所述第一掩码、所述第二掩码和所述源图像生成第三掩码，包括：

3.根据权利要求2所述的方法，所述根据所述联合掩码和所述源图像生成第三掩码，包括：

4.根据权利要求1所述的方法，所述根据所述第一掩码、所述第二掩码和所述第三掩码确定前景图像，包括：

5.根据权利要求4所述的方法，所述生成器损失包括判别器损失、循环一致性损失、识别损失和上下文损失。

6.根据权利要求1所述的方法，所述将所述源图像中的所述第一对象去除，确定为背景图像，包括：

7.根据权利要求1所述的方法，获得第二掩码，包括：

8.根据权利要求7所述的方法，所述确定包含所述第二对象的占用区域的初始图像掩码，包括：

9.根据权利要求1所述的方法，所述根据所述第一掩码、所述第二掩码和所述第三掩码确定前景图像，包括：

10.一种图像处理装置，包括：

技术总结本申请公开一种图像处理方法和装置，方法包括，获得第一掩码和第二掩码，第一掩码表征第一对象的占用区域，第二掩码表征第二对象的占用区域；根据第一掩码、第二掩码和源图像生成第三掩码，第三掩码用于在源图像中指示第二对象的占用区域，源图像包括第一对象；根据第一掩码、第二掩码和第三掩码确定前景图像，前景图像包括第二对象；将源图像中的第一对象去除，确定为背景图像；将前景图像和背景图像融合，得到包括第二对象并且不包含第一对象的目标图像。技术研发人员：林晨,赵士昌受保护的技术使用者：联想（北京）有限公司技术研发日：技术公布日：2024/7/29