图像生成方法、装置、计算机、存储介质及程序产品与流程

本技术涉及计算机，尤其涉及一种图像生成方法、装置、计算机、存储介质及程序产品。

背景技术：

1、现如今，出现了越来越多的图像融合场景，即将两个不同的图像数据进行融合，得到一个图像数据。目前，一般是将两个需要融合的图像数据生成前后景的概念，将两个图像数据微调(finetune)训练到一个扩散模型中，将前景和后景绑定到不同的令牌(token)上，同时使用两个token生成融合后的图像数据。而这一方法需要准备大量的高质量的前后景的图像数据，对需要融合的前后景的图像数据进行融合权重的训练，导致了前后景两个概念之间会互相影响，导致生成图片中的前景和后景与预期存在一定的差异，使得图像生成的效果较差，效率较低。或者，从作为前景的图像数据中分离出前景元素，将前景元素按照布景需求贴到后景图像数据中，再对贴合得到的图像数据进行图像优化处理，以使图像数据的边缘和谐化，然而这一方式较为依赖前景元素的分离性能，会导致图像生成的耗时较大，而且由于是分离后贴合，即使进行了图像优化处理，也可能会在一定程度上产生边缘不自然，出现前后景之间的突兀感知距离，导致图像生成的效果较差。

技术实现思路

1、本技术实施例提供了一种图像生成方法、装置、计算机、存储介质及程序产品，可以提高图像生成的便捷性及效率，提高图像质量。

2、本技术实施例一方面提供了一种图像生成方法，该方法包括：

3、获取前景媒体数据所对应的前景数据特征与后景媒体数据所对应的后景数据特征，对后景数据特征进行采样处理，得到后景数据特征所对应的后景采样特征；采样处理所使用的参数为超参数；

4、采用掩码数据对后景采样特征与前景数据特征分别进行掩码处理，对掩码处理所得到的数据进行特征融合，得到掩码融合特征；

5、对掩码融合特征进行解码处理，得到融合图像数据；解码处理所使用的参数为超参数；融合图像数据用于表示前景媒体数据与后景媒体数据融合后的效果图像。

6、本技术实施例一方面提供了一种图像生成装置，该装置包括：

7、数据获取模块，用于获取前景媒体数据所对应的前景数据特征与后景媒体数据所对应的后景数据特征；

8、后景处理模块，用于对后景数据特征进行采样处理，得到后景数据特征所对应的后景采样特征；采样处理所使用的参数为超参数；

9、前景处理模块，用于采用掩码数据对后景采样特征与前景数据特征分别进行掩码处理，对掩码处理所得到的数据进行特征融合，得到掩码融合特征；

10、解码处理模块，用于对掩码融合特征进行解码处理，得到融合图像数据；解码处理所使用的参数为超参数；融合图像数据用于表示前景媒体数据与后景媒体数据融合后的效果图像。

11、其中，该数据获取模块用于：

12、获取前景媒体数据与后景媒体数据，将后景媒体数据转换为后景数据特征；后景数据特征用于表示后景媒体数据的语义信息；

13、若前景媒体数据为文本类型数据，则根据前景媒体数据生成第一随机噪声数据，将第一随机噪声数据确定为前景数据特征；

14、若前景媒体数据为图像类型数据，则对前景媒体数据进行编码处理后得到前景图像编码数据，根据前景媒体数据生成第一随机噪声数据，对第一随机噪声数据与前景图像编码数据进行特征融合，得到前景数据特征；前景图像编码数据用于表示前景媒体数据的潜空间特征；前景数据特征用于表示前景媒体数据的语义信息。

15、其中，在对第一随机噪声数据与前景图像编码数据进行特征融合，得到前景数据特征时，该数据获取模块具体用于：

16、对前景图像编码数据进行归一化处理，得到前景归一数据；前景归一数据用于表示前景媒体数据在各个像素点处的权重；

17、采用第一随机噪声数据对前景归一数据进行加噪处理，得到前景数据特征。

18、其中，后景采样特征包括第一后景采样特征、中间后景采样特征及第二后景采样特征；

19、该后景处理模块，用于：

20、对后景数据特征进行下采样处理，得到第一后景采样特征；

21、对第一后景采样特征进行采样处理，得到中间后景采样特征；中间后景采样特征用于连接传递至前景媒体数据的语义信息；

22、对中间后景采样特征进行上采样处理，得到第二后景采样特征；第一后景采样特征与第二后景采样特征用于与前景数据特征进行特征融合，用于将后景媒体数据的语义信息传递至前景媒体数据中。

23、其中，在对第一后景采样特征进行采样处理，得到中间后景采样特征时，该后景处理模块具体用于：

24、对第一后景采样特征进行下采样处理，得到下采样后的中间后景采样特征；下采样处理用于进行语义分割；

25、对下采样后的中间后景采样特征进行非线性转换处理，得到后景转换特征；后景转换特征用于表示下采样处理所丢失的信息；

26、将下采样后的中间后景采样特征与后景转换特征进行特征相加，得到上采样后景输入特征；

27、对上采样后景输入特征进行上采样处理，得到上采样后的中间后景采样特征。

28、其中，在对后景数据特征进行下采样处理，得到第一后景采样特征时，该后景处理模块具体用于：

29、对后景数据特征进行残差采样处理，得到后景残差特征；后景残差特征用于表示后景数据特征中的高层语义信息；

30、对后景残差特征进行语义自融合处理，得到后景自注意特征；后景自注意特征用于表示后景残差特征自身的语义信息；

31、获取后景媒体数据所对应的文本描述数据，对文本描述数据与后景自注意特征进行交叉注意处理，得到第一后景采样特征。

32、其中，该前景处理模块用于：

33、采用掩码数据对后景采样特征进行掩码处理，得到后景掩码特征；后景掩码特征用于表示融合入前景媒体数据中的像素点的特征；

34、采用掩码数据对前景数据特征进行掩码处理，得到前景掩码特征；前景掩码特征用于表示与后景媒体数据相融合的像素点的特征；

35、对后景掩码特征与前景掩码特征进行特征融合，得到掩码融合特征。

36、其中，掩码数据包括第一后景掩码数据及第二后景掩码数据；后景采样特征包括后景残差特征及后景自注意特征；

37、在采用掩码数据对后景采样特征进行掩码处理，得到后景掩码特征时，该前景处理模块具体用于：

38、对后景残差特征与第一后景掩码数据进行矩阵相乘，得到第一后景掩码特征；

39、对后景自注意特征与第二后景掩码数据进行矩阵相乘，得到第二后景掩码特征；第一后景掩码数据与第二后景掩码数据之间元素互补。

40、其中，掩码数据包括第一前景掩码数据及第二前景掩码数据；前景采样特征包括前景残差特征；

41、在采用掩码数据对前景数据特征进行掩码处理，得到前景掩码特征时，该前景处理模块具体用于：

42、对前景残差特征与第一前景掩码数据进行矩阵相乘，得到第一前景掩码特征；

43、对前景残差特征与第二前景掩码数据进行矩阵相乘，得到第二前景掩码特征；第一前景掩码数据与第二前景掩码数据之间元素互补。

44、其中，后景掩码特征包括第一后景掩码特征与第二后景掩码特征；

45、在对后景掩码特征与前景掩码特征进行特征融合，得到掩码融合特征时，该前景处理模块具体用于：

46、对第一前景掩码特征与第一后景掩码特征进行特征融合，得到第一融合特征；

47、对第一融合特征进行语义自融合处理，得到前景自注意特征；

48、将第二前景掩码特征与前景自注意特征进行特征融合处理，得到第二融合特征；

49、将第二后景掩码特征与第二融合特征进行特征融合处理，得到掩码融合特征。

50、其中，掩码融合特征包括第一掩码融合特征与第二掩码融合特征；

51、该前景处理模块，用于：

52、采用掩码数据对后景采样特征与前景数据特征进行特征融合，得到第一掩码融合特征；

53、对第一掩码融合特征进行下采样处理，得到下采样后的中间前景采样特征；

54、对下采样后的中间前景采样特征进行上采样处理，得到上采样后的中间前景采样特征；

55、采用掩码数据对后景采样特征与上采样后的中间前景采样特征进行特征融合，得到第二掩码融合特征。

56、本技术实施例一方面提供了一种计算机设备，包括处理器、存储器、输入输出接口；

57、处理器分别与存储器和输入输出接口相连，其中，输入输出接口用于接收数据及输出数据，存储器用于存储计算机程序，处理器用于调用该计算机程序，以使包含该处理器的计算机设备执行本技术实施例一方面中的图像生成方法。

58、本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本技术实施例一方面中的图像生成方法。

59、本技术实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例一方面中的各种可选方式中提供的方法。换句话说，该计算机指令被处理器执行时实现本技术实施例一方面中的各种可选方式中提供的方法。

60、实施本技术实施例，将具有如下有益效果：

61、在本技术实施例中，获取前景媒体数据所对应的前景数据特征与后景媒体数据所对应的后景数据特征，对后景数据特征进行采样处理，得到后景数据特征所对应的后景采样特征；采样处理所使用的参数为超参数；采用掩码数据对后景采样特征与前景数据特征分别进行掩码处理，对掩码处理所得到的数据进行特征融合，得到掩码融合特征；对掩码融合特征进行解码处理，得到融合图像数据解码处理所使用的参数为超参数；融合图像数据用于表示前景媒体数据与后景媒体数据融合后的效果图像。通过该方式，可以直接在前景数据特征与后景数据特征之间引入掩码数据，即可以通过已有的参数实现对前景数据特征与后景数据特征的特征融合，而这一过程中所采用的参数(如采样处理所使用的参数，以及解码处理所使用的参数等)均为超参数，无需进行额外的参数训练，简化了图像融合的流程，减少了图像生成所耗费的时间和资源，从而提高图像生成的效率及便捷性。而且，该方式直接通过掩码数据，实现对前景与后景之间的自适应融合，使得前景数据特征与后景数据特征之间可以自然地融合成为一张图像数据，实现图像的生成，提高图像生成的便捷性。