图像处理方法、电子设备和计算机可读介质与流程

本申请实施例涉及计算机，具体涉及图像处理方法、电子设备和计算机可读介质。

背景技术：

1、图像生成是人工智能领域的一项重要创新，通过深度学习模型能够自动创造出全新的图像内容。例如，可通过扩散模型(diffusion model，dm)等深度学习模型进行图像生成。扩散模型是一种先进的图像生成技术，它通过模拟数据的扩散过程来生成高质量的图像。

2、现有技术中，扩散模型需要通过多个迭代步骤逐渐构建图像，每一步都需要对数据进行复杂的计算和更新，从而导致图像生成过程耗时较长。

技术实现思路

1、本申请实施例提出了图像处理方法、电子设备和计算机可读介质，以解决现有技术中通过扩散模型生成图像耗时较长的技术问题。

2、第一方面，本申请实施例提供了一种图像处理方法，该方法包括：在扩散模型生成图像的过程中，确定所述扩散模型中降噪网络执行图像降噪处理操作的当前时间步，所述降噪网络中包括窗口注意力层；基于所述当前时间步，配置所述窗口注意力层的窗口参数，所述窗口参数包括以下至少一项：窗口尺寸、窗口位移量；通过配置所述窗口参数后的所述降噪网络，执行所述当前时间步对应的图像降噪操作。

3、第二方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中所描述的方法。

4、第三方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所描述的方法。

5、第四方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面中所描述的方法。

6、本申请实施例提供的图像处理方法、电子设备和计算机可读介质，通过在扩散模型生成图像的过程中，确定扩散模型中降噪网络执行图像降噪处理操作的当前时间步，并基于当前时间步，配置降噪网络中的窗口注意力层的窗口参数，从而通过配置窗口参数后的降噪网络，执行当前时间步对应的图像降噪操作。一方面，通过在扩散模型中引入窗口注意力层，能够使特征图中的特征点仅与其所在窗口中的其余特整点进行注意力处理，相较于全局注意力层，能够显著降低数据计算量，从而降低了扩散模型生成图像的耗时。另一方面，由于窗口参数基于降噪网络的时间步进行配置，因此窗口能够根据时间步进行动态调整，以针对不同时间步的降噪特点进行不同程度的数据处理，使得特征图中不同区域的特征点能够充分地交互，保证了所生成的图像的质量。

技术特征：

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述窗口参数包括窗口尺寸，所述窗口尺寸包括窗口高度和窗口宽度；所述基于所述当前时间步，配置所述窗口注意力层的窗口参数，包括：

3.根据权利要求1所述的方法，其特征在于，所述窗口参数包括窗口位移量，所述窗口位移量包括横向位移量和纵向位移量；所述基于所述当前时间步，配置所述窗口注意力层的窗口参数，包括：

4.根据权利要求1所述的方法，其特征在于，所述窗口注意力层通过如下步骤对输入至所述窗口注意力层的第一特征图进行处理：

5.根据权利要求4所述的方法，其特征在于，所述窗口参数包括窗口尺寸；所述基于所述窗口参数，确定所述第一特征图中的多个特征块，包括：

6.根据权利要求4所述的方法，其特征在于，所述窗口参数包括窗口位移量；所述基于所述窗口参数，确定所述第一特征图中的多个特征块，包括：

7.根据权利要求1-6之一所述的方法，其特征在于，所述扩散模型还包括文本编码器，所述文本编码器用于对输入至所述扩散模型中的提示词进行编码处理，得到文本特征；所述降噪网络用于基于所述文本特征，通过多个时间步对输入至所述扩散模型中的随机噪声图像进行图像降噪处理，输出目标图像。

8.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述的方法。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一所述的方法。

技术总结本申请实施例公开了图像处理方法、电子设备和计算机可读介质。该方法的实施例包括：在扩散模型生成图像的过程中，确定扩散模型中降噪网络执行图像降噪处理操作的当前时间步，降噪网络中包括窗口注意力层；基于当前时间步，配置窗口注意力层的窗口参数，窗口参数包括以下至少一项：窗口尺寸、窗口位移量；通过配置窗口参数后的降噪网络，执行当前时间步对应的图像降噪操作。该实施方式在保证了扩散模型所生成的图像的质量的同时，降低了图像生成的耗时。技术研发人员：张慎,梁嘉骏受保护的技术使用者：天津极豪科技有限公司技术研发日：技术公布日：2024/9/2