用于数据处理的设备和方法与流程

本公开的实施例总体涉及计算机领域，并且更具体地，涉及用于数据处理的设备、方法、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着技术的发展，能够借助于人工智能(artificial intelligence，ai)生成模型以用于各种不同的应用领域。例如，已经有大量的文本到图像模型，能够在给定的文本的基础上生成对应的图像。但是文本到图像模型无法调节图像中的对象的空间信息。

2、为了考虑空间信息，已经提出了布局到图像(layout-to-image，l2i)模型，从而基于给定的布局信息来生成对应的图像。虽然目前的布局到图像模型能够考虑对象的空间信息，但是所得到的图像精度不高，依然存在生成的准确率低的问题。

技术实现思路

1、根据本公开的示例实施例，提供了一种用于数据处理的设备和方法，能够更加准确地进行数据生成，例如可以基于布局生成图像。

2、在本公开的第一方面，提供了一种用于数据处理的设备，包括：至少一个处理器；以及至少一个存储器，至少一个存储器存储计算机指令，所述指令当由至少一个处理器执行时，使得该设备：获取经训练的数据生成模型，经训练的数据生成模型是在扩散模型的基础上通过注入布局信息进行空间调制而被生成的；以及将布局数据输入到经训练的数据生成模型，以得到与布局数据对应的生成数据。

3、在本公开的第二方面，提供了一种用于数据处理的方法，包括：获取经训练的数据生成模型，所述经训练的数据生成模型是在扩散模型的基础上通过注入布局信息来进行空间调制而被生成的；以及将布局数据输入到经训练的数据生成模型，以得到与布局数据对应的生成数据。

4、本公开的第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质具有在其上存储的机器可执行指令，该机器可执行指令在由设备执行时使该设备：获取经训练的数据生成模型，所述经训练的数据生成模型是在扩散模型的基础上通过注入布局信息来进行空间调制而被生成的；以及将布局数据输入到经训练的数据生成模型，以得到与布局数据对应的生成数据。

5、本公开的第四方面，提供了一种计算机程序产品，包括计算机可执行指令，其中计算机可执行指令在被处理器执行时实现根据本公开的第二方面所描述的方法。

6、本公开的第五方面，提供了一种电子设备，包括：处理电路或处理电路装置，被配置为执行根据本公开的第二方面所描述的方法。

7、提供技术实现要素：部分是为了以简化的形式来介绍一系列概念，它们在下文的具体实施方式中将被进一步描述。发明内容部分不旨在标识本公开的关键特征或必要特征，也不旨在限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

技术特征：

1.一种用于数据处理的设备，包括：

2.根据权利要求1所述的设备，其中所述计算机程序指令在由所述至少一个处理器执行时还使得所述设备通过下述方式得到所述生成数据：

3.根据权利要求2所述的设备，其中所述计算机程序指令在由所述至少一个处理器执行时还使得所述设备通过下述方式得到所述生成数据：

4.根据权利要求3所述的设备，其中所述计算机程序指令在由所述至少一个处理器执行时使得所述设备通过下述方式确定所述权重参数和所述偏置参数：

5.根据权利要求3所述的设备，其中所述权重参数和所述偏置参数具有与所述前一步得到的中间噪声数据相同的空间维度。

6.根据权利要求3所述的设备，其中所述权重参数和所述偏置参数针对所述布局数据所表示的前景区域。

7.根据权利要求3所述的设备，其中所述计算机程序指令在由所述至少一个处理器执行时使得所述设备通过下述方式得到用于所述多步反向过程的下一步的中间噪声数据：

8.根据权利要求1所述的设备，其中所述计算机程序指令在由所述至少一个处理器执行时还使得所述设备通过下述方式生成所述经训练的数据生成模型：

9.根据权利要求8所述的设备，其中所述计算机程序指令在由所述至少一个处理器执行时使得所述设备通过下述方式生成所述经训练的数据生成模型：

10.根据权利要求1所述的设备，其中所述扩散模型是针对文本到图像的训练任务通过预训练而被生成的。

11.根据权利要求1所述的设备，其中所述生成数据包括以下至少一项：音频数据、心电图数据、图像、视频数据、计算机断层扫描数据、或光学相干断层扫描数据。

12.根据权利要求1所述的设备，其中所述布局数据包括至少一个目标对象的以下信息中的至少一项：类别、大小、以及位置。

13.一种用于数据处理的方法，包括：

14.一种电子设备，包括处理电路，被配置为执行：

技术总结本公开的实施例涉及一种用于数据处理的设备和方法，涉及计算机领域。该设备可以获取经训练的数据生成模型，经训练的数据生成模型是在扩散模型的基础上通过注入布局信息进行空间调制而被生成的；以及将布局数据输入到经训练的数据生成模型，以得到与布局数据对应的生成数据。以此方式，能够在扩散模型的基础上通过注入布局信息进行空间调制而生成经训练的数据生成模型，其能够更精确地控制对象的空间信息。因此，能够改进诸如布局到图像等生成模型，从而提升数据生成的精度。技术研发人员：张朋艺,张霓受保护的技术使用者：日本电气株式会社技术研发日：技术公布日：2024/10/10