用于对扩散模型加水印的装置和方法与流程

本公开的各个方面涉及用于对扩散模型加水印的装置和方法。

背景技术：

1、近年来，去噪扩散概率模型和基于得分的langevin动力学已在图像生成中显示出巨大的前景。这两种类型的生成式学习方法已经通过随机微分方程(sde)的视角统一起来，sde通常被称为扩散模型。在加快采样、优化模型参数化和噪声调度以及在文本到图像生成中的应用方面已经取得了很大进展。在稳定扩散的公开发布之后，通过在嵌入空间或完整模型中进行微调，提出了dm的个性化技术。

2、扩散模型(dm)已经证明了它们在生成式任务方面的优势潜力。将dm结合到下游应用程序中存在着广泛的兴趣，例如通过无条件/类别条件图像生成以及文本到图像生成任务来产生或编辑照片真实感图像和/或帮助艺术家进行创造性设计。然而，dm的实际部署和前所未有的权力引发了法律问题，包括版权保护和生成内容的监控。在这方面，加水印已被证明是版权保护和内容监控的解决方案。

3、几十年来，加水印技术一直被用于保护或识别多媒体内容。近年来，大规模机器学习模型(如深度神经网络)由于其昂贵的训练和数据收集程序而被视为知识产权。为了主张版权并使其可检测，已经提出了用于深度神经网络的加水印技术。有几种方法试图将水印直接嵌入到模型参数中，同时需要白盒访问才能检查水印。

4、另一类加水印技术在训练过程中使用预定义输入作为触发器，从而唤起异常预测，其可用于在黑盒场景中识别模型(例如非法窃取的实例)。

5、与判别模型相比，生成式模型包含内部随机性，有时不接受输入(在无条件生成式模型的情况下)，这使得加水印更加困难。此外，dm从较长的轨道生成样本并且可能具有新设计的多模式结构，这需要修改传统的加水印流水线。因此，用于dm模型的有效加水印的方法(例如，稳定的扩散模型)是合乎需要的。

技术实现思路

1、各种实施例涉及一种用于对扩散模型加水印的方法，其包括生成一个或多个训练数据元素，该一个或多个训练数据元素包括作为目标图像的包括预定义水印信息的图像，并且训练该扩散模型以使用包括该一个或多个训练数据元素的训练数据来预测该目标图像。

2、根据一个实施例，扩散模型是无条件扩散模型或类别条件扩散模型。

3、根据一个实施例，该方法包括使用训练数据来训练扩散模型，以根据目标图像的噪声版本预测每个目标图像。

4、根据一个实施例，该方法包括通过将预定义水印信息嵌入到一个或多个原始训练图像中来生成一个或多个训练数据元素的目标图像。

5、根据一个实施例，该方法包括通过由编码器对预定义水印信息进行编码并将已编码的预定义水印信息包含到原始训练图像中来将预定义水印信息嵌入到一个或多个原始训练图像中。

6、根据一个实施例，预定义水印信息是编码的二进制字符串。

7、根据一个实施例，该方法包括通过由扩散模型生成图像并检查所生成的图像是否含有预定义水印信息来验证扩散模型已被加水印。

8、根据一个实施例，该方法包括通过由扩散模型生成图像并检查所生成的图像是否含有预定义水印信息来检查另一扩散模型是否对应于该扩散模型。

9、根据一个实施例，该方法包括通过水印解码器来检查所生成的图像是否含有预定义水印信息，该水印解码器被训练为从生成的图像中提取预定义水印信息。

10、根据一个实施例，扩散模型是文本到图像生成模型。

11、根据一个实施例，图像是预定义水印图像。

12、根据一个实施例，该方法包括生成训练数据元素，该训练数据元素包括预定义水印图像作为目标图像。

13、根据一个实施例，训练数据元素是包括目标图像和用于扩散模型的文本提示的图像-文本对。

14、根据一个实施例，该方法包括训练扩散模型以根据文本来提示预测目标图像。

15、根据一个实施例，该方法包括通过检查扩散模型是否根据文本提示生成目标图像来验证扩散模型已被加水印。

16、根据一个实施例，该方法包括通过检查另一扩散模型是否根据文本提示生成目标图像来检查另一扩散模型是否对应于该扩散模型。

17、根据一个实施例，该方法包括使用利用目标图像作为基本事实的监督训练来训练扩散模型。

18、根据一个实施例，提供一种数据处理系统，其被配置为实施如上述任一实施例所述的方法。

19、根据一个实施例，提供一种计算机程序元件，其包括程序指令，所述程序指令在由一个或多个处理器执行时促使一个或多个处理器实施如上述任一实施例所述的方法。

20、根据一个实施例，提供一种计算机可读介质，其包括程序指令，所述程序指令在由一个或多个处理器执行时促使所述一个或多个处理器实施如上述任一实施例所述的方法。

技术特征：

1.一种用于对扩散模型加水印的方法，包括：

2.根据权利要求1所述的方法，其中所述扩散模型是无条件扩散模型或类别条件扩散模型。

3.根据权利要求1或2所述的方法，其包括使用所述训练数据来训练所述扩散模型，以根据所述目标图像的噪声版本预测每个目标图像。

4.根据权利要求1至3中任一项所述的方法，其包括通过将所述预定义水印信息嵌入到一个或多个原始训练图像中来生成所述一个或多个训练数据元素的所述目标图像。

5.根据权利要求4所述的方法，其包括通过由编码器对所述预定义水印信息进行编码并将已编码的预定义水印信息包含到所述原始训练图像中来将所述预定义水印信息嵌入到所述一个或多个原始训练图像中。

6.根据权利要求1至5中任一项所述的方法，其中所述预定义水印信息是编码的二进制字符串。

7.根据权利要求1至6中任一项所述的方法，其包括通过由所述扩散模型生成图像并检查所生成的图像是否含有预定义水印信息来验证所述扩散模型已被加水印。

8.根据权利要求1至7中任一项所述的方法，其包括通过由所述扩散模型生成图像并检查所生成的图像是否含有预定义水印信息来检查另一扩散模型是否对应于所述扩散模型。

9.根据权利要求8所述的方法，其包括通过水印解码器来检查所生成的图像是否含有预定义水印信息，所述水印解码器被训练为从生成的图像中提取所述预定义水印信息。

10.根据权利要求1所述的方法，其中所述扩散模型是文本到图像生成模型。

11.根据权利要求1或10所述的方法，其中所述图像是预定义水印图像。

12.根据权利要求1、10或11所述的方法，其中所述方法包括生成训练数据元素，所述训练数据元素包括所述预定义水印图像作为目标图像。

13.根据权利要求12所述的方法，其中所述训练数据元素是包括所述目标图像和用于所述扩散模型的文本提示的图像-文本对。

14.根据权利要求13所述的方法，其包括训练所述扩散模型以根据所述文本提示来预测所述目标图像。

15.根据权利要求13或14所述的方法，其包括通过检查所述扩散模型是否根据所述文本提示生成所述目标图像来验证所述扩散模型已被加水印。

16.根据权利要求13至15中任一项所述的方法，其包括通过检查另一扩散模型是否根据所述文本提示生成所述目标图像来检查所述另一扩散模型是否对应于所述扩散模型。

17.根据权利要求1至16中任一项所述的方法，其包括使用利用所述目标图像作为基本事实的监督训练来训练所述扩散模型。

18.一种数据处理系统，其被配置为实施如权利要求1至17中任一项所述的方法。

19.一种计算机程序元件，其包括程序指令，所述程序指令在由一个或多个处理器执行时促使所述一个或多个处理器实施如权利要求1至17中任一项所述的方法。

20.一种计算机可读介质，其包括程序指令，所述程序指令在由一个或多个处理器执行时促使所述一个或多个处理器实施如权利要求1至17中任一项所述的方法。

技术总结各方面涉及一种用于对扩散模型加水印的方法，其包括生成一个或多个训练数据元素，所述一个或多个训练数据元素包括作为目标图像的包括预定义水印信息的图像，并且训练该扩散模型以使用包括一种或多个训练数据元素的训练数据来预测目标图像。技术研发人员：庞天宇,杜超,林敏,Y·赵受保护的技术使用者：竞舞娱乐私人有限公司技术研发日：技术公布日：2024/9/12