图像处理方法、装置、存储介质及电子设备与流程

1.本发明涉及计算机技术和图像处理领域，具体而言，涉及一种图像处理方法、装置、存储介质及电子设备。


背景技术：

2.深度神经网络(deep neural networks，dnn)被广泛应用于许多涉及图像识别和分类的技术场景中。然而，dnn模型容易受到图像中对抗性扰动的影响，难以适用于存在对抗样本的技术领域(例如面部识别和自动驾驶等)；并且，随着图像翻译技术的发展，dnn模型可以实现对图像的编辑，一旦dnn模型被恶意滥用，将会产生严重的安全问题。
3.相关技术中，避免图像遭受恶意编辑的方法主要有两种：被动检测方法，根据被恶意编辑的图像特征，设计系统进行图像溯源，进而检测图像是否被恶意编辑；主动防御方法，利用dnn模型的脆弱性，对用于恶意编辑图像的目标模型进行功能扰乱。然而，被动检测方法无法对恶意编辑行为进行预防，主动防御方法仅适用于防御单一目标模型其可扩展性较差。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种图像处理方法、装置、存储介质及电子设备，以至少解决相关技术中由于仅对图像进行主动防御或被动检测导致图像异常操作保护效果差、可扩展性差的技术问题。
6.根据本发明实施例的一个方面，提供了一种图像处理方法，包括：获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作。
7.根据本发明实施例的另一方面，还提供了一种图像处理方法，包括：接收来自于客户端的第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作；将分析结果反馈至客户端。
8.根据本发明实施例的另一方面，还提供了一种图像处理装置，包括：获取模块，用于获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；编码模块，用于对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；分析模块，用于基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象
执行过异常操作。
9.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行任意一项上述的图像处理方法。
10.根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作。
11.在本发明实施例中，获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源，采用对第一编码信息和第一图像进行编码处理的方式，得到第二图像，其中，第二图像为对抗样本图像，通过基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作，达到了基于可图像溯源的对抗样本图像进行异常操作分析检测的目的，从而实现了对图像进行主动防御和被动检测双重保护的技术效果，进而解决了相关技术中由于仅对图像进行主动防御或被动检测导致图像异常操作保护效果差、可扩展性差的技术问题。
附图说明
12.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
13.图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图；
14.图2是根据本发明实施例的一种图像处理方法的流程图；
15.图3是根据本发明实施例的一种可选的面部图像的双重保护过程的示意图；
16.图4是根据本发明实施例的另一种图像处理方法的流程图；
17.图5是根据本发明实施例的一种在云端服务器进行图像处理的示意图；
18.图6是根据本发明实施例的一种图像处理装置的结构示意图；
19.图7是根据本发明实施例的另一种图像处理装置的结构示意图；
20.图8是根据本发明实施例的另一种图像处理装置的结构示意图；
21.图9是根据本发明实施例的另一种图像处理装置的结构示意图；
22.图10是根据本发明实施例的另一种计算机终端的结构框图。
具体实施方式
23.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范
围。
24.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
25.首先，在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
26.对抗样本：是指在数据集中通过故意添加细微的干扰所形成的输入样本，导致模型以高置信度给出一个错误的输出。在本发明中，对抗样本可以是人为添加微小扰动以使面部编辑模型失效(无法对图片样本中的面部图像进行编辑)的图片样本。产生对抗样本并使用对抗样本攻击深度神经网络模型的过程叫做对抗攻击。
27.面部编辑模型：是指基于深度生成模型实现的可以对面部属性进行编辑的模型。
28.图像溯源：是指根据图像的现有信息追溯该图像的原始信息的过程。
29.面部图像主动防御：是指在面部图像受到面部编辑模型的篡改前使面部编辑模型的功能失效的防御方法，也叫面部图像主动保护。
30.面部图像被动防御：是指在面部图像受到面部编辑模型的篡改后对该面部图像进行检测和图像溯源的防御方法，也叫面部图像被动保护。
31.实施例1
32.根据本发明实施例，还提供了一种图像处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
33.本发明实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a，102b，
……
，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、键盘、光标控制设备(如鼠标)、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
34.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本发明实施例中所涉及到的，
该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
35.存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
36.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
37.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
38.此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
39.在上述运行环境下，本发明提供了如图2所示的一种图像处理方法。图2是根据本发明实施例的一种图像处理方法的流程图，如图2所示，该图像处理方法包括：
40.步骤s21，获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；
41.步骤s22，对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；
42.步骤s23，基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作。
43.上述第一图像可以是显示有目标对象的原始样本图像。上述第一编码信息可以是用户输入的与第一图像相关联的现有编码信息。该第一编码信息可以用于对该第一图像进行图像溯源，进而确定该第一图像对应的原始编码信息。例如，上述现有编码信息和上述原有编码信息均可以是64位二进制的编码信息。
44.对上述第一编码信息和上述第一图像进行编码处理，可以得到上述第二图像。第二图像为对抗样本图像。该第二图像可以是人为添加微小扰动以使深度神经网络模型分类错误的图片样本。
45.对上述第二图像进行图像分析，可以得到分析结果，进而可以确定是否对上述目标图像执行过异常操作。例如：第一图像可以是显示有面部(相当于上述目标对象)的面部识别图像，采用编码器对面部识别图像以及该面部识别图像关联的编码信息进行编码，可以得到该面部识别图像对应的面部对抗样本图像。通过对该面部对抗样本图像进行分析，可以确定图像中的面部是否被执行过恶意编辑，进而保护图像。
46.具体地，对第一编码信息和第一图像进行编码处理，得到第二图像，以及基于第二图像进行图像分析，得到分析结果，还包括其他方法步骤，可以参照下文中对于本发明实施例的进一步介绍，此处不予赘述。
47.在本发明实施例中，获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源，采用对第一编码信息和第一图像进行编码处理的方式，得到第二图像，其中，第二图像为对抗样本图像，通过基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作，达到了基于可图像溯源的对抗样本图像进行异常操作分析检测的目的，从而实现了对图像进行主动防御和被动检测双重保护的技术效果，进而解决了相关技术中由于仅对图像进行主动防御或被动检测导致图像异常操作保护效果差、可扩展性差的技术问题。
48.可选地，本发明所提供的上述图像处理方法可以但不限于应用于任何涉及基于dnn模型和对抗样本进行信息(如图像、数据等)安全保护的应用场景中。
49.下面对本发明实施例的上述方法进行进一步介绍。
50.在一种可选的实施例中，在步骤s22中，对第一编码信息和第一图像进行编码处理，得到第二图像，包括如下方法步骤：
51.步骤s221，采用目标编码器对第一编码信息和第一图像进行编码处理，得到第二图像，其中，目标编码器通过对初始编码器的参数进行优化以最小化目标损失而得到。
52.上述目标编码器可以是基于初始编码器预先训练得到的编码器。具体地，对初始编码器的多个相关参数进行优化调整，直到使编码器的目标损失达到最小值，得到目标编码器。
53.上述第一图像为显示有目标对象的原始样本图像，上述第二图像为对抗样本图像。上述第一编码信息可以是用户输入的与第一图像相关联的现有编码信息。使用最小化目标损失对应的目标编码器对该第一编码信息和该第一图像进行编码，可以得到该第二图像。
54.例如，在对面部图像进行防止恶意编辑保护时，可以使用本发明实施例提供的方法。图3是根据本发明实施例的一种可选的面部图像的双重保护过程的示意图，如图3所示，待保护的原始图像为显示有面部的图像pic01，输入信息为该原始图像pic01的相关编码信息data01。将该原始图像pic01和输入信息data01传输至预先训练的编码器e进行编码(如直接映射编码方法)，可以得到该原始图像pic01对应的对抗样本图像pic02。
55.具体地，基于初始编码器，通过确定最小化的目标损失得到上述编码器e，其中确定目标损失的方法可以参照后文中的描述，此处做不赘述。
56.需要说明的是，上述对抗样本图像pic02可以用于攻击面部编辑系统。面部编辑系统能够编辑原始图像pic01，但无法编辑对抗样本图像pic02。
57.在一种可选的实施例中，在步骤s23中，基于第二图像进行图像分析，得到分析结果，包括如下方法步骤：
58.步骤s231，基于第二图像进行图像分析，得到第一编码信息；
59.步骤s232，获取第一编码信息对应的第三图像；
60.步骤s233，对第三图像与第一图像进行比对分析，得到分析结果，其中，分析结果
用于确定第一图像是否为异常图像。
61.上述第二图像为对抗样本图像。上述第一编码信息可以是用户输入的与第一图像相关联的现有编码信息。对该第二图像进行图像分析，可以得到该第一编码信息。根据上述第一编码信息，可以获取上述第三图像。
62.上述第一图像为待保护的显示有目标对象的原始样本图像，上述第三图像为与第一图像相关联的现有编码信息对应的未经异常操作的图像。对该第三图像与该第一图像进行对比分析，可以确定该第一图像中显示的目标对象是否被执行过异常操作。如果该第一图像中显示的目标对象被执行过异常操作，则确定该第一图像为异常图像。
63.仍然以对面部图像进行防止恶意编辑保护的过程为例，如图3所示，使用预先训练的解码器对抗样本图像pic02进行信息提取，可以得到原始图像pic01的相关编码信息data01，该相关编码信息data01可以用于对面部图像进行图像溯源等被动保护。
64.需要说明的是，上述编码器e针对待保护的面部图像进行信息提取和图像溯源，而无法从未受保护的面部图像中提取有效的信息。
65.仍然如图3所示，将待保护的原始图像pic01和对抗样本图像pic02传输至面部编辑系统中；面部编辑系统可以得到对应的特征g1、特征g2、
……
特征gn；进一步地，分别对原始图像pic01和对抗样本图像pic02进行多个特征的编辑，得到被编辑后的原始图像pic11和被编辑后的对抗样本图像pic22。
66.在一种可选的实施例中，在步骤s231中，基于第二图像进行图像分析，得到第一编码信息，包括如下方法步骤：
67.步骤s234，对第二图像和/或第四图像进行解码处理，得到第一编码信息，其中，第四图像通过对第二图像进行图像编辑后得到。
68.仍然以对面部图像进行防止恶意编辑保护的过程为例，上述第二图像为待保护的面部图像对应的对抗样本图像，上述第四图像为被面部编辑系统进行图像编辑操作后的对抗样本图像。
69.仍然如图3所示，采用解码器从对抗样本图像和被编辑后的对抗样本图像中提取有效的相关信息，该相关信息可以包括与待保护的原始图像对应的输出消息(用于表示该待保护的面部图像未被执行恶意编辑)，还可以包括异常消息(用于表示该待保护的面部图像被执行过恶意编辑)。
70.容易注意到的是，通过本发明实施例的上述方法，可以得到针对面部恶意编辑操作的图像分析结果，该结果具有较好的图像处理鲁棒性。
71.在一种可选的实施例中，在步骤s234中，对第二图像和/或第四图像进行解码处理，得到第一编码信息，包括如下方法步骤：
72.步骤s235，采用目标解码器对第二图像和/或第四图像进行解码处理，得到第一编码信息，其中，目标解码器通过对初始解码器的参数进行优化以最小化目标损失而得到。
73.对上述第二图像和/或上述第四图像进行解码处理的目标解码器，可以是基于初始解码器预先训练得到的解码器。具体地，对对初始解码器的多个相关参数进行优化调整，直到使解码器的目标损失达到最小值，得到目标解码器。
74.具体地，基于初始解码器，通过确定最小化的目标损失得到目标解码器，其中确定目标损失的方法可以参照后文中的描述，此处做不赘述。
75.在一种可选的实施例中，图像处理方法还包括如下方法步骤：
76.步骤s24，获取第一损失、第二损失、第三损失和第四损失，其中，第一损失由原始训练图像与第一对抗训练图像之间的均方误差确定，第二损失由判别器对应的第五损失确定，判别器与目标编码器之间存在对抗关系且判别器用于区分原始训练图像与第一对抗训练图像，第三损失由原始训练图像的特征与第一对抗训练图像的特征之间的余弦相似度确定，第四损失由输入信息与输出信息之间的均方误差确定，输入信息为第一对抗训练图像关联的编码信息，输出信息为第二对抗训练图像关联的编码信息，第二对抗训练图像是通过对第一对抗训练图像进行频谱扩散处理后得到的图像；
77.步骤s25，采用第一损失、第二损失、第三损失和第四损失确定目标损失。
78.仍然以对面部图像进行防止恶意编辑保护的过程为例，训练目标编码器和训练目标解码器的过程中，目标损失可以由上述第一损失、上述第二损失、上述第三损失和上述第四损失确定。
79.具体地，上述第一损失由原始训练图像与第一对抗训练图像之间的均方误差确定，如下述公式(1)所示：
[0080][0081]
在上述公式(1)中，e表示编码器，θe表示编码器的参数；x
in
表示输入的原始样本图像，x
adv
表示对抗样本图像；m
in
表示潜入对抗样本图像中的信息；mse表示均方误差函数。通过上述公式(1)，可以通过调整编码器参数θe使第一编码器损失l
e1
(相当于上述第一损失)最小化。
[0082]
具体地，上述第二损失由判别器对应的第五损失确定，如下述公式(2)和公式(3)所示：
[0083][0084][0085]
在上述公式(2)中，c表示判别器，该判别器c与编码器e之间存在对抗关系，该判别器c可以用于区分原始样本图像和对抗样本图像，θc表示判别器的参数。通过上述公式(2)，可以通过调整判别器参数βc使判别器误差lc(相当于上述第五损失)最小化。
[0086]
如公式(3)所示，由于编码器e需要使编码得到的对抗样本图像与原始样本图像难以被判别器c区分，还可以通过调整判别器参数βc和编码器参数βe使第二编码器损失l
e2
(相当于上述第二损失)最小化。
[0087]
具体地，上述第三损失由原始训练图像的特征与第一对抗训练图像的特征之间的余弦相似度确定，如下述公式(4)所示：
[0088][0089]
在上述公式(4)中，g表示面部编辑系统，f表示特征提取器。通过调整编码器参数βe，使余弦相似度损失la(相当于上述第三损失)最小化，使得被执行面部编辑操作后的对抗样本图像与被执行面部编辑操作后原始图像特征差异较大，进而可以破坏面部编辑系统的
生成能力，对面部图像的恶意编辑进行主动防御。
[0090]
通过上述公式(4)，可以实现基于特征的面部编辑系统攻击方案，似的面部编辑系统无法输出有意义的特征图像。具体地，通过在预设数据集上训练面部属性分类的多头分类器，使用该多头分类器中分类层的前一层作为特征提取层，提取原始样本图像x
in
和对抗样本图像x
adv
中的面部属性相关特征，进而根据提取的面部属性相关特征比较原始样本图像x
in
和对抗样本图像x
adv
的余弦相似度。
[0091]
具体地，上述第四损失由输入信息与输出信息之间的均方误差确定，输入信息为第一对抗训练图像关联的编码信息，输出信息为第二对抗训练图像关联的编码信息，第二对抗训练图像是通过对第一对抗训练图像进行频谱扩散处理后得到的图像。如下述公式(5)所示：
[0092][0093]
在上述公式(5)中，d表示解码器，θd表示解码器的参数；x
new
表示频谱扩散处理后的对抗样本。通过调整解码器参数θd，使解码器损失ld(相当于上述第三损失)最小化，使得解码器解码的输出信息和输入信息之间的均方误差最小化。
[0094]
需要说明的是，通过上述对解码器的优化，可以保证解码器能够准确地从对抗样本图像中提取信息，也能够准确地从被执行面部编辑操作后的对抗样本图像中提取信息。
[0095]
基于上述第一编码器损失l
e1
(相当于上述第一损失)、第二编码器损失l
e2
(相当于上述第二损失)、余弦相似度损失la(相当于上述第三损失)和解码器损失ld(相当于上述第三损失)，可以根据下述公式(6)确定目标损失l：
[0096]
l＝β
e1
l
e1
β
e2
l
e2
βala βdldꢀꢀ
公式(6)
[0097]
在上述公式(6)中，β
e1
表示第一编码器损失l
e1
的权重，β
e2
表示第二编码器损失l
e2
的权重，βa表示余弦相似度损失la的权重，βd表示解码器损失ld的权重。
[0098]
在一种可选的实施例中，图像处理方法还包括如下方法步骤：
[0099]
步骤s26，通过离散余弦变换将第一对抗训练图像从空间域转换至频率域，得到第一处理结果；
[0100]
步骤s27，基于第一处理结果随机丢弃部分频道信息，得到第二处理结果；
[0101]
步骤s28，将第二处理结果从频率域转换至空间域，得到第二对抗训练图像。
[0102]
仍然以对面部图像进行防止恶意编辑保护的过程为例，在使用解码器对对抗样本图像和被执行面部编辑操作后的对抗样本图像进行解码时，可以对图像进行频谱扩散处理。
[0103]
具体地，在训练解码器的过程中，将待解码的对抗样本图像(相当于上述第一对抗训练图像)从空间域通过离散余弦变换转换到频率域，然后随机丢弃部分频道信息后再从频率域转换至空间域，进而得到新的对抗样本图像进行解码。
[0104]
通过上述频谱扩散处理，可以提升对抗样本图像中的信息的鲁棒性，保证对抗样本图像在被进行面部编辑操作、图像压缩、图像模糊等图像处理操作后，对抗样本图像中的信息仍然能够被准确提取。
[0105]
在一种可选的实施例中，图像处理方法还包括如下方法步骤：
[0106]
步骤s291，采用目标解码器对第五图像进行解码处理，得到第二编码信息，其中，第二编码信息用于确定第五图像是否为通过对第一图像进行图像编辑后得到图像；
[0107]
步骤s292，响应于第二编码信息为异常编码信息，确定第五图像是通过对第一图像进行图像编辑后得到图像；
[0108]
步骤s293响应于第二编码信息为正常编码信息，确定第五图像与第一图像为相同图像。
[0109]
上述第五图像可以是待检测的样本图像。采用目标解码器对该第五图像进行解码处理，可以得到上述第二解码信息。该第二解码信息可以用于确定该第五图像是否为通过对第一图像进行图像编辑后得到的图像。例如，将该第二解码信息与第一图像对应的第一解码信息进行对比分析，进而确定第五图像与第一图像的对应关系。
[0110]
在实际应用场景中，当第五图像对应的第二编码信息与第一图像对应的第一编码信息差异较大，可以确定该第二编码信息为异常编码信息，进而确定该第五图像是对第一图像进行编辑后得到的图像。
[0111]
在实际应用场景中，当第五图像对应的第二编码信息与第一图像对应的第一编码信息相同或差异在误差允许范围内，可以确定该第二编码信息为正常编码信息，进而确定该第五图像是与第一图像相同的图像(该第五图像并未被执行异常编辑操作)。
[0112]
容易注意到的是，根据本发明实施例提供的方法，通过对抗样本图像的攻击性，可以对待保护的图像进行异常操作的主动防御；利用对抗样本图像对应的信息进行图像溯源，进而进行异常图像的检测，可以对待保护的图像进行异常操作的被动防御。因此，本发明的有益效果在于：基于可图像溯源的对抗样本图像进行异常操作分析检测，实现对图像进行主动防御和被动检测双重保护。
[0113]
本发明其中一实施例还提供了一种图像处理方法，该图像处理方法在云端服务器上运行，图4是根据本发明实施例的另一种图像处理方法的流程图，如图4所示，该图像处理方法，包括：
[0114]
步骤s41，接收来自于客户端的第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；
[0115]
步骤s42，对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；
[0116]
步骤s43，基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作；
[0117]
步骤s44，将分析结果反馈至客户端。
[0118]
可选地，图5是根据本发明实施例的一种在云端服务器进行图像处理的示意图，如图5所示，客户端将第一图像和第一编码信息上传至云端服务器，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；云端服务器对第一编码信息和第一图像进行编码处理，得到第二图像，以及基于第二图像进行图像分析，得到分析结果，其中，第二图像为对抗样本图像，分析结果用于确定是否对目标对象执行过异常操作。然后，云端服务器会向上述客户端反馈分析结果，最终的分析结果会通过客户端的图形用户界面提供给用户。
[0119]
需要说明的是，本发明实施例所提供的上述图像处理方法，可以但不限于适用于任何涉及基于dnn模型和对抗样本进行信息(如图像、数据等)安全保护的实际应用场景，通
过saas服务端和客户端进行交互的方式，采用对客户端发送的第一编码信息和第一图像进行编码处理，得到第二图像，以及基于第二图像进行图像分析的方式得到分析结果，并将返回的分析结果通过客户端提供给用户。
[0120]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0121]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0122]
实施例2
[0123]
根据本发明实施例，还提供了一种用于实施上述图像处理方法的装置，图6是根据本发明实施例的一种图像处理装置的结构示意图，如图6所示，该装置包括：获取模块61、编码模块62和分析模块63，其中，
[0124]
获取模块61，用于获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；编码模块62，用于对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；分析模块63，用于基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作。
[0125]
可选地，上述编码模块62还用于：采用目标编码器对第一编码信息和第一图像进行编码处理，得到第二图像，其中，目标编码器通过对初始编码器的参数进行优化以最小化目标损失而得到。
[0126]
可选地，上述分析模块63还用于：基于第二图像进行图像分析，得到第一编码信息；获取第一编码信息对应的第三图像；对第三图像与第一图像进行比对分析，得到分析结果，其中，分析结果用于确定第一图像是否为异常图像。
[0127]
可选地，上述分析模块63还用于：对第二图像和/或第四图像进行解码处理，得到第一编码信息，其中，第四图像通过对第二图像进行图像编辑后得到。
[0128]
可选地，上述分析模块63还用于：采用目标解码器对第二图像和/或第四图像进行解码处理，得到第一编码信息，其中，目标解码器通过对初始解码器的参数进行优化以最小化目标损失而得到。
[0129]
可选地，图7是根据本发明实施例的另一种图像处理装置的结构示意图，如图7所示，该装置除包括图6所示的所有模块外，还包括：损失模块64，用于获取第一损失、第二损失、第三损失和第四损失，其中，第一损失由原始训练图像与第一对抗训练图像之间的均方误差确定，第二损失由判别器对应的第五损失确定，判别器与目标编码器之间存在对抗关系且判别器用于区分原始训练图像与第一对抗训练图像，第三损失由原始训练图像的特征
与第一对抗训练图像的特征之间的余弦相似度确定，第四损失由输入信息与输出信息之间的均方误差确定，输入信息为第一对抗训练图像关联的编码信息，输出信息为第二对抗训练图像关联的编码信息，第二对抗训练图像是通过对第一对抗训练图像进行频谱扩散处理后得到的图像；采用第一损失、第二损失、第三损失和第四损失确定目标损失。
[0130]
可选地，图8是根据本发明实施例的另一种图像处理装置的结构示意图，如图8所示，该装置除包括图7所示的所有模块外，还包括：转换模块65，用于通过离散余弦变换将第一对抗训练图像从空间域转换至频率域，得到第一处理结果；基于第一处理结果随机丢弃部分频道信息，得到第二处理结果；将第二处理结果从频率域转换至空间域，得到第二对抗训练图像。
[0131]
可选地，图9是根据本发明实施例的另一种图像处理装置的结构示意图，如图9所示，该装置除包括图8所示的所有模块外，还包括：解码模块66，用于采用目标解码器对第五图像进行解码处理，得到第二编码信息，其中，第二编码信息用于确定第五图像是否为通过对第一图像进行图像编辑后得到图像；响应于第二编码信息为异常编码信息，确定第五图像是通过对第一图像进行图像编辑后得到图像；响应于第二编码信息为正常编码信息，确定第五图像与第一图像为相同图像。
[0132]
此处需要说明的是，上述获取模块61、编码模块62和分析模块63对应于实施例1中的步骤s21至步骤s23，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
[0133]
在本发明实施例中，获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源，采用对第一编码信息和第一图像进行编码处理的方式，得到第二图像，其中，第二图像为对抗样本图像，通过基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作，达到了基于可图像溯源的对抗样本图像进行异常操作分析检测的目的，从而实现了对图像进行主动防御和被动检测双重保护的技术效果，进而解决了相关技术中由于仅对图像进行主动防御或被动检测导致图像异常操作保护效果差、可扩展性差的技术问题。
[0134]
需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
[0135]
实施例3
[0136]
根据本发明实施例，还提供了一种电子装置的实施例，该电子装置可以是计算装置群中的任意一个计算装置。该电子装置包括：处理器和存储器，其中：
[0137]
存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作。
[0138]
在本发明实施例中，获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源，
采用对第一编码信息和第一图像进行编码处理的方式，得到第二图像，其中，第二图像为对抗样本图像，通过基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作，达到了基于可图像溯源的对抗样本图像进行异常操作分析检测的目的，从而实现了对图像进行主动防御和被动检测双重保护的技术效果，进而解决了相关技术中由于仅对图像进行主动防御或被动检测导致图像异常操作保护效果差、可扩展性差的技术问题。
[0139]
需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
[0140]
实施例4
[0141]
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
[0142]
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
[0143]
在本实施例中，上述计算机终端可以执行图像处理方法中以下步骤的程序代码：获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作。
[0144]
可选地，图10是根据本发明实施例的另一种计算机终端的结构框图，如图10所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器122、存储器124、以及外设接口126。
[0145]
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的图像处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0146]
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作。
[0147]
可选地，上述处理器还可以执行如下步骤的程序代码：采用目标编码器对第一编码信息和第一图像进行编码处理，得到第二图像，其中，目标编码器通过对初始编码器的参数进行优化以最小化目标损失而得到。
[0148]
可选地，上述处理器还可以执行如下步骤的程序代码：基于第二图像进行图像分析，得到第一编码信息；获取第一编码信息对应的第三图像；对第三图像与第一图像进行比
internet devices，mid)、pad等终端设备。图10并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图10所示不同的配置。
[0157]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
[0158]
根据本发明实施例，还提供了一种存储介质的实施例。可选地，在本实施例中，上述存储介质可以用于保存上述实施例1所提供的图像处理方法所执行的程序代码。
[0159]
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
[0160]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作。
[0161]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采用目标编码器对第一编码信息和第一图像进行编码处理，得到第二图像，其中，目标编码器通过对初始编码器的参数进行优化以最小化目标损失而得到。
[0162]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：基于第二图像进行图像分析，得到第一编码信息；获取第一编码信息对应的第三图像；对第三图像与第一图像进行比对分析，得到分析结果，其中，分析结果用于确定第一图像是否为异常图像。
[0163]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对第二图像和/或第四图像进行解码处理，得到第一编码信息，其中，第四图像通过对第二图像进行图像编辑后得到。
[0164]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采用目标解码器对第二图像和/或第四图像进行解码处理，得到第一编码信息，其中，目标解码器通过对初始解码器的参数进行优化以最小化目标损失而得到。
[0165]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取第一损失、第二损失、第三损失和第四损失，其中，第一损失由原始训练图像与第一对抗训练图像之间的均方误差确定，第二损失由判别器对应的第五损失确定，判别器与目标编码器之间存在对抗关系且判别器用于区分原始训练图像与第一对抗训练图像，第三损失由原始训练图像的特征与第一对抗训练图像的特征之间的余弦相似度确定，第四损失由输入信息与输出信息之间的均方误差确定，输入信息为第一对抗训练图像关联的编码信息，输出信息为第二对抗训练图像关联的编码信息，第二对抗训练图像是通过对第一对抗训练图像进行频谱扩散处理后得到的图像；采用第一损失、第二损失、第三损失和第四损失确定目标损失。
[0166]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：通
过离散余弦变换将第一对抗训练图像从空间域转换至频率域，得到第一处理结果；基于第一处理结果随机丢弃部分频道信息，得到第二处理结果；将第二处理结果从频率域转换至空间域，得到第二对抗训练图像。
[0167]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采用目标解码器对第五图像进行解码处理，得到第二编码信息，其中，第二编码信息用于确定第五图像是否为通过对第一图像进行图像编辑后得到图像；响应于第二编码信息为异常编码信息，确定第五图像是通过对第一图像进行图像编辑后得到图像；响应于第二编码信息为正常编码信息，确定第五图像与第一图像为相同图像。
[0168]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收来自于客户端的第一图像和第一编码信息，其中，第一图像为原始样本图像，第一图像中的显示内容包括：目标对象，第一编码信息用于对第一图像进行图像溯源；对第一编码信息和第一图像进行编码处理，得到第二图像，其中，第二图像为对抗样本图像；基于第二图像进行图像分析，得到分析结果，其中，分析结果用于确定是否对目标对象执行过异常操作；将分析结果反馈至客户端。
[0169]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0170]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0171]
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0172]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0173]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0174]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0175]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人
员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。