模型质量评估方法、装置、设备及存储介质与流程

1.本技术实施例涉及互联网技术领域，涉及但不限于一种模型质量评估方法、装置、设备及存储介质。


背景技术：

2.目前的图像处理（例如高清换脸技术）有非常多的应用场景，比如影视人像制作、游戏人物设计、虚拟形象、隐私保护等。目前，换脸方法的主要评估方式是以人主观对比为主，辅以基于图片生成质量的评价指标，例如峰值信噪比（psnr，peak signal-to-noise ratio）、弗雷歇起始距离（fid，frechet inception distance）和人脸相似度的评估。
3.但是，主观评价很难将换脸结果的质量评估量化表示，由于换脸任务是一个综合的任务，而只看图像生成质量又缺乏全面性，因此，相关技术中，针对高清换脸的结果缺乏全面的质量评估体系，无法对换脸模型和换脸结果进行准确又全面的质量评估。


技术实现要素：

4.本技术实施例提供一种模型质量评估方法、装置、设备及存储介质，至少应用于人工智能领域和模型质量评估领域，能够基于不同评估维度下的评估分，对待评估模型进行综合的模型质量评估，提高对待评估模型质量评估的准确性。
5.本技术实施例的技术方案是这样实现的：本技术实施例提供一种模型质量评估方法，所述方法包括：获取待评估模型在不同测试集下的图像三元组，所述图像三元组包括：原始图像、模板图像和处理图像，所述处理图像是基于所述图像三元组中的模板图像，对所述原始图像进行图像处理后得到的；对每一图像三元组中的所述原始图像、所述模板图像和所述处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征；基于至少一个测试集下的图像三元组对应的所述原始图像特征、所述模板图像特征和所述处理图像特征，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第一类评估分；基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第二类评估分；根据所述第一类评估分和所述第二类评估分，对所述待评估模型进行模型质量评估。
6.本技术实施例提供一种模型质量评估装置，所述装置包括：获取模块，用于获取待评估模型在不同测试集下的图像三元组，所述图像三元组包括：原始图像、模板图像和处理图像，所述处理图像是基于所述图像三元组中的模板图像，对所述原始图像进行图像处理后得到的；特征提取模块，用于对每一图像三元组中的所述原始图像、所述模板图像和所述处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征；第一确定模块，用于基于至少一个测试集下的图像三元组对应的所述原始图像特征、所述模板图像特征和所述处理图像特征，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第一类评估分；第二确定模块，用于基于至少一个测试集下的图像三元组
中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第二类评估分；评估模块，用于根据所述第一类评估分和所述第二类评估分，对所述待评估模型进行模型质量评估。
7.本技术实施例提供一种模型质量评估设备，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现上述模型质量评估方法。
8.本技术实施例提供一种计算机程序产品，该计算机程序产品包括计算机程序或可执行指令，计算机程序或可执行指令存储在计算机可读存储介质中；其中，模型质量评估设备的处理器从计算机可读存储介质中读取可执行指令，并执行可执行指令时，实现上述的模型质量评估方法。
9.本技术实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行所述可执行指令时，实现上述模型质量评估方法。
10.本技术实施例具有以下有益效果：对待评估模型在不同测试集下的每一图像三元组中的原始图像、模板图像和处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征；并且基于至少一个测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第一类评估分；同时，基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第二类评估分；从而根据第一类评估分和第二类评估分对待评估模型进行模型质量评估。也就是说，分别基于图像三元组的图像特征和图像像素值，对应计算图像三元组在不同评估维度下的第一类评估分和第二类评估分，如此，由于计算得到了图像三元组在不同评估维度下的评估分，因此能够基于不同评估维度下的评估分对待评估模型进行综合全面的模型质量评估，从而提高对待评估模型质量评估的准确性。
附图说明
11.图1a是本技术实施例提供的视频换脸的实现效果示意图；图1b是本技术实施例提供的同人数据示意图；图2是本技术实施例提供的模型质量评估系统的一个可选的架构示意图；图3是本技术实施例提供的模型质量评估设备的结构示意图；图4是本技术实施例提供的模型质量评估方法的一个可选的流程示意图；图5是本技术实施例提供的模型质量评估方法的另一个可选的流程示意图；图6是本技术实施例提供的模型质量评估方法中确定不同评估分的一个可选的流程示意图；图7是本技术实施例提供的换脸模型的产品侧示意图；图8是本技术实施例提供的换脸模型质量评估框架示意图。
具体实施方式
12.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
13.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本技术实施例所使用的所有的技术和科学术语与属于本技术实施例的技术领域的技术人员通常理解的含义相同。本技术实施例所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
14.在解释本技术实施例之前，首先对本技术实施例中涉及的专业术语进行说明。
15.（1）视频换脸：换脸的定义是将输入的源图（即原始图像source）换到模板图像（template）的人脸中，并使输出人脸（即处理图像result）保持模板图像中人脸的表情、角度、背景等信息。如图1a所示，是本技术实施例提供的视频换脸的实现效果示意图，输入原始图像的人脸图片是人物a，模板图像的目标人脸图片是人物b，输出结果的处理图像中是一张将模板图像中的人物b的身份换成人物a的照片。
16.（2）同人数据：即原始图像和模板图像中是同一个人的图像对，如图1b所示，是本技术实施例提供的同人数据示意图，图像11和图像12中的人物是同一个人。
17.本技术实施例提供一种模型质量评估方法，该方法提出了一套全面的质量评估体系，用于评估视频换脸的效果，包括自然分、高清分、遮挡分、姿态分、相似度分和表情分。本技术实施例的模型质量评估方法无需人工观察，即可自动化地获得换脸模型的最终评估结果，具有全面性、便捷性和主观感受一致性。
18.本技术实施例提供的模型质量评估方法中，首先，获取待评估模型在不同测试集下的图像三元组，图像三元组包括：原始图像、模板图像和处理图像，处理图像是基于图像三元组中的模板图像，对原始图像进行图像处理后得到的；并对每一图像三元组中的原始图像、模板图像和处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征；然后，基于至少一个测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第一类评估分；并且，基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第二类评估分；最后，根据第一类评估分和第二类评估分，对待评估模型进行模型质量评估。如此，由于计算得到了图像三元组在不同评估维度下的评估分，因此能够基于不同评估维度下的评估分对待评估模型进行综合全面的模型质量评估，从而提高对待评估模型质量评估的准确性。
19.下面说明本技术实施例的模型质量评估设备的示例性应用，本技术实施例提供的模型质量评估设备可以实施为终端，也可以实施为服务器。在一种实现方式中，本技术实施例提供的模型质量评估设备可以实施为笔记本电脑，平板电脑，台式计算机，移动设备（例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备）、智能机器人、智能家电和智能车载设备等任意的具备视频处理功能或图像处理功能的终端，或能够对视频处理模型、图像处理模型等（即待评估模型）进行模型质量评估和视频处理质量评估的终端；在另一种实现方式中，本技术实施例提供的模型质量评估设备还可以实施为服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（cdn，content delivery network）、以
及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术实施例中不做限制。下面，将说明模型质量评估设备实施为服务器时的示例性应用。
20.参见图2，图2是本技术实施例提供的模型质量评估系统的一个可选的架构示意图，本技术实施例以模型质量评估方法应用于视频应用中的换脸功能模块为例进行说明，在视频应用中，通过换脸功能模块提供换脸功能，其中，换脸功能模块通过换脸模型（即待评估模型）实现。在视频应用的换脸功能上线之前，可以对该换脸模型进行模型质量评估，即可以采用本技术实施例的模型质量评估方法对换脸模型的模型质量进行评估。
21.本技术实施例中，在进行模型质量评估时，可以由终端100采集换脸模型在不同测试集下的图像三元组，其中，图像三元组包括：原始图像、模板图像和处理图像，处理图像是通过换脸模型基于图像三元组中的模板图像，对原始图像进行图像处理后得到的；然后基于在不同测试集下的图像三元组生成模型质量评估请求，并将模型质量评估请求通过网络200发送给服务器300。服务器300在接收到模型质量评估请求之后，解析模型质量评估请求，得到换脸模型在不同测试集下的图像三元组，并对每一图像三元组中的原始图像、模板图像和处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征；基于至少一个测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第一类评估分；以及，基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第二类评估分；最终，根据第一类评估分和第二类评估分，对换脸模型进行模型质量评估，得到质量评估结果，并将质量评估结果发送给终端100。或者，在其他实施例中，在得到第一类评估分和第二类评估分之后，将第一类评估分和第二类评估分发送给终端100。
22.本技术实施例所提供的模型质量评估方法还可以基于云平台并通过云技术来实现，例如，上述服务器300可以是云端服务器。通过云端服务器对每一图像三元组中的原始图像、模板图像和处理图像分别进行特征提取，或者，通过云端服务器确定任一测试集下的图像三元组在与该测试集对应的评估维度下的第一类评估分，或者，通过云端服务器确定任一测试集下的图像三元组在与该测试集对应的评估维度下的第二类评估分，以及，通过云端服务器对换脸模型进行模型质量评估。
23.在一些实施例中，还可以具有云端存储器，可以将不同测试集下的图像三元组存储至云端存储器中，或者，还可以将每一测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征存储至云端存储器中，或者，还可以将每一测试集下的图像三元组中的模板图像的像素值和处理图像的像素值存储至云端存储器中，或者，还可以将第一类评估分和第二类评估分存储至云端存储器中。这样，在对换脸模型进行再次质量评估时，可以从云端存储器中获取第一类评估分和第二类评估分，从而进行模型质量评估。
24.这里需要说明的是，云技术（cloud technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。
programmable logic device）、现场可编程门阵列（fpga，field-programmable gate array）或其他电子元件。
32.本技术各实施例提供的模型质量评估方法可以由模型质量评估设备来执行，其中，该模型质量评估设备可以是终端或者服务器，即本技术各实施例的模型质量评估方法可以通过终端来执行，也可以通过服务器来执行，或者，还可以通过终端与服务器交互来执行。
33.参见图4，图4是本技术实施例提供的模型质量评估方法的一个可选的流程示意图，下面将结合图4示出的步骤进行说明，需要说明的是，图4中的模型质量评估方法是通过服务器作为执行主体为例来说明的。
34.步骤s401，获取待评估模型在不同测试集下的图像三元组，图像三元组包括：原始图像、模板图像和处理图像，处理图像是基于图像三元组中的模板图像，对原始图像进行图像处理后得到的。
35.这里，待评估模型可以是任意一种图像处理模型或者视频处理模型，待评估模型用于对图像进行图像处理，或者用于对视频中的每一视频帧进行图像处理。在进行图像处理时，可以是基于模板图像对原始图像进行处理，也就是说，可以提供图像对，图像对中包括原始图像和模板图像，基于图像对中的模板图像对原始图像进行变换处理，得到变换后的处理图像。
36.原始图像提供图像处理过程中的关键信息，模板图像提供图像处理过程中的辅助信息。其中，关键信息可以是与原始图像中所包含的主要内容或者前景内容相关的信息，辅助信息可以是与模板图像中所包含的辅助内容或者背景内容相关的信息。举例来说，关键信息可以是原始图像中的人脸信息（即人物信息）、动植物的类型信息、建筑物的外形信息等，辅助信息可以是模板图像中人物的表情、动作、角度和背景等信息。
37.本技术实施例中，可以提供多个不同的测试集，每一测试集中包括不同的图像对，即提供每一测试集下的多对原始图像和模板图像。
38.这里，测试集包括但不限于以下至少之一：自然测试集、高清测试集、同人遮挡测试集和同人姿态测试集。其中，自然测试集中原始图像和模板图像的关键信息的分辨率大于分辨率阈值，例如分辨率可以在256-512分辨率之间，且自然测试集中原始图像和模板图像的id丰富，即包括不同的关键信息，例如，自然测试集中原始图像和模板图像可以包括不同不同的人物、不同的动物、不同的植物、不同的建筑物等。自然测试集中原始图像和模板图像构成的图像对的数量大于第一数量阈值，例如，可以大于2000。高清测试集中原始图像和模板图像的关键信息的的高清度大于高清度阈值，例如高清测试集中原始图像和模板图像的分辨率可以为1024，且图像中的物体的局部细节明显（例如人脸的细节明显）。高清测试集中原始图像和模板图像构成的图像对的数量大于第二数量阈值，例如，可以大于2000。同人遮挡测试集可以选择模板图像中目标物体有遮挡的，例如口罩、墨镜、纸质、饰品、头发等的各种因素带来的遮挡，遮挡面积与目标物体的面积之间的比例大于比例阈值，例如当目标物体为人脸时，遮挡面积不低于人脸的30%。并且，同人遮挡测试集中的原始图像和模板图像构成的图像对应该为同人，也就是说，同人遮挡测试集中的原始图像和模板图像构成的图像对中的人物相同。同人遮挡测试集中原始图像和模板图像构成的图像对的数量大于第三数量阈值，例如，原始图像和模板图像构成的图像对的数量大于200。同人大姿态测
试集是对模板图像用人脸朝向估计网络进行分析，筛选出偏向角度大于偏向角度阈值，倾斜度大于倾斜度阈值的图像。并要求原始图像和模板图像构成的图像对为同人。同人大姿态测试集中原始图像和模板图像构成的图像对的数量大于第四数量阈值，例如，原始图像和模板图像构成的图像对的数量大于200。
39.本技术实施例中，可以以每一测试集下的每一图像对为输入数据，输入至待评估模型中，通过待评估模型进行图像处理，得到一个处理图像，然后将输入数据中的原始图像和模板图像与处理图像一起构成一个图像三元组。同一图像三元组中，处理图像是基于该图像三元组中的原始图像和模板图像处理得到的。
40.步骤s402，对每一图像三元组中的原始图像、模板图像和处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征。
41.这里，可以采用任意一种特征提取模型对图像三元组中的原始图像、模板图像和处理图像分别进行特征提取。在一些实施例中，特征提取过程可以采用预先训练好的特征提取模型来实现，特征提取模型中可以具有多个卷积层、池化层和全连接层。其中，多个卷积层用来提取原始图像、模板图像和处理图像中不同层次的特征，例如，可以具有conv1、conv2
…
convn总共n个卷积层，浅层的conv1、conv2等用来提取原始图像、模板图像和处理图像中的浅层特征，如角点、纹理、明亮度等；深层的convn-1、convn等用来提取的是原始图像、模板图像和处理图像中更为抽象的特征，如眼睛、鼻子、嘴巴、肢体等。池化层是对多个卷积层输出的特征进行最大池化处理，在计算过程中，是将输入的原始图像、模板图像和处理图像划分为若干个矩形区域，对每个子区域输出最大值，直觉上，最大池化处理这种机制能够有效的原因在于:在发现一个特征之后，该特征的精确位置远不及该特征和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。因此，在卷积层之后插入池化层，能够避免卷积层的卷积处理后的过拟合。而全连接层可以是用来对已学得的特征进行组合，从而学会了如何分辨原始图像、模板图像和处理图像中的对象，例如原始图像、模板图像和处理图像中存在人、汽车、猫、狗等对象。
42.本技术实施例中，通过特征提取模型分别对每一图像三元组中的原始图像、模板图像和处理图像进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征。其中，原始图像特征、模板图像特征和处理图像特征均以特征向量的形式存在，且原始图像特征、模板图像特征和处理图像特征的特征向量的维度相同。
43.步骤s403，基于至少一个测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第一类评估分。
44.不同测试集下的图像三元组对应的第一类评估分不同，每一测试集可以对应有至少一个评估维度。举例来说，测试集包括但不限于以下至少之一：自然测试集、高清测试集、同人遮挡测试集和同人姿态测试集，对应地，自然测试集对应的评估维度可以包括但不限于：自然分评估维度、相似度评估维度和表情分评估维度；高清测试集对应的评估维度可以包括但不限于：高清分评估维度；同人遮挡测试集对应的评估维度可以包括但不限于：遮挡分评估维度；同人姿态测试集对应的评估维度可以包括但不限于：姿态分评估维度。
45.需要说明的是，在针对每一测试集下的图像三元组对应的原始图像特征、模板图
像特征和处理图像特征，计算第一评估分时，所得到的第一评估分是该测试集下的全部图像三元组在与该测试集对应的评估维度下的第一类评估分。也就是说，在计算第一评估分时，可以基于该测试集下的多个图像三元组进行特征提取，并基于多个图像三元组提取到的原始图像特征、模板图像特征和处理图像特征，进行第一评估分的计算，所计算得到的第一评估分可以作为该测试集下的全部图像三元组的第一类评估分。
46.在一些实施例中，第一类评估分包括但不限于：自然分、高清分和相似度分，第一类评估分是基于图像三元组中的每一图像的特征向量进行计算的，因此，第一类评估分可以评估图像三元组中的处理图像相对抽象的评估维度。这里，抽象的评估维度是指不能通过直观的观察得到的评估结果对应的维度，也就是说，抽象的评估维度是指不能用非零即一的判断标准直接进行判断给出判断结果的评估结果对应的维度。
47.本技术实施例中，在计算第一类评估分时，可以基于自然测试集和高清测试集对应的图像三元组进行，也就是说，在计算第一类评估分时，是以自然测试集和高清测试集对应的图像三元组的数据为输入来实现不同的评估分计算的。
48.在实现的过程中，可以基于自然测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定自然测试集下的图像三元组在与自然测试集对应的自然分评估维度下的自然分；或者，可以基于高清测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定高清测试集下的图像三元组在与高清测试集对应的高清分评估维度下的高清分；或者，可以基于自然测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定自然测试集下的图像三元组在与自然测试集对应的相似度评估维度下的相似度分。
49.步骤s404，基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第二类评估分。
50.需要说明的是，在针对每一测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，计算第二类评估分时，所得到的第二类评估分是该测试集下的全部图像三元组在与该测试集对应的评估维度下的第二类评估分。也就是说，在计算第二类评估分时，可以基于该测试集下的多个图像三元组进行图像像素值的获取，并基于多个图像三元组获取到的模板图像的像素值和处理图像的像素值，进行第二类评估分的计算，所计算得到的第二类评估分可以作为该测试集下的全部图像三元组的第二类评估分。
51.在一些实施例中，第二类评估分包括但不限于：遮挡分、姿态分和表情分，第二类评估分是基于图像三元组中的每一图像的像素值进行计算的，因此，第二类评估分可以评估图像三元组中的处理图像相对直观的评估维度。这里，直观的评估维度是指能够通过直观的观察得到的评估结果对应的维度，也就是说，直观的评估维度是指能够用非零即一的判断标准直接进行判断给出判断结果的评估结果对应的维度。
52.本技术实施例中，在计算第二类评估分时，可以基于同人遮挡测试集、同人姿态测试集和自然测试集进行，也就是说，在计算第二类评估分时，是以同人遮挡测试集、同人姿态测试集和自然测试集对应的图像三元组的数据为输入，来实现不同的评估分计算的。
53.在实现的过程中，可以基于同人遮挡测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定同人遮挡测试集下的图像三元组在与同人遮挡测试集对应的
遮挡分评估维度下的遮挡分；或者，可以基于同人姿态测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定同人姿态测试集下的图像三元组在与同人姿态测试集对应的姿态分评估维度下的姿态分；或者，可以基于自然测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定自然测试集下的图像三元组在与自然测试集对应的表情分评估维度下的表情分。
54.本技术实施例中，第一类评估分对应的评估维度与第二类评估分对应的评估维度不同。
55.步骤s405，根据第一类评估分和第二类评估分，对待评估模型进行模型质量评估。
56.在一种实现方式中，在得到第一类评估分和第二类评估分之后，分别确定第一类评估分的权重和第二类评估分进行的权重，然后基于权重对第一类评估分和第二类评估分进行加权求和，得到用于评估待评估模型质量的综合分，并基于综合分对待评估模型进行综合的模型质量评估。
57.在另一种实现方式中，在得到第一类评估分和第二类评估分之后，可以分别基于第一类评估分和第二类评估分对待评估模型进行模型质量评估，得到待评估模型在不同评估维度下的质量评估结果。
58.本技术实施例提供的模型质量评估方法，对待评估模型在不同测试集下的每一图像三元组中的原始图像、模板图像和处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征；并且基于至少一个测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第一类评估分；同时，基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第二类评估分；从而根据第一类评估分和第二类评估分对待评估模型进行模型质量评估。也就是说，分别基于图像三元组的图像特征和图像像素值，对应计算图像三元组在不同评估维度下的第一类评估分和第二类评估分，如此，由于计算得到了图像三元组在不同评估维度下的评估分，因此能够基于不同评估维度下的评估分对待评估模型进行综合全面的模型质量评估，从而提高对待评估模型质量评估的准确性。
59.在一些实施例中，模型质量评估系统中至少包括终端和服务器，终端上安装有视频应用，该视频应用至少提供一图像处理功能和视频处理功能，这里以图像处理功能和视频处理功能为换脸功能为例进行说明。
60.在视频应用中，通过换脸功能模块提供换脸功能，其中，换脸功能模块中配置一待评估模型，通过待评估模型实现换脸功能，例如，待评估模型可以是换脸模型，可以通过换脸模型实现换脸功能。在视频应用的换脸功能上线之前，可以对该待评估模型进行模型质量评估，或者对待评估模型对视频或图像进行换脸处理的视频或图像处理结果进行图像处理质量评估。即可以采用本技术实施例的模型质量评估方法，通过模型质量评估系统来对待评估模型的模型质量进行评估。
61.需要说明的是，换脸模型的换脸效果的好坏可以具有不同的评估维度。本技术实施例中，在评估换脸模型的换脸效果时，包括但不限于以下评估维度的评估：第一，输出人脸（即处理图像中的人脸）的身份是否与输入人脸（即原始图像中的人脸）的身份一致的评估，这实际上是决定一个换脸成功最为关键的因素之一，对于输入人脸的提供者而言，换脸
的趣味性就在于将自己的人脸换入目标图片（即模板图像）中，这样会让自己有代入感。第二，输出人脸的表情、角度、背景等属性是否与目标图片中的人脸一致的评估，这其实也是一个非常具有挑战性的问题，如果仔细观看ai换脸的视频，会发现合成的人脸并没有表现得和目标视频中人脸的表情、双眸方向、嘴型等细节一样生动，因此，就需要对输出人脸的表情、角度、背景等属性是否与目标图片中的人脸一致进行评估。第三，图像合成质量的评估，图片合成质量是指合成图片的清晰度、真实性、是否存在人工合成的痕迹等质量问题，一张合成质量高的图片应该可以骗过人类的眼睛，让人觉察不到它是合成的。第四，输出视频的时间连续性的评估，输出视频时间的连续性是指在用合成图片制作成视频后，视频抖动越少，连续性越好。第五，可拓展性的评估，这里拓展性好的算法和换脸模型可以将任意输入人脸图片的身份换入目标人脸图片中。第六，处理遮挡、大角度等极端情况的目标人脸的能力的评估。在换脸过程中，目标人脸可能会出现遮挡或者大角度的侧脸，这样输出人脸应该也是含有遮挡或者是大角度的，这其实对生成模型的挑战非常大。
62.下面针对待评估模型在不同评估维度下的评估过程进行举例说明。
63.图5是本技术实施例提供的模型质量评估方法的另一个可选的流程示意图，如图5所示，方法包括以下步骤：步骤s501，终端采集待评估模型在不同测试集下的图像三元组，其中，图像三元组包括：原始图像、模板图像和处理图像，处理图像是通过待评估模型基于图像三元组中的模板图像，对原始图像进行图像处理后得到的。
64.在一些实施例中，终端采集得到不同测试集下的图像三元组可以通过以下步骤s5011至步骤s5013（图中未示出）实现：步骤s5011，获取不同测试集，其中，每一测试集中包括多对图像对，每一图像对包括一张原始图像和一张模板图像。
65.这里，测试集包括但不限于以下至少之一：自然测试集、高清测试集、同人遮挡测试集和同人姿态测试集。其中，自然测试集中原始图像和模板图像的关键信息的分辨率大于分辨率阈值，且自然测试集中原始图像和模板图像的id丰富，即包括不同的关键信息，同时自然测试集中原始图像和模板图像构成的图像对的数量大于第一数量阈值。高清测试集中原始图像和模板图像的关键信息的的高清度大于高清度阈值，且图像中的物体的局部细节明显（例如人脸的细节明显），同时高清测试集中原始图像和模板图像构成的图像对的数量大于第二数量阈值。同人遮挡测试集可以选择模板图像中目标物体有遮挡，且遮挡面积与目标物体的面积之间的比例大于比例阈值，同时，同人遮挡测试集中的原始图像和模板图像构成的图像对应该为同人，同人遮挡测试集中原始图像和模板图像构成的图像对的数量大于第三数量阈值。同人大姿态测试集是对模板图像用人脸朝向估计网络进行分析，筛选出偏向角度大于偏向角度阈值，倾斜度大于倾斜度阈值的图像，且原始图像和模板图像构成的图像对为同人，同时，同人大姿态测试集中原始图像和模板图像构成的图像对的数量大于第四数量阈值。
66.步骤s5012，通过待评估模型分别针对每一测试集中的每一图像对进行图像处理，得到处理图像。
67.在一些实施例中，待评估模型可以为换脸模型；其中，处理图像是换脸模型，图像处理可以是换脸处理，即可以采用原始图像中的脸部区域，对模板图像中的脸部区域进行
换脸处理后得到的换脸图像。
68.步骤s5013，将图像对和处理图像构建成相应测试集下的一个图像三元组。
69.在一些实施例中，在构建好一个图像三元组之后，可以将图像三元组存储至预设数据库中。在进行存储之前，可以为每一图像三元组生成一三元组标识，并将三元组标识与图像三元组映射之后存储至预设数据库中；或者，每一测试集对应一测试集标识，同一测试集下的多个图像三元组与该测试集标识具有映射关系，并将与测试集标识映射后的图像三元组存储至预设数据库中。
70.在另一些实施例中，也可以由服务器实现步骤s5011至步骤s5013，也就是说，终端可以将不同测试集发送给服务器，服务器获取待不同测试集之后，可以通过调用待评估模型分别针对每一测试集中的每一图像对进行图像处理，得到处理图像；然后，将图像对和处理图像构建成相应测试集下的一个图像三元组。
71.步骤s502，终端将不同测试集下的图像三元组封装至模型质量评估请求中。
72.模型质量评估请求用于请求服务器对待评估模型进行模型质量评估。模型质量评估请求中可以携带有图像三元组的三元组标识，或者可以携带有测试集的测试集标识，这样，服务器在对模型质量评估请求进行解析得到三元组标识或者测试集标识之后，可以基于三元组标识或者测试集标识从预设数据库中获取到该测试集下的图像三元组。
73.步骤s503，终端将模型质量评估请求发送给服务器。
74.步骤s504，服务器解析模型质量评估请求，得到换脸模型在不同测试集下的图像三元组。
75.步骤s505，服务器对每一图像三元组中的原始图像、模板图像和处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征。
76.步骤s506，服务器基于至少一个测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第一类评估分。
77.在一些实施例中，测试集包括自然测试集；第一类评估分包括自然分；与自然测试集对应的评估维度包括自然分评估维度。可以基于自然测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定自然测试集下的图像三元组在与自然测试集对应的自然分评估维度下的自然分。
78.在一些实施例中，测试集包括高清测试集；第一类评估分包括高清分；与高清测试集对应的评估维度包括高清分评估维度。可以基于高清测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定高清测试集下的图像三元组在与高清测试集对应的高清分评估维度下的高清分。
79.在一些实施例中，测试集包括自然测试集；第一类评估分包括相似度分；与自然测试集对应的评估维度包括相似度评估维度。可以基于自然测试集下的图像三元组对应的原始图像特征、模板图像特征和处理图像特征，确定自然测试集下的图像三元组在与自然测试集对应的相似度评估维度下的相似度分。
80.步骤s507，服务器基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与相应测试集对应的评估维度下的第二类评估分。
81.在一些实施例中，测试集包括同人遮挡测试集；第二类评估分包括遮挡分；与同人遮挡测试集对应的评估维度包括遮挡分评估维度。可以基于同人遮挡测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定同人遮挡测试集下的图像三元组在与同人遮挡测试集对应的遮挡分评估维度下的遮挡分。
82.在一些实施例中，测试集包括同人姿态测试集；第二类评估分包括姿态分；与同人姿态测试集对应的评估维度包括姿态分评估维度。可以基于同人姿态测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定同人姿态测试集下的图像三元组在与同人姿态测试集对应的姿态分评估维度下的姿态分。
83.在一些实施例中，测试集包括自然测试集；第二类评估分包括表情分；与自然测试集对应的评估维度包括表情分评估维度。可以基于自然测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定自然测试集下的图像三元组在与自然测试集对应的表情分评估维度下的表情分。
84.步骤s508，服务器对第一类评估分和第二类评估分进行归一化处理，得到归一化后的第一类评估分和归一化后的第二类评估分。
85.这里，可以将第一类评估分归一化成0到1之间的分值，将第二类评估分也归一化成0到1之间的分值。如此，得到的归一化后的第一类评估分和归一化后的第二类评估分可以具有相同的取值区域，因此，可以进行进一步的加权计算。
86.步骤s509，服务器对归一化后的第一类评估分和归一化后的第二类评估分进行加权求和，得到总评估分。
87.这里，可以分别确定出第一类评估分的权重和第二类评估分进行的权重，其中，可以根据不同评估维度的重要性和优先级，为第一类评估分和第二类评估分设置权重，得到第一类评估分的权重和第二类评估分进行的权重。然后，基于第一类评估分的权重和第二类评估分进行的权重，对归一化后的第一类评估分和归一化后的第二类评估分进行加权求和，得到总评估分。其中，总评估分即用于评估待评估模型质量的综合分。
88.步骤s510，服务器基于总评估分对待评估模型进行模型质量评估，得到质量评估结果。
89.步骤s511，服务器将质量评估结果发送给终端。
90.步骤s512，终端输出质量评估结果，或者，终端基于质量评估结果对待评估模型进行模型参数修正。
91.本技术实施例中，质量评估结果可以是以评估报告的形式输出，例如，可以以文本的形式输出评估结果是好还是坏，或者，也可以直接输出第一类评估分、第二类评估分和总评估分中的至少一个。
92.在另一些实施例中，当第一类评估分、第二类评估分和总评估分中的至少一个小于分值阈值时，可以基于第一类评估分、第二类评估分和总评估分中的至少一个对待评估模型中的模型参数进行修正，实现对待评估模型的更新。
93.本技术实施例提供的模型质量评估方法，通过计算不同评估维度下的评估分，实现在不同评估维度下对待评估模型进行评估，能够实现对待评估模型进行全面的质量评估。另外，通过对第一类评估分和第二类评估分进行归一化和加权求和处理，得到一个能够进行整体评估的总评估分，该总评估分融合了多个维度的评估分，实现了通过一个总评估
分就能够对待评估模型进行全面和整体的快速评估；且由于该总评估分是基于不同的权重值加权计算得到的，因此，也能够针对不同的评估维度，给出不同的侧重比例，实现对重要评估维度进行高比重的评估，对非重要评估维度进行低比重的评估，使得评估结果更加全面和多元化。
94.图6是本技术实施例提供的模型质量评估方法中确定不同评估分的一个可选的流程示意图，如图6所示，自然分可以通过以下步骤s601至步骤s606进行计算：步骤s601，获取自然测试集下的多个图像三元组对应的模板图像特征和处理图像特征。
95.这里，模板图像特征是对自然测试集下的图像三元组中的模板图像进行特征提取后得到的，处理图像特征是对自然测试集下的图像三元组中的处理图像进行特征提取后得到的。模板图像特征和处理图像特征均以特征向量的形式存在，且模板图像特征和处理图像特征的维度相同。
96.步骤s602，基于模板图像特征，确定出模板图像中的第一目标区域的第一关键点特征。
97.这里，第一目标区域可以是模板图像中的物体的任一关键区域，例如，可以是人物的人脸关键区域，即眼部区域。第一关键点特征是指模板图像中第一目标区域对应的图像特征。
98.步骤s603，基于处理图像特征，确定出处理图像中的第一目标区域的第二关键点特征。
99.由于同一图像三元组中的模板图像和处理图像具有相同的物体，因此，模板图像的第一目标区域与处理图像的第一目标区域相同，例如，均可以是人物的眼部区域。
100.第二关键点特征是指处理图像中第一目标区域对应的图像特征。
101.步骤s604，基于模板图像特征和处理图像特征，确定多个图像三元组在自然测试集下的全局fid值。
102.在一些实施例中，全局fid值可以通过以下方式进行计算：首先，分别确定多个图像三元组对应的模板图像特征的特征均值、多个图像三元组对应的处理图像特征的特征均值。然后，分别确定多个图像三元组对应的模板图像特征的协方差矩阵、多个图像三元组对应的处理图像特征的协方差矩阵。最后，基于模板图像特征的特征均值、处理图像特征的特征均值、模板图像特征的协方差矩阵和处理图像特征的协方差矩阵，确定多个图像三元组的全局fid值。
103.这里，由于多个图像三元组对应的模板图像特征为多个相同维度的特征向量，因此可以对模板图像特征的多个相同维度的特征向量求均值，得到特征均值。同样地，也可以对处理图像特征的多个相同维度的特征向量求均值，得到特征均值。
104.在确定模板图像特征的协方差矩阵和处理图像特征的协方差矩阵时，可以基于协方差矩阵计算公式，对模板图像特征的多个相同维度的特征向量、处理图像特征的多个相同维度的特征向量，分别进行协方差计算，得到模板图像特征的协方差矩阵和处理图像特征的协方差矩阵。之后，再将模板图像特征的特征均值、处理图像特征的特征均值、模板图像特征的协方差矩阵和处理图像特征的协方差矩阵代入至fid计算公式中，计算得到多个图像三元组的全局fid值。其中，fid计算公式将在下文中进行说明。
105.步骤s605，基于第一关键点特征和第二关键点特征，确定多个图像三元组在自然测试集下的局部fid值。
106.在一些实施例中，局部fid值可以通过以下方式进行计算：首先，分别确定多个图像三元组对应的多个模板图像中的第一关键点特征的特征均值、多个图像三元组对应的多个处理图像中的第二关键点特征的特征均值。然后，分别确定多个模板图像中的第一关键点特征的协方差矩阵、多个处理图像中的第二关键点特征的协方差矩阵。最后，基于第一关键点特征的特征均值、第二关键点特征的特征均值、第一关键点特征的协方差矩阵和第二关键点特征的协方差矩阵，确定多个图像三元组对应于第一目标区域的局部fid值。
107.这里，由于多个图像三元组对应的模板图像中的第一关键点特征为多个相同维度的特征向量，因此可以对多个相同维度的第一关键点特征求均值，得到特征均值。同样地，也可以对多个相同维度的第二关键点特征求均值，得到特征均值。
108.在确定第一关键点特征的协方差矩阵和第二关键点特征的协方差矩阵时，可以基于协方差矩阵计算公式，对多个相同维度的第一关键点特征、多个相同维度的第二关键点特征，分别进行协方差计算，得到第一关键点特征的协方差矩阵和第二关键点特征的协方差矩阵。之后，再将第一关键点特征的特征均值、第二关键点特征的特征均值、第一关键点特征的协方差矩阵和第二关键点特征的协方差矩阵代入至fid计算公式中，计算得到多个图像三元组对应于第一目标区域的局部fid值。其中，fid计算公式将在下文中进行说明。
109.步骤s606，对全局fid值和局部fid值进行加权求和，得到自然测试集下的图像三元组在自然分评估维度下的自然分。
110.这里，可以将全局fid值的权重设置为1，将局部fid值的权重设置为0至1之间的任意值，例如可以将局部fid值的权重设置为0.2。
111.请继续参照图6，高清分可以通过以下步骤s607至步骤s612进行计算：步骤s607，获取高清测试集下的多个图像三元组对应的模板图像特征和处理图像特征。
112.步骤s608，基于模板图像特征，确定出模板图像中的第二目标区域的第三关键点特征。
113.这里，第二目标区域可以是模板图像中的物体的任一关键区域，例如，可以是人物的人脸关键区域，即眼部区域。第三关键点特征是指模板图像中第二目标区域对应的图像特征。
114.步骤s609，基于处理图像特征，确定出处理图像中的第二目标区域的第四关键点特征。
115.由于同一图像三元组中的模板图像和处理图像具有相同的物体，因此，模板图像的第二目标区域与处理图像的第二目标区域相同，例如，均可以是人物的眼部区域。
116.第四关键点特征是指处理图像中第二目标区域对应的图像特征。
117.步骤s610，基于模板图像特征和处理图像特征，确定多个图像三元组在高清测试集下的全局fid值。
118.步骤s611，基于第三关键点特征和第四关键点特征，确定多个图像三元组在高清测试集下的局部fid值。
119.本技术实施例中，全局fid值和局部fid值的计算过程可以参见上述步骤s604和步骤s605，本技术实施例不再赘述。
120.步骤s612，对全局fid值和局部fid值进行加权求和，得到高清测试集下的图像三元组在高清分评估维度下的高清分。
121.请继续参照图6，相似度分可以通过以下步骤s613至步骤s617进行计算：步骤s613，获取自然测试集下的多个图像三元组对应的原始图像特征、模板图像特征和处理图像特征。
122.步骤s614，基于原始图像特征和处理图像特征，确定处理图像与原始图像之间的第一相似度。
123.这里，可以计算处理图像与原始图像之间的余弦相似度，将余弦相似度确定为第一相似度。
124.步骤s615，基于第一相似度，确定处理图像与原始图像之间的图像距离。
125.本技术实施例中，第一相似度越大，处理图像与原始图像之间的图像距离越小；第一相似度越小，处理图像与原始图像之间的图像距离越大。
126.步骤s616，基于模板图像特征和处理图像特征，确定处理图像与模板图像之间的第二相似度。
127.这里，可以计算处理图像与模板图像之间的余弦相似度，将余弦相似度确定为第二相似度。
128.步骤s617，将图像距离与第二相似度之和，确定为自然测试集下的图像三元组在相似度评估维度下的相似度分。
129.请继续参照图6，遮挡分可以通过以下步骤s618至步骤s620进行计算：步骤s618，对同人遮挡测试集下的模板图像图像分割处理，得到模板图像中的遮挡区域。
130.这里，可以采用分割模型进行遮挡区域的识别和分割处理，得到模板图像中的遮挡区域。
131.步骤s619，获取模板图像的像素值、遮挡区域的遮挡像素值和处理图像的像素值。
132.步骤s620，基于模板图像的像素值、遮挡像素值和处理图像的像素值，确定同人遮挡测试集下的图像三元组在遮挡分评估维度下的遮挡分。
133.这里，可以计算模板图像遮挡区域与处理图像之间的均方差损失，进而得到同人遮挡测试集下的图像三元组在遮挡分评估维度下的遮挡分。
134.请继续参照图6，姿态分可以通过以下步骤s621至步骤s623进行计算：步骤s621，对同人姿态测试集下的模板图像进行图像分割处理，得到目标对象在模板图像中的对象区域。
135.这里，对象区域可以是指模板图像中的物体所在的区域，例如，可以是人物的人脸所在的区域。
136.步骤s622，获取模板图像的像素值、对象区域的对象像素值和处理图像的像素值。
137.步骤s623，基于模板图像的像素值、对象像素值和处理图像的像素值，确定同人姿态测试集下的图像三元组在姿态分评估维度下的姿态分。
138.这里，可以计算模板图像中对象区域与处理图像之间的均方差损失，进而得到同
人姿态测试集下的图像三元组在姿态分评估维度下的姿态分。
139.请继续参照图6，表情分可以通过以下步骤s624至步骤s626进行计算：步骤s624，分别对自然测试集下的模板图像和处理图像进行关键区域定位，得到模板图像中的至少一个第一关键区域和处理图像的至少一个第二关键区域。
140.步骤s625，获取每一第一关键区域的关键点像素值和每一第二关键区域的关键点像素值。
141.步骤s626，基于每一第一关键区域的关键点像素值和每一第二关键区域的关键点像素值，确定自然测试集下的图像三元组在表情分评估维度下的表情分。
142.本技术实施例提供的确定不同评估分的方法，针对不同评估维度下的评估分，给出了不同的计算方式，如此，能够准确的得到不同测试集下的图像三元组在不同的评估维度下的评估分。
143.下面，将说明本技术实施例在一个实际的应用场景中的示例性应用。
144.本技术实施例提出了一套全面的质量评估体系用于评估高清换脸的效果，根据人的视觉体验，将换脸的质量评估细分为自然分、高清分、遮挡分、姿态分、相似度分和表情分。本技术实施例设计了不同的测试子集，用综合与局部结合的fid指标来评估自然分和高清分，用均方差损失来评估遮挡分和姿态分，用id余弦指标来评估相似度分，用2d关键点差异来评估表情分。本技术实施例的方案无需人工观察，即可自动化地获得换脸模型的评估结果，具有全面性、便捷性和主观感受一致性。
145.换脸技术可以应用于证件照制作、影视人像制作、游戏人物设计、虚拟形象、隐私保护等多种场景中。本技术实施例可以用来全面地评估不同的换脸模型的效果，便于换脸模型的挑选。图7是本技术实施例提供的换脸模型的产品侧示意图，如图7所示，输入模板图像701和原始图像702（即选脸图），通过换脸模型进行换脸处理之后，得到处理图像703（即合成图）。
146.图8是本技术实施例提供的换脸模型质量评估框架示意图，如图8所示，整个换脸模型质量评估框架包括以下七个步骤：步骤s81，分别在自然测试集、高清测试集、同人遮挡测试集和同人姿态测试集上进行换脸处理。
147.步骤s82，计算自然分：基于自然测试集上的换脸结果，与模板图像计算整体与局部结合的fid指标。
148.步骤s83，计算高清分：基于高清测试集上的换脸结果，与模板图像计算整体与局部结合的fid指标。
149.步骤s84，计算遮挡分：基于同人遮挡测试集上的换脸结果，与模板图像计算均方差损失。
150.步骤s85，计算姿态分：基于同人姿态测试集上的换脸结果，与模板图像计算均方差损失。
151.步骤s86，计算相似度分：基于自然测试集上的换脸结果，与模板图像计算不相似度、与原始图像计算相似度。
152.步骤s87，计算表情分：基于自然测试集上的换脸结果，与模板图像计算2d五官关键点坐标的差异。
153.下面对整个换脸模型质量评估过程的不同阶段进行说明。
154.在模型预先准备阶段，需要预先准备好：人脸识别网络、人脸关键点定位网络、人脸朝向估计网络和人脸分割网络。其中，人脸识别网络用于提取人脸特征；人脸关键点定位网络，可以提取人脸的256个关键点（五官和轮廓）；人脸朝向估计网络，可以提取人脸的3个朝向分，偏向角度（yaw）、翻转角度（roll）、倾斜度（pitch）；人脸分割网络，可以提取人脸的遮挡部分。
155.在数据集准备阶段，需要预先准备好：自然测试集、高清测试集、同人遮挡测试集和同人姿态测试集。
156.这里，自然测试集中的人脸分辨率可以在256-512分辨率之间，且id丰富，例如，原始图像和模板图像对的数量不低于2000。
157.高清测试集中的人脸高清，分辨率为1024，脸部细节明显，举例来说，本技术实施例中采用了高质量的人脸图像数据集（ffhk，flickr faces hight-quality），原始图像和模板图像对的数量不低于2000。
158.同人遮挡测试集，可以选择模板图像中人脸有遮挡的，例如口罩、墨镜、纸质、饰品、头发等的各种因素带来的遮挡，遮挡面积不低于人脸的30%。并要求原始图像和模板图像对为同人，原始图像和模板图像对的数量不低于200。
159.同人大姿态测试集，是对模板图像用人脸朝向估计网络分析，筛选出yaw》60度，或者pitch大于30度的。并要求原始图像和模板图像对为同人，原始图像和模板图像对数量不低于200。
160.下面对不同测试集下的质量评估计算过程进行说明。
161.可以先应用换脸模型在上述4个测试集上进行换脸，得到换脸后的处理图片，并基于测试集中的原始图像和模板图像对，与换脸后的处理图像，构建三元组，将三元组分别标记为（normal_src，normal_template，normal_fake）、（hq_src，hq_template，hq_fake）、（occlu_src，occlu_template，occlu_fake）、（pose_src，pose_template，pose_fake）。
162.这里，normal_src表示自然测试集下的原始图像，normal_template表示自然测试集下的模板图像，normal_fake表示自然测试集下的处理图像。hq_src表示高清测试集下的原始图像，hq_template表示高清测试集下的模板图像，hq_fake表示高清测试集下的处理图像。occlu_src表示同人遮挡测试集下的原始图像，occlu_template表示同人遮挡测试集下的模板图像，occlu_fake表示同人遮挡测试集下的处理图像。pose_src表示同人姿态测试集下的原始图像，pose_template表示同人姿态测试集下的模板图像，pose_fake表示同人姿态测试集下的处理图像。
163.接下来，基于上述不同测试集下的三元组，分别计算自然分、高清分、遮挡分、姿态分、相似度分和表情分。
164.（1）自然分评估。
165.基于自然测试集下的换脸结果（即自然测试集下的处理图像），与模板图像计算整体与局部结合的fid指标。fid在两个集合的特征层面上计算，fid计算方式为以下公式（1）：
ꢀꢀꢀꢀ
（1）其中，μ为经验均值，、均为经验协方差，tr为矩阵的迹，r代表模板图像，g
表示换脸结果数据集。
166.fid的计算过程为：对自然测试集对应的模板图像集的m张图片使用inceptionv3（一种卷积网络）生成m*2048维的向量，然后对向量取平均得到。对换脸结果的m张图片使用inceptionv3生成m*2048维的向量，然后对向量取平均得到。对自然测试集对应的模板图像集的m张图片使用inceptionv3生成m*2048维的向量，然后对向量计算协方差矩阵，得到。对换脸结果的m张图片使用inceptionv3生成m*2048维的向量，然后对向量计算协方差矩阵，得到。之后，再基于上述公式（1），通过、、和计算fid值。
167.本技术实施例中， 整体fid=fid（normal_template，normal_fake）。也就是说，将自然测试集下的模板图像特征和自然测试集下的处理图像特征输入至fid的计算公式（1）中，得到整体fid值。
168.局部fid可以利用人脸关键点，抠出眼部区域，局部fid=fid（normal_template_eye，normal_fake_eye）。这里，normal_template_eye表示自然测试集下的模板图像中的眼部区域特征，normal_fake_eye表示自然测试集下的处理图像中的眼部区域特征。将自然测试集下的模板图像中的眼部区域特征和自然测试集下的处理图像中的眼部区域特征，输入至fid的计算公式（1）中，得到局部fid值。
169.综合fid=整体fid λ*局部fid。这里，λ可以设置为0到1之间的任意值，例如可以设置为0.2。
170.本技术实施例中，综合fid的分数越低，自然度越高。
171.（2）高清分评估。
172.高清分的评估沿用上述自然分评估类似的评价体系，在这里，本技术实施例将模板数据集换成1024高清数据集来评估高清分。
173.其中，整体fid=fid（hq_template，hq_fake）。也就是说，将高清测试集下的模板图像特征和高清测试集下的处理图像特征输入至fid的计算公式（1）中，得到整体fid值。
174.局部fid=fid（hq_template_eye，hq_fake_eye）。这里，hq_template_eye表示高清测试集下的模板图像中的眼部区域特征，hq_fake_eye表示高清测试集下的处理图像中的眼部区域特征。将高清测试集下的模板图像中的眼部区域特征和高清测试集下的处理图像中的眼部区域特征，输入至fid的计算公式（1）中，得到局部fid值。
175.综合fid=整体fid λ*局部fid，这里，λ可以设置为0到1之间的任意值，例如可以设置为0.2。
176.本技术实施例中，综合fid的分数越低，高清度越高。
177.（3）遮挡分评估。
178.可以基于同人遮挡测试集上的换脸结果，通过以下公式（2）与模板图像计算均方差损失。
179.ꢀꢀꢀꢀ
（2）。
180.这里，e表示均方差损失计算函数，和分别表示输入的两个参数，本技术实施例中，可以利用分割模型定位模板图像中的遮挡部位（mask_occlu），这里，mask_occlu=
seg_model（occlu_template）。其中，seg_model表示分割模型，occlu_template表示同人遮挡测试集下的模板图像。occlu_fake表示同人遮挡测试集下的处理图像。
181.本技术实施例中，遮挡分=mse（occlu_template*mask_occlu，occlu_fake*mask_occlu）。也就是说，将同人遮挡测试集下的模板图像特征、模板图像中的遮挡部位特征和同人遮挡测试集下的处理图像特征，输入至mse的计算公式（2）中，得到遮挡分。
182.本技术实施例中，遮挡分的分数越低，遮挡下换脸的效果越好。
183.（4）姿态分评估。
184.可以基于同人姿态测试集上的换脸结果，与模板图像计算均方差损失。
185.本技术实施例中，可以利用分割模型定位模板图像中人脸的部分（mask_face），这里，mask_face=seg_model（pose_template）。其中，seg_model表示分割模型，pose_template表示同人姿态测试集下的模板图像。pose_fake表示同人姿态测试集下的处理图像。
186.本技术实施例中，姿态分=mse（pose_template*mask_face，pose_fake*mask_face）。也就是说，将同人姿态测试集下的模板图像特征、模板图像中人脸的部分特征和同人姿态测试集下的处理图像特征，输入至mse的计算公式（2）中，得到姿态分。
187.本技术实施例中，姿态分的分数越低，大姿态下换脸的效果越好。
188.（5）相似度分评估。
189.可以基于自然测试集上的换脸结果，与模板图像计算不相似度，与原始图像计算相似度。
190.这里，可以分别提取原始图像、模板图像和处理图像上的识别特征，对应得到src_id_features、template_id_features和fake_id_features。
191.然后计算处理图像与原始图像的距离=1
–
similarity（fake_id_features，src_id_features）。其中，similarity表示余弦相似度，余弦相似度计算如下公式（3）：
ꢀꢀꢀ
（3）。
192.这里，和分别表示输入的向量a和向量b的各个分量。
193.也就是说，在计算处理图像与原始图像的距离时，是将fake_id_features和src_id_features作为上述公式（3）中的向量a和向量b，输入至公式（3）中计算余弦相似度similarity，然后基于计算得到的余弦相似度在计算处理图像与原始图像的距离。
194.再然后，计算处理图像与模板图像的相似度=similarity（fake_id_features，template_id_features）。也就是说，是将fake_id_features和template_id_features作为上述公式（3）中的向量a和向量b，输入至公式（3）中计算余弦相似度similarity，即为处理图像与模板图像的相似度。
195.本技术实施例中，总的相似度分=处理图像与原始图像的距离 处理图像与模板图像的相似度。其中，相似度分的分数越低，相似度越好。
196.（6）表情分评估。
197.可以基于自然测试集上的换脸结果，与模板图像计算2d五官关键点坐标的差异。
198.本技术实施例中，可以用人脸关键点定位网络，提取模板图像的眼睛和嘴巴等的五官关键点（landmark_template_eye_mouth），这里，landmark_template_eye_mouth=get_landmark（normal_template）。get_landmark表示人脸关键点定位网络，normal_template表示自然测试集下的模板图像。
199.然后，提取处理图像中的眼睛和嘴巴的五官关键点（landmark_fake_eye_mouth），这里，landmark_fake_eye_mouth=get_landmark（normal_fake）。normal_fake表示自然测试集下的处理图像。
200.本技术实施例中，表情分=mse（landmark_template_eye_mouth，landmark_fake_eye_mouth）。也就是说，将模板图像的眼睛和嘴巴等的五官关键点特征和处理图像中的眼睛和嘴巴的五官关键点特征输入至mse的计算公式（2）中，得到表情分。
201.本技术实施例中，表情分的分数越低，表情保持的越好。
202.本技术实施例中，经过上述的处理和计算，最终得到全面评估换脸模型效果的自然分、高清分、遮挡分、姿态分、相似度分和表情分。在一些实施例中，还可以对自然分、高清分、遮挡分、姿态分、相似度分和表情分分别进行归一化处理，并进行加权求和，得到用于评估换脸模型效果的综合分（即总评估分）。
203.本技术实施例提供的模型质量评估方法，可以包括以下的步骤：视频采集；图像输入；人脸检测；人脸区域的裁剪；换脸处理；进行换脸质量的评估；结果展示。其中，进行换脸质量的评估步骤为本技术实施例模型质量评估方法的方法模块。本技术实施例的方法在实际使用过程中，需要和其他模块进行合作交互。首先需要从视频采集模块中接收图像输入，然后进行人脸检测，并且裁剪出人脸区域，然后进行换脸处理。之后进入本技术实施例的方法，进行自动地进行换脸质量的评估，最后进行结果的展示。
204.本技术实施例的模型质量评估方法，至少具有以下有益效果：一方面，本技术实施例的模型质量评估方法无需人工观察，即可自动化地获得换脸模型的评估结果，具有全面性、便捷性和主观感受一致性。另一方面，本技术实施例的模型质量评估方法可以用来全面地评估不同的换脸模型的效果，便于模型的挑选。
205.需要说明的是，在其他实施例中，上述表情分评估中的mse公式还可以替换为l1公式。
206.可以理解的是，在本技术实施例中，涉及到用户信息的内容，例如，图像三元组、第一类评估分、第二类评估分以及模型质量评估结果等信息，如果涉及与用户信息或企业信息相关的数据，当本技术实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
207.下面继续说明本技术实施例提供的模型质量评估装置354实施为软件模块的示例性结构，在一些实施例中，如图3所示，模型质量评估装置354包括：获取模块，用于获取待评估模型在不同测试集下的图像三元组，所述图像三元组包括：原始图像、模板图像和处理图像，所述处理图像是基于所述图像三元组中的模板图像，对所述原始图像进行图像处理后得到的；特征提取模块，用于对每一图像三元组中的所述原始图像、所述模板图像和所述处理图像分别进行特征提取，对应得到原始图像特征、模板图像特征和处理图像特征；第一确定模块，用于基于至少一个测试集下的图像三元组对
应的所述原始图像特征、所述模板图像特征和所述处理图像特征，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第一类评估分；第二确定模块，用于基于至少一个测试集下的图像三元组中的模板图像的像素值和处理图像的像素值，确定相应测试集下的图像三元组在与所述相应测试集对应的评估维度下的第二类评估分；评估模块，用于根据所述第一类评估分和所述第二类评估分，对所述待评估模型进行模型质量评估。
208.在一些实施例中，所述装置还包括：测试集获取模块，用于获取所述不同测试集，其中，每一测试集中包括多对图像对，每一所述图像对包括一张原始图像和一张模板图像；图像处理模块，用于通过所述待评估模型分别针对每一所述测试集中的每一图像对进行所述图像处理，得到处理图像；构建模块，用于将所述图像对和所述处理图像构建成相应测试集下的一个图像三元组。
209.在一些实施例中，所述测试集包括自然测试集；所述第一类评估分包括自然分；与所述自然测试集对应的评估维度包括自然分评估维度；所述第一确定模块还用于：获取所述自然测试集下的多个图像三元组对应的所述模板图像特征和所述处理图像特征；基于所述模板图像特征，确定出所述模板图像中的第一目标区域的第一关键点特征；基于所述处理图像特征，确定出所述处理图像中的所述第一目标区域的第二关键点特征；基于所述模板图像特征和所述处理图像特征，确定所述多个图像三元组在所述自然测试集下的全局fid值；基于所述第一关键点特征和所述第二关键点特征，确定所述多个图像三元组在所述自然测试集下的局部fid值；对所述全局fid值和所述局部fid值进行加权求和，得到所述自然测试集下的图像三元组在所述自然分评估维度下的自然分。
210.在一些实施例中，所述第一确定模块还用于：分别确定所述多个图像三元组对应的所述模板图像特征的特征均值、所述多个图像三元组对应的所述处理图像特征的特征均值；分别确定所述多个图像三元组对应的所述模板图像特征的协方差矩阵、所述多个图像三元组对应的所述处理图像特征的协方差矩阵；基于所述模板图像特征的特征均值、所述处理图像特征的特征均值、所述模板图像特征的协方差矩阵和所述处理图像特征的协方差矩阵，确定所述多个图像三元组的全局fid值。
211.在一些实施例中，所述第一确定模块还用于：分别确定所述多个图像三元组对应的多个模板图像中的第一关键点特征的特征均值、所述多个图像三元组对应的多个处理图像中的第二关键点特征的特征均值；分别确定所述多个模板图像中的第一关键点特征的协方差矩阵、所述多个处理图像中的第二关键点特征的协方差矩阵；基于所述第一关键点特征的特征均值、所述第二关键点特征的特征均值、所述第一关键点特征的协方差矩阵和所述第二关键点特征的协方差矩阵，确定所述多个图像三元组对应于所述第一目标区域的局部fid值。
212.在一些实施例中，所述测试集包括高清测试集；所述第一类评估分包括高清分；与所述高清测试集对应的评估维度包括高清分评估维度；所述第一确定模块还用于：获取所述高清测试集下的多个图像三元组对应的所述模板图像特征和所述处理图像特征；基于所述模板图像特征，确定出所述模板图像中的第二目标区域的第三关键点特征；基于所述处理图像特征，确定出所述处理图像中的所述第二目标区域的第四关键点特征；基于所述模板图像特征和所述处理图像特征，确定所述多个图像三元组在所述高清测试集下的全局
fid值；基于所述第三关键点特征和所述第四关键点特征，确定所述多个图像三元组在所述高清测试集下的局部fid值；对所述全局fid值和所述局部fid值进行加权求和，得到所述高清测试集下的图像三元组在所述高清分评估维度下的高清分。
213.在一些实施例中，所述测试集包括自然测试集；所述第一类评估分包括相似度分；与所述自然测试集对应的评估维度包括相似度评估维度；所述第一确定模块还用于：获取所述自然测试集下的多个图像三元组对应的所述原始图像特征、所述模板图像特征和所述处理图像特征；基于所述原始图像特征和所述处理图像特征，确定所述处理图像与所述原始图像之间的第一相似度；基于所述第一相似度，确定所述处理图像与所述原始图像之间的图像距离；基于所述模板图像特征和所述处理图像特征，确定所述处理图像与所述模板图像之间的第二相似度；将所述图像距离与所述第二相似度之和，确定为所述自然测试集下的图像三元组在所述相似度评估维度下的相似度分。
214.在一些实施例中，所述测试集包括同人遮挡测试集；所述第二类评估分包括遮挡分；与所述同人遮挡测试集对应的评估维度包括遮挡分评估维度；所述第二确定模块还用于：对所述同人遮挡测试集下的模板图像图像分割处理，得到所述模板图像中的遮挡区域；获取所述模板图像的像素值、所述遮挡区域的遮挡像素值和所述处理图像的像素值；基于所述模板图像的像素值、所述遮挡像素值和所述处理图像的像素值，确定所述同人遮挡测试集下的图像三元组在所述遮挡分评估维度下的遮挡分。
215.在一些实施例中，所述测试集包括同人姿态测试集；所述第二类评估分包括姿态分；与所述同人姿态测试集对应的评估维度包括姿态分评估维度；所述第二确定模块还用于：对所述同人姿态测试集下的模板图像进行图像分割处理，得到目标对象在所述模板图像中的对象区域；获取所述模板图像的像素值、所述对象区域的对象像素值和所述处理图像的像素值；基于所述模板图像的像素值、所述对象像素值和所述处理图像的像素值，确定所述同人姿态测试集下的图像三元组在所述姿态分评估维度下的姿态分。
216.在一些实施例中，所述测试集包括自然测试集；所述第二类评估分包括表情分；与所述自然测试集对应的评估维度包括表情分评估维度；所述第二确定模块还用于：分别对所述自然测试集下的模板图像和处理图像进行关键区域定位，得到所述模板图像中的至少一个第一关键区域和所述处理图像的至少一个第二关键区域；获取每一所述第一关键区域的关键点像素值和每一所述第二关键区域的关键点像素值；基于每一所述第一关键区域的关键点像素值和每一所述第二关键区域的关键点像素值，确定所述自然测试集下的图像三元组在所述表情分评估维度下的表情分。
217.在一些实施例中，所述评估模块还用于：对所述第一类评估分和所述第二类评估分进行归一化处理，得到归一化后的第一类评估分和归一化后的第二类评估分；对所述归一化后的第一类评估分和所述归一化后的第二类评估分进行加权求和，得到总评估分；基于所述总评估分对所述待评估模型进行模型质量评估。
218.在一些实施例中，所述待评估模型为换脸模型；其中，所述处理图像是通过所述换脸模型，采用所述原始图像中的脸部区域，对所述模板图像中的脸部区域进行换脸处理后得到的换脸图像。
219.需要说明的是，本技术实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，
请参照本技术方法实施例的描述而理解。
220.本技术实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或可执行指令，该计算机程序或可执行指令是一种计算机指令；该计算机程序或可执行指令存储在计算机可读存储介质中。当模型质量评估设备的处理器从计算机可读存储介质读取该计算机程序或可执行指令，处理器执行该计算机程序或可执行指令时，使得该模型质量评估设备执行本技术实施例上述的方法。
221.本技术实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本技术实施例提供的方法，例如，如图4示出的方法。
222.在一些实施例中，存储介质可以是计算机可读存储介质，例如，铁电存储器（fram，ferromagnetic random access memory）、只读存储器（rom，read only memory）、可编程只读存储器（prom，programmable read only memory）、可擦除可编程只读存储器（eprom，erasable programmable read only memory）、带电可擦可编程只读存储器（eeprom，electrically erasable programmable read only memory）、闪存、磁表面存储器、光盘、或光盘只读存储器（cd-rom，compact disk-read only memory）等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
223.在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
224.作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（html，hyper text markup language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。作为示例，可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。
225.以上所述，仅为本技术的实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本技术的保护范围之内。