一种人脸分类方法、装置及电子设备与流程

1.本发明涉及机器视觉技术领域，特别是涉及一种人脸分类方法、装置及电子设备。


背景技术：

2.在一些应用场景中，为了便于对人脸图像进行管理和处理，需要按照图像中人脸对人脸图像进行分组，以将包含相同人员的人脸的图像划分为同一组，本文中将该过程称为人脸分类。
3.相关技术中，提取人脸图像中的人脸特征，通过对比人脸特征，确定出人脸特征匹配的人脸图像，并将这些人脸特征匹配的人脸图像划分至同一图像集合。
4.但是，受限制于拍摄条件，如拍摄到的人脸图像中的人脸为侧脸、人脸被障碍物遮挡等，人脸图像中包含的人脸信息的信息量(下文称人脸信息量)较少，导致无法准确地从人脸图像中提取人脸特征，从而无法实现对这些人脸信息量较低的人脸图像进行分类，即无法适用于人脸信息量较低的人脸图像，无法全面地对人脸图像进行分类。


技术实现要素：

5.本发明实施例的目的在于提供一种人脸分类方法、装置及电子设备，以提高人脸分类方法的适用性，从而实现更全面地对人脸图像进行分类。具体技术方案如下：
6.在本发明实施例的第一方面，提供了一种人脸分类方法，所述方法包括：
7.确定第一图像集合，所述第一图像集合中不同图像之间的描述信息相似，其中，所述描述信息相似包括描述信息相同或者相近；
8.确定与所述第一图像集合存在相同图像的第二图像集合，所述第二图像集合中任意两张图像之间的人脸相似度大于第一阈值；
9.基于所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的人脸相似度，和/或所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的描述信息的相似度，确定所述第一图像集合中的目标图像是否归类至所述第二图像集合，其中，所述目标图像包括与所述第二图像集合中的图像不相同的任一图像。
10.在本发明实施例的第二方面，提供了一种人脸分类装置，所述装置包括：
11.第一确定模块，用于确定第一图像集合，所述第一图像集合中不同图像之间的描述信息相似，其中，所述描述信息相似包括描述信息相同或者相近；
12.第二确定模块，用于确定与所述第一图像集合存在相同图像的第二图像集合，所述第二图像集合中任意两张图像之间的人脸相似度大于第一阈值；
13.归类模块，用于基于所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的人脸相似度，和/或所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的描述信息的相似度，确定所述第一图像集合中的目标图像是否归类至所述第二图像集合，其中，所述目标图像包括与所述第二图像集合中的图像不相同的任一图像。
14.在本发明实施例的第三方面，提供了一种电子设备，包括：
15.存储器，用于存放计算机程序；
16.处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
17.在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
18.本发明实施例有益效果：
19.本发明实施例提供的人脸分类方法、装置及电子设备，能够基于人脸相似度和/或描述信息的相似度，进一步判断第一图像集合中的目标图像是否归类至第二图像集合，实现更全面地对图像进行分类，从而解决现有图像分类过程中无法实现对包含的人脸信息量较低的人脸图像进行一次性分类的问题。
20.当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
22.图1为本发明实施例提供的人脸分类方法的一种流程示意图；
23.图2为本发明实施例提供的场景图像集合划分方法的一种流程示意图；
24.图3为本发明实施例提供的人脸分类方法的图像集合转换示意图；
25.图4为本发明实施例提供的人脸分类装置的一种结构示意图；
26.图5为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本发明保护的范围。
28.为了更清楚的对本发明实施例提供的人脸分类方法进行说明，下面将对本发明实施例提供的人脸分类方法的应用场景进行示例性说明，可以理解的是，以下示例仅是本发明实施例提供的人脸分类方法的一种可能的应用场景，在其他可能的实施例中，本发明实施例提供的人脸分类方法也可以应用于其他可能的应用场景中，以下示例对此不做任何限制。
29.为对公共场所，如商场、景区、公园等中的人员进行管理，工作人员预先在公共场所中布置摄像机，摄像机将拍摄到的图像发送至服务器，服务器对接收到的图像进行人脸检测，以确定出其中包含人脸的人脸图像。服务器根据人脸图像中包含的人脸信息进行人脸建模，得到人脸模型，并提取人脸模型的特征作为人脸图像的人脸特征。服务器根据提取
到的人脸特征，将人脸图像划分为多个人脸图像集合，其中，每个人脸图像集合中任意两个人脸图像的人脸特征相互匹配。工作人员根据划分得到的人脸图像集合可以知悉出现在公共场所中的人员，从而有效地对公共场所中的人员进行管理。
30.又例如，获取用户终端的拍摄图像，对图像进行分类管理，为用户生成推荐相册，或者通过图像分类，便于用户图像搜索过程中向用户推荐较多的搜索结果。
31.但是，受限制于各种条件，例如拍摄到的人脸图像为人脸的侧视图、俯视图、仰视图，又例如拍摄到的人脸图像中人脸被障碍物遮挡，导致拍摄到的人脸图像的人脸信息量较少。而当人脸图像的人脸信息量较少时，难以甚至无法根据人脸图像建立人脸模型，因此无法准确提取人脸特征，后续也无法根据人脸特征对人脸图像进行人脸分类。
32.因此，现有方案只能够对人脸信息量较多的人脸图像进行人脸分类，即仅能够对部分人脸图像进行分类，适用性较差，无法全面地对人脸图像进行人脸分类。
33.基于此，本发明实施例提供了一种人脸分类方法，应用于任一具备人脸分类能力的电子设备，包括但不限于服务器、用户终端(如个人电脑、手机、平板)等。
34.参见图1，图1所示为本发明实施例提供的人脸分类方法的一种流程示意图，包括：
35.s101，确定第一图像集合。
36.第一图像集合中不同图像之间的描述信息相似，其中，描述信息相似包括描述信息相同或相近。图像的描述信息用于描述拍摄得到该图像的拍摄环境的属性，本文中拍摄环境的属性根据应用场景的不同可以不同，如该拍摄到该图像的时间(下文称拍摄时间)、拍摄到该图像的地点(下文称拍摄地点)、拍摄到该图像的场景、拍摄到该图像的相机编号等。具体地，描述信息相同可以包括但不限于：拍摄时间相同、拍摄地点相同、拍摄场景相同、相机编号相同，描述信息相近可以包括但不限于：拍摄时间比较接近(例如两个拍摄时间之间的时间差小于预设时间差阈值)、拍摄地点比较接近(例如两个拍摄地点之间的距离小于预设距离阈值)、拍摄场景比较相似(例如两张图像上的场景画面特征相似度大于预设场景相似度阈值，例如都是医院、学校、某景区、沙滩等)、相机编号属于同一系列相机产品进而相机功能参数差异性较小等。
37.s102，确定与第一图像集合存在相同图像的第二图像集合。
38.第二图像集合中任意两张图像之间的人脸相似度大于第一阈值。
39.s103，基于第一图像集合中的目标图像与第二图像集合中的图像之间的人脸相似度，和/或第一图像集合中的目标图像与第二图像集合中的图像之间的描述信息的相似度，确定第一图像集合中的目标图像是否归类至第二图像集合。
40.目标图像包括与第二图像集合中的图像不相同的任一图像。
41.由于第一图像集合中不同图像之间的描述信息相似，因此认为第一图像集合中各图像拍摄的拍摄环境相同或相近，并且由于第二图像集合中任意两张图像之间的人脸相似度大于第一阈值，因此认为第二图像集合中各图像中包括相同人员。
42.下文中为方便描述，以第一图像集合中各图像的拍摄环境与目标拍摄环境相同或相近，并且第二图像集合中各图像中包括目标人员为例进行说明。由于第一图像集合与第二图像集合存在相同的图像，而同时属于第一图像集合和第二图像集合的图像可以认为是在目标拍摄环境(或相近的拍摄环境)下拍摄目标人员得到的，因此认为目标人员曾在目标拍摄环境(或相近的拍摄环境)下被拍摄到，由此反推，在目标拍摄环境(或相近的拍摄环
境)下拍摄到的图像可能是拍摄目标人员得到的，因此第一图像集合中的目标图像中可能包括目标人员。因此能够基于人脸相似度和/或描述信息的相似度，进一步判断第一图像集合中的目标图像是否归类至第二图像集合，实现更全面地对图像进行分类。
43.示例性的，假设人员a曾在目标时间出现在目标地点，并被拍摄到两张不同的图像，分别记为第一图像和第二图像，且第一图像中人员a的人脸未被遮挡，第二图像中人员a的人脸被部分遮挡。
44.并且假设描述信息包括拍摄时间、拍摄地点，则由于第一图像和第二图像拍摄于目标时间、目标地点，因此第一图像和第二图像被归类至同一第一图像集合。
45.并且，第一图像中人员a的人脸未被遮挡，因此第一图像与其他包括人员a完整人脸的图像之间的相似度大于第一阈值，因此第一图像与这些包括人员a完整人脸的图像被归类至同一人脸图像集合(下文记为人员a图像集合)。
46.而第二图像中人员a的人脸被部分遮挡，因此第二图像与人员a图像集合中各图像之间的人脸相似度不大于第一阈值，因此第二图像不属于人员a图像集合。
47.由于第一图像集合与人员a图像集合包括第一图像，因此人员a图像集合可以视为第二图像集合。而第二图像与人员a图像集合中的图像不相同，因此第二图像为第一图像集合中的目标图像。
48.虽然第二图像中人员a的人脸被部分遮挡，但是第二图像中仍然包括人员部分人脸，因此相对于不包括人员a的图像，第二图像与人员a图像集合中图像之间的人脸相似度相对较高，因此将第二图像归类至人员a图像集合中。
49.可见，选用本发明实施例提供的人脸分类方法，能够将原本未归类至人员a图像集合中的第二图像归类至人员a图像集合，以使得人员a图像集合中包括更多的人员a的图像，即实现了更全面地对图像进行分类。
50.下面将分别对前述s101-s103进行说明：
51.在s101中，本文中的相近可以是指两者的相似度大于预设相似度阈值，如描述信息相近是指描述信息间的相似度大于预设相似度阈值。相似度阈值可以是根据实际需求和/或经验进行设置的。
52.下文中为描述方便，仅以描述信息包括拍摄时间、拍摄地点以及拍摄到图像的场景为例进行说明，由于拍摄到图像的场景将被反映至拍摄到的图像中，例如，假设拍摄到一图像的场景为海滩，则该图像上将展示海滩这一场景，因此拍摄到图像的场景即为图像上展示的场景信息(下文称为场景信息)，
53.在其他可能的实施例中，描述信息也可以仅包括拍摄时间、拍摄地点以及场景信息中的部分信息，并且描述信息也可以包括除拍摄时间、拍摄地点以及场景信息以外的其他信息，如拍摄到图像的相机编号、拍摄到图像时的天气等，本实施例对此不作任何限制。
54.在s102中，第一阈值可以是根据实际需求和/或经验设置的，但是若两个图像中包括同一人员的完整人脸，且该两个图像的清晰度大于预设清晰度阈值，则该两个图像之间的人脸相似度应当大于第一阈值。而若两个图像中包括同一人员的人脸，但至少一个图像中包括的人脸不完整，则该两个图像之间的人脸相似度应当不大于第一阈值。
55.本文中的人脸相似度的大小，以及下文中的拍摄时间的相似度的大小、拍摄地点的相似度的大小、场景信息的相似度的大小均是指所表示的相似程度的大小，而非是指数
值的大小。根据相似度表示形式的不同，相似度所表示的相似程度与相似度的数值可能正相关，也可能负相关。
56.示例性的，以人脸相似度为例，若人脸相似度是以人脸特征间的欧式距离表示，则两个图像的人脸相似度的数值越小，两个图像中人脸的相似程度越高。若人脸相似度是以特征向量的余弦相似度表示，则两个图像的人脸相似度的数值越小，两个图像中人脸的相似程度越低。
57.在s103中，可以理解的是，第一图像集合中可能存在一些包括目标人员的图像，但是这些图像出于各种原因不属于第二图像集合，因此需要将这些图像从第一图像集合中归类至第二图像集合中。示例性的，第一图像集合中的目标图像包括：人脸处于遮挡状态的图像、人脸处于侧脸状态的图像、对人脸进行俯视拍摄或仰视拍摄得到的图像。
58.归类的存在以下三种实现方式：
59.方式1：基于第一图像集合中的目标图像与第二图像集合中的图像之间的人脸相似度，确定第一图像集合中的目标图像是否归类至第二图像集合。
60.方式2：基于第一图像集合中的目标图像与第二图像集合中的图像之间的描述信息的相似度，确定第一图像集合中的目标图像是否归类至第二图像集合。
61.方式3：基于第一图像集合中的目标图像与第二图像集合中的图像之间的人脸相似度，和第一图像集合中的目标图像与第二图像集合中的图像之间的描述信息的相似度，确定第一图像集合中的目标图像是否归类至第二图像集合。
62.在一种可能的实施例中，前述s103包括以下步骤：
63.s1031，基于第一图像集合中的目标图像与第二图像集合中的图像之间的人脸相似度，和/或第一图像集合中的目标图像与第二图像集合中的图像之间的描述信息的相似度，计算目标图像的分类值。
64.该步骤存在以下三种实现方式：
65.方式4：基于第一图像集合中的目标图像与第二图像集合中的图像之间的人脸相似度，计算目标图像的分类值。
66.方式5：基于第一图像集合中的目标图像与第二图像集合中的图像之间的描述信息的相似度，计算目标图像的分类值。
67.方式6：基于第一图像集合中的目标图像与第二图像集合中的图像之间的人脸相似度，和第一图像集合中的目标图像与第二图像集合中的图像之间的描述信息的相似度，计算目标图像的分类值。
68.对于方式4，分类值与人脸相似度正相关，即人脸相似度越大，则计算得到的分类值越大。对于方式5，分类值与描述信息的相似度正相关。对于方式6，分类值与人脸相似度正相关，且与描述信息的相似度正相关。
69.示例性的，在一种可能的实施例中，分类值可以是按照下式计算得到的：
70.分类值＝α*人脸相似度 (1-α)*描述信息的相似度
71.其中，α为预设权重，并且α的取值范围为(0,1)。
72.s1032，将分类至大于第二阈值的目标图像归类至第二图像集合。
73.对于方式4和方式6，若人脸相似度大于第一阈值，则基于人脸相似度计算得到的分类值应当大于第二阈值。
74.为更清楚地对本发明提供的人脸分类方法进行说明，下面将以描述信息至少包括拍摄时间、拍摄地点以及场景信息为例，将对前述s101，即如何确定第一图像集合进行示例性说明。
75.在该示例中，前述s101如图2所示，包括：
76.s1011，确定第三图像集合。
77.第三图像集合中任意两张图像之间的拍摄时间和/或拍摄地点相似。
78.两张图像的拍摄时间相似是指两张图像的拍摄时间相同或相近，两张图像的拍摄时间相近是指两张图像的拍摄时间之间的间隔小于预设时长阈值。
79.两张图像的拍摄地点相似是指两张图像的拍摄地点相同或相近，两张图像的拍摄地点相近是可以是指两张图像的拍摄地点之间的距离小于预设距离阈值，也可以是指两张图像的拍摄地点位于同一区域，示例性的，在一种可能的实施例中，假设两张图像的拍摄地点均位于同一景点，并且之间的距离为1000米，则在一种可能的实施例中，若预设距离阈值为500米，则认为该两张图像的拍摄地点不相近，而在另一种可能的实施例中，由于两张图像的拍摄地点均位于同一景点，因此认为该两张图像的拍摄地点相近。
80.s1012，基于第三图像集合中场景信息的相似度大于第三阈值的图像，得到第一图像集合。
81.即，第一图像集合中任意两张图像的场景信息的相似度大于第三阈值。示例性的，假设第三图像集合中包括4个图像，分别记为图像1-4，并且各图像的场景信息的相似度如表1所示：
82.表1
[0083] 图像1图像2图像3图像4图像1100％95％95％75％图像295％100％95％75％图像390％85％100％75％图像475％75％75％100％
[0084]
表1中第2行第2列的100％为图像1的场景信息与图像1的场景信息的相似度，第2行第3列的95％为图像1的场景信息与图像2的场景信息的相似度，以此类推。
[0085]
若第三阈值为90％，则确定出的第三图像集合为{图像1，图像2，图像3}
[0086]
选用该实施例，首先基于拍摄时间和/或拍摄地点确定出第三图像集合，再在第三图像集合中基于场景信息的相似度确定第一图像集合，有效减少了需要计算的场景信息的相似度的数量，而相比于拍摄时间和/或拍摄地点的相似度，场景信息的相似度的计算更为复杂，因此选用该实施例能够有效提高确定第一图像集合的效率。
[0087]
前述s1011确定第三图像集合的方式根据应用场景的不同可以不同，示例性的，可以使用k-means或基于k-means改进的聚类处理方式，根据拍摄时间和/或拍摄地点的相似度以及预设的初始聚类中心，对待分类图像集合中的所有图像进行聚类，得到多个聚类簇，并将每个聚类簇作为一个第三图像集合。
[0088]
然而k-means或基于k-means改进的聚类处理方式的准确性受到初始聚类中心的影响，而用户根据经验难以设置合适的初始聚类中心。基于此，在一种可能的实施例中，前述s1011包括：
[0089]
s1011a，基于待分类图像之间的拍摄时间和/或拍摄地点的相似度，对待分类图像进行第一聚类处理，确定初始聚类中心。
[0090]
在一种可能的实施例中，所有待分类图像中均包括人员，在另一种可能的实施例中，部分待分类图像中包括人员，另一部分待分类图像为不包括人员的风景图像。
[0091]
第一聚类处理根据应用场景的不同可以不同，但是应当为无需设置初始聚类中心的聚类处理方式，如canopy聚类处理方式。下文中将次对此进行示例性说明，在此不再赘述。
[0092]
s1011b，基于待分类图像之间的拍摄时间和/或拍摄地点的相似度，按照初始聚类中心，对待分类图像进行第二聚类处理，得到第三图像集合。
[0093]
第二聚类处理根据应用场景的不同可以不同，但是应当为需要设置初始聚类中心的聚类处理方式，如k-means或基于k-means改进的聚类处理方式。下文中将次对此进行示例性说明，在此不再赘述。
[0094]
选用该实施例，可以通过第一聚类处理进行初步聚类，为第二聚类处理所需的初始聚类中心提供先验知识，从而提高第二聚类处理的聚类效果，即能够更为准确地从待分类图像中确定出第三图像集合。
[0095]
下面将分别对前述第一聚类处理和前述第二聚类处理的流程进行示例性说明。
[0096]
对于第一聚类处理，流程如下：
[0097]
基于待分类图像之间的拍摄时间和/或拍摄地点的相似度，将待分类图像划分为多个第一聚类图像集合。针对每个第一聚类图像集合，在第一聚类图像集合中选取一个图像作为初始聚类中心。
[0098]
本文中的聚类中心为能够代表一类图像的图像，即聚类中心与该聚类中心代表的每张图像之间的拍摄时间和/或拍摄地点应当相同或足够相近。
[0099]
划分第一聚类图像集合的方式根据应用场景的不同可以不同，但是应当满足：第一聚类图像集合中任意两张图像之间的拍摄时间和/或拍摄地点的相似度大于第四阈值。此处的第四阈值用于指代拍摄时间和拍摄地点分别对应的相似度阈值，具体地，针对拍摄时间相似度的第四阈值，和针对拍摄地点相似度的第四阈值可以是相同值，也可以是不同值，可以根据实际需求而定，本技术实施例不作限定。
[0100]
示例性的，在一种可能的实施例中，通过以下步骤一至步骤四实现第一聚类图像集合的划分：
[0101]
步骤一：将待分类图像随机排列，得到图像序列。
[0102]
示例性的，假设一共存在m个待分类图像，分别记为图像1-图像m，并且经过随机排列，得到图像序列[图像1，图像2，图像3，
…
，图像m]
[0103]
步骤二：从待分类图像序列中随机选取一个待分类图像，作为一个新的第一聚类图像集合，并在图像序列中删除所选取的待分类图像。
[0104]
示例性的，假设随机选取到的待分类图像为图像j，则将图像j作为质心，并在图像序列中删除图像j，删除图像j后图像序列为[图像1，图像2，
…
图像j-1，图像j 1，图像j 2，
…
，图像m]，并且此时存在一个第一聚类图像集合{图像j}
[0105]
步骤三：从最新的图像序列中随机选取一个待分类图像，计算所选取的待分类图像与每个第一聚类图像集合之间的距离。
[0106]
其中，待分类图像与第一聚类图像集合的距离可以通过不同的距离公式计算得到，但是应当满足：与待分类图像和第一聚类图像集合中各图像之间的拍摄时间和/或拍摄地点的相似度负相关。示例性的，假设随机选取到的待分类图像为图像i，则图像i与图像j之间的拍摄时间和/或拍摄地点的相似度越高，则图像i与第一聚类图像集合{图像j}之间的距离越小。
[0107]
并且，在计算待分类图像与第一聚类图像集合的距离时，可以是基于待分类图像与第一聚类图像集合中每个图像之间的拍摄时间和/或拍摄地点的相似度，也可以是基于待分类图像与第一聚类图像集合中部分图像之间的拍摄时间和/或拍摄地点的相似度。
[0108]
示例性的，在一种可能的实施例中，该部分图像是指第一聚类图像集合中的质心图像，质心图像为拍摄时间和/或拍摄地点与该第一聚类图像集合中所有图像的拍摄时间和/或拍摄地点的均值相同或相近的图像。
[0109]
本文中拍摄时间和/或拍摄地点的均值包括三种情况：第一种：拍摄时间的均值，第二种：拍摄地点的均值，第三种：拍摄时间和拍摄地点分别对应的均值。以图像1和图像2为例，假设图像1的拍摄时间为t1，拍摄地点为p1，图像2的拍摄时间为t2，拍摄地点为p2，则图像1和图像2的拍摄时间的均值为(t1 t2)/2，拍摄地点的均值为(p1 p2)/2，其中，t1、t2可以是以unix时间戳(即从1970年1月1日开始所经过的秒数)的形式表示的，p1、p2可以是以经纬度坐标、墨卡托坐标等空间坐标的形式表示的。
[0110]
由于质心图像的拍摄时间和/或拍摄地点与第一聚类图像集合中所有图像的拍摄时间和/或拍摄地点的均值相同或相近，因此质心图像的拍摄时间和/或拍摄地点能够代表第一聚类图像集合中所有图像的拍摄时间和/或拍摄地点。即，待分类图像与第一聚类图像集合中质心图像之间的拍摄时间和/或拍摄地点的相似度，能够代表待分类图像与第一聚类图像集合中每个图像之间的拍摄时间和/或拍摄地点的相似度。因此，可以仅基于待分类图像集合与质心图像之间的拍摄时间和/或拍摄地点的相似度，计算待分类图像与第一聚类图像集合的距离。
[0111]
并且每当将一个待分类图像作为一个第一聚类图像集合，则该一个待分类图像将成为该第一聚类图像集合中的质心图像，并且还可以从后续加入该第一聚类图像集合的待分类图像中选取新的质心图像。关于如何选取质心图像将在下文中进行示例说明，在此不再赘述。
[0112]
步骤四：若计算得到的距离的最小值小于预设上限阈值，将选取的待分类图像划分至与该待分类图像距离最小的聚类图像集合，若计算得到的距离的最小值不小于预设上限阈值，将选取的待分类图像作为新的第一聚类图像集合；在图像序列中删除所选取的待分类图像，返回执行步骤三，直至图像序列为空。
[0113]
上限阈值的设置根据应用场景的不同可以不同，但是应当满足：若一个图像与一个第一聚类图像集合中所有图像之间的拍摄时间和/或拍摄地点的相似度大于第四阈值，则该图像与第一聚类图像集合之间的距离应当小于预设上限阈值。
[0114]
示例性的，假设一共存在三个聚类图像集合，分别记为聚类图像集合1-3，所选取的待分类图像为图像i，且图像i与聚类图像集合1之间的距离为0.3，图像i与聚类图像集合2之间的距离为0.4，图像i与聚类图像集合3之间的距离为0.5，且预设上限阈值为0.4。
[0115]
则与图像i距离最小的聚类图像集合为聚类图像集合1。并且由于图像i与聚类图
像集合1之间的距离0.3小于预设上限阈值0.4，因此将图像i加入聚类图像集合1。
[0116]
对于前述部分图像为聚类图像集合中的质心图像的示例，还包括：若计算得到的距离的最小值小于预设下限阈值，将选取的待分类图像作为所加入的聚类图像集合的质心图像，其中，下限阈值小于上限阈值。
[0117]
对于从第一聚类图像集合中选取一个图像作为初始聚类中心的方式根据应用场景的不同可以不同，但是所选取的图像与聚类图像集合中其他图像之间的拍摄时间和/或拍摄地点的相似度应当尽可能高。
[0118]
例如，在一种可能的实施例中，可以是计算第一聚类图像集合中所有图像的拍摄时间和/或拍摄地点的均值，将该第一聚类图像集合中拍摄时间和/或拍摄地点最接近均值(例如与均值的差值小于预设偏差值)的图像作为初始聚类中心。
[0119]
选用该实施例，能够使得选取的初始聚类中心能够更好地反映出不同第一聚类图像集合的图像之间拍摄时间和/或拍摄地点上的差异，即使得选取的初始聚类中心尽可能与真实聚类中心接近(甚至相同)，从而提高后续第二聚类处理过程中将初始聚类中心迭代至真实聚类中心的速率，有效提高本发明提供的人脸分类方法的效率。
[0120]
示例性的，假设一个第一聚类图像集合中包括三个图像，分别记为图像1-3，其中，图像1的拍摄时间为t，拍摄地点为(x，y)，图像2的拍摄时间为t 4，拍摄地点为(x 4，y 4)，图像3的拍摄时间为t 11，拍摄地点为(x 11，y 11)，图像1-3的拍摄时间的均值为t 5，拍摄地点的均值为(x 5，y 5)，可见，拍摄时间和拍摄地点最接近均值为的图像为图像2，因此将图像2作为该第一聚类图像集合的初始聚类中心。
[0121]
对于第二聚类处理，流程如下：
[0122]
步骤五：基于待分类图像与各聚类中心之间的拍摄时间和/或拍摄地点的相似度，对所有待分类图像进行归类，得到多个第二聚类图像集合。
[0123]
每个聚类中心为一个待分类图像，并且初始时聚类中心为初始聚类中心，初始聚类中心是基于第一聚类处理确定得到的，详见前述关于第一聚类处理的相关描述，在此不再赘述。
[0124]
每个第二聚类图像集合中包括且仅包括一个聚类中心，并且每个第二聚类图像集合中的每个图像满足：该图像与该第二聚类图像集合中的聚类中心之间的拍摄时间和/或拍摄地点的相似度，分别大于该图像与其他聚类中心之间的拍摄时间和/或拍摄地点的相似度。
[0125]
示例性的，假设一共存在5个聚类中心，分别记为聚类中心1-5，若一图像与聚类中心1之间的拍摄时间和/或拍摄地点的相似度分别为0.5，且该图像与聚类中心2之间的拍摄时间和/或拍摄地点的相似度分别为0.6，该图像与聚类中心3之间的拍摄时间和/或拍摄地点的相似度分别为0.7，该图像与聚类中心4之间的拍摄时间和/或拍摄地点的相似度分别为0.8，该图像与聚类中心5之间的拍摄时间和/或拍摄地点的相似度分别为0.9，则该图像与聚类中心5被归类至同一第二聚类图像集合中。
[0126]
步骤六：针对每个第二聚类图像集合，确定该第二聚类图像集合中所有图像的拍摄时间和/或拍摄地点的均值，将该第二聚类中图像集合中拍摄时间和/或拍摄地点最接近相应均值的图像作为新的聚类中心，返回执行步骤五，直至达到预设收敛条件。示例性的，可以将第二聚类中图像集合中拍摄时间最接近前述得到的拍摄时间均值的图像作为新的
聚类中心；或者，可以将第二聚类中图像集合中拍摄地点最接近前述得到的拍摄地点均值的图像作为新的聚类中心；或者，可以将第二聚类中图像集合中拍摄时间最接近前述得到的拍摄时间均值、且拍摄地点最接近前述得到的拍摄地点均值的的图像作为新的聚类中心。为了保证聚类计算的一致性，第一聚类处理和第二聚类处理过程中所依赖的因素可以保持相同，例如第一聚类处理和第二聚类处理过程中均基于待分类图像之间的拍摄时间的相似度进行计算，或者，第一聚类处理和第二聚类处理过程中均基于待分类图像之间的拍摄地点的相似度进行计算，或者，第一聚类处理和第二聚类处理过程中均同时基于待分类图像之间的拍摄地点和拍摄时间的相似度进行计算。
[0127]
其中，预设收敛条件根据应用场景的不同可以不同，包括但不限于以下任一条件：循环次数达到预设次数阈值、新确定的聚类中心与上一次执行步骤五时的聚类中心相同。
[0128]
下面将对场景信息的相似度的计算进行说明，在一种可能的实施例中，图像之间的场景的相似度可以通过以下任一方式确定：
[0129]
方式7：利用预先训练的场景信息相似度计算模型，计算第三图像集合中任两张图像之间的相似度。
[0130]
示例性的，卷积神经网络包括卷积层和全连接层，其中，卷积层用于提取输入的图像的图像特征，并输入至全连接层，全连接层根据卷积层输入的图像特征计算得到画面相似度，并输出该场景信息的相似度。
[0131]
如前述说明，图像的场景信息将被展示在图像上，因此可以利用相似度计算模型实现由图像到场景信息的相似度的映射。
[0132]
方式8：利用预设特征提取算法对第三图像集合中的图像进行场景信息特征提取，基于提取的特征计算第三图像集合中任两张图像之间的场景信息的相似度。
[0133]
示例性的，分别利用预设的特征提取算法提取两个图像中的特征点，根据两个图像中的特征点的相似度，确定两个图像的场景信息的相似度。
[0134]
示例性的，通过hessian-affine分别检测两个图像中的特征点，通过sift做描述子的方式根据两个图像中的特征点的相似度，确定两个图像的画面相似度。
[0135]
选用方式7，由于卷积神经网络的感受野相对较大，因此能够提高得到的场景的准确性。而选用方式8，相较于卷积神经网络的计算量较少，能够有效提高确定场景信息的相似度的效率。
[0136]
下面将如何归类得到第二图像集合的进行示例性说明，在一种可能的实施例中，图像之间的场景的相似度可以通过以下任一方式确定：
[0137]
方式9：基于待分类图像的人脸特征，对待分类图像进行聚类，得到第二图像集合。
[0138]
聚类的方式根据应用场景的不同可以不同，如前述第一聚类处理、第二聚类处理，也可以使用除前述第一聚类处理和第二聚类处理以外的其他聚类处理。
[0139]
方式10：计算待分类图像中任两张图像之间的人脸相似度，并按照人脸相似度对待分类图像进行分类。
[0140]
选用方式9，可以通过聚类的方式将所有待分类图像划分为至少一个第二图像集合，无需对比每两个待分类图像，因此效率较高。而选用方式二，由于无需同时对所有待分类图像进行聚类，每次仅需计算两个待分类图像之间的人脸相似度，因此占用的系统资源较少。若执行主体为计算性能较强的设备，如服务器，则可以选用方式9，而若执行主体为计
算性能较弱的设备，如用户终端，则可以选用方式10。
[0141]
前述s101-s103的执行时机根据应用场景的不同可以不同，示例性的，可以是每间隔预设周期执行一次前述s101-s103。
[0142]
在另一种可能的实施例中，也可以是先响应于用户的图像查看请求或用户的相册生成请求，再执行前述s101-s103，以将图像按照所包含的人员划分为多个第二图像集合，并展示目标图像归类后的第二图像集合。
[0143]
示例性的，用户点击特定的控件，如第二图像集合组成的相册的封面、预设归类按钮等，执行主体响应于用户的点击操作，按照前述s101-s103的方式将第一图像集合中的一个或多个目标图像归类至第二图像集合，并展示由目标图像归类后的第二图像集合组成的相册。
[0144]
在又一种可能的实施例中，还可以是先执行前述s101-s103以将图像按照所包含的人员划分为多个第二图像集合，再响应于用户的图像查看请求或用户的相册生成请求，展示目标图像归类后的第二图像集合。
[0145]
示例性的，执行主体按照前述s101-s103的方式将第一图像集合中的一个或多个目标图像归类至第二图像集合，用户点击特定的控件，如预设相册展示按钮、图像查看请求按钮等，执行主体响应于用户的点击操作，展示由目标图像归类后的第二图像集合组成的相册。
[0146]
为更清楚的对本发明实施例提供的人脸分类方法进行说明，下面将结合具体的示例进行说明，参见图3，
[0147]
s301：将待分类图像集合中的图像按照人脸相似度，划分为多个第二图像集合。
[0148]
如划分为以下第二图像集合：人物a集合、人物b集合、人物c集合等，其中，人物a集合中的图像内包含人物a的人脸，人物b集合中的每个图像内包含人物b的人脸，依次类推。关于第二图像集合的划分方式可以参见前述相关说明，在此不再赘述。
[0149]
s302：按拍摄时间和拍摄地点的相似度将待分类图像集合划分为多个第三图像集合。
[0150]
如划分为以下第三图像集合：时间1&地点1集合、时间1&地点2集合、时间2&地点1集合等，其中，时间1&地点1集合中的每个图像的拍摄时间与时间1相同或相近，且拍摄地点与地点1相同或相近，时间1&地点2集合中的每个图像的拍摄时间与时间1相同或相近，且拍摄地点与地点2相同或相近，依次类推。该步骤相当于前述s1011。
[0151]
s303：针对每个第三图像集合，根据场景信息的相似度划分为多个第一图像集合。
[0152]
如划分为以下第一图像集合：场景1集合、场景2集合、场景3集合，以时间2&地点1集合为例，时间2&地点1集合中划分出的场景1集合内，每个图像的拍摄时间与时间2相同或相近，并且拍摄地点与地点1相同或相近，并且拍摄场景与场景1相同或相近，时间2&地点1集合中划分出的场景2集合内，每个图像的拍摄时间与时间2相同或相近，并且拍摄地点与地点1相同或相近，并且拍摄场景与场景2相同或相近，依次类推。该步骤相当于前述s1012。
[0153]
s304：针对每个第一图像集合，在该场景图像集合内找到已经属于第二图像集合的图像。并针对查找到的图像，在该第一图像集合内查找与该图像匹配的图像，将这些匹配的图像加入该图像所属的第一图像集合，该步骤相当于前述s102、s103。
[0154]
示例性的，如图4所述，假设场景1集合包括三个已经属于第二图像集合的图像，分
别记为第一图像1-3，并且包括五个尚不属于第二图像集合的图像，分别记为第二图像1-5，其中，第一图像1-2中包含人物a的人脸，因此被划分至人物a集合，而第一图像2-3中包含人物b的人脸，因此被划分至人物b集合。
[0155]
而第二图像1-2与第一图像1匹配，第二图像3与第一图像2匹配，第二图像4与第一图像3匹配，第二图像5与第一图像1-3均不匹配，则将第二图像1-3加入人物a集合，将第二图像4-5加入人物b集合，并认为第二图像5为不包含人脸(或仅包含少部分人脸)的风景图像。
[0156]
对应于前述人脸分类方法，本发明实施例还提供了一种人脸分类装置，如图4所示，包括：
[0157]
第一确定模块401，用于确定第一图像集合，所述第一图像集合中不同图像之间的描述信息相似，其中，所述描述信息相似包括描述信息相同或者相近；
[0158]
第二确定模块402，用于确定与所述第一图像集合存在相同图像的第二图像集合，所述第二图像集合中任意两张图像之间的人脸相似度大于第一阈值；
[0159]
归类模块403，用于基于所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的人脸相似度，和/或所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的描述信息的相似度，确定所述第一图像集合中的目标图像是否归类至所述第二图像集合，其中，所述目标图像包括与所述第二图像集合中的图像不相同的任一图像。
[0160]
在一种可能的实施例中，所述归类模块基于所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的人脸相似度，和/或所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的描述信息的相似度，确定所述第一图像集合中的目标图像是否归类至所述第二图像集合，包括：
[0161]
基于所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的人脸相似度，和/或所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的描述信息的相似度，计算所述目标图像的分类值；
[0162]
将所述分类值大于第二阈值的目标图像归类至所述第二图像集合；
[0163]
所述图像的描述信息至少包括拍摄时间、拍摄地点和图像上展示的场景信息；
[0164]
所述第一确定模块确定第一图像集合，包括：
[0165]
确定第三图像集合，所述第三图像集合中任意两张图像之间的拍摄时间和/或拍摄地点相似；
[0166]
基于所述第三图像集合中场景信息的相似度大于第三阈值的图像，得到第一图像集合；
[0167]
所述第一确定模块确定第三图像集合，包括：
[0168]
基于待分类图像之间的拍摄时间和/或拍摄地点的相似度，对所述待分类图像进行第一聚类处理，确定初始聚类中心；
[0169]
基于所述待分类图像之间的拍摄时间和/或拍摄地点的相似度，按照所述初始聚类中心，对所述待分类图像进行第二聚类处理，得到所述第三图像集合；
[0170]
所述第一确定模块基于待分类图像之间的拍摄时间和/或拍摄地点的相似度，对所述待分类图像进行第一聚类处理，确定初始聚类中心，包括：
[0171]
基于所述待分类图像之间的拍摄时间和/或拍摄地点的相似度，将所述待分类图
像划分为多个第一聚类图像集合，所述第一聚类图像集合中任意两张图像之间的拍摄时间和/或拍摄地点的相似度大于第四阈值；
[0172]
所述第一模块基于所述待分类图像之间的拍摄时间和/或拍摄地点的相似度，按照所述初始聚类中心，对所述待分类图像进行第二聚类处理，得到所述第三图像集合，包括：
[0173]
基于待分类图像与各聚类中心之间的拍摄时间和/或拍摄地点的相似度，对所有待分类图像进行归类，得到多个第二聚类图像集合，其中，所述各聚类中心初始时为所述初始聚类中心；
[0174]
针对每个所述第二聚类图像集合，确定所述第二聚类图像集合中所有图像的拍摄时间和/或拍摄地点的均值，以所述第二聚类图像集合中拍摄时间和/或拍摄地点最接近所述均值的图像作为新的聚类中心，返回执行所述基于待分类图像与各聚类中心之间的拍摄时间和/或拍摄地点的相似度，对所有待分类图像进行归类，得到多个第二聚类图像集合的步骤；直至达到预设收敛条件，将所述第二聚类图像集合确定为第三图像集合；
[0175]
所述装置还包括，相似度计算模块，用于利用预先训练的场景信息相似度计算模型，计算所述第三图像集合中任两张图像之间的场景信息的相似度；或者
[0176]
利用预设特征提取算法对所述第三图像集合中的图像进行场景信息特征提取，基于提取的特征计算所述第三图像集合中任两张图像之间的场景信息的相似度；
[0177]
所述装置还包括：集合划分模块，用于基于待分类图像的人脸特征，对所述待分类图像进行聚类，得到第二图像集合；
[0178]
或者，
[0179]
计算所述待分类图像中任两张图像之间的人脸相似度，并按照人脸相似度对所述待分类图像进行人脸分类，得到第二图像集合；
[0180]
所述第一图像集合中的目标图像包括：人脸处于遮挡状态的图像、人脸处于侧脸状态图像、对人脸进行俯视拍摄或仰视拍摄得到的图像；
[0181]
所述装置还包括，启动模块，用于响应于用户的图像查看请求，或者响应于用户的相册集生成请求；
[0182]
所述装置还包括，展示模块，用于展示所述目标图像归类后的第二图像集合。
[0183]
本发明实施例还提供了一种电子设备，如图5所示，包括：
[0184]
存储器501，用于存放计算机程序；
[0185]
处理器502，用于执行存储器501上所存放的程序时，实现如下步骤：
[0186]
确定第一图像集合，所述第一图像集合中不同图像之间的描述信息相似，其中，所述描述信息相似包括描述信息相同或者相近；
[0187]
确定与所述第一图像集合存在相同图像的第二图像集合，所述第二图像集合中任意两张图像之间的人脸相似度大于第一阈值；
[0188]
基于所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的人脸相似度，和/或所述第一图像集合中的目标图像与所述第二图像集合中的图像之间的描述信息的相似度，确定所述第一图像集合中的目标图像是否归类至所述第二图像集合，其中，所述目标图像包括与所述第二图像集合中的图像不相同的任一图像。
[0189]
本发明实施例提供的电子设备除了存储器和处理器外，还可以包括其他组件，如
通信总线、通信接口。
[0190]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
[0191]
通信接口用于上述电子设备与其他设备之间的通信。
[0192]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0193]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0194]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸分类方法的步骤。
[0195]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一人脸分类方法。
[0196]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0197]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0198]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实
施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0199]
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。