一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、装置及电子设备与流程

2021-11-03 11:45:00 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,特别涉及一种图像处理方法、装置及电子设备。


背景技术:

2.目前,用户对拍摄到的图像中人脸的美型需求越来越高,例如,用户希望人脸中的眼睛更大、眉毛更细、鼻梁更高等。因此,需要对拍摄到的图像进行图像处理,使得图像中的人脸可以满足用户的需求。
3.相关技术中,当用户想要对人脸图像中的某个部位进行美型时,电子设备一般通过获取人脸图像中该部位对应的多个关键点;通过调整该部位对应的多个关键点在人脸图像中的位置,实现对该部位的美型处理。例如,当用户想要放大人脸图像中的眼睛时,电子设备将眼睛对应的多个关键点,以眼睛为中心向外移动,从而实现放大眼睛。再如,当用户想要对人脸图像中的眉毛进行细眉时,电子设备将眉毛对应的多个关键点,以眉毛为中心向内移动,从而实现细眉处理。
4.相关技术中,对眼睛进行放大处理时,眼睛对应的多个关键点以眼睛为中心向外移动,移动后的关键点会占据眼睛周围的像素点的位置,这样眼睛周围的像素点就会堆积起来。而对眉毛进行细眉处理时,眉毛对应的多个关键点以眉毛为中心向内移动,这样细眉处理后的眉毛周围就会缺失像素点。由此可见,相关技术中的图像处理方式,会由于图像像素点位置的突变,导致图像畸形,人脸图像的美型效果差。


技术实现要素:

5.本公开实施例提供了一种图像处理方法、装置及电子设备,能够优化人脸图像的美型效果。所述技术方案如下:
6.根据本公开实施例的一方面,提供了一种图像处理方法,所述方法包括:
7.在待处理的第一图像中,确定目标部位对应的多个第一关键点,所述目标部位为所述第一图像中面部区域中的五官或面部轮廓;
8.根据所述多个第一关键点,在所述第一图像中确定所述多个第一关键点对应的第一目标区域;
9.基于所述第一目标区域和所述多个第一关键点,在所述第一图像中对所述第一目标区域进行扩展,得到所述目标部位对应的第二目标区域;
10.基于所述第一目标区域的中心点,根据第一调整参数,分别调整所述第二目标区域内的第一局部图像和第二局部图像中像素点的位置,得到第二图像,所述第一局部图像为所述第二目标区域中所述第一目标区域对应的图像,所述第二局部图像为所述第二目标区域中除所述第一局部图像外的图像。
11.在一种可能的实现方式中,所述基于所述第一目标区域的中心点,根据第一调整参数,分别调整所述第二目标区域内的第一局部图像和第二局部图像中像素点的位置,包括:
12.基于所述第一目标区域的中心点,根据所述第一调整参数,对所述第一局部图像进行形状调整;
13.基于所述第一目标区域的中心点,根据所述第一调整参数,将所述第二局部图像中的像素点分散填充到所述第二局部图像中。
14.在另一种可能的实现方式中,所述基于所述第一目标区域的中心点,根据所述第一调整参数,将所述第二局部图像中的像素点分散填充到所述第二局部图像中,包括:
15.响应于所述形状调整为缩小调整,确定所述第二局部图像中像素点的移动方向为靠近所述中心点的方向;
16.根据所述第一调整参数,确定所述第二局部图像中像素点的第一移动距离;
17.根据所述第一移动距离,将所述第二局部图像中的像素点向所述中心点的方向移动。
18.在另一种可能的实现方式中,所述基于所述第一目标区域的中心点,根据所述第一调整参数,将所述第二局部图像中的像素点分散填充到所述第二局部图像中,包括:
19.响应于所述形状调整为放大调整,确定所述第二局部图像中像素点的移动方向为远离所述中心点的方向;
20.根据所述第一调整参数,确定所述第二局部图像中像素点的第二移动距离;
21.根据所述第二移动距离,将所述第二局部图像中的像素点向远离所述中心点的方向移动。
22.在另一种可能的实现方式中,所述基于所述第一目标区域和所述多个第一关键点,在所述第一图像中对所述第一目标区域进行扩展,得到所述目标部位对应的第二目标区域,包括:
23.根据所述多个第一关键点,确定目标中心点;
24.根据所述目标中心点,分别向每个第一关键点做射线;
25.从每条射线上确定第二关键点,得到多个第二关键点,所述第二关键点与所述目标中心点的距离大于所述第二关键点所在的射线上的第一关键点与所述目标中心点的距离;
26.根据所述多个第二关键点,在所述第一图像中确定所述目标部位对应的所述第二目标区域。
27.在另一种可能的实现方式中,所述根据所述多个第一关键点,确定目标中心点,包括:
28.根据所述多个第一关键点,确定所述多个第一关键点对应的中心点;将所述多个第一关键点对应的中心点作为所述目标中心点;或者,
29.从所述多个第一关键点中确定中心区域的部分第一关键点;确定所述中心区域的部分第一关键点对应的中心点;将所述中心区域的部分第一关键点对应的中心点作为所述目标中心点。
30.在另一种可能的实现方式中,所述在待处理的第一图像中,确定目标部位对应的多个第一关键点,包括:
31.获取第三图像中所述目标部位对应的多个第三关键点,所述第三图像为图像采集过程中所述第一图像的前一帧图像;
32.将所述第一图像输入关键点确定模型,得到所述目标部位对应的多个第四关键点;
33.根据所述多个第三关键点和所述多个第四关键点,确定所述多个第一关键点。
34.在另一种可能的实现方式中,所述根据所述多个第三关键点和所述多个第四关键点,确定所述多个第一关键点,包括:
35.对于所述多个第四关键点中的任一第四关键点,在所述多个第三关键点中确定和所述第四关键点具有相同像素值的第三关键点;
36.确定所述第三关键点的第一位置和所述第四关键点的第二位置的平均位置;
37.将所述第四关键点的像素值渲染到所述平均位置,得到第一关键点。
38.在另一种可能的实现方式中,所述根据所述多个第三关键点和所述多个第四关键点,确定所述多个第一关键点,包括:
39.响应于根据所述多个第三关键点,确定所述多个第四关键点中缺失关键点,从所述多个第三关键点中选择所述多个第四关键点中缺失的关键点对应的第三关键点,将所述多个第四关键点中缺失的关键点对应的第三关键点添加到所述多个第四关键点中,得到所述多个第一关键点;或者,
40.响应于根据所述多个第三关键点,确定所述多个第四关键点中缺失关键点,将所述多个第四关键点全部替换为所述多个第三关键点,得到所述多个第一关键点。
41.在另一种可能的实现方式中,所述基于所述第一目标区域的中心点,根据第一调整参数,分别调整所述第二目标区域内的第一局部图像和第二局部图像中像素点的位置之前,所述方法还包括:
42.响应于根据所述多个第三关键点,确定所述多个第四关键点中缺失关键点,确定已记录的第二调整参数,所述第二调整参数为对所述第三图像进行调整时的调整参数;
43.根据预设幅度调整所述第二调整参数中的调整力度,得到所述第一调整参数。
44.在另一种可能的实现方式中,所述方法还包括:
45.记录连续缺失所述第四关键点的图像的帧数;
46.响应于所述帧数达到目标帧数,停止对下一帧图像进行形状调整。
47.根据本公开实施例的另一方面,提供了一种图像处理装置,所述装置包括:
48.第一确定模块,被配置为在待处理的第一图像中,确定目标部位对应的多个第一关键点,所述目标部位为所述第一图像中面部区域中的五官或面部轮廓;
49.第二确定模块,被配置为根据所述多个第一关键点,在所述第一图像中确定所述多个第一关键点对应的第一目标区域;
50.扩展模块,被配置为基于所述第一目标区域和所述多个第一关键点,在所述第一图像中对所述第一目标区域进行扩展,得到所述目标部位对应的第二目标区域;
51.位置调整模块,被配置为基于所述第一目标区域的中心点,根据第一调整参数,分别调整所述第二目标区域内的第一局部图像和第二局部图像中像素点的位置,得到第二图像,所述第一局部图像为所述第二目标区域中所述第一目标区域对应的图像,所述第二局部图像为所述第二目标区域中除所述第一局部图像外的图像。
52.在一种可能的实现方式中,所述位置调整模块,还被配置为基于所述第一目标区域的中心点,根据所述第一调整参数,对所述第一局部图像进行形状调整;基于所述第一目
标区域的中心点,根据所述第一调整参数,将所述第二局部图像中的像素点分散填充到所述第二局部图像中。
53.在另一种可能的实现方式中,所述位置调整模块,还被配置为响应于所述形状调整为缩小调整,确定所述第二局部图像中像素点的移动方向为靠近所述中心点的方向;根据所述第一调整参数,确定所述第二局部图像中像素点的第一移动距离;根据所述第一移动距离,将所述第二局部图像中的像素点向所述中心点的方向移动。
54.在另一种可能的实现方式中,所述位置调整模块,还被配置为响应于所述形状调整为放大调整,确定所述第二局部图像中像素点的移动方向为远离所述中心点的方向;根据所述第一调整参数,确定所述第二局部图像中像素点的第二移动距离;根据所述第二移动距离,将所述第二局部图像中的像素点向远离所述中心点的方向移动。
55.在另一种可能的实现方式中,所述扩展模块,还被配置为根据所述多个第一关键点,确定目标中心点;根据所述目标中心点,分别向每个第一关键点做射线;从每条射线上确定第二关键点,得到多个第二关键点,所述第二关键点与所述目标中心点的距离大于所述第二关键点所在的射线上的第一关键点与所述目标中心点的距离;根据所述多个第二关键点,在所述第一图像中确定所述目标部位对应的所述第二目标区域。
56.在另一种可能的实现方式中,述扩展模块,还被配置为根据所述多个第一关键点,确定所述多个第一关键点对应的中心点;将所述多个第一关键点对应的中心点作为所述目标中心点;或者,
57.所述扩展模块,还被配置为从所述多个第一关键点中确定中心区域的部分第一关键点;确定所述中心区域的部分第一关键点对应的中心点;将所述中心区域的部分第一关键点对应的中心点作为所述目标中心点。
58.在另一种可能的实现方式中,所述第一确定模块,还被配置为获取第三图像中所述目标部位对应的多个第三关键点,所述第三图像为图像采集过程中所述第一图像的前一帧图像;将所述第一图像输入关键点确定模型,得到所述目标部位对应的多个第四关键点;根据所述多个第三关键点和所述多个第四关键点,确定所述多个第一关键点。
59.在另一种可能的实现方式中,所述第一确定模块,还被配置为对于所述多个第四关键点中的任一第四关键点,在所述多个第三关键点中确定和所述第四关键点具有相同像素值的第三关键点;确定所述第三关键点的第一位置和所述第四关键点的第二位置的平均位置;将所述第四关键点的像素值渲染到所述平均位置,得到第一关键点。
60.在另一种可能的实现方式中,所述第一确定模块,还被配置为响应于根据所述多个第三关键点,确定所述多个第四关键点中缺失关键点,从所述多个第三关键点中选择所述多个第四关键点中缺失的关键点对应的第三关键点,将所述多个第四关键点中缺失的关键点对应的第三关键点添加到所述多个第四关键点中,得到所述多个第一关键点;或者,
61.所述第一确定模块,还被配置为响应于根据所述多个第三关键点,确定所述多个第四关键点中缺失关键点,将所述多个第四关键点全部替换为所述多个第三关键点,得到所述多个第一关键点。
62.在另一种可能的实现方式中,所述装置还包括:
63.第三确定模块,被配置为响应于根据所述多个第三关键点,确定所述多个第四关键点中缺失关键点,确定已记录的第二调整参数,所述第二调整参数为对所述第三图像进
行调整时的调整参数;
64.参数调整模块,被配置为根据预设幅度调整所述第二调整参数中的调整力度,得到所述第一调整参数。
65.在另一种可能的实现方式中,所述装置还包括:
66.记录模块,被配置为记录连续缺失所述第四关键点的图像的帧数;
67.所述位置调整模块,还被配置响应于所述帧数达到目标帧数,停止对下一帧图像进行形状调整。
68.根据本公开实施例的另一方面,提供了一种电子设备,所述电子设备包括:一个或多个处理器,
69.用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器;
70.其中,所述一个或多个处理器被配置为执行上述任一可能实现方式所述的图像处理方法。
71.根据本公开实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被电子设备的处理器执行时实现上述任一可能实现方式所述的图像处理方法。
72.根据本公开实施例的另一方面,提供了一种计算机程序产品,当所述计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一可能实现方式中所述的图像处理方法。
73.在本公开实施例中,通过在待处理的第一图像中,确定目标部位的多个第一关键点;根据多个第一关键点在第一图像中确定第一目标区域;在所述第一图像中对所述第一目标区域进行扩展,得到所述目标部位对应的第二目标区域;基于所述第一目标区域的中心点,根据第一调整参数,分别调整第二目标区域内的第一局部图像和第二局部图像中像素点的位置,得到第二图像。通过上述方案,使得调整得到的第二图像中目标部位的变化可以逐渐对第一图像中的其他区域产生影响,防止了调整目标部位时,对面部区域的其他区域的像素点造成影响,出现图像畸形,优化了形状调整效果。
74.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
75.为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
76.图1是根据一示例性实施例示出的一种图像处理方法的流程图;
77.图2是根据一示例性实施例示出的一种图像处理方法的流程图;
78.图3是根据一示例性实施例示出的一种面部区域的关键点的示意图;
79.图4是根据一示例性实施例示出的一种第二目标区域的示意图;
80.图5是根据一示例性实施例示出的一种图像处理装置的框图;
81.图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
82.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
83.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
84.本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
85.本公开提供了一种图像处理方法,该图像处理方法可以应用在电子设备进行图像采集的过程中。该图像采集过程可以为图片拍摄过程或视频拍摄过程,该视频可以为长视频,也可以为短视频。
86.该电子设备可以为具有图像采集功能的电子设备,例如,该电子设备可以为摄像机、手机、平板电脑或可穿戴设备等。该电子设备可以对采集到的第一图像中的面部区域进行调整,实现对采集到的面部区域的美型。其中,该面部区域可以为人脸的面部区域也可以为其他动物的面部区域,在本公开实施例中,对此不作具体限定。其中,该电子设备中可以安装图像处理应用,电子设备可以通过该图像处理应用进行图像采集和图像处理。例如,该图像处理应用可以为美颜相机应用、视频拍摄应用等。当该图像处理应用为美颜相机应用时,电子设备可以对美颜相机采集人脸图像的过程中,采集到的视频流进行图像处理,用户可以通过浏览现实画面中采集到的图像,响应于接收到用户的确认操作时,根据该确认操作确定采集到的第一图像。当该图像处理应用为视频拍摄应用时,用户可以通过该视频拍摄应用向电子设备输入开始拍摄指令,当电子设备接收到开始拍摄指令时,开始采集视频图像,当接收到用户输入的结束拍摄指令使,停止采集视频图像。其中,该视频拍摄应用可以为短视频应用或长视频应用,在本公开实施例中,对此不作具体限定。
87.另外,电子设备可以在采集第一图像的过程中,就对第一图像进行图像处理,得到图像处理后的第二图像。电子设备还可以先采集第一图像,再对采集到的第一图像进行图像处理,得到第二图像,在本公开实施例中,对此不作具体限定。其中,该第一图像可以为上述图像处理应用拍摄的图片,也可以为拍摄的视频中的任一帧图像。
88.另外,电子设备可以根据该图像调整指令对采集到的第一图像中的目标部位的形状进行调整。在一种可能的实现方式中,该图像调整指令中携带本次形状调整的目标部位和本次形状调整的第一调整力度和第一调整方式,电子设备根据该图像调整指令确定本次美型处理的目标区域的和第一调整力度。在另一种可能的实现方式中,电子设备事先设置形状调整的目标部位和形状调整对应的第一调整力度和第一调整方式,响应于接收到图像调整指令,直接根据目标部位、第一调整力度和第一调整方式对该第一图像中的目标部位进行调整。
89.图1是根据一示例性实施例示出的一种图像处理方法的流程图,参见图1,该图像处理方法包括以下步骤:
90.在步骤s101中,在待处理的第一图像中,确定目标部位对应的多个第一关键点,该
目标部位为该第一图像中面部区域中的五官或面部轮廓。
91.在步骤s102中,根据该多个第一关键点,在该第一图像中确定该多个第一关键点对应的第一目标区域。
92.在步骤s103中,基于该第一目标区域和该多个第一关键点,在该第一图像中对该第一目标区域进行扩展,得到该目标部位对应的第二目标区域。
93.在步骤s104中,基于该第一目标区域的中心点,根据第一调整参数,分别调整该第二目标区域内的第一局部图像和第二局部图像中像素点的位置,得到第二图像,该第一局部图像为该第二目标区域中该第一目标区域对应的图像,该第二局部图像为该第二目标区域中除该第一局部图像外的图像。
94.在一种可能的实现方式中,该基于该第一目标区域的中心点,根据第一调整参数,分别调整该第二目标区域内的第一局部图像和第二局部图像中像素点的位置,包括:
95.基于该第一目标区域的中心点,根据该第一调整参数,对该第一局部图像进行形状调整;
96.基于该第一目标区域的中心点,根据该第一调整参数,将该第二局部图像中的像素点分散填充到该第二局部图像中。
97.在另一种可能的实现方式中,该基于该第一目标区域的中心点,根据该第一调整参数,将该第二局部图像中的像素点分散填充到该第二局部图像中,包括:
98.响应于该形状调整为缩小调整,确定该第二局部图像中像素点的移动方向为靠近该中心点的方向;
99.根据该第一调整参数,确定该第二局部图像中像素点的第一移动距离;
100.根据该第一移动距离,将该第二局部图像中的像素点向该中心点的方向移动。
101.在另一种可能的实现方式中,该基于该第一目标区域的中心点,根据该第一调整参数,将该第二局部图像中的像素点分散填充到该第二局部图像中,包括:
102.响应于该形状调整为放大调整,确定该第二局部图像中像素点的移动方向为远离该中心点的方向;
103.根据该第一调整参数,确定该第二局部图像中像素点的第二移动距离;
104.根据该第二移动距离,将该第二局部图像中的像素点向远离该中心点的方向移动。
105.在另一种可能的实现方式中,该基于该第一目标区域和该多个第一关键点,在该第一图像中对该第一目标区域进行扩展,得到该目标部位对应的第二目标区域,包括:
106.根据该多个第一关键点,确定目标中心点;
107.根据该目标中心点,分别向每个第一关键点做射线;
108.从每条射线上确定第二关键点,得到多个第二关键点,该第二关键点与该目标中心点的距离大于该第二关键点所在的射线上的第一关键点与该目标中心点的距离;
109.根据该多个第二关键点,在该第一图像中确定该目标部位对应的该第二目标区域。
110.在另一种可能的实现方式中,该根据该多个第一关键点,确定目标中心点,包括:
111.根据该多个第一关键点,确定该多个第一关键点对应的中心点;将该多个第一关键点对应的中心点作为该目标中心点;或者,
112.从该多个第一关键点中确定中心区域的部分第一关键点;确定该中心区域的部分第一关键点对应的中心点;将该中心区域的部分第一关键点对应的中心点作为该目标中心点。
113.在另一种可能的实现方式中,该在待处理的第一图像中,确定目标部位对应的多个第一关键点,包括:
114.获取第三图像中该目标部位对应的多个第三关键点,该第三图像为图像采集过程中该第一图像的前一帧图像;
115.将该第一图像输入关键点确定模型,得到该目标部位对应的多个第四关键点;
116.根据该多个第三关键点和该多个第四关键点,确定该多个第一关键点。
117.在另一种可能的实现方式中,该根据该多个第三关键点和该多个第四关键点,确定该多个第一关键点,包括:
118.对于该多个第四关键点中的任一第四关键点,在该多个第三关键点中确定和该第四关键点具有相同像素值的第三关键点;
119.确定该第三关键点的第一位置和该第四关键点的第二位置的平均位置;
120.将该第四关键点的像素值渲染到该平均位置,得到第一关键点。
121.在另一种可能的实现方式中,该根据该多个第三关键点和该多个第四关键点,确定该多个第一关键点,包括:
122.响应于根据该多个第三关键点,确定该多个第四关键点中缺失关键点,从该多个第三关键点中选择该多个第四关键点中缺失的关键点对应的第三关键点,将该多个第四关键点中缺失的关键点对应的第三关键点添加到该多个第四关键点中,得到该多个第一关键点;或者,
123.响应于根据该多个第三关键点,确定该多个第四关键点中缺失关键点,将该多个第四关键点全部替换为该多个第三关键点,得到该多个第一关键点。
124.在另一种可能的实现方式中,该基于该第一目标区域的中心点,根据第一调整参数,分别调整该第二目标区域内的第一局部图像和第二局部图像中像素点的位置之前,该方法还包括:
125.响应于根据该多个第三关键点,确定该多个第四关键点中缺失关键点,确定已记录的第二调整参数,该第二调整参数为对该第三图像进行调整时的调整参数;
126.根据预设幅度调整该第二调整参数中的调整力度,得到该第一调整参数。
127.在另一种可能的实现方式中,该方法还包括:
128.记录连续缺失该第四关键点的图像的帧数;
129.响应于该帧数达到目标帧数,停止对下一帧图像进行形状调整。
130.在本公开实施例中,通过在待处理的第一图像中,确定目标部位的多个第一关键点;根据多个第一关键点在第一图像中确定第一目标区域;在所述第一图像中对所述第一目标区域进行扩展,得到所述目标部位对应的第二目标区域;基于所述第一目标区域的中心点,根据第一调整参数,分别调整第二目标区域内的第一局部图像和第二局部图像中像素点的位置,得到第二图像。通过上述方案,使得调整得到的第二图像中目标部位的变化可以逐渐对第一图像中的其他区域产生影响,防止了调整目标部位时,对面部区域的其他区域的像素点造成影响,出现图像畸形,优化了形状调整效果。
131.图2是根据一示例性实施例示出的一种图像处理方法的流程图,参见图2,该图像处理方法包括以下步骤:
132.在步骤s201中,在待处理的第一图像中,确定目标部位对应的多个第一关键点,该目标部位为该第一图像中面部区域中的五官或面部轮廓。
133.其中,目标部位可以为第一图像中面部区域中的五官或面部轮廓,例如,该目标部位可以为眼睛、眉毛、鼻梁、嘴巴或脸颊等。该第一图像可以为电子设备采集到的视频流中的图像。相应的,电子设备持续采集视频流,在采集到的视频流中提取第一图像。该第一图像还可以为电子设备当前拍摄的图像或者当前拍摄界面的取景框中的图像。
134.电子设备可以根据第一图像中的目标部位对应的多个第一关键点对目标部位进行形状调整。在一种可能的实现方式中,电子设备可以接收用户的选择操作,根据该选择操作确定用户选择的要进行形状调整的目标部位。在另一种可能的实现方式中,电子设备事先设置进行形状调整的目标部位。在本公开实施例中,对此不作具体限定。需要说明的一点是,该目标部位可以为第一图像中面部区域中的一个部位所在的区域,也可以为第一图像中面部区域中的多个部位所在的区域,在本公开实施例中,对此均不作具体限定。
135.相应的,在本步骤中,电子设备确定第一图像中目标部位的多个第一关键点。例如,参见图3,当目标部位为眉毛时,该多个第一关键点可以为图3中标号为19-28的10个关键点。
136.另外,电子设备可以仅基于当前的第一图像确定该第一图像中目标部位对应的多个第一关键点;电子设备还可以通过第一图像的前一帧图像确定第一图像中目标部位对应的关键点。相应的,在一种可能的实现方式中,电子设备可以直接从第一图像中确定目标部位对应的多个第一关键点。在本实现方式中,电子设备直接从第一图像中确定目标部位对应的多个第一关键点,从而简化了确定第一图像多个第一关键点的处理流程,提高了第一图像的处理效率。
137.在另一种可能的实现方式中,电子设备根据第一图像的前一帧图像中多个第三关键点确定第一图像中目标部位对应的多个第一关键点,该过程可以通过以下步骤(a1)-(a1)实现,包括:
138.(a1)获取第三图像中该目标部位对应的多个第三关键点,该第三图像为图像采集过程中该第一图像的前一帧图像。
139.在本步骤中,电子设备可以在采集到的视频流中提取第一图像的前一帧图像,将该前一帧图像作为该第三图像。电子设备从该第三图像中确定目标部位对应的多个第三关键点。其中,电子设备可以将该第三图像输入至面部区域对应的关键点确定模型中,得到该第三图像的面部区域对应的所有关键点,从该所有关键点中确定目标部位对应的多个第三关键点;或者,电子设备可以将该第三图像输入至目标部位对应的关键点确定模型中,该目标部位对应的关键点确定模型直接输出该第三图像中目标部位对应的多个第三关键点。
140.其中,面部区域对应的关键点确定模型和目标部位对应的关键点确定模型可以为任一神经网络模型。相应的,在本步骤之前,电子设备可以根据需要对面部区域对应的关键点确定模型和目标部位对应的关键点确定模型进行模型训练,通过调整模型参数,训练得到面部区域对应的关键点确定模型和目标部位对应的关键点确定模型。
141.参见图3,图3是根据一示例性实施例示出的一种面部区域的关键点的示意图。另
外,该关键点的数量可以根据需要进行设置,在本公开实施例中,对该关键点的数量不作具体限定,例如,该关键点的数量可以为100、101或105等。参见图3,图3示出了面部区域的101个关键点。
142.在本实施例中,通过模型确定第三图像中的多个第三关键点,从而提高了确定多个第三关键点的准确率。
143.(a2)将该第一图像输入关键点确定模型,得到该目标部位对应的多个第四关键点。
144.本步骤与步骤(a1)中,电子设备通过关键点确定模型确定多个第三关键点的过程相似,在此不再赘述。
145.(a3)根据该多个第三关键点和该多个第四关键点,确定该多个第一关键点。
146.在本步骤中,电子设备将该多个第三关键点的位置分别与对应的多个第四关键点的位置进行平均,将多个第四关键点的像素值渲染在平均位置处,得到多个第一关键点,该过程可以通过以下步骤(a1)-(a3)实现,包括:
147.(a1)对于该多个第四关键点中的任一第四关键点,在该多个第三关键点中确定和该第四关键点具有相同像素值的第三关键点。
148.在本步骤中,电子设备分别从第三图像和第四图像中确定具有相同像素值的第三关键点和第四关键点。其中,电子设备可以先选择任一第四关键点,然后从多个第三关键点中确定与该第四关键点具有相同像素值的第三关键点。
149.(a2)确定该第三关键点的第一位置和该第四关键点的第二位置的平均位置。
150.在本步骤中,电子设备可以在第三图像和第四图像中建立相同的坐标系,在同一坐标系中,分别确定有相同像素值的第三关键点和第四关键点在同一坐标系中的坐标位置,得到第一位置和第二位置,对该第一位置和第二位置对应的坐标值进行平均,得到第一位置和第二位置的平均位置。
151.另外,电子设备还可以分别在第三图像和第四图像中建立不同的坐标系,分别确定第三关键点和第四关键点在各自坐标系下的像素点,然后通过坐标系间的映射关系,将多个第三关键点和多个第四关键点映射到同一坐标系中,从而得到该坐标系下多个第三关键点的第一位置和多个第四关键点的第二位置。
152.需要说明的一点是,电子设备可以先确定多个第三关键点的第一位置,再确定多个第四关键点的第二位置。电子设备也可以先确定多个第四关键点的第二位置,再确定多个第三关键点的第一位置。电子设备还可以同时确定多个第三关键点的第一位置和多个第四关键点的第二位置。在本公开实施例中,对电子设备确定第一位置和第二位置的顺序不作具体限定。
153.(a3)将该第四关键点的像素值渲染到该平均位置,得到第一关键点。
154.在本步骤中,电子设备将第四关键点对应的像素值渲染到该平均位置上,得到该第三关键点和第四关键点对应的第一关键点。从而电子设备分别根据多个第三关键点和每个第三关键点对应的第四关键点确定多个第一关键点。
155.需要说明的一点是,电子设备在通过多个第三关键点和多个第四关键点,确定第一关键点的同时,还可以将第三图像和第四图像中其他像素点的位置也进行平均,从而使得到的第一图像中像素点的位置都为第三图像和第四图像中像素点的平均位置,使得在获
取动态图像的过程中,获取到的第一图像不会与之前的图像之间有较大的突变情况。
156.需要说明的另一点是,电子设备还可以将多个第三关键点的像素值和多个第四关键点的像素值也进行加权求和,将加权求和的像素值作为多个第一关键点的像素值,进行渲染。
157.在本实施例中,通过将第三图像和第四图像中像素值相同的多个第三关键点和多个第四关键点的位置进行平均,得到多个第一关键点,从而使第一图像中的多个第一关键点的位置可以平滑变化,防止采集到的第一图像中的第一关键点的位置发生突变,保证了在采集动态动画时,第一图像中的画面也可以平滑和稳定。
158.另外,在实际应用中采集图像的过程中,可能会出现图像中的面部区域被遮挡的情况,当第一图像中面部区域的目标部位被遮挡时,电子设备可以通过获取前一帧图像中目标部位确定多个第一关键点。相应的,电子设备在采集到第四图像后,对第四图像中的关键点进行识别,响应于电子设备检测到第四图像中关键点缺失,电子设备获取之前采集的第三图像,该第三图像为具有完整关键点的图像。
159.在一种可能的实现方式中,电子设备可以从多个第三关键点中选择第四图像中缺失的第四关键点,相应的,该过程可以为:响应于根据该多个第三关键点,确定该多个第四关键点中缺失关键点,从该多个第三关键点中选择该多个第四关键点中缺失的关键点对应的第三关键点,将该多个第四关键点中缺失的关键点对应的该第三关键点添加到该多个第四关键点中,得到该多个第一关键点。在本实现方式中,电子设备通过从多个第三关键点中,选择缺失的关键点,对缺失的第四关键点进行补充,从而使得当第四图像中的目标部位被遮挡时,电子设备也可以通过前一帧第三图像中的关键点对确定多个第一关键点,防止关键点缺失导致的局部图像从调整状态突变为未调整状态,优化了图像调整效果。
160.在另一种可能的实现方式中,电子设备可以将多个第三关键点直接作为第一关键点,该过程可以为:响应于根据该多个第三关键点,确定该多个第四关键点中缺失关键点,将该多个第四关键点全部替换为该多个第三关键点,得到该多个第一关键点。在本实现方式中,电子设备直接将多个第三关键点确定为多个第一关键点,从而使得当第四图像中的目标部位被遮挡时,电子设备也可以通过前一帧第三图像中的关键点对确定多个第一关键点,防止关键点缺失导致的局部图像从调整状态突变为未调整状态,优化了图像调整效果。
161.在步骤s202中,根据该多个第一关键点,在该第一图像中确定该多个第一关键点对应的第一目标区域。
162.在本步骤中,电子设备确定该多个第一关键点围成的第一目标区域。其中,电子设备可以依次连接相邻的第一关键点,将连接的多个第一关键点包围的图像区域作为第一目标区域。
163.在步骤s203中,基于该第一目标区域和该多个第一关键点,在该第一图像中对该第一目标区域进行扩展,得到该目标部位对应的第二目标区域。
164.在本步骤中,电子设备根据第一目标区域和多个第一关键点对该第一目标区域进行扩展,得到第二目标区域。该过程可以通过以下步骤(1)-(4)实现,包括:
165.(1)根据该多个第一关键点,确定目标中心点。
166.在本步骤中,电子设备可以根据多个第一关键点中确定该多个第一关键点对应的中心位置,将中心位置所在位置确定为目标中心点。
167.其中,电子设备可以根据所有第一关键点确定一个目标中心点,相应的,电子设备根据该多个第一关键点,确定该多个第一关键点对应的中心点;将该多个第一关键点对应的中心点作为该目标中心点。
168.电子设备也可以先从多个第一关键点中选出中心区域的部分第一关键点,再确定该中心区域的部分第一关键点的中心点。相应的,电子设备从该多个第一关键点中确定中心区域的部分第一关键点;确定该中心区域的部分第一关键点对应的中心点;将该中心区域的部分第一关键点对应的中心点作为该目标中心点。例如,请继续参见图3,以目标部位为眉毛为例进行说明,眉毛对应的多个第一关键点为19-28这10个关键点,电子设备可以确定这10个关键点对应的中心点。电子设备也可以从关键点19-28中,先选择出中间位置的四个关键点,例如关键点21、22、26和27,确定这四个关键点的平均点作为中心点。
169.(2)根据该目标中心点,分别向每个第一关键点做射线。
170.在本步骤中,电子设备以该目标中心点为原点分别向该多个第一关键点中的每个第一关键点相连做射线。例如,继续以上述步骤(1)中的举例为例进行说明,以第一关键点21、22、26和27的平均点作为目标中心点,分别向第一关键点19-28的方向做射线,得到10条射线。
171.(3)从每条射线上确定第二关键点,得到该多个第二关键点,该第二关键点和该目标中心点的距离大于该第二关键点所在的射线上的第一关键点与该目标中心点的距离。
172.在本步骤中,电子设备以原点为一个端点在得到的射线上截取线段,该线段的另一个端点即为该第二关键点。其中,该线段的长度大于该射线上目标中心点到第一关键点的长度。其中,该线段的长度可以为根据经验值确定的预设长度,在本公开实施例中,对该线段的长度不作具体限定。
173.需要说明的一点是,该多个第二关键点也可以通过关键点确定模型进行确定,相应的,步骤(1)-(3)可以替换为将第一图像输入至关键点确定模型,得到多个第二关键点。其中,该关键点确定模型可以与确定多个第一关键点的关键点确定模型相同,相应的,电子设备可以通过关键点确定模型同时确定第一图像的多个第一关键点和多个第二关键点。
174.(4)根据该多个第二关键点,在该第一图像中确定该目标部位对应的该第二目标区域。
175.在一种可能的实现方式中,电子设备依次连接多个第二关键点,将多个第二关键点包围的图像区域作为该第二目标区域。在另一种可能的实现方式中,电子设备可以通过网格(mesh)算法,确定该多个第二关键点对应的网格区域,将该网格区域作为该第二目标区域。该过程可以为:电子设备将该多个第二关键点作为端点,对该多个第一关键点对应的目标部位进行网格扩展,得到该第二目标区域。参见图4,电子设备将多个第二关键点作为端点,分别与多个第一关键点连接成三角面片,通过多个三角面片和第一目标区域组成该目标部位对应的第二目标区域。
176.在本实现方式中,通过对第一目标区域进行扩展,得到第二目标区域,从而使的在对目标部位进行调整时,可以通过第二目标区域对调整效果进行分散,进而防止对面部区域进行形状调整时产生图像畸变,从而优化了形状调整效果,提高了形状调整质量。
177.在步骤s204中,基于该第一目标区域的中心点,根据该第一调整参数,对该第一局部图像进行形状调整。
178.其中,该第一局部图像为该第二目标区域中该第一目标区域对应的图像。该第一调整参数为用于调整第一局部图像的调整参数,第一调整参数可以为系统默认的调整参数,也可以为根据用户设置生成的调整参数,还可以为根据第三图像的第二调整参数确定的。该第一调整参数至少包括调整力度,还可以包括色彩参数、亮度参数等。电子设备根据形状调整要求对目标部位进行形状调整,该形状调整可以为对该目标部位进行放大调整、缩小调整等。其中,该形状调整要求可以为电子设备接收到的用户输入的形状调整要求,该形状调整要求也可以为电子设备中根据不同的目标部位设置的形状调整要求,例如,当目标部位为眼睛时,该形状调整要求可以为放大眼睛;当该目标部位为眉毛时,该形状调整要求可以为变细眉毛。相应的,对眼睛的调整为放大调整,对眉毛的调整为缩小调整。
179.电子设备对目标部位对应的第一目标区域在该第一图像中对应的第一局部图像的形状进行调整,从而实现放大或缩小该目标部位。在一种可能的实现方式中,电子设备可以根据该目标部位对应的多个第一关键点,通过网格算法,将多个第一关键点的每个第一关键点作为端点进行连接,得到多个三角面片,通过每个三角面片对该目标部位对应的第一局部图像进行调整。在本实施例中,通过多个第一关键点确定目标部位对应的区域,分别根据该区域内三角面片内的像素点进行调整,从而实现对目标部位进行调整,防止了对三角面片以外的区域进行调整,提高了调整的精度。
180.在另一种可能的实现方式中,电子设备可以通过液化算法对目标部位进行调整,该过程可以为:电子设备确定目标部位对应的中心位置,以该中心位置为圆心做圆,使得该目标部位对应的第一局部图像在该圆内,通过更改该圆的大小实现对该目标部位对应的第一局部图像的调整。在本实施例中,通过液化算法对目标部位对应的第一局部图像进行调整,从而实现了对目标部位的调整。
181.其中,电子设备可以确定进行形状调整的调整方式和第一调整参数对第一局部图像进行形状调整。相应的,基于该第一目标区域的中心点,根据该第一调整参数,对该第一局部图像进行形状调整的过程可以通过以下步骤(1)-(2)实现,包括:
182.(1)确定对该第一局部图像进行形状调整的调整方式和第一调整参数。
183.其中,该调整方式和第一调整参数可以为电子设备预先设置的对目标部位的调整方式和调整力度;该调整方式和第一调整参数还可以为电子设备根据用户的设置确定的调整方式和调整力度。在本公开实施例中,对此不作具体限定。相应的,电子设备可以直接根据调整参数的设置,确定该调整方式和第一调整参数。该过程可以为:获取当前被选择的调整模式,确定该调整模式对应的调整方式和第一调整参数。其中,该调整模式为系统默认的调整模式或用户输入的调整模式。
184.另外,电子设备也可以根据前一帧图像的调整方式和第二调整参数确定当前帧对应的调整方式和第一调整参数,从而逐渐改变图像调整的幅度。相应的,该获取调整方式和第一调整参数的过程可以为:响应于根据该多个第三关键点,确定该多个第四关键点中缺失关键点,确定已记录的第二调整参数,该第二调整参数为对该第三图像进行调整时的调整参数;根据预设幅度调整该第二调整参数中的调整力度,得到该第一调整参数。
185.其中,第二调整参数为电子设备在对第三图像进行调整时使用的调整参数,该第二调整参数可以为系统默认的调整参数,也可以为根据用户设置生成的调整参数。该第二调整参数至少包括调整力度,还可以包括亮度调整参数、色彩调整参数等。在本公开实施例
中,对此不作具体限定。
186.在本实现方式中,通过逐渐改变对图像的调整力度,使得对图像调整的过程可以更平滑,防止对图像进行调整时产生突变。
187.例如,在实际应用中采集图像的过程中,可能会出现图像中的面部区域被遮挡的情况,在这种情况下,电子设备可以在对目标部位进行调整时,进行容错处理,通过选取目标数量的图像作为顺延时长,从而在缺失关键帧时,可以延续前一帧,对当前帧的目标部位进行调整,且逐渐减弱调整幅度,在图像中的第一关键点不再缺失时,还可以将对第一图像中的目标部位的调整力度再恢复为原来的调整力度。
188.相应的,记录连续缺失所述第四关键点的图像的帧数;响应于所述帧数达到目标帧数,停止对下一帧图像进行形状调整。
189.而在电子设备记录帧数的过程中,如果在帧数达到目标帧数之前,检测到图像不再缺失关键点,还可以逐渐将对图像的调整参数再恢复到原来的调整参数。例如,响应于当前第一图像为缺失第四关键点的图像,则电子设备将连续缺失关键点的图像的帧数加一。当前图像的帧数为n,当第一图像缺失多个第四关键点时,电子设备更新当前帧数为n 1。响应于当前第一图像不是缺失第四关键点的图像,则电子设备将关键点连续缺失的帧数清零。电子设备再根据预设幅度增大当前的调整力度,直到调整力度恢复为第二调整力度。
190.需要说明的一点是,电子设备可以先对第一图像中目标部位进行调整,再记录连续缺失第四关键点的帧数;电子设备也可以先记录连续缺失第四关键点的帧数,再对第一图像中目标部位进行调整;电子设备还可以同时对第一图像中目标部位进行调整和记录连续缺失第四关键点的帧数。在本公开实施例中,对此不作具体限定。其中,该目标帧数可以根据需要进行设置,在本公开实施例中,对该目标帧数不作具体限定。例如,该目标帧数可以为50、60、或80等。
191.在本实施例中,通过设置容错机制,对缺失关键帧的图像进行顺延处理,使得图像中的形状调整效果可以平滑过渡到不进行形状调整的效果,从而防止第一关键点缺失时,图像中的目标部位发生突变,优化了形状调整效果。
192.(2)根据该调整方式和第一调整参数,对该第一局部图像内的每个像素点进行调整。
193.在本实现方式中,电子设备分别根据调整方式和第一调整参数对第一局部图像中的每个像素点进行调整,从而实现对目标部位进行调整,防止了对三角面片以外的区域进行调整,提高了调整的精度。
194.在步骤s205中,基于该第一目标区域的中心点,根据该第一调整参数,将该第二局部图像中的像素点分散填充到该第二局部图像中,得到第二图像。
195.其中,该第二局部图像为该第二目标区域中除该第一局部图像外的图像。电子设备对目标部位进行调整会时目标部位对应的第一局部图像中的像素点的位置产生该变化,使第二目标区域中出现畸形区域。在本步骤中,电子设备将第二目标区域中的像素点的位置也跟随第一局部图像的调整进行调整,实现将目标部位的调整平滑过渡到第一局部图像以外的其他区域。
196.其中,对第一局部图像进行调整的过程有两种,一种是对第一局部图像进行放大调整,另一种是对第一局部图像进行缩小调整。相应的,在本步骤中,电子设备将该第一图
像中该第二目标区域内的第二局部图像的像素点分散填充到第二局部图像中,得到第二图像的方法也包括两种。
197.第一种实现方式,在进行搜小调整的情况下,可以通过以下步骤(a1)-(a3)实现对像素点的扩散填充,包括:
198.(a1)响应于该形状调整为缩小调整,确定该第二局部图像中像素点的移动方向为靠近该中心点的方向。
199.在本步骤中,对第一局部图像进行缩小调整,则第二局部图像中像素点的移动方向和第一局部图像缩小的过程中移动方向一致,从而确定该第二局部图像中像素点的移动方向为靠近该中心点的方向。
200.(a2)根据该第一调整参数,确定该第二局部图像中像素点的第一移动距离。
201.在本步骤中,根据第一调整参数,确定第一图像中每个像素点的移动距离,根据第一调整参数,确定对第一局部图像进行缩小调整时,可能会产生的畸变区域,通过干畸变区域确定第二局部图像中像素点填充该畸变图像时,所需要移动的第一移动距离。
202.(a3)根据该第一移动距离,将该第二局部图像中的像素点向该中心点的方向移动。
203.需要说明的一点是,电子设备对第一局部图像和对第二局部图像进行调整的过程可以为同步进行的,也可以先对第一局部图像进行调整,再对第二局部图像进行调整。其中,电子设备同时对第一局部图像和第二局部图像进行调整时,可以直接根据第一调整参数,通过事先确定的移动距离算法,确定第二局部图像中像素点的第一移动距离。相应的,在本步骤中,第二局部图像中的像素点和第一局部图像中的像素点可以进行移动,实现对第一图像的图像调整。
204.在本实现方式中,电子设备可以对根据该第一畸变区域的第一调整参数确定第二局部图像中每个像素点的移动方向和移动距离,使得第二局部图像中的像素点可以根据移动方向和移动距离进行位置调整,防止在图像处理的过程中产生畸变,从而优化了形状调整效果。
205.在另一种可能的实现方式中,电子设备可以根据多个第一关键点和多个第二关键点确定多个三角面片,在本步骤中,电子设备通过多个第一关键点中每个关键点对应的三角面片,根据该第一关键点的调整距离和调整方向对第二局部图像对应的三角面片中的像素点的位置进行调整,使得该关键点对应的三角面片中的像素点可以根据该第一关键点的调整距离和调整方向进行调整。
206.需要说明的一点是,该对于任一三角面片中的像素点,每个像素点的调整距离和调整方向可以相同也可以不同。当三角面片中每个像素点的调整距离和调整方向相同时,电子设备可以直接根据三角面片中像素点的数量对调整距离和调整方向进行平均;当三角面片中每个像素点的调整距离和调整方向不同时,电子设备可以根据每个像素点的方向确定不同像素点的调整距离和调整方向。
207.在本实施例中,电子设备根据每个像素点对应的调整距离和调整方向,对第二局部图像中的像素点进行调整,通过调整后的像素点的渲染位置对图像的像素点进行渲染,从而得到第二图像,实现了将通过第二目标区域对应的第一局部图像和第二局部图像,将对目标位置的调整过渡到第一图像的第二局部图像,从而防止第一图像在形状调整过程中
产生畸变,优化了形状调整效果,提高了形状调整质量。
208.第二种实现方式,在进行缩小调整的情况下,可以通过以下步骤(b1)-(b3)实现对像素点的扩散填充,包括:
209.(b1)响应于该形状调整为放大调整,确定该第二局部图像中像素点的移动方向为远离该中心点的方向。
210.在本步骤中,对第一局部图像进行放大调整,则第二局部图像中像素点的移动方向和第一局部图像缩小的过程中移动方向一致,从而确定该第二局部图像中像素点的移动方向为远离该中心点的方向。
211.(b2)根据该第一调整参数,确定该第二局部图像中像素点的第二移动距离。
212.本步骤s205中的步骤(a2)相似,在此不再赘述。
213.(b3)根据该第二移动距离,将该第二局部图像中的像素点向远离该中心点的方向移动
214.本步骤s205中的步骤(a3)相似,在此不再赘述。
215.在本实施例中,电子设备根据每个像素点对应的调整距离和调整方向,对第二局部图像中的像素点进行调整,通过调整后的像素点的渲染位置对图像的像素点进行渲染,从而得到第二图像,实现了将通过第二目标区域对应的第一局部图像和第二局部图像,将对目标位置的调整过渡到第一图像的第二局部图像,从而防止第一图像在形状调整过程中产生畸变,优化了形状调整效果,提高了形状调整质量。
216.在本公开实施例中,通过在待处理的第一图像中,确定目标部位的多个第一关键点;根据多个第一关键点在第一图像中确定第一目标区域;在所述第一图像中对所述第一目标区域进行扩展,得到所述目标部位对应的第二目标区域;基于所述第一目标区域的中心点,根据第一调整参数,分别调整第二目标区域内的第一局部图像和第二局部图像中像素点的位置,得到第二图像。通过上述方案,使得调整得到的第二图像中目标部位的变化可以逐渐对第一图像中的其他区域产生影响,防止了调整目标部位时,对面部区域的其他区域的像素点造成影响,出现图像畸形,优化了形状调整效果。
217.上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
218.图5是根据一示例性实施例示出的一种图像处理装置的框图。参见图5,该装置包括:
219.第一确定模块501,被配置为在待处理的第一图像中,确定目标部位对应的多个第一关键点,该目标部位为该第一图像中面部区域中的五官或面部轮廓;
220.第二确定模块502,被配置为根据该多个第一关键点,在该第一图像中确定该多个第一关键点对应的第一目标区域;
221.扩展模块503,被配置为基于该第一目标区域和该多个第一关键点,在该第一图像中对该第一目标区域进行扩展,得到该目标部位对应的第二目标区域;
222.位置调整模块504,被配置为基于该第一目标区域的中心点,根据第一调整参数,分别调整该第二目标区域内的第一局部图像和第二局部图像中像素点的位置,得到第二图像,该第一局部图像为该第二目标区域中该第一目标区域对应的图像,该第二局部图像为该第二目标区域中除该第一局部图像外的图像。
223.在一种可能的实现方式中,该位置调整模块504,还被配置为基于该第一目标区域的中心点,根据该第一调整参数,对该第一局部图像进行形状调整;基于该第一目标区域的中心点,根据该第一调整参数,将该第二局部图像中的像素点分散填充到该第二局部图像中。
224.在另一种可能的实现方式中,该位置调整模块504,还被配置为响应于该形状调整为缩小调整,确定该第二局部图像中像素点的移动方向为靠近该中心点的方向;根据该第一调整参数,确定该第二局部图像中像素点的第一移动距离;根据该第一移动距离,将该第二局部图像中的像素点向该中心点的方向移动。
225.在另一种可能的实现方式中,该位置调整模块504,还被配置为响应于该形状调整为放大调整,确定该第二局部图像中像素点的移动方向为远离该中心点的方向;根据该第一调整参数,确定该第二局部图像中像素点的第二移动距离;根据该第二移动距离,将该第二局部图像中的像素点向远离该中心点的方向移动。
226.在另一种可能的实现方式中,该扩展模块503,还被配置为根据该多个第一关键点,确定目标中心点;根据该目标中心点,分别向每个第一关键点做射线;从每条射线上确定第二关键点,得到多个第二关键点,该第二关键点与该目标中心点的距离大于该第二关键点所在的射线上的第一关键点与该目标中心点的距离;根据该多个第二关键点,在该第一图像中确定该目标部位对应的该第二目标区域。
227.在另一种可能的实现方式中,述扩展模块503,还被配置为根据该多个第一关键点,确定该多个第一关键点对应的中心点;将该多个第一关键点对应的中心点作为该目标中心点;或者,
228.该扩展模块503,还被配置为从该多个第一关键点中确定中心区域的部分第一关键点;确定该中心区域的部分第一关键点对应的中心点;将该中心区域的部分第一关键点对应的中心点作为该目标中心点。
229.在另一种可能的实现方式中,该第一确定模块501,还被配置为获取第三图像中该目标部位对应的多个第三关键点,该第三图像为图像采集过程中该第一图像的前一帧图像;将该第一图像输入关键点确定模型,得到该目标部位对应的多个第四关键点;根据该多个第三关键点和该多个第四关键点,确定该多个第一关键点。
230.在另一种可能的实现方式中,该第一确定模块501,还被配置为对于该多个第四关键点中的任一第四关键点,在该多个第三关键点中确定和该第四关键点具有相同像素值的第三关键点;确定该第三关键点的第一位置和该第四关键点的第二位置的平均位置;将该第四关键点的像素值渲染到该平均位置,得到第一关键点。
231.在另一种可能的实现方式中,该第一确定模块501,还被配置为响应于根据该多个第三关键点,确定该多个第四关键点中缺失关键点,从该多个第三关键点中选择该多个第四关键点中缺失的关键点对应的第三关键点,将该多个第四关键点中缺失的关键点对应的第三关键点添加到该多个第四关键点中,得到该多个第一关键点;或者,
232.该第一确定模块501,还被配置为响应于根据该多个第三关键点,确定该多个第四关键点中缺失关键点,将该多个第四关键点全部替换为该多个第三关键点,得到该多个第一关键点。
233.在另一种可能的实现方式中,该装置还包括:
234.第三确定模块,被配置为响应于根据该多个第三关键点,确定该多个第四关键点中缺失关键点,确定已记录的第二调整参数,该第二调整参数为对该第三图像进行调整时的调整参数;
235.参数调整模块,被配置为根据预设幅度调整该第二调整参数中的调整力度,得到该第一调整参数。
236.在另一种可能的实现方式中,该装置还包括:
237.记录模块,被配置为记录连续缺失该第四关键点的图像的帧数;
238.该位置调整模块504,还被配置响应于该帧数达到目标帧数,停止对下一帧图像进行形状调整。
239.在本公开实施例中,通过在待处理的第一图像中,确定目标部位的多个第一关键点;根据多个第一关键点在第一图像中确定第一目标区域;在所述第一图像中对所述第一目标区域进行扩展,得到所述目标部位对应的第二目标区域;基于所述第一目标区域的中心点,根据第一调整参数,分别调整第二目标区域内的第一局部图像和第二局部图像中像素点的位置,得到第二图像。通过上述方案,使得调整得到的第二图像中目标部位的变化可以逐渐对第一图像中的其他区域产生影响,防止了调整目标部位时,对面部区域的其他区域的像素点造成影响,出现图像畸形,优化了形状调整效果。
240.需要说明的是:上述实施例提供的图像处理装置在进行图像处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将电子设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
241.图6是根据一示例性实施例示出的一种电子设备的框图。该电子设备600可以是:智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii,动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
242.通常,电子设备600包括有:一个或多个处理器601和易失性或非易失性存储器602。
243.处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
244.存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可
以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本公开中方法实施例提供的图像处理方法。
245.在一些实施例中,电子设备600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、触摸显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
246.外围设备接口603可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
247.射频电路604用于接收和发射rf(radio frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括nfc(near field communication,近距离无线通信)有关的电路,本公开对此不加以限定。
248.显示屏605用于显示ui(user interface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置电子设备600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在电子设备600的不同表面或呈折叠设计;在再一些实施例中,显示屏605可以是柔性显示屏,设置在电子设备600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用lcd(liquid crystal display,液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
249.摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在电子设备600的前面板,后置摄像头设置在电子设备600的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以
是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
250.音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
251.定位组件608用于定位电子设备600的当前地理位置,以实现导航或lbs(location based service,基于位置的服务)。定位组件608可以是基于美国的gps(global positioning system,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
252.电源609用于为电子设备600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
253.在一些实施例中,电子设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
254.加速度传感器611可以检测以电子设备600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
255.陀螺仪传感器612可以检测电子设备600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对电子设备600的3d动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
256.压力传感器613可以设置在电子设备600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在电子设备600的侧边框时,可以检测用户对电子设备600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时,由处理器601根据用户对触摸显示屏605的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
257.指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置电子
设备600的正面、背面或侧面。当电子设备600上设置有物理按键或厂商logo时,指纹传感器614可以与物理按键或厂商logo集成在一起。
258.光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制触摸显示屏605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏605的显示亮度;当环境光强度较低时,调低触摸显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
259.接近传感器616,也称距离传感器,通常设置在电子设备600的前面板。接近传感器616用于采集用户与电子设备600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变小时,由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变大时,由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
260.本领域技术人员可以理解,图6中示出的结构并不构成对电子设备600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
261.在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,上述指令可被电子设备的处理器执行以完成上述实施例中的图像处理方法。例如,所述计算机可读存储介质可以是rom(read-only memory,只读存储器)、ram(random access memory,随机存取存储器)、cd-rom(compact disc read-only memory,只读光盘)、磁带、软盘和光数据存储设备等。
262.本公开还提供了一种计算机程序产品,当计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行上述各个方法实施例提供的图像处理方法。
263.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
264.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献