图像遮蔽方法、装置、设备和存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像遮蔽方法、装置、设备和存储介质。


背景技术：

2.随着智能设备、网络摄像机(i p camera)、智能机器人的日益广泛应用，由上述设备中设置的摄像装置采集的实景视频带来的隐私保护问题日益突出。
3.以遮蔽某实景视频中的待处理图像(待处理图像为任一视频帧)为例，当需要对待处理图像中的某对象p进行遮蔽时，可以确定对象p在该待处理图像中对应的图像区域，然后将该图像区域打上马赛克，这样就能够实现对对象p进行遮蔽的效果。
4.通过马赛克进行遮蔽的方式可以解决隐私保护的问题，但是由于马赛克会遮蔽对象p的绝大部分甚至是所有有关信息，因此难以再从待处理图像中得到与对象p有关的任何可用信息。


技术实现要素：

5.本发明实施例提供一种图像遮蔽方法、装置、设备和存储介质，用以实现在解决隐私保护的问题的同时，保留被遮蔽的对象的不属于隐私的、可以对外暴露的可用信息。
6.第一方面，本发明实施例提供一种图像遮蔽方法，该方法包括：
7.获取待处理图像；
8.识别所述待处理图像中的目标类型的对象；
9.确定所述对象在所述待处理图像中的目标姿态信息；
10.获取虚拟物体模型，基于所述目标姿态信息调整所述虚拟物体模型的姿态；
11.将调整后的虚拟物体模型覆盖所述对象在所述待处理图像中对应的图像区域。
12.可选地，所述目标类型的对象为人物，所述确定所述对象在所述待处理图像中的目标姿态信息，包括：
13.提取所述对象对应的特征信息；
14.基于所述特征信息，确定所述对象在所述待处理图像中的目标姿态信息。
15.可选地，所述特征信息包括人脸特征和/或骨骼关键点的位置。
16.可选地，所述基于所述目标姿态信息调整所述虚拟物体模型的姿态，包括：
17.基于所述人脸特征，调整所述虚拟物体模型的面部表情；和/或，
18.基于所述骨骼关键点的位置，调整所述虚拟物体模型中的各骨骼的位姿。
19.可选地，所述获取虚拟物体模型，包括：
20.识别所述对象的性别以及所属年龄段；
21.在多个预设的虚拟物体模型中，确定与所述性别以及所述所属年龄段对应的虚拟物体模型。
22.可选地，所述目标类型的对象为物品，所述确定所述对象在所述待处理图像中的
目标姿态信息，包括：
23.确定所述对象在所述待处理图像中的摆放位置以及旋转角度。
24.可选地，所述虚拟物体模型为三维模型，所述将调整后的虚拟物体模型覆盖所述对象在所述待处理图像中对应的图像区域，包括：
25.将调整后的虚拟物体模型投影到所述对象在所述待处理图像中对应的图像区域。
26.可选地，所述待处理图像为待处理视频中的任一视频帧，所述方法还包括：
27.对所述待处理视频的音频进行变声处理。
28.第二方面，本发明实施例提供一种图像遮蔽装置，包括：
29.获取模块，用于获取待处理图像；
30.识别模块，用于识别所述待处理图像中的目标类型的对象；
31.确定模块，用于确定所述对象在所述待处理图像中的目标姿态信息；
32.调整模块，用于获取虚拟物体模型，基于所述目标姿态信息调整所述虚拟物体模型的姿态；
33.覆盖模块，用于将调整后的虚拟物体模型覆盖所述对象在所述待处理图像中对应的图像区域。
34.可选地，所述目标类型的对象为人物，所述确定模块，用于：
35.提取所述对象对应的特征信息；
36.基于所述特征信息，确定所述对象在所述待处理图像中的目标姿态信息。
37.可选地，所述特征信息包括人脸特征和/或骨骼关键点的位置。
38.可选地，所述调整模块，用于：
39.基于所述人脸特征，调整所述虚拟物体模型的面部表情；和/或，
40.基于所述骨骼关键点的位置，调整所述虚拟物体模型中的各骨骼的位姿。
41.可选地，所述调整模块，用于：
42.识别所述对象的性别以及所属年龄段；
43.在多个预设的虚拟物体模型中，确定与所述性别以及所述所属年龄段对应的虚拟物体模型。
44.可选地，所述目标类型的对象为物品，所述确定模块，用于：
45.确定所述对象在所述待处理图像中的摆放位置以及旋转角度。
46.可选地，所述虚拟物体模型为三维模型，所述覆盖模块，用于：
47.将调整后的虚拟物体模型投影到所述对象在所述待处理图像中对应的图像区域。
48.可选地，所述待处理图像为待处理视频中的任一视频帧，所述装置还包括：
49.变声模块，用于对所述待处理视频的音频进行变声处理。
50.第三方面，本发明实施例提供一种电子设备，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第一方面中的图像遮蔽方法。
51.第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现第一方面中的图像遮蔽方法。
52.采用本发明，在查看处理后的图像时，无法再查看到对象的真实形象，而替代对象
的真实形象可以查看到虚拟物体模型。与打马赛克的方式不同的是，本发明在实现对对象的真实形象进行遮蔽的同时，还能通过让虚拟物体模型模仿对象的姿态等来保留对象的一部分不涉及隐私、可以对外暴露的可用信息。这样，在查看处理后的图像时，无法获知对象具体是什么样子的，但是仍可以知道该对象的姿态。
附图说明
53.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1为本发明实施例提供的一种图像遮蔽方法的流程示意图；
55.图2为本发明实施例提供的一种投影方法示意图；
56.图3为本发明实施例提供的一种图像遮蔽装置的结构示意图；
57.图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
58.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
60.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
61.另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
62.图1为本发明实施例提供的一种图像遮蔽方法的流程图，该方法可以应用于电子设备。如图1所示，该方法包括如下步骤：
63.101、获取待处理图像。
64.102、识别待处理图像中的目标类型的对象。
65.103、确定对象在待处理图像中的目标姿态信息。
66.104、获取虚拟物体模型，基于目标姿态信息调整虚拟物体模型的姿态。
67.105、将调整后的虚拟物体模型覆盖对象在待处理图像中对应的图像区域。
68.上述待处理图像可以是需要对其中的某些对象进行遮蔽处理的单个图像，或者也可以是一段待处理视频中的任一视频帧。
69.实际应用中，可以识别待处理图像中的目标类型的对象。具体来说，可以将待处理图像输入到第一神经网络模型中，第一神经网络模型可以输出待处理图像中的目标类型的
对象。
70.需要说明的是，第一神经网络模型可以是预先基于大量的包括目标类型的对象的训练样本训练而得的，第一神经网络模型在训练的过程中可以学习目标类型的对象的特征，进而在训练完成后在向第一神经网络模型输入任何的待处理图像时，第一神经网络模型可以标注出待处理图像中的目标类型的对象。
71.其中，目标类型的对象可以包括人物、物品、文字等。其中，在某些可选实施例中，人物可以具体包括人脸或者整个人体。
72.在识别出待处理图像中的目标类型的对象之后，可以确定对象在待处理图像中的目标姿态信息。
73.可选地，当目标类型的对象为人物时，确定对象在待处理图像中的目标姿态信息的过程可以实现为：提取对象对应的特征信息；基于特征信息，确定对象在待处理图像中的目标姿态信息。
74.其中，目标姿态信息可以指人物的面部表情、肢体动作等。
75.可选地，特征信息可以包括人脸特征和/或骨骼关键点的位置。
76.具体来说，可以将对象在待处理图像中对应的图像区域输入到第二神经网络模型中，第二神经网络模型可以提取对象对应的特征信息。以提取人物的人脸特征为例来说，假设将人物a对应的图像区域输入到第二神经网络模型中，第二神经网络模型可以输出人物a的上嘴唇在待处理图像中对应的位置p、下嘴唇在待处理图像中对应的位置q等特征。
77.在基于特征信息确定出目标姿态信息之后，可以获取虚拟物体模型，基于目标姿态信息调整虚拟物体模型的姿态。需要说明的是，虚拟物体模型可以是二维模型也可以是三维模型。虚拟物体模型可以理解为是动画人物形象。
78.为了让虚拟物体模型可以模仿待处理图像中的人物的姿态，可以基于确定出的目标姿态信息调整虚拟物体模型的姿态。
79.可选地，基于目标姿态信息调整虚拟物体模型的姿态的过程可以实现为：基于人脸特征，调整虚拟物体模型的面部表情；和/或，基于骨骼关键点的位置，调整虚拟物体模型中的各骨骼的位姿。
80.以调整虚拟物体模型的面部表情为例来说，假设当前识别出人物a的上嘴唇在待处理图像中对应的位置p、下嘴唇在待处理图像中对应的位置q，基于此可以确定出人物a的嘴巴开合度。嘴巴开合度可以表示人物a是微笑、普通笑还是大笑等。进而，可以对应调整虚拟物体模型的嘴巴开合度，以达到让虚拟物体模型模仿人物a的面部表情的目的。当然这里仅是举例，实际应用中，除了嘴巴开合度以外，还可以调整人脸的很多参数，以使得虚拟物体模型能够更加逼真的模仿人物a的面部表情。
81.另外，以调整虚拟物体模型的位姿为例来说，假设从待处理图像中识别到人物a的骨骼关键点的位置为位置组p，位置组p中包括多个骨骼关键点的位置，它们各自对应着人物a的不同骨骼关键点。一般来说，虚拟物体模型也可以由多节骨骼构成其肢体，虚拟物体模型中的骨骼和人物a的骨骼关键点存在对应关系。比如说，位置组p中的骨骼关键点a和骨骼关键点b确定了一段骨骼s的位置，可以参照该骨骼关键点a和骨骼关键点b的位置，相应调整虚拟物体模型中对应于骨骼s的骨骼s’的位姿。其中，骨骼的位姿可以指骨骼的位置以及旋转角度。在调整虚拟物体模型中所有与人物a对应的骨骼的位姿后，就可以实现让虚拟
物体模型模仿人物a的肢体动作的效果。
82.最后，可以将调整后的虚拟物体模型覆盖对象在待处理图像中对应的图像区域，以此可以实现用虚拟物体模型代替待处理图像中的对象的效果。在查看处理后的图像时，无法再查看到对象的真实形象，而替代对象的真实形象可以查看到虚拟物体模型。需要说明的是，与打马赛克的方式不同，本发明在实现对对象的真实形象进行遮蔽的同时，还能通过让虚拟物体模型模仿对象的面部表情、肢体动作等保留对象的一部分不涉及隐私、可以对外暴露的可用信息。这样，在查看处理后的图像时，无法获知对象具体是哪个人物，但是仍可以知道该人物的姿态。
83.值得注意的是，在上述过程中，可以使用默认的虚拟物体模型来遮盖对象，也就是说不论对象是什么样的，只要对象是人物就可以使用人物对应的虚拟物体模型来遮盖对象。或者，在某些可选实施例中，获取虚拟物体模型的过程还可以实现为：识别对象的性别以及所属年龄段；在多个预设的虚拟物体模型中，确定与性别以及所属年龄段对应的虚拟物体模型。
84.实际应用中，可以将对象对应的图像区域输入到第三神经网络模型中，第三神经网络模型可以识别出对象的性别以及所属年龄段。
85.假设在模型库中已预先建立性别不同、属于不同年龄段的多个虚拟物体模型。在选择使用某个虚拟物体模型来遮盖对象时，可以基于对象的性别以及所属年龄段，来选择对应的虚拟物体模型。举例来说，假设当前需要遮盖的人物a的性别为女性且所属年龄段是年轻人，可以对应选择能够表示女性形象且同时能够表现年轻形象的虚拟物体模型来遮盖该人物a。
86.采用上述方式，在处理后的图像中可以保留人物a的姿态的同时，还能展现人物a的性别以及所属年龄段等其他的属性信息。
87.另外，可选地，在遮蔽过程中，可以仅对人物的人脸进行遮蔽或者也可以对整个人体进行遮蔽。具体来说，在对遮蔽要求较低的应用场景中可以选择仅对人物的人脸进行遮蔽，在对遮蔽要求较高的应用场景中可以选择对整个人体进行遮蔽。
88.以上介绍了当对象为人物时对待处理图像进行遮蔽处理的过程，下面介绍当对象为物品时对待处理图像进行遮蔽处理的方式。
89.可选地，当目标类型的对象为物品时，确定对象在待处理图像中的目标姿态信息的过程可以实现为：确定对象在待处理图像中的摆放位置以及旋转角度。
90.在某些应用场景中，假设待处理图像中刚好拍到了某人物的电脑屏幕，那么该电脑屏幕里面的内容可能会涉及到该人物的个人隐私，在这种情况下需要对电脑屏幕进行遮蔽处理。这样，电脑就可以作为目标类型的对象，需要在待处理图像中识别该目标类型的对象。然后可以将识别到的对象对应的图像区域输入到第四神经网络模型中，第四神经网络模型可以识别出对象在待处理图像中的摆放位置以及旋转角度。比如说，第四神经网络模型可以识别出某个电脑在桌子的哪个位置放置的、且该电脑相对于拍摄待处理图像时的镜头的旋转角度如何等。
91.在确定出对象在待处理图像中的摆放位置以及旋转角度之后，可以获取与对象所属的目标类型对应的虚拟物体模型，然后调整获取到的虚拟物体模型的位姿，最后可以用调整后的虚拟物体模型覆盖对象在待处理图像中对应的图像区域。
92.比如说，识别出某个电脑相对于镜头的旋转角度为30
°
，且该电脑摆放在桌子边上，可以用虚拟电脑形象来遮盖该识别出的电脑，并让该虚拟电脑形象也摆放在相同的位置、扭转相同的旋转角度。
93.可选地，当虚拟物体模型为三维模型时，可以采用下面的方式将三维的虚拟物体模型映射到对象在待处理图像中对应的图像区域上：将调整后的虚拟物体模型投影到对象在待处理图像中对应的图像区域。
94.具体来说，如图2所示，可以识别待处理图像中对象对应的图像区域大小，然后基于该图像区域大小分析视角相机与虚拟物体模型之间的相对位置关系。该相对位置关系可以包括视角相机与虚拟物体模型之间的相对距离以及相对旋转角度。最后可以基于上述相对位置关系调整视角相机的位置和旋转角度，通过调整后的视角相机观察虚拟物体模型，以将虚拟物体模型投影到待处理图像中。需要说明的是，采用此方法进行投影，虚拟物体模型投影到待处理图像中形成的影像正好可以覆盖对象对应的图像区域。
95.可以理解的是，如果待处理图像是单个的图像则采用前面介绍的方法可以对其中包括的对象进行遮蔽处理，如果待处理图像是待处理视频中的任一视频帧，为了进一步保护隐私，可选地，还可以对待处理视频的音频进行变声处理。采用这种方式，处理后的视频无论从画面中还是播放出的声音中都难以判断视频中拍摄的是哪个人物，可以更好地保护隐私，提高用户信息的安全性。
96.采用本发明，在查看处理后的图像时，无法再查看到对象的真实形象，而替代对象的真实形象可以查看到虚拟物体模型。与打马赛克的方式不同的是，本发明在实现对对象的真实形象进行遮蔽的同时，还能通过让虚拟物体模型模仿对象的姿态等来保留对象的一部分不涉及隐私、可以对外暴露的可用信息。这样，在查看处理后的图像时，无法获知对象具体是什么样子的，但是仍可以知道该对象的姿态。
97.以下将详细描述本发明的一个或多个实施例的图像遮蔽装置。本领域技术人员可以理解，这些图像遮蔽装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
98.图3为本发明实施例提供的一种图像遮蔽装置的结构示意图，如图3所示，该装置包括：
99.获取模块31，用于获取待处理图像；
100.识别模块32，用于识别所述待处理图像中的目标类型的对象；
101.确定模块33，用于确定所述对象在所述待处理图像中的目标姿态信息；
102.调整模块34，用于获取虚拟物体模型，基于所述目标姿态信息调整所述虚拟物体模型的姿态；
103.覆盖模块35，用于将调整后的虚拟物体模型覆盖所述对象在所述待处理图像中对应的图像区域。
104.可选地，所述目标类型的对象为人物，所述确定模块33，用于：
105.提取所述对象对应的特征信息；
106.基于所述特征信息，确定所述对象在所述待处理图像中的目标姿态信息。
107.可选地，所述特征信息包括人脸特征和/或骨骼关键点的位置。
108.可选地，所述调整模块34，用于：
109.基于所述人脸特征，调整所述虚拟物体模型的面部表情；和/或，
110.基于所述骨骼关键点的位置，调整所述虚拟物体模型中的各骨骼的位姿。
111.可选地，所述调整模块34，用于：
112.识别所述对象的性别以及所属年龄段；
113.在多个预设的虚拟物体模型中，确定与所述性别以及所述所属年龄段对应的虚拟物体模型。
114.可选地，所述目标类型的对象为物品，所述确定模块33，用于：
115.确定所述对象在所述待处理图像中的摆放位置以及旋转角度。
116.可选地，所述虚拟物体模型为三维模型，所述覆盖模块35，用于：
117.将调整后的虚拟物体模型投影到所述对象在所述待处理图像中对应的图像区域。
118.可选地，所述待处理图像为待处理视频中的任一视频帧，所述装置还包括：
119.变声模块，用于对所述待处理视频的音频进行变声处理。
120.图3所示装置可以执行前述图1至图2所示实施例中提供的图像遮蔽方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
121.在一个可能的设计中，上述图3所示图像遮蔽装置的结构可实现为一电子设备，如图4所示，该电子设备可以包括：处理器91、存储器92。其中，所述存储器92上存储有可执行代码，当所述可执行代码被所述处理器91执行时，使所述处理器91至少可以实现如前述图1至图2所示实施例中提供的图像遮蔽方法。
122.可选地，该电子设备中还可以包括通信接口93，用于与其他设备进行通信。
123.另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图1至图2所示实施例中提供的图像遮蔽方法。
124.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
125.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
126.本发明实施例提供的图像遮蔽方法可以由某种程序/软件来执行，该程序/软件可以由网络侧提供，前述实施例中提及的电子设备可以将该程序/软件下载到本地的非易失性存储介质中，并在其需要执行前述图像遮蔽方法时，通过cpu将该程序/软件读取到内存中，进而由cpu执行该程序/软件以实现前述实施例中所提供的图像遮蔽方法，执行过程可以参见前述图1至图2中的示意。
127.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。