一种实时显示后背画面的图像处理方法与系统

本发明涉及图像处理，人体背部检测，轮廓边界提取领域，具体涉及一种实时显示后背画面的图像处理方法与系统。

背景技术：

1、随着图像处理技术的发展，目前已经有很多利用计算机视觉的图像处理技术，可以进行实时画面的拍摄和处理，用以辅助用户得到自己想要的实时画面效果，如“虚拟试衣镜”、“虚拟妆造镜”等设备，这些通过摄像头和显示屏幕的组合，利用计算机图像处理技术，通过预设的数据库和图像处理技术，能够实现让用户不用脱去衣服或亲自化妆就能直接看到预想的效果。这种摄像头和显示屏幕绑定在一起的设备，也即“智能镜组”是上述应用场景的关键技术。

2、近年来，计算机视觉的快速发展同图像处理结合，诞生出一系列实际应用技术，这种应用技术的关键在于“实时捕捉画面”、“实时处理信息”、“实时显示结果”这三个方面。上述所列举的应用都属于这个范畴，并且都涉及人像的处理。不过目前的技术应用过分在意人体正面的图像捕捉和处理，而缺少对用户后背信息的捕捉和处理。

3、当下市面上缺少一种可以让用户“照镜子式地”看到后背的设备，技术上也缺少可以让用户“面对智能镜组”处理后背信息并及时输出的图像处理方法。对于个人的实际生活，无论是商场试衣时想看衣服背面款型，或者是观看后脑发型等人体背部信息，这些都是用户所关心的内容，但目前为止并没有解决这一实际需求的设备及其搭配的实现技术。

4、目前的现有技术之一是一种虚拟镜子的装置、系统和方法(cn116797864a)，该发明通过同向绑定的相机和显示镜，观察用户正面信息，从相机捕获画面，选择所识别的要素，对于选定要素选择新的外观，以及基于所述原始模型和对于所述要素所选择的新的外观来渲染新的模型。从而实现用户正面画像的特殊显示效果，并能对图像信息进行一定程度的处理；该发明的缺点是：虽然是通过相机和显示镜实时捕捉和处理画面，但用户想要获取后背信息只能转身并拍照展示，不能“实时”面对显示镜显示。

5、目前的现有技术之二是一种基于智能镜子的辅助化妆方法、装置、设备及存储介质(cn105556508a)，该发明利用智能镜子获取目标图片及用户的面部图片，分别对目标图片及面部图片进行特征识别，得到特征集合，再根据目标图片特征集合及面部图片特征集合，对目标图片及面部图片进行图像对齐，得到重叠图片组合；该发明可以通过人体面部和预设图片的特征提取进行组合重叠，起到“妆造图片”遮罩“用户面部”达到智能上妆的显示效果；该发明的缺点是：其所利用的特征识别技术只能针对人面部信息，处理不了用户背部的信息，通过“遮罩”方法处理画面，并不能让用户实时获取后背画面。

技术实现思路

1、本发明的目的是克服现有方法的不足，提出了一种实时显示后背画面的图像处理方法与系统。本发明解决的主要问题在于：1)如何解决现有“虚拟试衣式”的镜组因为相机和现实镜的同侧绑定，只能让用户获得正面图像信息，想要获取后背画面只能转身而不能“实时看到”的问题；2)如何解决现有“智能辅助式镜组”，一方面也是相机和显示镜的同侧绑定，不能面对显示镜看到“后背”，另一方面虽然可以通过提取用户特征以及目标图片特征来显示结果，但其关注的是用户面部特征值，并没有针对人体后背特征进行捕捉和处理的问题。

2、为了解决上述问题，本发明提出了一种实时显示后背画面的图像处理方法，所述方法包括：

3、获得用户位置：在相机开启后进行初始观测，观测到人体后，计算确认用户相对于显示镜的位置信息，对所述用户相对于显示镜的位置信息进行处理，获得处理后的人体距离屏幕的距离，用以表示摄像头在纵深轴要延长的距离并将其输出；

4、调整摄像头具体位置：利用所述处理后的人体距离屏幕的距离，调用摄像头到用户与屏幕延长一倍的位置，取纵深坐标，对人体后背特征值进行动态提取，拟合用户眼部高度，从而确定所述摄像头具体位置；

5、获取人体后背画面：利用摄像头获取用户后背图像数据，通过人体后背识别算法提取出用户背部图像和屏幕区域之外的数据，分为可用部分与填充部分，并把可用部分的图像rgb矩阵和预设的平面镜材质的图像rgb矩阵组合起来，得到处理完成的画面信息；

6、输出图像处理结果：显示镜接收所述处理完成的画面信息，并把结果输出到屏幕界面，图像处理结果为用户最终看到的后背信息画面。

7、优选地，所述对人体后背特征值进行动态提取，拟合用户眼部高度，从而确定所述摄像头具体位置，具体为：

8、采用录入实时观测到的人体图像矩阵，对图像信息采用“粗细结合”的配准策略；

9、首先对人体姿态点云进行预处理，然后采用ndt算法对处理后的点云进行粗配准，为精配准提供较理想的初始位姿；再利用3d-harris特征点检测算法提取点云特征点；最后利用icp算法对提取特征点后的点云集进行精细配准，获得实时人体点云信息；

10、然后通过人体姿态识别方法，根据所述实时人体点云信息，取得人体后背姿态的关键特征节点，对于左眼和右眼的拟合数值，其高度数值分别为x1和x2，水平偏移位置分别为y1和y2，对于用户位置信息z1，调用摄像头到用户与屏幕延长一倍的位置，取纵深坐标为z2，且z2为两倍的z1，取两眼中心位置x3和y3，通过x3，y3和z2这三个数值确定好相机摄像头中心位置，此时摄相机处于水平朝向显示镜的状态。

11、优选地，所述获取人体后背画面：利用摄像头获取用户后背图像数据，通过人体后背识别算法提取出用户背部图像和屏幕区域之外的数据，分为可用部分与填充部分，并把可用部分的图像rgb矩阵和预设的平面镜材质的图像rgb矩阵组合起来，得到处理完成的画面信息，具体为：

12、使用所述人体后背识别算法对所述用户后背图像数据进行处理，将用户后背图像分为可用部分与填充部分，并把可用部分的图像rgb矩阵和预设的平面镜材质的图像rgb矩阵组合起来，其中可用部分为相机水平面对平面镜时，观测到的人体后背轮廓以内和平面镜轮廓以外的信息，填充部分为此时画面人体后背轮廓与平面镜轮廓组成的画面区域；

13、在识别人体轮廓时采用洪泛填充、阈值处理、边缘检测的技术，洪泛填充算法通过把由相机观测到的图像信息，以及所述人体后背姿态的关键特征节点，把节点值定为1，从所述人体后背姿态的关键特征节点出发，对比周围像素点，将临近点像素值之差超过预设阈值的点定为0，最后取得一个关于人体后背面积的面积二值矩阵；

14、对所述面积二值矩阵进行边缘检测，以取得人体后背的轮廓，首先通过对原图像的像素值求导，得出水平梯度图像和竖直梯度图像，具体为：

15、p′[i]＝p[i]-p[i-1]

16、p′[j]＝p[j]-p[j-1]

17、其中，p[i]为图像p在第i行的像素值向量，p[j]为图像p在第j列的像素值向量，取相邻两像素向量中间值，提取出互相关核k＝对所述互相关核k和所述面积二值矩阵进行互相关运算，从而得到轮廓矩阵；

18、对所述轮廓矩阵，在横纵坐标增加两个像素的位移，增加人体动态活动的冗余以修饰偏移；

19、在经过边缘检测后，采用链码的形式对轮廓边界上的点进行编码和跟踪，具体过程为：以所述轮廓矩阵起始点作为当前点，通过检测与所述当前点最近的像素点，如果临近的像素点中也有像素值检测为轮廓边缘的点时，记录下当前点相对方向所对应的链码值也即当前点指向下一个像素点的向量，记录该向量，然后再把指向的点设置为下一个轮廓的当前点，重复操作，直到检测不到轮廓点的时候停止，最后得到一条与轮廓相应的链码序列，所述链码序列包括了轮廓起始点，和每一个轮廓点下一个的方向链码值，从而实现对轮廓的链码跟踪，生成了一组可以快速访问的人体边界轮廓链码值；

20、最后载入预存的平面镜材质模块矩阵，该矩阵为显示镜边框以内的区域，通过和所述与轮廓相应的链码序列形成的闭包取差集，从而覆盖人体背部轮廓边界和平面镜之间的图像信息，将两个画面进行重叠后对人体后背轮廓边界周围4*4的像素点进行修饰并重新计算，得到轮廓的边缘像素值矩阵，具体为：

21、

22、

23、从而得到输出图像矩阵，也即是所述处理完成的画面信息。

24、相应地，本发明还提供了一种实时显示后背画面的图像处理系统，包括：

25、间距获取单元，用于获得用户位置：在相机开启后进行初始观测，观测到人体后，计算确认用户相对于显示镜的位置信息，对所述用户相对于显示镜的位置信息进行处理，获得处理后的人体距离屏幕的距离，用以表示摄像头在纵深轴要延长的距离并将其输出；

26、精确定位单元，用于调整摄像头具体位置：利用所述处理后的人体距离屏幕的距离，调用摄像头到用户与屏幕延长一倍的位置，取纵深坐标，对人体后背特征值进行动态提取，拟合用户眼部高度，从而确定所述摄像头具体位置；

27、画面处理单元，用于获取人体后背画面：利用摄像头获取用户后背图像数据，通过人体后背识别算法提取出用户背部图像和屏幕区域之外的数据，分为可用部分与填充部分，并把可用部分的图像rgb矩阵和预设的平面镜材质的图像rgb矩阵组合起来，得到处理完成的画面信息；

28、结果输出单元，用于输出图像处理结果：显示镜接收所述处理完成的画面信息，并把结果输出到屏幕界面，图像处理结果为用户最终看到的后背信息画面。

29、实施本发明，具有如下有益效果：

30、本发明基于用户痛点和用户的实际需求，利用简单的设备组合和使用，探究出一种可行的方法，以用户“面对智能镜组”时难以实时获取后背画面的问题，这对于设备生产来说有重要的生产价值和应用空间；本发明的设备附带了一个解决“观测冲突”的方法，即通过轮廓边界提取和预设图像遮罩的方法，解决了显示镜中的屏幕循环问题，保证设备的正常使用；本发明使用的图像处理方法，通过洪泛填充、阈值处理和边缘检测的方法，快速寻找到人体后背边界，能更加快速响应人体动作，对于画面输出更加及时和准确，让用户可以有比较好的“照后背”体验。