一种可视化交互界面的控制方法、系统、设备及存储介质与流程

1.本发明涉及交互控制领域，特别是涉及一种可视化交互界面的控制方法、系统、设备及存储介质。


背景技术：

2.在对信息展示屏幕进行数据交互的过程中，通常需要使用专业辅助设备对操作人员的控制动作进行识别和相应，专业辅助设备的成本较高。与此同时，为了使用专业辅助设备，操作人员也需要长时间训练和使用成本，因此使用成本较高。


技术实现要素：

3.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种可视化交互界面的控制方法系统、设备及存储介质，用于改善控制动作识别的使用成本较高的问题。
4.为实现上述目的及其他相关目的，本发明提供一种可视化交互界面控制方法，所述方法包括：
5.根据手手部信息和所述手势种类标记后的用户样本图像，对神经网络进行训练，获得手势识别模型；
6.获取用户图像；
7.将所述用户图像输入所述手势识别模型，用以识别所述用户图像是否包含所述手部信息若包含所述手部信息，则执行以下步骤：
8.根据所述手部信息，识别出所述手势类型；
9.根据所述手势类型，生成控制指令；
10.根据所述控制指令，对所述可视化交互界面进行控制。
11.于本发明的一实施例中，所述获取用户图像的步骤，包括：
12.采集所述用户图像；
13.对所述用户图像进行颜色空间变换，用以提高所述用户图像的色彩和饱和度；
14.对所述用户图像进行通道分离；
15.对所述用户图像中的肤色进行阈值分割，并进行二值化。
16.于本发明的一实施例中，所述方法还包括对所述用户进行手势跟踪：
17.获取所述用户图像中手的轮廓；
18.获取所述手的轮廓的最大凸包，并获取所述最大凸包的特征点；
19.获取所述手的轮廓的凹陷；
20.根据所述凹陷与所述最大凸包的对应位置，获取所述凹陷的位置；
21.根据所述凹陷的凸点处的夹角，判断指蹼间隙的数量；
22.根据所述指蹼间隙的数量判断当前手势；
23.根据所述当前手势和所述特征点的位置进行手势跟踪。
24.于本发明的一实施例中，所述根据手部信息和手势种类标记后的用户样本图像，
对神经网络进行训练，获得手势识别模型的步骤，包括：
25.将所述手部信息标记后的所述用户样本图像作为输入层，将所述手部信息作为输出层，对手部信息预测子模型进行训练；
26.将所述手部信息作为输入层，将所述手势类型作为输出层，对手势识别预测子模型进行训练；
27.其中，所述手势识别模型包括所述手部信息预测子模型和所述手势识别预测子模型。
28.于本发明的一实施例中，所述将所述用户图像输入所述手势识别模型，用以识别所述用户图像是否包括所述手部信息的步骤，包括：
29.将所述用户图像输入所述手部信息预测子模型；
30.若得到所述用户图像对应的所述手部信息，则判断所述用户图像包括所述手部信息；
31.若没有得到所述用户图像对应的所述手部信息，则判断所述用户图像不包括所述手部信息。
32.于本发明的一实施例中，所述根据所述手部信息，识别出手势类型的步骤，包括：
33.所述手部信息包括手部轮廓和手部位置；
34.将所述用户图像对应的所述手部信息输入所述手势识别预测子模型；
35.获取所述用户图像对应的所述手势类型。
36.于本发明的一实施例中，所述手势类型包括以下各项中一项或多项的组合：
37.握拳，
38.伸出一只手指，
39.伸出两只手指，
40.伸出五只手指。
41.于本发明的一实施例中，所述控制指令包括以下各项中一项或多项的组合：
42.长按鼠标左键，对应所述握拳，
43.单击鼠标左键，对应所述伸出一只手指，
44.双击鼠标左键，对应所述伸出两只手指，
45.松开鼠标左键，对应所述伸出五只手指。
46.本发明还提供一种可视化交互界面的控制系统，所述系统包括：
47.模型训练单元，用于根据手部信息和手势种类标记后的用户样本图像，对神经网络进行训练，获得手势识别模型；
48.图像获取单元，用于获取用户图像；
49.手部信息判断单元，用于将所述用户图像输入所述手势识别模型，用以识别所述用户图像是否包括所述手部信息；
50.手势识别单元，用于根据所述手部信息，识别出手势类型；
51.指令生成单元，用于根据所述手势类型，生成控制指令；
52.控制单元，用于根据所述控制指令，对所述可视化交互界面进行控制。
53.本发明还提供一种可视化交互界面的控制设备，包括处理器，所述处理器和存储器耦合所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实
现上述的一种交互界面控制方法。
54.本发明还提供一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行上述的一种交互界面控制方法。
55.如上所述，本发明采集用户的图像，根据图像识别出手势类型等信息，进而生成对交互界面的控制指令，用以实现对交互界面的控制。不需要使用专业的辅助设备对操作人员的控制动作进行识别和相应，改善控制动作识别的使用成本较高的问题。
附图说明
56.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
57.图1为本发明一种可视化交互界面的控制方法于一实施例中的流程示意图。
58.图2为本发明获取用户图像步骤于一实施例中的流程示意图。
59.图3为本发明对用户进行手势跟踪对交互界面进行控制的可选实施步骤一于一实施例中的流程示意图。
60.图4为本发明对用户进行手势跟踪对交互界面进行控制的可选实施步骤二于一实施例中的流程示意图。
61.图5为本发明对用户进行手势跟踪的可选实施步骤一于一实施例中的流程示意图。
62.图6为本发明对用户进行手势跟踪的可选实施步骤二于一实施例中的流程示意图。
63.图7为本发明获得手势识别模型于一实施例中的训练流程示意图。
64.图8为本发明对手部信息预测子模型进行训练于一实施例中的流程示意图。
65.图9为本发明对手势识别预测子模型进行训练于一实施例中的流程示意图。
66.图10为本发明一种可视化交互界面的控制系统于一实施例中的模块结构示意图。
67.图11为本发明一种可视化交互界面的控制设备于一实施例中的模块结构示意图。
68.元件标号说明
69.1、模型训练单元；
70.2、图像获取单元；
71.3、手部信息判断单元；
72.4、手势识别单元；
73.5、手势跟踪单元；
74.6、指令生成单元；
75.7、控制单元；
76.8、处理器；
77.9、存储器。
具体实施方式
78.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
79.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
80.请参阅图1所示，本发明提供一种可视化交互界面的控制方法，用以改善控制动作识别的使用成本较高的问题。可以包括步骤s1使用手部信息和手势种类信息对用户样本图像进行标记，再以用户样本图像为手势识别模型的输入层，手部信息和手势类型为输出层，对手势识别模型进行训练至收敛，其中本方案中采用的手势识别模型可以是卷积神经网络，手部信息为图形中对应手部的信息，能够用于判断图像中是否含有手部以及位于何处。之后再进行步骤s2获取用户图像，用户图像中可以包括用户的手部。之后再进行步骤s3将步骤s2中获取到的用户图像输入训练好的手势识别模型，先识别用户图像是否包含手部信息，即用户图像中是否包含用户的手部。步骤s4，若根据手势识别模型的识别结果显示用户图像中包含手部信息，由于手部信息为图形中对应手部的信息，因此可以根据手部信息识别手势类型。为了对可视化交互界面进行控制，还可以步骤s6将手势类型转化生成控制指令，并步骤s7根据控制指令对可视化交互界面进行控制。在上述的控制步骤中，采集用户图像用以实现对可视化交互界面的控制。
81.请参阅图2所示，为了获取适宜进行计算机图像处理的用户图像，可以在步骤s21采集用户图像之后，然后步骤s23对用户图像进行颜色空间变换，实现提高用户图像的色彩和饱和度的效果，便于后续的通道分离和阈值分割，例如可以是进行ycrcb颜色空间变换(y就是所谓的流明，cr和cb则为蓝色和红色的浓度偏移量成分)。之后再进行步骤s24对用户图像进行通道分离，再步骤s25对用户图像中的肤色进行阈值分割，并进行二值化，例如对于正常黄种人，可以设置cr分量大约在140～170之间，cb分量大约在100～120之间，能够准确识别用户图像中的用户皮肤部分，避免用户图像中的背景环境和衣物对识别结果造成干扰。
82.请参阅图3所示，在步骤s21采集用户图像之后，此时的用户图像中存在大量干扰噪声，例如相机镜头表面的灰尘污渍，呈像芯片的底噪等干扰，可以在执行步骤s3之前，先步骤s22去除用户图像中的干扰噪声，例如可以利用中值滤波去除用户图像中的椒盐噪声。为了进一步提高图像中轮廓，在步骤s5之后，还可以步骤s26对上述处理后的用户图像进行形态学降噪，例如可以是对图像进行腐蚀和膨胀。步骤s27还可以去除用户图像中的伪轮廓，从而在用户图像中生成纯净的轮廓，便于后续的处理。
83.请参阅图4至6所示，为了便于对可视化交互界面进行控制，还可以步骤s5对用户的手势进行跟踪，用以方便对光标的操作，便于对可视化交互界面的控制。具体而言，步骤s5中可以包括步骤s51获取用户图像中手的轮廓，用于后续对手势的识别和跟踪。在获取手
的轮廓之后执行步骤s52获取手的轮廓的最大凸包，凸包是一个计算几何(图形学)中的概念。在一个实数向量空间v中，对于给定集合x，所有包含x的凸集的交集s被称为x的凸包。因此手的轮廓的最大凸包可以视为手部外轮廓的包络线。为了对手部或手掌进行定位还可以获取最大凸包的特征点，此特征点可以是最大凸包的几何中心坐标，也可以是终点坐标。为了识别手势，还可以步骤s53获取手的轮廓的凹陷，凹陷即是最大凸包上的凸凹陷，因此还可以步骤s54将凹陷叠加到最大凸包的对应位置，获取凹陷的位置。在步骤s55判断指蹼间隙的数量的过程中，由于人类的手部具有凹陷的位置只有指蹼间隙(即手指窝)和手指与手掌侧部的夹角，但是手指与手掌侧部的夹角大于90度，因此可以步骤s551获取凹陷的凸点处的夹角，将凸点处夹角小于90度的凹陷判定为指蹼间隙，步骤s552因此可以获得指蹼间隙的数量。在获取指蹼间隙的数量后，可以步骤s56将指蹼间隙的数量加1，即得到用户图像中的手指数量。接下来根据生活常识，根据手指数量判断当前手势。接下来可以步骤s57根据当前手势和手部的位置进行手势跟踪，具体而言，在上述步骤s52中获取的特征点的基础上，可以步骤s571根据特征点获取手部的位置，之后再步骤s572根据当前手势和手部的位置进行手势跟踪，实现对用户进行手势跟踪。上述的手势跟踪控制操作中不需要使用复杂昂贵的跟踪识别设备，改善控制动作识别的使用成本较高的问题。请参阅图7所示，在步骤s1对神经网络进行训练获得手势识别模型中，手势识别模型可以包括手部信息预测子模型和手势识别预测子模型两个渐进的模型。在卷积神经网络的训练和识别过程中，过于复杂的模型首先会导致训练收敛速度慢，其次还会导致识别效率低，即使进行剪枝操作后，过于复杂的连接关系和层数依旧会导致识别迟钝，因此本方案将手势识别模型划分为手部信息预测子模型和手势识别预测子模型两个渐进的模型，手部信息预测子模型和手势识别预测子模型在功能是彼此独立又递进的关系，因此能够并行训练和识别，模型的训练收敛速度快，并且在使用过程中识别的速度也更快，还能够有效避免软件和硬件失去相应。在对两个模型进行训练的过程中，针对手部信息预测子模型，可以步骤s11将手部信息标记后的用户样本图像作为输入层，将手部信息作为输出层，对手部信息预测子模型进行训练。针对手势识别预测子模型，可以步骤s12将手部信息作为输入层，将手势类型作为输出层，对手势识别预测子模型进行训练。其中手部信息预测子模型用于判断用户图像中是否包含手部信息，手势识别预测子模型用于识别手部信息中的手势类型，最终实现对用户图像中手势类型的识别。
84.请参阅图8所示，在步骤s3识别用户图像是否包含手部信息的过程中，可以包括步骤s31将用户图像输入手部信息预测子模型，接下来根据输出结果进行判断，步骤s32若得到用户图像对应的手部信息，则判断用户图像包括手部信息。若没有得到用户图像对应的手部信息，则判断用户图像不包括手部信息。
85.请参阅图9所示，在步骤s4识别手势类型的步骤中，可以包括步骤s41将用户图像对应的手部信息输入手势识别预测子模型，步骤s42获取用户图像对应的手势类型。其中需要注意的是，手部信息包括手部轮廓和手部位置，因此可以通过手势识别预测子模型识别手部信息中的手部轮廓和手部位置，其中可以根据手部轮廓提取出手势类型，还可以根据手部位置起到对手部的跟踪识别作用，起到对可视化交互界面中光标的移动操作。
86.请参阅图1至9所示，为了实现对可视化交互界面的手势控制，可以设置手势类型包括握拳、伸出一只手指、伸出两只手指以及伸出五只手指。当然手势类型也可以是根据实
际需要，设置为其中几项的组合或者任意一项。控制指令可以包括触发鼠标的单击左键并长按抓取、单击鼠标左键、触发鼠标双击以及触发鼠标松开左键。控制指令也可以是根据实际需要，设置为其中几项的组合或者任意一项。在使用过程中，可以将触发鼠标的单击左键并长按抓取对应握拳，将单击鼠标左键对应伸出一只手指，将触发鼠标双击对应伸出两只手指，将触发鼠标松开左键对应伸出五只手指。上述手势类型不仅便于识别，而且也便于操作人员进行控制。
87.请参阅图1至11所示，需要说明的是，本方案中的步骤s1至s7并非是只能按照数字顺序进行操作，还可以按照以下步骤执行。可以包括步骤s2获取用户图像，用户图像中可以包括用户的手部。然后步骤s1使用手部信息和手势种类信息对用户样本图像进行标记，再以用户样本图像为手势识别模型的输入层，手部信息和手势类型为输出层，对手势识别模型进行训练至收敛，其中手部信息为图形中对应手部的信息，能够用于判断图像中是否含有手部以及位于何处。之后再进行步骤s3将步骤s2中获取到的用户图像输入训练好的手势识别模型，先识别用户图像是否包含手部信息，即用户图像中是否包含用户的手部。步骤s4，若根据手势识别模型的识别结果显示用户图像中包含手部信息，由于手部信息为图形中对应手部的信息，因此可以根据手部信息识别手势类型。为了对可视化交互界面进行控制，还可以步骤s6将手势类型转化生成控制指令，并步骤s7根据控制指令对可视化交互界面进行控制。在上述的控制步骤中，采集用户图像用以实现对可视化交互界面的控制。基于相同的理由，其它步骤顺序也可以是改变的，因此不构成对权利要求的限制。
88.请参阅图10所示，本发明还公开一种可视化交互界面的控制系统，用以降低对可视化交互界面的控制成本。本系统可以包括模型训练单元1、图像获取单元2、手部信息判断单元3、手势识别单元4、指令生成单元6以及控制单元7。其中，模型训练单元1可以根据手部信息、手势类型以及手部信息和手势种类标记后的用户样本图像，对神经网络进行训练，从而获得手势识别模型。图像获取单元2可以获取用户图像，还可以对用户图像进行处理。手部信息判断单元3可以将用户图像输入手势识别模型，从而达到识别出用户图像是否包括手部信息的技术效果。手势识别单元5可以根据手部信息识别出手势类型。指令生成单元6可以根据手势类型生成控制指令。控制单元7可以根据控制指令对可视化交互界面进行控制，由此实现对可视化交互界面的控制。系统中开可以包括手势跟踪单元5，能够对用户进行手势跟踪，起到对可视化交互界面中光标的移动操作的作用，也能够起到对虚拟组件的移动拖拽功能。
89.请参阅图11所示，本发明还公开一种可视化交互界面的控制设备，可以包括处理器8和存储器9。其中，处理器8和存储器9耦合，存储器9存储有程序指令，当存储器9存储的程序指令被处理器8执行时实现上述的一种可视化交互界面的控制方法。本设备通过采集到的用户图像识别出用户的手势类型，再根据手势类型匹配对应的控制指令，从而实现对可视化交互界面的控制。处理器8可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；存储器9可能包含随机存取存储器(random access memory，简称ram)，也可能还包括
非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器也可以为随机存取存储器(random access memory，ram)类型的内部存储器，处理器8和存储器9可以集成为一个或多个独立的电路或硬件，如：专用集成电路(application specificintegrated circuit，asic)。需要说明的是，存储器9中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。
90.请参阅图1至11所示，本发明还公开一种计算机可读存储介质，可以包括程序，当程序在计算机上运行的时候，可以使得计算机执行上述的一种可视化交互界面的控制方法。计算机可读存储介质可以是，电子介质、磁介质、光介质、电磁介质、红外介质或半导体系统或传播介质。计算机可读存储介质还可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(ram)、只读存储器(rom)、硬磁盘和光盘。光盘可以包括光盘-只读存储器(cd-rom)、光盘-读/写(cd-rw)和dvd。
91.请参阅图1至11所示，为了较为完整介绍本方案的技术内容，现提供一个实际应用。可视化交互界面为bi(behavior identity，行为识别系统)的操作界面，用于获取用户图像的图像获取单元可以是一般电脑具有的摄像头，该摄像头的硬件成本较低，而且布置和实施的成本也较低。在摄像头采集用户图像之后，先使用网络开源的数据集，设置握拳、伸出一只手指、伸出两只手指以及伸出五只手指四个操作。手势识别模型可以是卷积神经网络，接下来可以将上述的四个操作对数据集进行标注，然后根据需要自定义数据集，划分为训练集和测试集后对卷积神经网络进行训练。为了降低卷积神经网络的层数和复杂度，可以将手势识别模型分为手部信息预测子模型和手势识别预测子模型，其中手部信息预测子模型用于将判断筛选用户图像中是否包括手部信息，以及提取手部信息，手势识别预测子模型用于提取手部信息中的手势类型，具体为判断属于上述四个操作中的哪一类。例如，若手势类型是握拳，则此时判断触发鼠标的单击左键并长按抓取的功能，并对手势进行跟踪，能够移动拖拽交互界面上的虚拟组件。
92.综上所述，本发明采集用户的图像，根据图像识别出手势类型等信息，进而生成对交互界面的控制指令，用以实现对交互界面的控制。不需要使用专业的辅助设备对操作人员的控制动作进行识别，也不需要对操作人员进行专业培训，改善控制动作识别的使用成本较高的问题，因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
93.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。