一种可视化交互界面的控制方法、系统、设备及存储介质与流程

技术特征：
1.一种可视化交互界面的控制方法，其特征在于，所述方法包括：根据手部信息和手势种类标记后的用户样本图像，对神经网络进行训练，获得手势识别模型；获取用户图像；将所述用户图像输入所述手势识别模型，用以识别所述用户图像是否包含所述手部信息若包含所述手部信息，则执行以下步骤：根据所述手部信息，识别出所述手势类型；根据所述手势类型，生成控制指令；根据所述控制指令，对所述可视化交互界面进行控制。2.根据权利要求1所述的方法，其特征在于，所述获取用户图像的步骤，包括：采集所述用户图像；对所述用户图像进行颜色空间变换，用以提高所述用户图像的色彩和饱和度；对所述用户图像进行通道分离；对所述用户图像中的肤色进行阈值分割，并进行二值化。3.根据权利要求2所述的方法，其特征在于，所述方法还包括对所述用户进行手势跟踪：获取所述用户图像中手的轮廓；获取所述手的轮廓的最大凸包，并获取所述最大凸包的特征点；获取所述手的轮廓的凹陷；根据所述凹陷与所述最大凸包的对应位置，获取所述凹陷的位置；根据所述凹陷的凸点处的夹角，判断指蹼间隙的数量；根据所述指蹼间隙的数量判断当前手势；根据所述当前手势和所述特征点的位置进行手势跟踪。4.根据权利要求1所述的方法，其特征在于，所述根据手部信息和手势种类标记后的用户样本图像，对神经网络进行训练，获得手势识别模型的步骤，包括：将所述手部信息标记后的所述用户样本图像作为输入层，将所述手部信息作为输出层，对手部信息预测子模型进行训练；将所述手部信息作为输入层，将所述手势类型作为输出层，对手势识别预测子模型进行训练；其中，所述手势识别模型包括所述手部信息预测子模型和所述手势识别预测子模型。5.根据权利要求1所述的方法，其特征在于，所述将所述用户图像输入所述手势识别模型，用以识别所述用户图像是否包含所述手部信息的步骤，包括：将所述用户图像输入所述手部信息预测子模型；若得到所述用户图像对应的所述手部信息，则判断所述用户图像包括所述手部信息；若没有得到所述用户图像对应的所述手部信息，则判断所述用户图像不包括所述手部信息。6.根据权利要求1所述的方法，其特征在于，所述根据所述手部信息，识别出所述手势类型的步骤，包括：所述手部信息包括手部轮廓和手部位置；
将所述用户图像对应的所述手部信息输入所述手势识别预测子模型；获取所述用户图像对应的所述手势类型。7.根据权利要求1所述的方法，其特征在于，所述控制指令包括以下各项中一项或多项的组合：触发鼠标的单击左键并长按抓取，对应握拳，单击鼠标左键，对应伸出一只手指，触发鼠标双击，对应伸出两只手指，触发鼠标松开左键，对应伸出五只手指。8.一种可视化交互界面的控制系统，其特征在于，所述系统包括：模型训练单元，用于根据手部信息和手势种类标记后的用户样本图像，对神经网络进行训练，获得手势识别模型；图像获取单元，用于获取用户图像；手部信息判断单元，用于将所述用户图像输入所述手势识别模型，用以识别所述用户图像是否包括所述手部信息；手势识别单元，用于根据所述手部信息，识别出手势类型；指令生成单元，用于根据所述手势类型，生成控制指令；控制单元，用于根据所述控制指令，对所述可视化交互界面进行控制。9.一种可视化交互界面的控制设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。

技术总结
本发明提供一种可视化交互界面的控制方法、系统、设备及存储介质，具体涉及交互控制领域。一种可视化交互界面的控制方法，方法包括：根据手部信息和手势种类标记后的用户样本图像，对神经网络进行训练，获得手势识别模型；获取用户图像；将用户图像输入手势识别模型，用以识别用户图像是否包括手部信息；若是，则根据手部信息，识别出手势类型根据手势类型，生成控制指令；根据控制指令，对交互界面进行控制。本发明改善现有技术中控制动作识别的使用成本较高的问题。成本较高的问题。成本较高的问题。


技术研发人员：王晓虎 左十镶 陈龙 汪哲逸
受保护的技术使用者：浙江吉利控股集团有限公司
技术研发日：2021.11.26
技术公布日：2022/3/21