一种基于皮肤纹理匹配的摇杆控制方法、装置及电子设备

本申请涉及人机交互及图像处理，尤其涉及一种基于皮肤纹理匹配的摇杆控制方法、装置及电子设备。

背景技术：

1、手柄控制器是一种常见且典型的连续输入设备，主要用来控制物体运动的方向、速度等。随着电子智能设备的逐步发展，物理的手柄控制器作为一种辅助的硬件输入设备，其形态发生了改变。目前，控制器与触摸屏相结合使用，形成的虚拟摇杆技术已经得到了广泛的应用，尤其在移动端游戏中很常见。但摇杆会占据智能手机屏幕的显示空间，这不利于用户的体验。

2、已有的工作研究了在更少的注意力下虚拟摇杆的设计，但通常的思路还是局限在触摸屏中，如图1所示，该方法结合了视觉反馈和触觉反馈，对摇杆的使用方式进行了重新设计和用户实验，但这种触觉反馈并不自然，对用户来说使用起来不舒适，且现有触摸屏虚拟摇杆与其相似的多数摇杆设计和手机的虚拟摇杆没有本质区别，它们会受到如下的限制：这种基于触摸屏的摇杆技术，必须有一块额外的大面积触摸屏，这限制了用户对于摇杆的使用，对于需要用户更多注意力的更复杂的交互来说(比如移动交互)是很不方便的；对于本身就和触摸屏相结合的应用(比如智能手机的游戏控制)，也存在摇杆占据屏幕显示空间的问题，这影响了交互时的用户体验；对于更新型的交互场景，比如在vr/ar等无眼交互中，已有的虚拟摇杆更加不适应。用户的手在触摸屏上需要更精准的方向控制，但是在没有直接的视觉反馈的前提下，用户的操作难度很大。此外，现有的各种摇杆技术均没有内置的身份验证功能，不能判断当前用户是否有权进行操控。

3、综合所述可知，如何设计一种便携、高效的摇杆控制技术是目前亟需解决的问题。

技术实现思路

1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本申请的第一个目的在于提出一种基于皮肤纹理匹配的摇杆控制方法，以解决现有技术手段触觉反馈差、操作不够精确、占用显示空间、交互不便等问题。

3、本申请的第二个目的在于提出一种装置。

4、本申请的第三个目的在于提出一种电子设备。

5、本申请的第四个目的在于提出一种计算机可读存储介质。

6、为达上述目的，本申请第一方面实施例提出了一种基于皮肤纹理匹配的摇杆控制方法，包括：

7、采集用户手指或手掌不同位置的纹理图像，并将采集的纹理图像或提取的特征模版存储至纹理库；

8、获取触摸皮肤纹理时该位置的纹理图像，并提取所述纹理图像的特征，与所述纹理库中特征模板进行图像匹配后，得到触控点的定位信息；

9、将所述触控点定位的信息映射为控制命令，基于所述控制命令对目标进行控制。

10、优选地，所述采集用户手指或手掌不同位置的纹理图像包括：

11、使用满足第一预设面积的触摸传感器采集用户手指或手掌不同位置的纹理图像；

12、使用便携的满足第二预设面积的传感器多次采集用户手指或手掌不同位置的纹理图像后进行拼接处理；

13、利用非接触成像一次获取或多次获取纹理图像并拼接处理。

14、优选地，所述图像匹配包括：

15、将纹理库的图像进行裁剪，实时得到的触控纹理图像与纹理库所有的图像块分别做点匹配，基于相似度达到预设值的纹理库图像块定位当前触摸位置；

16、将纹理库的图像裁剪为若干小块，将实时获取的触控纹理图像与纹理库裁剪后的所有图像块分别提取固定长度的向量，基于每对图像向量之间的距离计算图像块间的相似度，基于达到预设值相似度的纹理库图像定位当前触摸位置；

17、将实时输入的触控纹理图像与未裁剪的完整纹理库图像进行点匹配，直接定位所述触控纹理图像的位置。

18、优选地，所述图像匹配还包括：

19、预设相似度阈值，如果纹理库图像与实时获取的触控纹理图像的最高相似度小于所述相似度阈值，则认为定位失败。

20、优选地，所述将所述触控点的定位信息映射为控制命令，基于所述控制命令对目标进行控制包括：

21、通过触摸皮肤的位置对目标运动方向进行控制，在触摸输入时，获取连续帧的图像，基于图像匹配算法将该图像与纹理库中的图像进行匹配，获取触控点的实时定位信息，将所述实时定位信息映射为坐标系下的坐标点，得到实时的运动向量。

22、优选地，所述基于所述控制命令对目标进行控制包括：

23、将所述触控点的定位信息映射为控制命令，通过所述控制命令对目标运动方向进行控制，对所述控制命令进行预设，将预先确定好的原点指向当前定位的触控点定为实时运动向量，向量的方向代表运动的绝对方向，运动速度为固定值。

24、优选地，所述采集用户手指或手掌不同位置的纹理图像，并将采集的纹理图像或提取的特征模版存储至纹理库还包括：将人工制作的纹理指套上的定位图案存储至纹理库中。

25、为达上述目的，本申请第二方面实施例提出了一种基于皮肤纹理匹配的摇杆控制装置，包括：

26、皮肤纹理注册模块，用于采集用户手指或手掌不同位置的纹理图像，并将采集的纹理图像或提取的特征模版存储至纹理库；

27、摇杆触摸点定位模块，与所述皮肤纹理注册模块连接，利用触摸传感器获取触摸皮肤纹理时该位置的纹理图像，并提取所述纹理图像的特征，与所述纹理库中特征模板进行图像匹配后，得到触控点的定位信息；

28、控制模块，与所述摇杆触摸点定位模块连接，将所述触控点的定位信息映射为控制命令，基于所述控制命令对目标进行控制。

29、为达上述目的，本申请第三方面实施例提出了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

30、所述存储器存储计算机执行指令；

31、所述处理器执行所述存储器存储的计算机执行指令，以实现上述任一项所述的方法。

32、为达上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，包括所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述任一项所述的方法。

33、本申请提供的一种基于皮肤纹理匹配的摇杆控制方法，通过获取手指或者手掌图像，与提前采集的指纹或者掌纹图像进行纹理匹配，实现对接触的皮肤位置的精准定位，进而实现虚拟摇杆的控制技术，不同于已有的物理摇杆或者基于触摸屏的虚拟摇杆设计，本方法使用用户自身的皮肤作为交互输入的接口，充分利用人天然敏感的触摸感知力，尤其在在无眼操作和移动交互中是更高效的控制方式。

34、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种基于皮肤纹理匹配的摇杆控制方法，其特征在于，包括：

2.根据权利要求1所述的基于皮肤纹理匹配的摇杆控制方法，其特征在于，所述采集用户手指或手掌不同位置的纹理图像包括：

3.根据权利要求1所述的基于皮肤纹理匹配的摇杆控制方法，其特征在于，所述图像匹配包括：

4.根据权利要求3所述的基于皮肤纹理匹配的摇杆控制方法，其特征在于，所述图像匹配还包括：

5.根据权利要求1所述的基于皮肤纹理匹配的摇杆控制方法，其特征在于，所述将所述触控点的定位信息映射为控制命令，基于所述控制命令对目标进行控制包括：

6.根据权利要求5所述的基于皮肤纹理匹配的摇杆控制方法，其特征在于，所述基于所述控制命令对目标进行控制包括：

7.根据权利要求1所述的基于皮肤纹理匹配的摇杆控制方法，其特征在于，所述采集用户手指或手掌不同位置的纹理图像，并将采集的纹理图像或提取的特征模版存储至纹理库还包括：将人工制作的纹理指套上的定位图案存储至纹理库中。

8.一种基于皮肤纹理匹配的摇杆控制装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。

技术总结本发明涉及人机交互及图像处理技术领域，尤其涉及一种基于皮肤纹理匹配的摇杆控制方法、装置及电子设备，其中，方法包括：采集用户手指或手掌不同位置的纹理图像，并将采集的纹理图像或提取的特征模版存储至纹理库；获取触摸皮肤纹理时该位置的纹理图像，并提取所述纹理图像的特征，与所述纹理库中特征模板进行图像匹配后，得到触控点的定位信息；将所述触控点定位的信息映射为控制命令，基于所述控制命令对目标进行控制。通过实时获取手指或者手掌图像，与提前采集的指纹或者掌纹图像进行纹理匹配，实现对当前接触的皮肤位置的精准定位，进而实现便携、高效的虚拟摇杆控制技术。技术研发人员：冯建江,刘宗健受保护的技术使用者：清华大学技术研发日：技术公布日：2024/4/24