一种人机交互的手套系统的制作方法

1.本发明属于人机交互技术领域，具体涉及一种人机交互的手套系统。


背景技术：

2.人与机器的自然交互一直以来都是人机交互领域的重要研究问题，随着人工智能技术的发展，出现了人通过演示教会机器如何执行任务、人和ai智能体共同执行任务等任务形态。受限于现有的交互设备和技术，人与机器交互的过程仍存在交互过程不自然、受环境干扰较大、交互动作识别精度有限等问题。
3.在动作识别领域，现有的主流技术通常采用单一传感器进行动作感知，由于单一传感器局限性较为明显，因此一定程度上限制了动作识别的效果。如申请号为201811337569.1的中国专利提供了一种虚拟现实人机交互系统及方法，其采用了基于图像的动作识别技术，但由于摄像头容易存在视觉死角，因此在障碍较多的地方，或由于摄像头转动导致失去跟踪目标，基于图像的动作识别效果会出现下降。同时考虑到目前主流的传感器主要为刚性传感器，佩戴上异物感比较强，也会影响到交互过程的自然性。
4.除此之外，现有的动作识别系统通常为单一器件，如申请号为202011171575.1的中国专利提供的一种可穿戴式16路压力数据采集手套中仅部署了压力传感器，对于手部的移动动作识别效果较差；并且从人机交互的流程来看，很多数据手套系统仅实现了数据采集环节的功能，未能够实现剩余的人机交互环节，例如动作识别、生成交互信号、交互目标控制和交互结果反馈等，具有一定的局限性。


技术实现要素：

5.鉴于上述，本发明提供了一种人机交互的手套系统，能够解决现有动作识别技术感知能力单一、交互过程不自然、交互流程不完整等问题。
6.一种人机交互的手套系统，包括：集成有多种传感器在内的手套装置以及加载有手势动作识别模块和虚拟仿真环境模块的处理器；
7.所述手套装置用于采集记录用户手势交互过程中手部动作相关的传感数据；
8.所述手势动作识别模块用于对上述传感数据进行预处理，基于预处理过后的数据通过算法识别出用户手势动作的类别，并产生对应的交互信号发送至虚拟仿真环境模块；
9.所述虚拟仿真环境模块在虚拟环境场景中定制有一人物模型，其受所述交互信号控制与虚拟环境中的实体进行交互，以改变实体的状态。
10.进一步地，所述人机交互数据手套系统还包括有vr设备，虚拟仿真环境模块记录人物模型和实体的状态并将状态信息通过vr设备以虚拟沉浸可视化的形式反馈给用户，其中人物模型状态包括手在虚拟环境中的位置、手是否处于抓握状态，实体状态包括实体在虚拟环境中的位置、实体是否被抓住、实体是否被放到指定位置。
11.进一步地，所述手套装置集成有三轴加速度传感器、三轴陀螺仪、肌肉电传感器和压力传感器，其中三轴加速度传感器和三轴陀螺仪布置于手背处内侧，分别用于实时采集
用户手部的加速度信息和角度朝向信息；肌肉电传感器为干电极臂带，使用时佩戴在用户手臂上，用于采集用户手臂的肌肉电信息；压力传感器采用柔性材料作为基底，部署于手套五个指尖内侧，用于采集用户指尖的压力信息。
12.进一步地，所述手套装置内部还设有控制板，该控制板上配备有蓝牙模块，所述控制板汇总各传感器所采集得到的传感数据后通过蓝牙模块传输给处理器，每次的传输形式为32位十六进制数据，依次包括2位的起始符、12位的肌肉电信息、3位的加速度信息、3位的角度朝向信息、10位的压力信息以及2位的结束符，数据传输频率为50hz。
13.进一步地，所述手势动作识别模块对传感数据的预处理过程包括传感器标定、数据滤波、坐标转换以及数据量化。
14.进一步地，所述传感器标定的具体过程为：在使用前将手套装置静止平放，记录期间各传感器所采集到的时序特征数据，然后根据这些数据对手套装置中的各个传感器进行初始化标定，并记录相应标定数值。
15.进一步地，所述数据滤波的具体过程为：首先根据传感器的标定数值，对传感器存在的噪音数据进行去除；然后采用时间窗进行均值滤波，时间窗大小为90ms，对于当前时刻的数据，以当前时刻作为时间窗截至时间戳，对该时间窗内的所有数据值取平均并作为当前时刻数据的滤波结果。
16.进一步地，所述坐标转换过程即根据三轴陀螺仪采集的角度朝向信息，将滤波后的加速度信息由传感器自身坐标系转换至世界坐标系。
17.进一步地，所述数据量化的具体过程为：将加速度信息、肌肉电信息以及压力信息量化至[0，15]区间内的整数；例如加速度信息，若加速度绝对值大于2g，则对应的量化值为15；若加速度绝对值在1g～2g区间内，则对应量化值为若加速度绝对值在0～1g区间内，则对应量化值为
[0018]
进一步地，所述手势动作识别模块识别用户手势动作的具体过程如下：
[0019]
首先，提前创建各类手势动作模板，包括五指握紧、五指松开和手臂挥动，其中手臂挥动又根据朝向分上、下、左、右、右上、右下、左下、左上共八个方向，故总共有10类手势；
[0020]
对于任一类手势，多次采集一定时间片段t
action
内该类手势预处理过后的传感数据，其分为数据维度和通道维度，数据维度分加速度信息、肌肉电信息以及压力信息三个维度，加速度数据的通道维度为3(对应xyz三个方向)，肌肉电数据的通道维度为6(对应电极数量)，压力数据的通道维度为5(对应五个手指)；
[0021]
对于t
action
内的任一采样点，则对多次采集到的量化数据值求平均，平均后得到数据序列即为该类手势的手势动作模板，其中对于五指握紧手势，t
action
定为0.9s；对于五指松开手势，t
action
定为0.6s；对于手臂挥动手势，t
action
定为1.2s；
[0022]
然后，基于dtw算法对当前采集的传感数据序列与各类手势动作模板进行相似度距离计算，从而确定当前用户手势动作的类别，具体确定标准为：取相似度距离最小值为d
min
，若d
min
＜d
θ
，则将d
min
对应手势动作模板的手势类别作为当前用户手势动作类别；若d
min
≥d
θ
，则判定无法判别，其中d
θ
为设定的相似度距离阈值。
[0023]
进一步地，所述相似度距离计算的具体执行过程如下：
[0024]
(1)取固定长度t
input
的传感数据序列，t
input
选用0.3s，定义s[1：i]表示传感数据序列，t[1：j]表示任一手势动作模板序列，i为传感数据序列的长度，j为手势动作模板序列的长度；
[0025]
(2)根据以下公式计算两个序列中最后一个元素之间的欧式距离d0：
[0026][0027]
其中：s
c，d
[i]为传感数据序列中第c类数据第d个通道上的第i个量化数据值，t
c，d
[j]为手势动作模板序列中第c类数据第d个通道上的第j个量化数据值，γ
c
为第c类数据的权重，c表示数据维度的序号，d表示通道维度的序号，∑γ为所有数据维度的权重之和；
[0028]
(3)计算序列s[1：i
‑
1]与序列t[1：j]之间的距离d1；当i＝1时，此时序列s[1：0]中不包含任何元素，停止递归运算并返回结果当i＞1时，根据步骤(2)～(6)进行递归运算；
[0029]
(4)计算序列s[1：i]与序列t[1：j
‑
1]之间的距离d2；当j＝1时，此时序列t[1：0]中不包含任何元素，停止递归运算并返回结果当j＞1时，根据步骤(2)～(6)进行递归运算；
[0030]
(5)计算序列s[1：i
‑
1]与序列t[1：j
‑
1]之间的距离d3；当i＝1或j＝1时，此时序列s[1：0]或t[1：0]中不包含任何元素，停止递归运算并返回结果当i＞1且j＞1时，根据步骤(2)～(6)进行递归运算；
[0031]
(6)取d1～d3的最小值作为d1，不参与最小值比较，将d0 d1作为递归运算结果并返回；当对，d1＝0；
[0032]
(7)完成上述所有递归运算后，最后返回的结果即为传感数据序列与手势动作模板的相似度距离。
[0033]
进一步地，所述虚拟仿真环境模块设计有在虚拟环境中控制人物模型用手抓取实体并将其放到指定位置的任务，具体任务执行规则如下：
[0034]
当人物模型的手和实体在虚拟环境中的距离小于设定阈值后，用户进行抓握动作以控制人物模型抓住实体，此时实体是否被抓住的状态会发生改变，并且实体能够随着手在环境中进行移动；
[0035]
当用户松开手指，取消抓握动作后，实体会与人物模型的手脱离，此时实体是否被抓住的状态会发生改变，并且实体无法再随着手在环境中进行移动；
[0036]
当实体被移动到指定位置且与手脱离后，实体是否被放到指定位置的状态会发生改变，此时任务完成，模块给出相应提示；
[0037]
模块通过vr设备向用户反馈状态信息，包括手和实体在环境中的位置、手是否处于抓握状态以及实体是否被抓住，这些状态信息同时通过命令行窗口向用户提供反馈。
[0038]
本发明系统利用手套作为传感器载体，集成了各类刚性或柔性传感器，包括三轴加速度、三轴陀螺仪、肌肉电和压力传感器，能够同时对多种交互数据进行采集；系统设计
了一个手势动作识别模块，处理交互数据并生成仿真控制信号，同时构建了一个虚拟仿真环境，其内部人物模型受交互控制信号控制，同时该虚拟仿真环境通过vr设备向用户提供视觉反馈。因此，本发明具有以下有益技术效果：
[0039]
1.本发明手套的形态便于部署各类传感器，同时有助于用户进行自然的交互动作，对比基于图像的手势识别技术，受到的环境干扰大大降低。
[0040]
2.本发明手势动作识别模块同时使用加速度、肌肉电和压力数据对手势动作进行识别，提高了手势识别的种类和准确率。
[0041]
3.本发明具备vr反馈的虚拟仿真环境能够便于用户直观地感知与环境的交互过程。
附图说明
[0042]
图1为本发明手套装置的结构示意图。
[0043]
图2为本发明手势识别算法的流程示意图。
[0044]
图3为本发明虚拟仿真环境的场景示意图
具体实施方式
[0045]
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
[0046]
本发明人机交互手套系统包括集成多种传感器的手套装置、手势动作识别模块、虚拟仿真环境模块和vr设备，其中：
[0047]
手套装置可集成多种刚性或柔性传感器，对用户手势交互过程的数据进行采集和记录；手势动作识别模块能够获取手套装置采集到的交互数据，通过算法进行处理后，得到手势动作的分类结果，并产生对应的交互控制信号，发送至虚拟仿真环境。虚拟仿真环境模块内部具有一个人物模型，其活动受交互控制信号控制，人物模型能够与环境中的实体进行交互，从而改变实体的状态。实体的初始状态根据规则随机生成，或可由用户通过输入参数进行指定；虚拟仿真环境中人物模型和实体的状态信息，通过vr设备向用户进行反馈。
[0048]
如图1所示，本实例中手套装置集成的传感器包括三轴加速度传感器2、三轴陀螺仪4、肌肉电传感器3和压力传感器1，其中：三轴加速度传感器2和三轴陀螺仪4部署于手背处内侧，用于实时采集用户手部的加速度信息和角度变化；肌肉电传感器3为干电极臂带，使用时佩戴在用户手臂上，用于采集用户手臂的肌肉电信息；压力传感器1采用柔性材料作为基底，并部署于手套五个指尖内侧，用于采集用户指尖的压力信息。
[0049]
各个传感器均通过内部导线与手套控制板相连，传输采集到的电信号；手套控制板上具备蓝牙模块，能够通过蓝牙向计算机传输采集到的传感器信号(交互数据)。蓝牙模块与计算机建立连接后，每次控制板向计算机传输32位十六进制数据，包括2位起始符、12位肌肉电数据、3位加速度数据、3位角度朝向数据、10位压力数据以及2位结束符，数据的传输频率为50hz。
[0050]
手套装置在使用前，需要静止平放，期间所采集的数据有手势动作识别模块进行传感器标定；手势动作识别模块在获取手套装置采集到的交互数据后，如图2所示，其手势识别算法按照以下步骤对数据进行处理和分类：
[0051]
(1)传感器标定：记录手套装置静止时的时序数据特征，并根据该特征对手套装置的各个传感器进行初始化标定，并记录相应数值。
[0052]
(2)数据滤波：根据传感器标定数值，对传感器存在的噪音数据进行去除。
[0053]
以三轴加速度传感器为例，在实验中我们发现其x轴和y轴方向在静止状态下存在约0.005g的噪声，而z轴方向的噪声在1.0g上下0.008g浮动，因此首先需要对z轴方向数据减去1.0g后，再进行加速度滤波。
[0054]
加速度滤波采用时间窗均值滤波，时间窗大小为90ms，实现步骤为：
[0055]
2.1当前加速度的时间戳减去时间窗起始数据的时间戳。若差值大于90ms，进行下一步；否则将当前加速度数据加入时间窗内，并获取下一个加速度数据，重复步骤2.1；
[0056]
2.2计算当前时间窗内的加速度均值，作为当前时刻的滤波结果；
[0057]
2.3去除时间窗起始数据，把当前加速度数据加入时间窗内，并获取下一个加速度数据，重复步骤2.1。
[0058]
(3)坐标转换：根据三轴陀螺仪采集的角度朝向信息，将滤波后的三轴加速度数据由传感器自身坐标系转换至世界坐标系。
[0059]
(4)数据量化：为便于后续手势动作匹配过程，将数据根据区间量化为指定数值。
[0060]
以加速度数据为例，考虑到手势交互过程多数时候加速度绝对值不会超过1.0g，因此在本实施方式中，将加速度量化的目标区间范围设定为
‑
2.0g至2.0g，并对
‑
1.0g至1.0g区间进行重点关注。
[0061]
加速度数据量化的计算公式如下：
[0062]
若加速度绝对值大于2g，量化值为15；
[0063]
若加速度绝对值在1g至2g区间内，量化值为
[0064]
若加速度绝对值在0至1g区间内，量化值为
[0065]
肌肉电数据和压力数据同样量化至[0，15]区间内的整数。
[0066]
(5)动作匹配：取固定长度t
input
的时序数据，基于dtw算法与手势动作模板进行相似度计算，并输出动作匹配结果；在本实施方式中选用t
input
＝0.3s，经实验验证能够取得较为自然的交互效果。
[0067]
5.1手势动作模板需要提前创建，根据所要录入的动作不同，多次采集对应时间片段t
action
内的量化数据序列，并按时间对各维度数据求平均，可得到手势动作模板。考虑到不同手势的平均执行时间不同，在本实施方式中选用t
五指握紧
＝0.9s，t
五指松开
＝0.6s，t
手臂挥动
＝1.2s。
[0068]
5.2在本发明中我们共定义了10个手势，分别为五指握紧、五指松开和手臂挥动(上、下、左、右、右上、右下、左下、左上共八个方向)，手势模板可根据用户使用需要进行扩展。
[0069]
5.3由于不同手势动作的时间间隔不同，因此在本实施方式中我们使用dtw算法，以实现不同长度序列之间的相似度计算，dtw算法的计算过程如下：
[0070]
首先，s
c
和t
c
分别表示表示输入数据序列和模板数据序列，其中c为数据通道，包括
加速度数据、肌肉电数据和压力数据，输入数据序列和模板数据序列的长度分别为i和j。
[0071]
然后，通过以下公式计算s
i
和t
j
之间的欧氏距离d0，其中γ
c
为数据通道c的权重，∑γ为数据通道权重之和，d为数据通道c的数据维度，加速度的数据维度＝3，肌肉电的数据维度＝6，压力的数据维度＝5，s
c，d
[i]表示输入数据序列数据通道c的第d维数据的第i个数据，t
c，d
[j]表示模板数据序列数据通道c的第d维数据的第j个数据。
[0072][0073]
依据上式，递归计算序列s
i
‑1和t
j
之间的欧氏距离d1、s
i
和t
j
‑1之间的欧氏距离d2、s
i
‑1和t
j
‑1之间的欧氏距离d3；取d1，d2，d3的最小值为d1，则s
i
和t
j
之间的相似度距离为d0 d1。
[0074]
使用上述算法计算输入数据序列和所有模板数据序列之间的相似度距离，取距离最小值d
min
；若d
min
＜d
θ
，则将输入数据序列标记为距离最小模板对应的动作；若d
min
≥d
θ
，则将输入数据序列标记为未知动作，即无法判别；其中d
θ
为距离阈值，由用户进行设定。
[0075]
虚拟仿真环境模块根据任务场景和需求进行定制，如图3所示，在本实施方式中我们设计了一个用手去抓取苹果，放到指定位置的任务。
[0076]
人物模型的状态包括：手在环境中的位置，是否处于抓握状态；实体(苹果)的状态包括：实体在环境中的位置、实体是否被抓住、实体是否被放到指定位置。
[0077]
手在环境中的位置和是否处于抓握状态受手势动作识别模块产生的交互控制信号控制，用户通过佩戴手套并作出移动的手势，经手势动作识别模块处理后，产生的交互控制信号能够控制虚拟仿真环境中的手进行相应移动或抓握动作。手和实体的状态转移规则如下：
[0078]
当手和实体在环境中的距离小于设定阈值后，进行抓握动作，能够抓住苹果，此时实体是否被抓住的状态会发生改变，并且实体能够随着手在环境中进行移动。
[0079]
当用户松开手指，取消抓握动作后，实体会与手脱离，此时实体是否被抓住的状态会发生改变，并且实体无法再随着手在环境中进行移动。
[0080]
当实体被移动到指定位置，且与手脱离后，实体是否被放到指定位置的状态会发生改变，此时任务完成，环境给出相应提示。
[0081]
虚拟仿真环境通过vr设备向用户反馈状态信息，包括人物模型和实体的位置、是否处于抓握状态和实体是否被抓住等信息；在本实施方式中，人物模型和实体的状态信息通过命令行窗口向用于提供反馈，此时无需vr设备。
[0082]
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。