一种人机交互的手套系统的制作方法

技术特征：
1.一种人机交互的手套系统，其特征在于，包括集成有多种传感器在内的手套装置以及加载有手势动作识别模块和虚拟仿真环境模块的处理器；所述手套装置用于采集记录用户手势交互过程中手部动作相关的传感数据；所述手势动作识别模块用于对上述传感数据进行预处理，基于预处理过后的数据通过算法识别出用户手势动作的类别，并产生对应的交互信号发送至虚拟仿真环境模块；所述虚拟仿真环境模块在虚拟环境场景中定制有一人物模型，其受所述交互信号控制与虚拟环境中的实体进行交互，以改变实体的状态。2.根据权利要求1所述的人机交互的手套系统，其特征在于：所述人机交互数据手套系统还包括有vr设备，虚拟仿真环境模块记录人物模型和实体的状态并将状态信息通过vr设备以虚拟沉浸可视化的形式反馈给用户，其中人物模型状态包括手在虚拟环境中的位置、手是否处于抓握状态，实体状态包括实体在虚拟环境中的位置、实体是否被抓住、实体是否被放到指定位置。3.根据权利要求1所述的人机交互的手套系统，其特征在于：所述手套装置集成有三轴加速度传感器、三轴陀螺仪、肌肉电传感器和压力传感器，其中三轴加速度传感器和三轴陀螺仪布置于手背处内侧，分别用于实时采集用户手部的加速度信息和角度朝向信息；肌肉电传感器为干电极臂带，使用时佩戴在用户手臂上，用于采集用户手臂的肌肉电信息；压力传感器采用柔性材料作为基底，部署于手套五个指尖内侧，用于采集用户指尖的压力信息。4.根据权利要求3所述的人机交互的手套系统，其特征在于：所述手套装置内部还设有控制板，该控制板上配备有蓝牙模块，所述控制板汇总各传感器所采集得到的传感数据后通过蓝牙模块传输给处理器，每次的传输形式为32位十六进制数据，依次包括2位的起始符、12位的肌肉电信息、3位的加速度信息、3位的角度朝向信息、10位的压力信息以及2位的结束符，数据传输频率为50hz。5.根据权利要求1所述的人机交互的手套系统，其特征在于：所述手势动作识别模块对传感数据的预处理过程包括传感器标定、数据滤波、坐标转换以及数据量化；所述传感器标定的具体过程为：在使用前将手套装置静止平放，记录期间各传感器所采集到的时序特征数据，然后根据这些数据对手套装置中的各个传感器进行初始化标定，并记录相应标定数值；所述数据滤波的具体过程为：首先根据传感器的标定数值，对传感器存在的噪音数据进行去除；然后采用时间窗进行均值滤波，时间窗大小为90ms，对于当前时刻的数据，以当前时刻作为时间窗截至时间戳，对该时间窗内的所有数据值取平均并作为当前时刻数据的滤波结果；所述坐标转换过程即根据三轴陀螺仪采集的角度朝向信息，将滤波后的加速度信息由传感器自身坐标系转换至世界坐标系；所述数据量化的具体过程为：将加速度信息、肌肉电信息以及压力信息量化至[0，15]区间内的整数；例如加速度信息，若加速度绝对值大于2g，则对应的量化值为15；若加速度绝对值在1g～2g区间内，则对应量化值为若加速度绝对值在
0～1g区间内，则对应量化值为6.根据权利要求1所述的人机交互的手套系统，其特征在于：所述手势动作识别模块识别用户手势动作的具体过程如下：首先，提前创建各类手势动作模板，包括五指握紧、五指松开和手臂挥动，其中手臂挥动又根据朝向分上、下、左、右、右上、右下、左下、左上共八个方向，故总共有10类手势；对于任一类手势，多次采集一定时间片段t
action
内该类手势预处理过后的传感数据，其分为数据维度和通道维度，数据维度分加速度信息、肌肉电信息以及压力信息三个维度，加速度数据的通道维度为3，肌肉电数据的通道维度为6，压力数据的通道维度为5；对于t
action
内的任一采样点，则对多次采集到的量化数据值求平均，平均后得到数据序列即为该类手势的手势动作模板，其中对于五指握紧手势，t
action
定为0.9s；对于五指松开手势，t
action
定为0.6s；对于手臂挥动手势，t
action
定为1.2s；然后，基于dtw算法对当前采集的传感数据序列与各类手势动作模板进行相似度距离计算，从而确定当前用户手势动作的类别，具体确定标准为：取相似度距离最小值为d
min
，若d
min
＜d
θ
，则将d
min
对应手势动作模板的手势类别作为当前用户手势动作类别；若d
min
≥d
θ
，则判定无法判别，其中d
θ
为设定的相似度距离阈值。7.根据权利要求6所述的人机交互的手套系统，其特征在于：所述相似度距离计算的具体执行过程如下：(1)取固定长度t
input
的传感数据序列，t
input
选用0.3s，定义s[1:i]表示传感数据序列，t[1:j]表示任一手势动作模板序列，i为传感数据序列的长度，j为手势动作模板序列的长度；(2)根据以下公式计算两个序列中最后一个元素之间的欧式距离d0：其中：s
c，d
[i]为传感数据序列中第c类数据第d个通道上的第i个量化数据值，t
c，d
[j]为手势动作模板序列中第c类数据第d个通道上的第j个量化数据值，γ
c
为第c类数据的权重，c表示数据维度的序号，d表示通道维度的序号，∑γ为所有数据维度的权重之和；(3)计算序列s[1：i
‑
1]与序列t[1：j]之间的距离d1；当i＝1时，此时序列s[1：0]中不包含任何元素，停止递归运算并返回结果当i＞1时，根据步骤(2)～(6)进行递归运算；(4)计算序列s[1：i]与序列t[1：j
‑
1]之间的距离d2；当j＝1时，此时序列t[1：0]中不包含任何元素，停止递归运算并返回结果当j＞1时，根据步骤(2)～(6)进行递归运算；(5)计算序列s[1：i
‑
1]与序列t[1：j
‑
1]之间的距离d3；当i＝1或j＝1时，此时序列s[1：0]或t[1：0]中不包含任何元素，停止递归运算并返回结果当i＞1且j＞1时，根据步骤(2)～(6)进行递归运算；(6)取d1～d3的最小值作为d1，不参与最小值比较，将d0 d1作为递归运算结果并返回；
当时，d1＝0；(7)完成上述所有递归运算后，最后返回的结果即为传感数据序列与手势动作模板的相似度距离。8.根据权利要求1所述的人机交互的手套系统，其特征在于：所述虚拟仿真环境模块设计有在虚拟环境中控制人物模型用手抓取实体并将其放到指定位置的任务，具体任务执行规则如下：当人物模型的手和实体在虚拟环境中的距离小于设定阈值后，用户进行抓握动作以控制人物模型抓住实体，此时实体是否被抓住的状态会发生改变，并且实体能够随着手在环境中进行移动；当用户松开手指，取消抓握动作后，实体会与人物模型的手脱离，此时实体是否被抓住的状态会发生改变，并且实体无法再随着手在环境中进行移动；当实体被移动到指定位置且与手脱离后，实体是否被放到指定位置的状态会发生改变，此时任务完成，模块给出相应提示；模块通过vr设备向用户反馈状态信息，包括手和实体在环境中的位置、手是否处于抓握状态以及实体是否被抓住，这些状态信息同时通过命令行窗口向用户提供反馈。

技术总结
本发明公开了一种人机交互的手套系统，该系统由集成多种传感器的手套装置、手势动作识别模块、虚拟仿真环境模块和VR设备构成，其中手套装置通过集成各类刚性或柔性传感器，能够同时对多种交互数据进行采集，且手套形态能够降低设备的异物感，有助于用户进行自然的交互过程；手势动作识别模块能够利用不同类型的数据共同对手势动作进行识别，能够有效缓解单一传感器方案应用场景受限的问题，提高了手势识别的种类和准确率。为了完善交互流程的完整性，本发明系统还构建了一个虚拟仿真环境，其内部的人物模型受交互控制信号控制，同时该虚拟环境通过VR设备向用户提供视觉反馈。拟环境通过VR设备向用户提供视觉反馈。拟环境通过VR设备向用户提供视觉反馈。


技术研发人员：陈昕伟 陈宇轩 黄伟霖 李石坚 张犁 潘纲
受保护的技术使用者：钱塘科技创新中心
技术研发日：2021.07.16
技术公布日：2021/10/26