一种基于毫米波雷达的手势识别方法及装置与流程

本发明涉及雷达与手势识别相关，尤其涉及一种基于毫米波雷达的手势识别方法及装置。

背景技术：

1、手势识别技术不断发展，已经成为人机交互的重要组成部分，在游戏、医疗、智能家居、智能驾驶领域发挥重要作用。

2、早期手势识别技术依赖穿戴设备，如利用加速度计和陀螺仪等传感器，但是这类技术不能满足人们日常生活中希望无需佩戴额外设备即可实现人机交互的需求，因此未能得到广泛应用。随着计算机技术的发展，基于计算机视觉的手势识别技术发展起来，用户无需穿戴额外设备，以徒手的方式便可进行人机交互。然而视觉设备极大受限于光照条件，同时存在隐私泄露问题。视觉手势识别技术基于深度学习，虽然有较高的准确率，但也存在计算复杂度高的问题，难以应用于嵌入式设备。红外手势设备虽然解决了隐私泄露问题，但受环境影响大，对工作环境要求高。

3、毫米波雷达不受光照、天气条件影响，具有能全天时全天候工作、保护隐私的优点，且相比摄像头或红外，具有较强的穿透性，可以安装在设备内部。毫米波雷达获取目标的距离、速度、角度、微多普勒等多维度信息，在识别手势，尤其是动态手势上具有无可比拟的优势。

技术实现思路

1、本发明的目的是为了至少解决现有技术的不足之一，提供一种基于毫米波雷达的手势识别方法及装置。

2、为了实现上述目的，本发明采用以下的技术方案：

3、具体的，提出一种基于毫米波雷达的手势识别方法，包括以下：

4、基于毫米波雷达获取手势动作数据，所述手势动作数据包括多帧雷达数据，每帧雷达数据表示为一个数据立方体，大小为虚拟通道数*每帧chirp数*每chirp采样点数；

5、对每一帧雷达数据，先进行距离维fft处理再进行多普勒维fft处理，得到多通道的距离-多普勒数据；

6、对所述多通道的距离-多普勒数据进行预处理得到处理后的数据；

7、将处理后的数据取模并按通道维相加得到距离-多普勒图，并基于所述距离-多普勒图得到手势特征数据的距离特征以及多普勒特征；

8、对处理后的数据在通道维进行方位角以及俯仰角估计，得到方位角数据以及俯仰角数据，基于所述方位角数据、俯仰角数据以及距离-多普勒图得到手势特征数据的方位角特征以及俯仰角特征；

9、将每帧雷达数据所对应的手势特征数据在时间域累积，得到连续多帧雷达数据的手势特征时序序列；

10、将手势特征时序序列中的各特征的时序序列分别以时序序列图像编码的方式转换为图像得到距离、多普勒、方位角和俯仰角特征二维化的图像；

11、将距离、多普勒、方位角和俯仰角特征二维化的图像组合成一个4通道的图像，将4通道的所述图像作为训练好的卷积神经网络的输入，则训练好的所述卷积神经网络的输出即为手势识别结果。

12、进一步，具体的，对所述多通道的距离-多普勒数据进行预处理得到处理后的数据，包括，

13、根据预先设定的用户的手的距离范围，对多通道的距离-多普勒数据在距离维度上进行截取得到处理后的数据。

14、进一步，具体的，基于所述距离-多普勒图得到手势特征数据的距离特征以及多普勒特征，包括，

15、将距离-多普勒图记为x＝[xij]nrng×ndop，在x＝[xij]nrng×ndop中，以幅度值为权值，计算距离和多普勒的加权平均，得到的数据即为手势特征数据的距离特征rngavg和多普勒特征dopavg，计算式如下，

16、

17、进一步，具体的，基于所述方位角数据、俯仰角数据以及距离-多普勒图得到手势特征数据的方位角特征以及俯仰角特征，包括，

18、将方位角数据记为a＝[aij]nrng×ndop，俯仰角数据记为e＝[eij]nrng×ndop，以距离-多普勒图中对应数据作为权值，计算方位角和俯仰角的加权平均，作为手势特征的数据的方位角特征aziavg和俯仰角特征eleavg，计算式如下，

19、

20、进一步，基于格兰姆角场将手势特征时序序列中的各特征的时序序列分别以时序序列图像编码的方式转换为图像，具体的，

21、将序列按最大值归一化，以时间戳作为半径，以归一化后的缩放值的反余弦作为角度生成极坐标；

22、按如下公式计算格拉姆矩阵:

23、

24、其中φ1～φn为序列在极坐标中的角度，则矩阵g对应一幅二维图像。

25、进一步，具体的，训练好的卷积神经网络将4通道的所述图像进行连续三次卷积运算，卷积采用3×3的卷积核，并以步长1移动，其中第一次卷积运算后加入了一次池化maxpool；后续使用globalavgpool将数据降为一维，通过两次全连接层运算与softmax，输出5种动作类别的概率。

26、本发明还提出一种基于毫米波雷达的手势识别装置，包括以下：

27、数据获取模块，用于基于毫米波雷达获取手势动作数据，所述手势动作数据包括多帧雷达数据，每帧雷达数据表示为一个数据立方体，大小为虚拟通道数*每帧chirp数*每chirp采样点数；

28、数据处理模块，用于对每一帧雷达数据，先进行距离维fft处理再进行多普勒维fft处理，得到多通道的距离-多普勒数据；

29、预处理模块，用于对所述多通道的距离-多普勒数据进行预处理得到处理后的数据；

30、第一特征提取模块，用于将处理后的数据取模并按通道维相加得到距离-多普勒图，并基于所述距离-多普勒图得到手势特征数据的距离特征以及多普勒特征；

31、第二特征提取模块，用于对处理后的数据在通道维进行方位角以及俯仰角估计，得到方位角数据以及俯仰角数据，基于所述方位角数据、俯仰角数据以及距离-多普勒图得到手势特征数据的方位角特征以及俯仰角特征；

32、手势特征时序序列计算模块，用于将每帧雷达数据所对应的手势特征数据在时间域累积，得到连续多帧雷达数据的手势特征时序序列；

33、图像转换模块，用于将手势特征时序序列中的各特征的时序序列分别以时序序列图像编码的方式转换为图像得到距离、多普勒、方位角和俯仰角特征二维化的图像；

34、手势识别模块，用于将距离、多普勒、方位角和俯仰角特征二维化的图像组合成一个4通道的图像，将4通道的所述图像作为训练好的卷积神经网络的输入，则训练好的所述卷积神经网络的输出即为手势识别结果。

35、本发明的有益效果为：

36、本发明提出一种基于毫米波雷达的手势识别方法及装置，采用加权平均法融合手势的数据特征，采用图像编码的方法将手势特征的时间序列转换为图像形式，然后使用卷积神经网络对手势行为数据分类。本发明所提出的手势识别方法无需保留大量的距离多普勒角度谱图数据或点云数据作为手势特征数据。本发明通过加权平均法提取手势数据特征，每个数据帧每个特征维度仅需保留单个数据，同时应用图像编码将时序特征转换为图像，使得特征数据适配卷积神经网络，既保证了良好的分类准确率，又解决了存储和计算资源耗费过高的问题。