一种基于无监督特征学习的毫米波雷达手部关键点检测系统及方法

本发明涉及人机交互和人工智能识别，具体涉及一种基于无监督特征学习的毫米波雷达手部关键点检测系统及方法。

背景技术：

1、近年来，随着可穿戴设备、虚拟现实、增强现实等技术的发展，用户对于人机交互的要求也越来越高，人们希望使用更便捷和自然方式向设备发出指令实现特定的任务。手势作为人们日常沟通中常用的身体语言，能够精确地表达人们的意图。因此，作为人机交互关键技术之一，细粒度的手势识别吸引着越来越多学者的关注。

2、目前，市面上大部分的非接触式手势识别技术主要基于计算机视觉，已广泛应用于增强现实、交互游戏等领域，但视觉方案往往存在对光线依赖性大、识别角度有限、对障碍物无穿透力、存在隐私泄露风险等劣势。为了有效克服上述不足，基于无线信号的手势识别方案受到越来越多的关注。常用的无线信号包括wifi、无源射频识别rfid和毫米波雷达等。众所周知，wifi信号的应用和部署已深入到千家万户。wifi感知系统借助于特定商用网卡来发送和接收wifi信号，利用一些开源工具从接收机网卡中提取csi信道状态信息来分析并实现相关感知任务。近些年来，针对不同应用场景提出许多创新算法并取得较高的识别精度。此外，rfid技术最初设计是用于目标身份识别，每个被追踪的目标上粘贴有一枚无源rfid标签存储其身份信息。后来，学者们发现当无源rfid标签附近存在目标运动干扰时，所引发的rfid信号变化能够被建模，并通过所设计的算法重建该目标的运动，也能实现非接触式的手势识别。然而，wifi和无源rfid信号带宽小，感知分辨率低，尽管许多学者们创造性地提出了一系列算法来弥补信号自身或硬件平台的不足，但仍存在感知精度不足、系统部署复杂等问题。

3、相比之下，毫米波雷达从感知分辨率、距离、精度和实用性角度而言更具优势。首先，毫米波雷达工作频率高，波长短，其收发天线通常集成于较小体积的主板。其次，收发时钟信号同步，无需考虑不同步导致的频偏等影响，感知距离远，覆盖范围大。另外，商用毫米波雷达具有高达4ghz的带宽，具备隔离不同距离维度上非感兴趣区域噪声的能力，能够容易且精确地获取多个目标相对于雷达的距离、角度以及径向速度信息。因此，利用毫米波雷达信号实现手势识别已成为无线感知领域的研究重点。系统通常收集大量图像标注的信号特征，输入至深度学习框架中实现粗粒度的分类任务，例如左划、右划、上划、下划、顺/逆时针画圈等。然而，无线信号受到环境因素干扰较大，识别精度与人体位置、衣物、朝向、环境等因素相关。此外，为了提高模型泛化能力，收集和标注各种场景下的监督训练样本费时费力。综上所述，有必要建立一个在少量标注数据条件下仍能实现较高精度的毫米波雷达手势识别系统。

4、为此，本发明旨在提供一种基于无监督特征学习的毫米波雷达手部关键点检测系统及方法，以解决上述问题。

技术实现思路

1、本发明的目的是为了解决现有技术中需要利用计算机视觉在不同环境下采集大量标注数据的局限，提供一种基于无监督特征学习的毫米波雷达手部关键点检测系统及方法，本发明采用数据增强方法扩增有标注的训练数据，并且利用无监督特征学习方法，从无标注的毫米波雷达信号中提取更为有效的特征表达，输入至手部关键点检测深度网络。本发明将在智能家居、非接触式动作感知等方面具有广阔的应用前景。

2、为了达到上述目的，本发明的技术方案如下：

3、本发明提供了一种基于无监督特征学习的毫米波雷达手部关键点检测系统，包括双目摄像头数据采集器及多目标手势识别系统；

4、所述双目摄像头数据采集器采用英制1/4-20与相机三脚架相连，所述双目摄像头数据采集器包括双目摄像头、毫米波雷达以及使用3d打印制作的一个支架，所述支架上通过热熔的方式镶嵌有用于固定双目摄像头和毫米波雷达的m2规格铜花母，所述毫米波雷达和双目摄像头的相对位置通过螺丝固定，所述双目摄像头的镜头前端与毫米波雷达的天线处于同一平面，毫米波雷达天线处于双目摄像头两镜头前端连线中点的垂直线上；

5、所述毫米波雷达用于实时发射和接收场景内的毫米波射频信号，对采集到的信号进行预处理，获取每秒10帧的12×128尺寸复数矩阵雷达数据，并将结果发送到手势识别系统中；

6、所述多目标手势识别系统用于实时获取毫米波雷达发送的复数矩阵数据，在经过mvdr、aoa系列算法处理后，将其送入训练好的深度学习网络中进行预测，输出预测的手部关键点坐标矩阵，并通过关键点之间的相对位置关系判断手势，实时绘出3d手势预测图。

7、本方案中的一种基于无监督特征学习的毫米波雷达手部关键点检测系统，原理为手部的移动会对毫米波雷达信号造成影响。当手部移动时，手部反射的毫米波信号经过的路径长度不断发生变化，通过mdvr算法提取毫米波信号中的特征信息。于是，可以使用双目摄像头进行手部关键点的识别与坐标计算工作，将双目摄像头所拍摄计算的关键点信息和同一时刻毫米波雷达的信息一一对应，生成深度学习所需数据集。利用深度学习网络resnet50进行预测，并通过调整网络参数和fc层进而提高预测精度，同时通过剪裁的方式在降低网络输入矩阵大小的同时保持相同的预测精度，达到更快的预测速度，实现毫米波雷达对手部关键点的预测和手势的识别。

8、进一步地，所述系统包括：雷达信号预处理模块、雷达信号无监督特征学习模块、相机与雷达联合训练模块以及雷达信号预测模块；其中：

9、s1.雷达信号预处理模块，采集毫米波雷达数据，利用信号处理算法对其处理以提取目标在不同距离和方向上的特征；

10、s2.雷达信号无监督特征学习模块，通过无监督深度学习方法从大量预处理的雷达信号特征中学习数据之间的相似或相同特性，使得在空间中相似的样本特征尽可能接近，不相似样本特征的间距离尽可能远离，此过程不需要图像获取的手部关键点来监督学习，降低后续有监督学习任务对于有标签数据量的需求；

11、s3.相机与雷达联合训练模块，将雷达与相机绑定同时采集数据，相机利用深度学习框架识别手部关键点，雷达信号使用s1所述模块预处理后，通过数据增强方法扩增数据量，并提高数据多样性进而提升模型的泛化能力，在此基础上，使用s2所述模块学习深度特征，进而将该深度特征用于手部关键点检测模型的训练；

12、s4.雷达信号预测模块，在后续应用中，仅需使用毫米波雷达信号，无需相机数据，使用s1所述模块对其进行预处理，输入至训练好的无监督特征学习模型以及与其连接的手部关键点深度检测模型，预测手部关键点的位置。

13、雷达信号预处理模块获取的是每一帧上不同距离维度的数据，即每秒10帧的12×128尺寸复数矩阵数据，并计算每个距离维度上的均值，将复数矩阵减去均值，达到过滤背景信息，如桌子椅子等静止环境物体，得到前景信息，提高精度去除静态环境干扰；将前景信息输入mvdr自适应波束形成算法计算。首先通过(公式1)得到期望方向上的导向矢量，其中τ为信号入射的时间差，ω为信号的角频率，

14、

15、假设均匀线阵含有m个阵元，当有n个信号s1(n),s2(n),…,sn(n)分别从θ1,θ2,…,θn入射到阵列时，那么按照叠加思维，接收信号可表述为一个列向量(公式2)，

16、

17、再通过(公式3)求出权向量，使得给定的a(θ)对应方向的信号通过，其余方向的信号和噪声得到最大程度的抑制，r为基于收到样本的协方差矩阵估计，

18、

19、最后根据(公式4)求出功率谱p(θ)，通过扫描遍历空间所有的水平角度θ来找到功率最强的方向，即为声源方向，利用目标不同方位角(联合水平天线)通过定位算法aoa计算目标的距离，生成雷达热图特征。

20、

21、其中，雷达信号无监督特征学习模块，采用对比学习方法：

22、计算毫米波雷达信号复数矩阵数据的平均值将背景信息矩阵减去均值，过滤背景信息sbackground提取前景信息sforeground，即一对同一时刻的前景信息sforeground和背景信息sbackground，构成一个正样本对；

23、将一个batch中的除sforeground和sbackground的其他样本全部视为sforeground和sbackground的负样本；

24、训练时，用一个样本对中的sforeground和sbackground分别输入同一个编码器(encoder)中，分别获得两个特征hforeground和hbackground，再将两个特征分别输入相同结构的预测头(projection head)中，分别得到两个样本的表示zforeground和zbackground，最后将zforeground和zbackground两种表征在投影空间上尽可能的相似，利用反向传播调整编码器(encoder)的模型参数。

25、其中，s3中的相机与雷达联合训练模块根据以下方法进行有监督学习训练：预先将双目相机预测出的关节点全部相加，计算出xyz上的均值，并将每个点减去这一均值，使关节点平移到图像中心；

26、由于存在相同手势在不同的空间维度上是相同的，只是手部所处的位置不同而已这一事实，故利用循环矩阵方法构建数据集，点积px＝[xn,x1,x2,…,xn-1]t将x平移一个元素，对小的平移进行建模，即将雷达图像矩阵的每一行hn赋值到下一行hn+1，最后一行hn赋值到第一行h0，以此类推，达到数据增强效果，构建并增大数据集，通过设置置换矩阵p(公式5)，

27、

28、来控制不同数据增强倍数单次平移的图像矩阵行数，本方法中采用10倍的数据增强方法，即将一张base sample矩阵通过平移生成10张不同的矩阵；

29、用构建好的数据集输入到神经网络中，并用双目相机预测出的关节点进行有监督学习。进一步地，s4中所述的雷达预测模块，将毫米波雷达信号矩阵数据输入预先训练好的深度学习网络中，模型最后通过全连接层实时输出42个关节点的坐标数据，如果有两只手，则输出42个正数坐标数据，如果有一只手，则输出21个正数单手坐标数据和21个全-1数据，如果没有检测到手的存在，则输出42个全-1数据，在绘制手部关键点时，若21个手部关键点中任意一点存在负数情况，则视为该手不存在，不进行绘制。

30、本发明还提供了上述一种基于无监督特征学习的毫米波雷达手部关键点检测系统的检测方法，包括以下步骤：

31、(1)通过双目摄像头采集2d图像，同时也通过毫米波雷达采集复数矩阵数据，并同时将两类数据使用时间戳进行标注；

32、(2)使用google开源手势识别模型mediapipe对双目摄像头所采集的图像进行每只手21个坐标点的标定和坐标点二维坐标的运算；

33、(3)同时对左右相机中同一坐标点的二维坐标使用三角定位方法计算得到其三维坐标；

34、(4)将接收到的毫米波雷达复数矩阵求平均值，将所有矩阵都减去平均值，过滤背景等静止物体的信息，获得前景信息矩阵；

35、(5)将前景信息输入mvdr自适应波束形成算法计算。首先通过(公式1)得到期望方向上的导向矢量，其中τ为信号入射的时间差，ω为信号的角频率，

36、

37、假设均匀线阵含有m个阵元，当有n个信号s1(n),s2(n),…,sn(n)分别从θ1,θ2,…,θn入射到阵列时，那么按照叠加思维，接收信号可表述为一个列向量(公式2)，

38、

39、再通过(公式3)求出权向量，使得给定的a(θ)对应方向的信号通过，其余方向的信号和噪声得到最大程度的抑制，r为基于收到样本的协方差矩阵估计，

40、

41、最后根据(公式4)求出功率谱p(θ)，通过扫描遍历空间所有的水平角度θ来找到功率最强的方向，即为声源方向，利用目标不同方位角(联合水平天线)通过定位算法aoa计算目标的距离，生成雷达热图特征。

42、

43、(6)热图矩阵x通过cyclic shifts方法进行像素平移，通过循环移位算子来建模向量的一维平移，该方法中的循环移位算子是置换矩阵p(公

44、式5)，

45、

46、点积px＝[xn,x1,x2,…,xn-1]t将x平移一个元素，对小的平移进行建模；通过使用矩阵的幂pux链接u的平移以实现更大的平移；负u将反向移动；其中，采用10倍的数据增强方法，即将一张base sample矩阵通过平移生成10个不同的矩阵，将数据集扩大10倍，达到数据增强的效果；

47、(7)按照时间戳将数据增强后的毫米波雷达矩阵数据按照10比1的比例和三维坐标矩阵数据进行对应，毫米波雷达数据使用npy格式进行数据保存，并生成一个csv文件保存毫米波雷达数据的拓展名和对应的三维坐标数据，构成有监督学习数据集；

48、(8)将同一时刻前景信息和背景信息构成一个无监督学习样本对，并将数据输入对比学习网络中，训练时，用一个样本对中的sforeground和sbackground分别输入同一个编码器(encoder)中，分别获得两个特征hforeground和hbackground，再将两个特征分别输入相同结构的预测头(projectionhead)中，分别得到两个样本的表示zforeground和zbackground，最后将zforeground和zbackground两种表征在投影空间上尽可能的相似，利用反向传播调整编码器(encoder)的模型参数；

49、(9)先将预训练的编码器参数导入resnet50中，将有监督学习数据集送入resnet50深度学习网络中，网络的输入为毫米波雷达的npy文件，输出为手部21个点的三维坐标预测，训练集和测试集的比例为7:3，epochs为96，batch size为64，训练完成后输出并保存模型参数文件；

50、(10)实时预测时，将雷达放置在房间中无遮挡的合适高度，将毫米波雷达输出的数据进行mvdr和aoa处理再输入到模型中，模型最后使用全连接层预测输出预测关键点三维坐标数据，根据坐标点实时绘出手部手势图，同时对各关键点之间的连线作平滑处理，达到实时演示的效果。

51、与现有技术相比，本方案的有益效果：

52、1、本发明提供一种新的无线感知方法，利用毫米波雷达信号检测和还原手部关键点与手势的方法，利用手部的移动对毫米波信号产生的扰动，通过测量并提取多天线上无线信号的变化，结合深度学习计算得到手部的关键点信息，并通过关键点信息进一步判断手势。通过本发明技术方案，仅需使用一个毫米波雷达传感器，即可实现毫米波雷达的多目标手部关键点预测和手势识别。利用已有的毫米波设备，无需定制额外硬件设备，无需在无线收发设备上进行硬件改动，节约成本，方便应用部署；无线设备集成接收和发送功能一体，能够使用大多数常见系统的设备(如windows，macos)进行感知，适用范围广；综合误差可以达到3cm左右，所以可以对手指位移进行精确追踪，手势还原精度高；还可以实时连续长时间运行，方便实用。

53、2、本发明利用毫米波雷达信号检测和还原手部关键点与手势，不受基于rgb摄像头设备的感知方法中必须提供足够的光线条件才能检测手势的限制，可以在大光比场景、昏暗场景、能见度不好的场景进行部署，无需在无线收发设备上进行硬件改动，节约成本；同时检测误差较小，手部手指追踪精度超过了基于双目rgb摄像头设备的方法。相比于原有基于2d的无设备手部手势追踪与识别方法，本方法在增加了一个维度信息的同时也极大的提高了识别定位精度和灵敏度，可以对手指移动这样的微小动作进行追踪，精度达到厘米级。能够实时连续运行，仅需要事先通过双目摄像头采集数据进行训练，应用时仅使用毫米波雷达即可达到上述效果。本发明技术方案优于现有方法，具有实用性高、精度较高的优点。