基于SSVEP-MI和脸部关键点检测融合的机器手控制方法

本发明涉及脑科学、人工智能、关键点检测领域，具体来说涉及一种基于脑机接口和脸部关键点识别的机器手控制方法。

背景技术：

1、脑机接口（brain computer interface，bci），指在人或动物大脑与外部设备之间创建的直接连接，实现脑与设备的信息交换。ssvep是一种通过视觉刺激引发大脑电活动的方法；在ssvep中，用户通过注视闪烁频率不同的光源或图案，从而引发特定频率的电位响应，运动想象是指通过想象特定的运动动作来激活大脑区域。

2、深度神经网络在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。

3、关键点检测，人脸关键点检测是指在给定的人脸图像中，自动定位并标记出人脸的关键点。这些关键点通常包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓等部位的点。

4、目前的脑控机器手大多采用运动想象控制，其抓取目标选择到目标放置过程需要用户高度集中并重复想象，抓取效率低下，且无法做到针对放置位置选择的快速响应。

技术实现思路

1、本发明的目的在于提供一种基于ssvep-mi和脸部关键点检测融合的脑控机器手方法，以解决上述背景技术中提出的问题，使用目标检测模型使得用户在使用场景中快速识别物体并叠加闪烁，能够通过ssvep快速选择需要的物品；同时将根据物品姿态调用灵巧抓取算法，提升抓取效率；设计asm的脸部动作控制系统，增加响应更加迅速准确，功能的多样性，用来控制机器手执行任务的过程中需要精确控制的步骤以及一些如遇特殊情况需要快速准确做出响应的功能。

2、为实现上述目的，本发明提供如下技术方案：基于ssvep-mi和脸部关键点检测的机器手控制方法，该控制方法包括如下步骤：

3、s1、机器手识别物体：目标检测算法进行识别可抓取物品，对物品区域叠加闪烁，即对识别的具体物品区域叠加不同频率的闪烁，从而构成ssvep刺激范式设计；

4、s2、通过led显示呈现给用户，脑机接口采集用户产生的ssvep信号，信号预处理模块与抓取物品选择模块接收ssvep信号并进行分类，根据分类结果实施灵巧抓取，机械手自动执行抓取策略；

5、s3、机器手移动控制：脑机接口采集用户的mi信号，特征处理模块对采集的信号进行特征提取和特征选择，

6、将完成的结果送到信号分类模块进行分类，

7、根据信号分类的结果制定移动控制命令控制机器手系统的移动；

8、s4、脸部动作控制抓取：由摄像头采集用户的用户脸部样本，根据基于asm的脸部模型匹配方法先构建形状向量，

9、再用进行训练集对齐，匹配结束后即可实现ear/lar算法，并传递到系统锁定/抓取模块中执行锁定/抓取命令，实现脸部动作控制机器手的操作；

10、s5、ear算法通过眨眼动作进行ear值的计算，将计算好的ear值传递到系统锁定模块控制机器手系统的锁定解锁和关闭；

11、lar算法通过唇部动作进行lar值以及相关变量的计算，将计算好的数据传递到系统抓取模块，控制机器手系统进行抓取和释放的操作。

12、所述ssvep刺激范式设计使用目标检测算法中的目标检测模型owl-vit来检测和跟踪具体物品，通过接收图像和具体物品描述，并输出具体物品的分割遮罩，对识别的具体物品通过led显示叠加不同ssvep刺激范式，并让用户专注于具体物品8到10秒钟，

13、通过信号预处理模块进行带通滤波、小波变换和抓取物品选择进行rls-cca分类，识别出正在关注的具体物品，根据不同的物品制定不同的抓取策略。

14、进一步的，ssvep刺激范式为6hz、7.5hz、9hz 、11hz中的其中一种。

15、优选的，基于asm的脸部动作控制机器手使用摄像头搜集用户脸部样本构建形状向量，

16、再构建一个训练集，采用procrustes方法对训练集实行对齐操作，

17、结束之后通过ear/lar算法计算出眼镜和嘴唇的宽度和高度，并设定一个阈值用来判断是否进行眨眼和张嘴以及各项的次数，从而精准地控制机器手系统的锁定解锁/关闭/抓取和释放的功能。

18、进一步的，所述特征处理模块包括先进行特征提取再使用卡方检验进行特征选择，卡方检验特征