帕金森面具脸识别与康复训练系统

本发明涉及一种训练系统，更具体的说是涉及一种帕金森“面具脸”识别与康复训练系统。

背景技术：

1、帕金森病是一种常见的神经系统变性疾病，老年人多见，平均发病年龄为60岁左右。它是仅次于阿尔兹海默症的第二常见神经退行性疾病。面部运动障碍为帕金森病的受损机制之一，被成为“低表情症”。患者的面部表达能力受损，面部运动迟缓导致自发面部运动和情绪性面部表情减少或丧失。面部表情在情感状态的交流中起了重要作用，这种面部运动障碍对帕金森患者的日常交流产生了比较严重的影响。

2、目前，在临床上常用mds统一帕金森病评定量表来对帕金森低表情症的程度来进行人为的评定，updrs对低表情症的定义如所示。然而，临床会诊方法只能在医院提供，如果评估人员缺乏经验或者未能捕捉到患者面部的一些微妙变化，那么诊断结果可能会有所偏差。随着计算机辅助医学技术的不断发展，为了帮助医生进行低表情症的检测，越来越多的计算机辅助检测的方法逐渐被开发出来。计算机辅助检测系统可以有效、快速地捕捉到许多人眼难以注意到的细微面部细节，并用其强大的计算能力和智能算法对面部的异常区域进行分析，对低表情症的识别提供了可靠的解释。以往的研究中已经有了一些用计算机技术来识别帕金森面部低表情症的研究。bandini等人[10]在2017年通过关键点特征提取器提取了49个面部关键点，并建模了20个面部特征，用这些特征训练了一个帕金森低表情症识别的模型。grammat等人[11]使用faceapi来提取关键点建模特征，训练了两个线性回归的帕金森低表情症识别模型。su等人[4]通过提取面部的几何特征和纹理特征，用传统的机器学习方法来训练帕金森低表情症的识别模型，后续又用深度学习方法，通过rgb图像序列和光流序列双通道的方法来训练深度学习端到端模型，结合了时序动态特征来训练帕金森低表情症的识别模型。

3、帕金森的面部康复训练可以帮助患者改善面部表情表达能力，增加对面部肌肉的控制和运动能力，有助于患者缓解症状，并可能对疾病进展产生积极的影响。目前也也存在一些帕金森疾病治疗的数字工具，多以游戏的形式给以帕金森患者面部康复治疗的趣味体验。林志诚等人[4]采用xbox体感游戏软件，celia dauvergne等人[5]开发了一款用于对帕金森患者进行节奏节律训练的游戏，腾讯医疗ai实验室[7]研发了一款针对帕金森的锻炼面部肌肉的康复训练游戏。阿里巴巴正在与新加坡南洋理工大学[8]合作开发一款侧重于帕金森早期的发现与预防的游戏，并根据游戏所反馈的数据来诊断用户是否为早期的帕金森患者，该游戏在一个交互式的数字环境中收集数据，并建成第一个记录帕金森发展症状的个人数据库。上述的工作集中在康复训练和早期疾病检测方面，目前并未有一个系统将帕金森“面具脸”的识别和康复训练集成到一起。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种将帕金森“面具脸”的识别和康复训练集成到一起的帕金森“面具脸”识别与康复训练系统。

2、为实现上述目的，本发明提供了如下技术方案：一种帕金森“面具脸”识别与康复训练系统，其特征在于：包括：

3、客户端，为pc及移动端网页，包括有摄像头和麦克风，用于提供用户接入的通道，同时采集用户的图像与声音信息；

4、业务层，与客户端连接，包括帕金森“面具脸”识别模块和帕金森“面具脸”康复训练模块，所述帕金森“面具脸”识别模块用于接受客户端采集的用户图像与声音信息进行帕金森“面具脸”识别，所述帕金森“面具脸”康复训练模块提供帕金森“面具脸”基础训练或提供帕金森“面具脸”进阶训练；

5、模型层，与业务层连接，用于提供业务层识别和训练所需要的帕金森“面具脸”识别深度学习模型、人脸识别模型和五官定位深度学习模型。

6、作为本发明的进一步改进，所述业务层执行业务的具体步骤如下：

7、步骤一，用户通过客户端进入界面，同时根据用户是否注册有账号，若注册有账号，则继续下一步，若未注册有账号，则进入用户注册步骤，之后继续下一步；

8、步骤二，登录账号，进入主界面，通过主界面选择模式，业务层根据选择的模式提供对应的服务，模式包括基础训练模式，面部检测模式和进阶训练模式，并根据选择基础训练模式继续步骤三或选择面部检测模式跳转步骤四或选择进阶训练模式跳转步骤五；

9、步骤三，进入基础训练，然后运行基础训练游戏，用户根据基础训练游戏进行训练，并在训练完成后整体反馈返回至步骤二；

10、步骤四，进行面部检测，然后返回面部检测结果，之后返回步骤二；

11、步骤五，进入进阶训练，然后运行进阶训练游戏，用户根据进阶训练游戏进行训练，并在训练完成后整体反馈返回至步骤二。

12、作为本发明的进一步改进，所述步骤二中面部检测的具体步骤如下：

13、步骤1，得到帕金森患者和健康被试者的面部微笑表情视频后，使用mtcnn模型对视频流进行逐帧切片，对每一帧进行面部识别、面部对齐、面部归一化操作；

14、步骤2，在得到每一帧处理好的面部图片后，使用预训练的swin transformer模型，使其生成了一个1*2048的包含人脸信息的特征向量；

15、步骤3，将步骤2中得到8个面部动作单元特征视为图的节点，通过节点的k邻近关系计算构建面部动作单元之间的关系信息，其中k＝2；

16、步骤4，通过图卷积完成聚合操作后，可以得到8个含有面部动作单元的关系信息的面部动作单元的特征，将这8个特征作为神经网络分类的输入进行训练；其中，神经网络由两层cnn组成，使用随机梯度下降作为模型特征优化器，使用交叉熵损失函数作为损失函数，训练结束后，就可以得到帕金森低表情症检测模型。

17、作为本发明的进一步改进，所述步骤三中的基础训练游戏包括如下步骤：

18、步骤三一，提供训练部位选择界面供用户选择，在用户选择完成以后，客户端显示对应训练部位的带操老师的面部动作，同时图文播放讲解语音；

19、步骤三二，播放戏曲音乐，客户端对摄像头采集的人脸图像进行面部动作单元识别，获取人脸锚点，基于人脸锚点在用户的真人脸上覆盖戏曲滤镜图片，同时提示用户做出相应的表情；

20、步骤三三，判断用户表情动作是否成功，若成功则播放激励图文信息，若未成功则显示提示用户调整面部表情的信息；

21、步骤三四，重复步骤三一至步骤三三，完成基础训练。

22、作为本发明的进一步改进，所述步骤五中进阶训练游戏包括如下：

23、步骤五一，提供训练难度选择界面供用户选择，在用户选择完成以后，语音播放训练不同部位的戏曲音乐串烧，驱使用户根据戏曲音乐串烧做出表情动作；

24、步骤五二，判断用户表情动作是否连续成功，若连续成功则播放激励图文信息或语音信息；

25、其中，在戏曲音乐串烧播放的过程中，戏曲滤镜图片随着戏曲音乐的更换而更换。

26、作为本发明的进一步改进，所述步骤三二中的面部动作单元识别的具体方式为如下：首先，利用视频轨道获取患者实时的面部信息，使用faceapi库中提供的人脸识别模型和人脸五官定位模型来对当前图片的人脸进行处理，人脸识别模型会首先识别传入的视频流画面中的人脸，并选取最高可信度的那一张人脸，并将该人脸输入人脸五官定位模型获取该人脸各个部位的锚点，获取锚点之后，将截取后的人脸输入至面部单元识别模型中，使其能够实时分析用户的面部表情并准确识别不同的面部动作单元。

27、作为本发明的进一步改进，所述步骤三三中判断用户表情动作是否成功的具体方式为：将患者表情输入面部单元检测模型，根据模型返回的结果进行评分，模型根据当前表情与自然表情在某一面部单元的差值对这一对应动作进行评分，根据评分高低判断用户表情动作是否成功。

28、作为本发明的进一步改进，所述业务层还包括：

29、患者管理模块，该患者管理模块用于存储和管理用户数据，记录用户每次训练的数值结果，并提供训练视频回放功能，通过分析au的平均值，au的方差值，平均训练时长，平均训练准确率进行监测和分析。

30、本发明的有益效果，通过客户端的设置，便可有效的实现提供给用户一个接入的通道，使得用户能够与系统进行人机交互，而通过业务层的设置，便可一方面实现对于帕金森“面具脸”的识别，另一方面还可实现对于帕金森“面具脸”的康复训练，如此很好的实现了把帕金森“面具脸”的识别和康复训练集成到一起。