一种基于多模态融合的康复系统的制作方法

本发明属于康复医疗，涉及一种基于多模态融合的康复系统，融合了生物力学、康复医学、人工智能、机器人学，以及虚拟现实技术。

背景技术：

1、现代医疗和康复领域越来越重视个性化治疗和数据驱动的决策制定。患者和康复专家正在寻找更加精确、定制化且高效的康复方法。在这个背景下，患者和医疗服务提供者对能够提供及时反馈、促进快速恢复，且能够满足个性化定制的高科技康复解决方案成了新的需求。然而现有产品市场主要侧重于提供传统的物理治疗设备或用简单的虚拟现实技术进行辅助治疗，而且产品功能大部分比较单一，这些产品虽然在康复治疗领域有一定的作用，但存在诸多不足。

2、首先，它们通常缺乏复杂的运动捕捉和实时反馈机制，这限制了其治疗的个性化和准确性。其次，这些产品在模拟真实环境方面的能力较弱，不足以提供沉浸式的康复训练。由此，它们在用户互动和参与感方面也不尽人意，这也会影响治疗效果。

3、具体来说现有的技术不足和局限性如下：

4、●康复训练缺乏趣味性和动力：传统的康复训练往往是单调和重复的，患者容易感到厌倦和沮丧，导致训练效果不佳和依从性低下。

5、●康复评估缺乏客观性和准确性：传统的康复评估往往是基于主观的观察和量表，缺乏客观的数据和标准，导致评估结果不可靠和不一致。

6、●康复环境缺乏逼真性和效果转化差：传统的康复只是用固定和单一设备，不能模拟真实的生活场景和运动条件，导致训练效果和转化效果不理想。

7、●分析数据粗略缺乏精细性：有些设备只有部分基础的数据分析工具，不能提供更精细的数据，由此也无法做精准的医疗。

8、●数据缺乏精确且全面性：另外一些康复设备虽然也能提供精准的数据，但是它们只是单一的物理治疗设备，系统只专注于特定的康复任务或身体部位，无法提供全身综合训练和分析。

9、●无法更深入的数据分析：尽管现有系统能提供实时数据，但深度学习和人工智能的应用于运动分析和预测性模型还有待进一步开发。

10、因此，有必要对现有技术予以改良以克服现有技术中的缺陷。

技术实现思路

1、本发明的目的在于提供一种基于多模态融合的康复系统，提供了一个互动性强、反馈即时的康复环境，有效促进了患者的康复进程，并为康复临床和运动分析提供了新的视角和方法。

2、本发明的目的是通过以下技术方案实现：

3、一种基于多模态融合的康复系统，包括：

4、基板，所述基板为一块承载板，基板上方设置有供患者站立的跑步平台，基板下方设置有六自由度平台；

5、跑步平台，所述跑步平台通过多个力传感器安装在基板上，每个所述力传感器均能够分别输出x、y、z的力分量，控制器基于力传感器获得的数据计算人体加速度；

6、六自由度平台，包括电机驱动的摆臂机构，所述基板在摆臂机构的带动下能x、y、z三个方向上进行平移和旋转，获得三个平移自由度和三个旋转自由度，总共具有六个自由度；

7、摄像头，所述摄像头朝向跑步平台并对跑步平台上的患者形成360度全覆盖；所述摄像头能捕捉患者身上的反光标记并将获得的图像信息传递给后端服务器，后端服务器获得人体的坐标并基于坐标计算获得人体运动数据；

8、后端服务器，所述后端服务器与力传感器和控制器电性连接；所述后端服务器根据力传感器获得的力分量获得跑步平台的受力情况、扭矩情况和压力中心点坐标，并基于受力情况、扭矩情况、压力中心点坐标和人体运动数据来调整六自由度平台的偏转角度；

9、控制器，所述控制器分别与跑步平台上的电机和六自由度平台上的电机电性连接，接收来自后端服务器的指令并调整六自由度平台的平移和旋转位置和跑步平台上的移动。

10、进一步来说，所述康复系统提供虚拟现实环境的环形银幕或者vr/ar头显。环形银幕或者vr/ar头显为患者打造了一个沉浸式的康复空间，增强康复训练的互动性和趣味性，激发了患者的参与动力。

11、后端服务器内置有动作捕捉系统，该动作捕捉系统通过摄像头能够捕捉到患者的步态参数、关节角度等信息，为康复专业人员提供详细的运动分析数据。

12、通过精确的运动捕捉和分析提高了康复评估的客观性和准确性。高度逼真且可控的训练环境不但提升了患者的康复效果，同时为研究人员提供了全面而精准的数据支持，有效弥补了传统康复手段的不足。

13、本发明中所述跑步平台为单履带跑步平台、双履带跑步平台或全方向跑步平台。

14、进一步来说，单履带跑步平台上具有移动平台，移动平台包括一条跑步履带，该跑步履带由独立的电机驱动。使用时，用户的双脚同时踩在该跑步履带上。单履带跑步平台上具有扶手，扶手上安装急停开关。通电状态下启动系统能带动跑步履带循环移动。上述电机与控制器连接，用以调整移动平台的速度。

15、进一步来说，双履带跑步平台上具有移动平台，移动平台包括两条独立的跑步履带，上述两条跑步履带均由独立的电机单独驱动。双履带跑步平台4上具有扶手，扶手上安装急停开关。通电状态下启动系统能带动跑步履带循环移动。上述两个电机与控制器连接，用以调整移动平台的速度。

16、双履带跑步平台实现对左右脚的分别控制，实现了：前向异频，后向异频，异向同频，同向同频等模式，以达到矫正患侧腿运动的目的。异频、异向的履带运动方式，能够更好的训练左右脚步速不一致的病人。

17、进一步来说，所述全方向跑步平台包括跑台框架，所述跑台框架上设置有电机驱动的纵向循环轨道，多个横向移动模块的两端固定在所述纵向循环轨道上并能跟随纵向循环轨道移动；所述横向移动模块的下方设置有至少一组传动轴组件，所述传动轴组件上设置有与其上方的横向循环轨道摩擦接触的全向轮，所述横向循环轨道通过与全向轮摩擦实现移动。

18、在一个实施例中，所述横向循环轨道的内侧面为柔性齿带结构，所述横向移动模块内枢轴连接有至少一个与柔性齿带结构啮合的传动齿轮，所述传动齿轮与全向轮上下对应并共同带动横向循环轨道移动。通过双向夹紧的方式更好的将全向轮的动能转化为横向循环轨道的移动。

19、进一步来说，所述全向轮包括轮毂以及设置在轮毂周围的若干个辊子，所述辊子可沿其自身轴线转动；所述辊子的轴线与轮毂的中心孔轴线在空间上呈90°分布。辊子与横向循环轨道接触摩擦，带动横向循环轨道的移动。

20、在这三种系统中，电机与控制器的连接不仅用于调节速度，还能通过六维力传感器(力传感器中的一种)或电机力矩模式进行精细调节，使移动平台能够根据用户跑步状态自适应的控制速度，或者根据系统设定的速度运行。这种高级的控制机制使得平台能够更好地适应各种不同用户的需求，特别是在医疗康复和专业运动训练方面具有显著优势。

21、在一个实施例中，所述六自由度平台包括固定板，所述固定板固定设置在基板的正下方；所述摆臂机构的上端枢轴连接在固定板上，所述摆臂机构在固定板上的交汇点以单独/聚合的形式形成交汇区，所述交汇区在固定板上呈“三角形”分布；所述摆臂机构包括驱动组件，所述驱动组件上枢轴连接有摆臂，所述固定板上固定设有定位块，曲柄组件的上端枢轴连接在定位块上，曲柄组件的下端枢轴连接在摆臂上。

22、进一步来说，所述曲柄组件包括曲柄，所述曲柄的上端设有轴承座，衔接件a的一端插入至轴承座内并枢轴连接在轴承座上，所述衔接件a的另一端设置有短轴a，衔接件b的一端铰接在短轴a上，所述衔接件b的另一端枢轴连接在定位块上；所述曲柄的下端设置有短轴b,衔接件c的一端铰接在短轴b上，所述衔接件c的另一端枢轴连接在摆臂上。

23、进一步来说，所述控制器采用单神经元自适应pid算法，公式为：

24、

25、在这个公式中，我们采用有监督hebb学习规则，其中，

26、wi(t)为t时刻，第i个权重系数

27、w1(t)＝w1(t-1)+αp[ar(t)-ac(t)]a(t)e1(t)                  (2)

28、w2(t)＝w2(t-1)+αi[ar(t)-ac(t)]a(t)e2(t)                   (3)

29、w3(t)＝w3(t-1)+αd[ar(t)-ac(t)]a(t)e3(t)                  (4)

30、ei(t)为t时刻计算的控制器第i个输入误差量

31、e1(t)＝ar(t)-ac(t)                              (5)

32、e2(t)＝e1(t)-e1(t-1)                            (6)

33、e3(t)＝e1(t)-2e1(t-1)+e1(t-2)                      (7)

34、上述各式中，

35、a(t)为t时刻计算的控制器输出量，即t时刻计算得到的人体加速度；

36、a(t-1)为t-1时刻计算的控制器输出量；

37、ar是控制器输入给定值，即为我们期望达到的加速度；ac为当前控制器的实际采样值，即由测力系统得到的加速度；

38、αp为比例项学习率；

39、αi为积分项学习率；

40、αd为微分项学习率；

41、k为比例系数，且k>0。

42、进一步来说，所述跑步平台为全方位跑步平台时，所述控制器计算人体加速度的方法如下：

43、通过力传感器获得x、y方向的力，以及人体的重量，计算x、y方向的加速度

44、ax＝fx/m         (8)

45、ay＝fy/m           (9)

46、由加速度，我们可以得到x、y方向的速度：

47、vx＝∫axdt+vx(t-1)，vx(t-1)为t-1时刻速度

48、vy＝∫aydt+vy(t-1)，vy(t-1)为t-1时刻速度

49、vx(t-1)，vy(t-1)初始值为0，其中vx、vy就是人体相对于康复平台的速度。

50、进一步来说，所述跑步平台为单履带跑步平台或双履带跑步平台时，所述控制器计算人体加速度的方法如下：

51、通过力传感器获得y方向的力，以及人体的重量，计算y方向的加速度

52、ay＝fy/m                 (10)

53、由此得到y方向的速度：

54、vy＝∫aydt+vy(t-1)，

55、vy(t-1)为t-1时刻速度

56、vy(t-1)初始值为0，其中vy就是人体相对于康复平台的速度。

57、在一个实施例中，所述后端服务器内置有混沌算法并采用混沌算法来控制六自由度平台的三个平移自由度和三个旋转自由度。

58、进一步来说，所述混沌算法公式为：

59、xi(t)＝bmax*u*xi(t-1)*(1-xi(t-1))#(11)

60、其中：

61、xi(t)为t时刻，第i个控制量的扰动值；

62、bmax是最大扰动值可根据病人的平衡能力逐级增加；

63、u是混沌系数，3.5699456<u≤4，u越大，混沌效应越大；

64、xi(t-1)的初始值分别为x1＝0.7，x2＝0.71，x3＝0.72，x4＝0.73，x5＝0.74，x6＝0.75。

65、在一个实施例中，所述跑步平台的受力情况、扭矩情况和压力中心点坐标采用多传感器耦合算法获得，包括在标定坐标系原点为跑步平台下表面的中心点的基础上，所述跑步平台受到的力和扭矩，采用如下计算公式：

66、

67、

68、

69、

70、

71、

72、其中：fx、fy、fz是跑步平台x、y、z方向的力；fxi、fyi、fzi为第i个力传感器的x、y、z方向的力；mx、my、mz为跑步平台中心点的x、y、z方向的扭矩；为第i力个传感器到跑步平台中心点y方向的距离向量；为第i个力传感器到跑步平台中心点x方向的距离向量；dz为跑步平台表面到力传感器上表面中心z方向的距离，即跑步平台的厚度。

73、进一步来说，所述跑步平台压力中心点坐标采用如下计算公式：

74、copx＝-my/fz          (18)。

75、所述康复系统采用的多模态融合算法步骤如下：

76、步骤1、数据采集：以摄像头为核心的动作捕捉系统捕获全身关节在三维空间中的移动轨迹，提供关节角度、速度、步态周期、步长、步频信息；通过力传感器为核心的测力平台记录在行走过程中脚与跑步平台接触时产生的反作用力，计算得到步态周期内压力中心，零阶点轨迹参数；

77、步骤2、数据预处理：采集的两种数据源的时间对齐，使得关节运动数据与反作用力数据在时间上是匹配的；然后采用低通滤波器清除数据中的噪音，保留用于分析的有效信号；最后使用归一化算法将不同传感器获取的数据转换到相同的尺度，消除由于传感器差异带来的影响；

78、归一化公式：

79、其中：x是原始数据，μ是均值，σ是标准差；

80、a.对于关节角度来说，x是一段时间内的角度值序列，归一化后得到

81、b.对于步频，步幅来说，x是一段时间内平均值，同样归一化后得到

82、对于cop来说，由于单个的cop并不能说明问题，我们采用一个步态周期内的cop面积作为特征，则可得到xc,归一化后得到

83、步骤3、特征提取：从动作捕捉数据中提取关节运动特征，如步行周期、步幅、关节运动范围、关节运动协调性等；从测力平台数据中提取步态力学特征，如支撑相的持续时间、推进力、载重分布、重心变化等；

84、由于关节角度曲线和步幅，步频以及cop面积数据的维度不同，我们需要使用不同的映射函数，使得他们能在相同的维度进行融合：

85、a.对于关节角度，我们可以从角度曲线中提取每一个步态周期内的统计特征，例如最大值、最小值、平均值、标准差等。

86、x髋max＝[max(x一个步态周期)]

87、x髋min＝[min(x一个步态周期)]

88、x髋μ＝[mean(x一个步态周期)]

89、x髋σ＝[aqrt((x一个步态周期-x髋μ)2)]

90、同理可得，x膝max,x膝min,x膝μ,x膝σ,x踝max,x踝min,x踝μ,x踝σ。

91、b.对于步频，步幅，cop面积，则作为单独的特征；

92、步骤4、数据融合：将提取的特征融合到一个多维特征空间中进行分类或回归分析；

93、在上述关节角度特征基础上加上步频、步幅、一个步态周期内cop面积组合成融合的特征集：

94、x＝(x髋max,x髋min,x髋μ,x髋σ,x膝max,x膝min,x膝μ,x膝σ,x踝max,x踝min,x踝μ,x踝σ)

95、步骤5、使用机器学习算法，对步态类型进行分类，用带标签的数据训练模型；使用训练好的机器学习模型对融合后的数据进行分析，识别出正常步态与异常步态的模式；根据模式识别结果，在医学专家的协助下做出诊断，例如判定是否为跛行、痉挛性步态等。

96、此时我们就可以对融合后的数据进行步态分类判断，这里使用mlp神经网络分类算法进行训练。

97、具体公式：

98、a.输入层到隐藏层

99、z＝wx+b,其中w是(m x n)的矩阵，b是m维偏置向量。

100、b.激活函数

101、a＝δ(z),δ为relu激活函数。

102、c.隐藏层到输出层

103、z2＝w2a+b2

104、d.输出成激活函数

105、

106、e.损失函数

107、其中y代表真实的分类值，代表预测分类值。

108、采用上述技术方案，具有以下有益效果：通过力传感器获得训练时的受力情况、摄像头捕捉训练时的人体运动数据，通过多模态融合算法将两者运动获得的数据融合、分析，并实时分析患者的运动表现，根据分析结果下达命令给控制器，控制器执行指令并调整康复系统的训练方案和难度训练患者，而后患者训练的数据又实时反馈给后端服务器再做下一个循环，形成闭环循环运作。

109、充分利用了虚拟现实和运动分析技术等技术的优势，为患者打造了一个沉浸式的康复空间，这一系统不仅增强了康复训练的互动性和趣味性，激发了患者的参与动力，还通过精确的运动捕捉和分析提高了康复评估的客观性和准确性。高度逼真且可控的训练环境不但提升了患者的康复效果，同时为研究人员提供了全面而精准的数据支持，有效弥补了传统康复手段的不足。