人体步态预测方法、装置、电子设备及存储介质

本发明涉及深度学习，尤其是涉及一种人体步态预测方法、装置、电子设备及存储介质。

背景技术：

1、基于医用机器人和外骨骼技术的持续进步，行走助力型外骨骼逐渐成为研究热点，并取得了不断的技术进步和应用拓展。综合医疗康复领域的现状，下肢助力外骨骼(一种行走助力型外骨骼)的发展潜力和需求主要存在于康复辅助机器的弱人机交互能力。利用下肢外骨骼机器人辅助患者进行康复训练相比于传统人工辅助康复治疗的方案更加的高效。但是，当进行高速度、长时间的复杂环境行走时，机器人简单的执行助力任务，依赖患者手动切换助力模式，易出现助力时机不准甚至助力模式错误的情况，导致患者的二次损伤。

2、在过去，外骨骼主要通过机械控制和手动操纵来实现人机交互。受限于机械性能和人的手动操作能力，这种交互方式无法实现更加智能化和自然化的交互效果。随着传感器技术、机器人控制和人工智能等技术的不断发展，外骨骼的人机交互方式不断丰富，逐渐令使用者对于外骨骼的控制达到智能化、实时化、灵活化。

3、近年来，基于运动生理信号的高精度步态识别也逐渐应用于外骨骼的模式控制过程中。然而目前技术上存在两个挑战：1.复杂地形中的步态识别效果不佳；2.对步态的识别缺乏提前度，导致外骨骼机构助力策略切换不及时。

技术实现思路

1、本发明的目的在于提供一种人体步态预测方法、装置、电子设备及存储介质，以实现高准确率的步态预测，从而提高步态识别的实时性，实现外骨骼机构助力策略的及时切换。

2、第一方面，本发明实施例提供了一种人体步态预测方法，包括：

3、获取人体下肢的当前表面肌电信号，当前表面肌电信号包括多个通道的多个采样时间点对应的二维时序信号，每个通道对应人体下肢的一个信号采集位置；

4、对当前表面肌电信号对应的当前信号窗进行多个维度的肌电特征学习与步态模式预测，得到当前预测结果；其中，多个维度包括时域、空间域和频域中的多种；

5、根据当前预测结果和预先存储的多个相邻信号窗对应的相邻预测结果，确定目标步态预测结果；其中，多个相邻信号窗为距离当前信号窗最近的多个信号窗。

6、进一步地，对当前表面肌电信号对应的当前信号窗进行多个维度的肌电特征学习与步态模式预测，得到当前预测结果，包括：

7、根据当前信号窗和训练后的基于多维特征学习的步态预测模型，确定当前预测结果；其中，基于多维特征学习的步态预测模型由空间卷积神经网络模块、时域/频域卷积神经网络模块、双向长短时记忆网络模块和全连接模块组合构成，空间卷积神经网络模块用于进行空间域信息的学习，时域/频域卷积神经网络模块用于对时序信息进行时域信息的学习，以及对频谱信息进行频域信息的学习。

8、进一步地，空间卷积神经网络模块包括第一空间cnn模块和第二空间cnn模块，时域/频域卷积神经网络模块包括第一时域/频域cnn模块、第二时域/频域cnn模块、第三时域/频域cnn模块和第四时域/频域cnn模块，双向长短时记忆网络模块包括第一bilstm模块、第二bilstm模块、第三bilstm模块和第四bilstm模块；基于多维特征学习的步态预测模型包括空-时分支、时域分支、空-频分支、频域分支和全连接模块，空-时分支包括顺次连接的第一空间cnn模块、第一时域/频域cnn模块和第一bilstm模块，时域分支包括顺次连接的第二时域/频域cnn模块和第二bilstm模块，空-频分支包括顺次连接的第二空间cnn模块、第三时域/频域cnn模块和第三bilstm模块，频域分支包括顺次连接的第四时域/频域cnn模块和第四bilstm模块，第一bilstm模块的输出端、第二bilstm模块的输出端、第三bilstm模块的输出端和第四bilstm模块的输出端均与全连接模块的输入端连接；

9、根据当前信号窗和训练后的基于多维特征学习的步态预测模型，确定当前预测结果，包括：

10、将当前信号窗分别输入至空-时分支和时域分支，并对当前信号窗进行傅里叶变换后分别输入至空-频分支和频域分支，得到基于多维特征学习的步态预测模型中全连接模块输出的当前预测结果。

11、进一步地，空间卷积神经网络模块包括第一卷积层、第一批量归一化层和维度混洗层；在空间卷积神经网络模块中，输入数据通过第一卷积层的卷积操作和第一批量归一化层的规范化处理后，通过修正线性单元激活函数进行非线性变换，最后通过维度混洗层进行维度重排后输出；

12、时域/频域卷积神经网络模块包括顺次连接的第二卷积层、第二批量归一化层和三个卷积单元，卷积单元包括顺次连接的第三卷积层、第三批量归一化层和最大池化层；在时域/频域卷积神经网络模块中，输入数据通过第二卷积层的卷积操作和第二批量归一化层的规范化处理后，经过三个卷积单元处理后输出；

13、双向长短时记忆网络模块包括顺次连接的双向长短时记忆网络、展平层和第一全连接层；在双向长短时记忆网络模块中，输入数据通过双向长短时记忆网络的处理和展平层的展平操作后，通过第一全连接层和修正线性单元激活函数进行非线性变换后输出；

14、全连接模块包括顺次连接的第二全连接层和输出层；在全连接模块中，输入数据通过第二全连接层的线性变换后，通过softmax函数进行归一化处理，并通过输出层输出。

15、进一步地，目标步态预测结果包括当前预测步态模式；根据当前预测结果和预先存储的多个相邻信号窗对应的相邻预测结果，确定目标步态预测结果，包括：

16、按照时间顺序对当前预测结果和多个相邻信号窗对应的相邻预测结果进行整合，得到当前时序预测结果；

17、将当前时序预测结果输入至训练后的自适应投票模型，得到自适应投票模型输出的当前步态分类结果；其中，自适应投票模型用于通过全连接层进行步态分类；

18、将当前步态分类结果中概率值最大的步态模式，确定为当前预测步态模式。

19、进一步地，目标步态预测结果还包括预测步态切换模式；将当前步态分类结果中概率值最大的步态模式，确定为当前预测步态模式之后，人体步态预测方法还包括：

20、获取最近预测得到的n+1个历史预测步态模式，并按照预测时间由近到远的顺序进行排序；其中，n为预设的正整数；

21、基于各个历史预测步态模式，判断当前预测步态模式是否符合预设的步态切换要求；其中，步态切换要求包括当前预测步态模式与前n个历史预测步态模式均相同，且当前预测步态模式与第n+1个历史预测步态模式不同；

22、如果符合，将第n+1个历史预测步态模式到当前预测步态模式的步态切换模式确定为预测步态切换模式。

23、进一步地，获取人体下肢的当前表面肌电信号，包括：

24、通过设置在人体的单侧下肢的多个贴片电极，采集得到当前表面肌电信号；其中，通过对同一肌肉上相邻两个贴片电极的信号进行差分运算，得到一个通道的表面肌电信号。

25、第二方面，本发明实施例还提供了一种人体步态预测装置，包括：

26、获取模块，用于获取人体下肢的当前表面肌电信号，当前表面肌电信号包括多个通道的多个采样时间点对应的二维时序信号，每个通道对应人体下肢的一个信号采集位置；

27、预测模块，用于对当前表面肌电信号对应的当前信号窗进行多个维度的肌电特征学习与步态模式预测，得到当前预测结果；其中，多个维度包括时域、空间域和频域中的多种；

28、确定模块，用于根据当前预测结果和预先存储的多个相邻信号窗对应的相邻预测结果，确定目标步态预测结果；其中，多个相邻信号窗为距离当前信号窗最近的多个信号窗。

29、第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面人体步态预测方法。

30、第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行第一方面人体步态预测方法。

31、本发明实施例提供的人体步态预测方法、装置、电子设备及存储介质，能够获取人体下肢的当前表面肌电信号，当前表面肌电信号包括多个通道的多个采样时间点对应的二维时序信号，每个通道对应人体下肢的一个信号采集位置；然后对当前表面肌电信号对应的当前信号窗进行多个维度的肌电特征学习与步态模式预测，得到当前预测结果；其中，多个维度包括时域、空间域和频域中的多种；进而根据当前预测结果和预先存储的多个相邻信号窗对应的相邻预测结果，确定目标步态预测结果；其中，多个相邻信号窗为距离当前信号窗最近的多个信号窗。这样通过多维度的肌电特征学习，能够充分挖掘表面肌电信号与步态模式之间的潜在映射关系，通过结合多个相邻信号窗对应的相邻预测结果，能够提升预测结果的稳定性和可靠性，因此应用本发明实施例提供的人体步态预测方法、装置、电子设备及存储介质，能够实现高准确率的步态预测，从而提高步态识别的实时性，实现外骨骼机构助力策略的及时切换。