一种人机技能传递示教信息特征融合处理方法及系统

本发明涉及机器人技能传递，具体涉及一种人机技能传递示教信息特征融合处理方法及系统。

背景技术：

1、随着技术的进步，机械臂应用逐渐从单一环境中缺乏交互、重复性强的任务转变为在复杂环境中的多样化交互任务。在复杂环境下，传统的示教或编程方法在解决机械臂末端轨迹和机械臂与环境交互策略的生成问题上都存在较大的局限性。人类可以在日常生活中轻松完成各类操作任务，故采用技能传递的方法，将人的技能传递给机械臂，可以使得机械臂具有一定的控制策略生成能力，进而提升机械臂应用的智能化程度。

2、人-机器人技能传递的本质是操作者将自己的技能进行编码后传递给机器人，使得其具有自主完成任务的能力。技能传递一般包括示教、学习、复现三个阶段。在示教阶段，操作者通过各种手段演示如何完成任务，系统收集操作者的示教数据；在学习阶段，系统尝试建立示教数据与任务的映射关系；在复现阶段，系统通过已经建立的映射关系复现示教者的技能，生成对机器人的控制策略，进而实现对机器人的自主控制。

3、技能传递的效果与示教阶段收集的示教数据存在紧密联系。理论上讲，收集的示教数据越多，则对操作者技能的描述越全面。故随着技能传递的发展，示教从传统的只记录操作者操作轨迹的、单一模态示教逐渐转变为融合操作者运动轨迹、生物信号、力信号等多模态数据的多模态示教。但数据的维度过高会导致在学习阶段建立示教数据与任务的映射关系困难。

技术实现思路

1、为了解决上述技术问题，本发明主要针对现有技术存在数据的维度过高会导致在学习阶段建立示教数据与任务的映射关系困难的问题。本发明提供一种人机技能传递示教信息特征融合处理方法及系统，该方法利用变分自编码器对示教数据进行降维，变分自编码器是无监督机器学习方法，不需要人为对数据进行标注，降低了时间成本。

2、本发明第一个目的是提供一种人机技能传递示教信息特征融合处理方法，包括：

3、获取多模态示教数据；

4、建立变分自编码器，所述变分自编码器由编码器和解码器组成；

5、根据变分自编码器生成结果与输入数据的相似程度，以及编码器产生的隐向量分布与标准正态分布的相似程度设计变分自编码器的损失函数；

6、基于损失函数，根据多模态示教数据对变分自编码器进行训练，直至收敛，获取变分自编码器中的编码器；

7、根据变分自编码器中的编码器对多模态示教数据进行融合与降维。

8、优选的，变分自编码器训练过程中，包括：

9、将多模态示教数据首先输入编码器，编码得到数据的分布，随后从分布中进行采样，得到数据的特征向量，此特征向量被称为隐向量，最后隐向量被输入解码器中进行升维，恢复为与原始向量维度相同的数据，被称为生成数据。

10、优选的，所述编码器和解码器均通过全连接层、卷积层与非线性激活函数层的堆叠实现。

11、优选的，所述多模态示教数据包括肌电数据，力数据与轨迹数据。

12、优选的，所述肌电数据指的是操作者将肌电传感器佩戴于前臂，肌电传感器共有多个传感器，收集多通道肌电信号；

13、所述力数据指的是操作者握持带有六维力传感器的示教器，六维力传感器收集六维力数据；

14、所述轨迹数据指的是示教器末端轨迹数据。

15、优选的，所述肌电数据在使用之前，将采集的肌电信号进行快速傅里叶变换，得到信号的单边振幅谱，再采用二阶巴特沃兹滤波器对肌电信号进行两次滤波处理；所述力数据和轨迹数据在使用之前，采用低通滤波器对采集的六维力数据和末端轨迹数据进行滤波处理。

16、优选的，根据变分自编码器中的编码器对多模态示教数据进行融合与降维，之后还包括：将融合与降维的数据代替原始示教数据，建立与任务的映射关系，进行对技能的建模。

17、优选的，变分自编码器的损失函数是以生成结果和输入数据的均方误差表示。

18、优选的，变分自编码器的损失函数是以隐向量分布与标准正态分布的kl散度表示。

19、本发明第二个目的是提供一种人机技能传递示教信息特征融合处理系统，其特征在于，包括：

20、数据采集模块，用于获取多模态示教数据；

21、数据处理模块，用于建立变分自编码器，所述变分自编码器由编码器和解码器组成；根据变分自编码器生成结果与输入数据的相似程度，以及编码器产生的隐向量分布与标准正态分布的相似程度设计变分自编码器的损失函数；基于损失函数，根据多模态示教数据对变分自编码器进行训练，直至收敛，获取变分自编码器中的编码器；

22、数据融合模块，用于根据变分自编码器中的编码器对多模态示教数据进行融合与降维。

23、本发明至少具有如下有益效果：

24、本发明提供了一种人机技能传递示教信息特征融合处理方法及系统，该方法通过训练变分自编码器，利用其对示教数据进行前向推理以实现对高维示教数据进行融合降维的目的。该方法与常规技能传递方法在以下方面存在优势：1）对多模态示教信息进行融合降维，降低了数据量，可以提升后续对技能学习建模的效果；2）本方法利用变分自编码器对示教数据进行降维，变分自编码器是无监督机器学习方法，不需要人为对数据进行标注，降低了时间成本。

技术特征：

1.一种人机技能传递示教信息特征融合处理方法，其特征在于，包括：

2.根据权利要求1所述的人机技能传递示教信息特征融合处理方法，其特征在于，变分自编码器训练过程中，包括：

3.根据权利要求1所述的人机技能传递示教信息特征融合处理方法，其特征在于，所述编码器和解码器均通过全连接层、卷积层与非线性激活函数层的堆叠实现。

4.根据权利要求1所述的人机技能传递示教信息特征融合处理方法，其特征在于，所述多模态示教数据包括肌电数据，力数据与轨迹数据。

5.根据权利要求4所述的人机技能传递示教信息特征融合处理方法，其特征在于，所述肌电数据指的是操作者将肌电传感器佩戴于前臂，肌电传感器共有多个传感器，收集多通道肌电信号；

6.根据权利要求5所述的人机技能传递示教信息特征融合处理方法，其特征在于，所述肌电数据在使用之前，将采集的肌电信号进行快速傅里叶变换，得到信号的单边振幅谱，再采用二阶巴特沃兹滤波器对肌电信号进行两次滤波处理；所述力数据和轨迹数据在使用之前，采用低通滤波器对采集的六维力数据和末端轨迹数据进行滤波处理。

7.根据权利要求1所述的人机技能传递示教信息特征融合处理方法，其特征在于，根据变分自编码器中的编码器对多模态示教数据进行融合与降维，之后还包括：将融合与降维的数据代替原始示教数据，建立与任务的映射关系，进行对技能的建模。

8.根据权利要求1所述的人机技能传递示教信息特征融合处理方法，其特征在于，变分自编码器的损失函数是以生成结果与输入数据的均方误差度量。

9.根据权利要求1所述的人机技能传递示教信息特征融合处理方法，其特征在于，变分自编码器的损失函数是以编码器产生的隐向量分布与标准正态分布的kl散度度量。

10.一种人机技能传递示教信息特征融合处理系统，其特征在于，包括：

技术总结本发明涉及机器人技能传递技术领域，具体涉及一种人机技能传递示教信息特征融合处理方法及系统，该方法包括获取多模态示教数据；建立变分自编码器，所述变分自编码器由编码器和解码器组成；基于损失函数，根据多模态示教数据对变分自编码器进行训练，直至收敛，获取变分自编码器中的编码器；根据变分自编码器中的编码器对多模态示教数据进行融合与降维。本发明利用变分自编码器对示教数据进行降维，变分自编码器是无监督机器学习方法，不需要人为对数据进行标注，降低了时间成本。技术研发人员：常海涛,李霖杰,黄攀峰,刘正雄,马志强,刘星受保护的技术使用者：西北工业大学技术研发日：技术公布日：2024/8/1