一种机器人训练方法、装置、系统、电子设备及存储介质与流程

本技术涉及机器人，特别是涉及一种机器人训练方法、装置、系统、电子设备及存储介质。

背景技术：

1、机器人在投入使用前，需要对机器人进行训练，以使得机器人能够准确完成指定的任务。目前，机器人训练主要是基于外骨骼设备或虚拟现实(virtual reality，vr)设备实现。然而，采用外骨骼设备训练机器人时，需要针对每种款式的机器人，为训练机器人的每个人员(即训练人员)定制相应的外骨骼设备，训练成本较高；采用vr设备训练机器人时，受网络影响，训练人员通过vr设备接收到机器人画面会出现延迟，这使得训练人员的视野受阻，训练机器人的精度下降。

技术实现思路

1、本技术实施例的目的在于提供一种机器人训练方法、装置、系统、电子设备及存储介质，以降低机器人的训练成本，提高机器人的训练精度。具体技术方案如下：

2、第一方面，本技术实施例提供了一种机器人训练方法，所述方法包括：

3、获取多个毫米波天线发射的第一信号和第二信号，所述第二信号包括所述第一信号的回波信号；

4、根据所述第一信号和所述第二信号，生成训练人员的三维图像，所述训练人员位于所述多个毫米波天线中至少部分毫米波天线的覆盖范围内；

5、对所述三维图像进行检测，得到所述训练人员的目标关键点的目标运动信息；

6、根据所述训练人员的关键点与机器人的关节点的关联关系，按照所述目标运动信息，控制所述目标关键点关联的目标关节点运动。

7、在一些实施例中，所述对所述三维图像进行检测，得到所述训练人员的目标关键点的目标运动信息的步骤，包括：

8、确定所述三维图像中目标关键点所在的第一区域；

9、在所述第一区域内搜索所述目标关键点，得到所述目标关键点的目标运动信息。

10、在一些实施例中，所述确定所述三维图像中目标关键点所在的第一区域的步骤，包括：

11、获取所述训练人员的二维图像；

12、识别所述二维图像中所述目标关键点所在的第二区域；

13、根据二维图像与三维图像之间的映射关系，确定所述三维图像中所述第二区域对应的第一区域。

14、在一些实施例中，所述确定所述三维图像中目标关键点所在的第一区域的步骤，包括：

15、获取所述目标关键点的历史运动信息；

16、根据所述历史运动信息，预测所述三维图像中所述目标关键点所在的第一区域。

17、在一些实施例中，所述三维图像包括本次获取的信号对应的第一三维图像、以及上一次获取的信号对应的第二三维图像；

18、所述对所述三维图像进行检测，得到所述训练人员的目标关键点的目标运动信息的步骤，包括：

19、对比所述第一三维图像和第二三维图像中所述训练人员的目标关键点，得到所述目标关键点的目标运动信息。

20、在一些实施例中，所述对所述三维图像进行检测，得到所述训练人员的目标关键点的目标运动信息的步骤，包括：

21、获取所述三维图像中所述训练人员的目标关键点的坐标，作为所述训练人员的目标关键点的目标运动信息。

22、在一些实施例中，所述根据训练人员的关键点与机器人的关节点的关联关系，按照所述目标运动信息，控制所述目标关键点关联的目标关节点运动的步骤，包括：

23、根据训练人员的关键点与机器人的关节点的关联关系，确定多个机器人上所述目标关键点关联的目标关节点；

24、按照所述目标运动信息，控制每个机器人上的目标关节点运动。

25、在一些实施例中，所述目标关节点包括所述机器人上具有旋转自由度的各个点；所述目标关键点包括所述训练人员的骨骼点和/或根据多个关联骨骼点得到的点。

26、第二方面，本技术实施例提供了一种机器人训练装置，所述装置包括：

27、获取模块，用于获取多个毫米波天线发射的第一信号和第二信号，所述第二信号包括所述第一信号的回波信号；

28、生成模块，用于根据所述第一信号和所述第二信号，生成训练人员的三维图像，所述训练人员位于所述多个毫米波天线中至少部分毫米波天线的覆盖范围内；

29、检测模块，用于对所述三维图像进行检测，得到所述训练人员的目标关键点的目标运动信息；

30、控制模块，用于根据训练人员的关键点与机器人的关节点的关联关系，按照所述目标运动信息，控制所述目标关键点关联的目标关节点运动。

31、在一些实施例中，所述检测模块，具体用于：

32、确定所述三维图像中目标关键点所在的第一区域；

33、在所述第一区域内搜索所述目标关键点，得到所述目标关键点的目标运动信息。

34、在一些实施例中，所述检测模块，具体用于：

35、获取所述训练人员的二维图像；

36、识别所述二维图像中所述目标关键点所在的第二区域；

37、根据二维图像与三维图像之间的映射关系，确定所述三维图像中所述第二区域对应的第一区域。

38、在一些实施例中，所述检测模块，具体用于：

39、获取所述目标关键点的历史运动信息；

40、根据所述历史运动信息，预测所述三维图像中所述目标关键点所在的第一区域。

41、在一些实施例中，所述三维图像包括本次获取的信号对应的第一三维图像、以及上一次获取的信号对应的第二三维图像；

42、所述检测模块，具体用于对比所述第一三维图像和第二三维图像中所述训练人员的目标关键点，得到所述目标关键点的目标运动信息。

43、在一些实施例中，所述检测模块，具体用于获取所述三维图像中所述训练人员的目标关键点的坐标，作为所述训练人员的目标关键点的目标运动信息。

44、在一些实施例中，所述控制模块，具体用于：

45、根据训练人员的关键点与机器人的关节点的关联关系，确定多个机器人上所述目标关键点关联的目标关节点；

46、按照所述目标运动信息，控制每个机器人上的目标关节点运动。

47、在一些实施例中，所述目标关节点包括所述机器人上具有旋转自由度的各个点；所述目标关键点包括所述训练人员的骨骼点和/或根据多个关联骨骼点得到的点。

48、第三方面，本技术实施例提供了一种机器人训练系统，包括多个毫米波天线和电子设备；

49、所述多个毫米波天线，用于发射第一信号，并接收第二信号，所述第二信号包括所述第一信号的回波信号；向所述电子设备发送所述第一信号和所述第二信号；

50、所述电子设备，用于根据所述第一信号和所述第二信号，生成训练人员的三维图像，所述训练人员位于所述多个毫米波天线中至少部分毫米波天线的覆盖范围内；对所述三维图像进行检测，得到所述训练人员的目标关键点的目标运动信息；根据训练人员的关键点与机器人的关节点的关联关系，按照所述目标运动信息，控制所述目标关键点关联的目标关节点运动。

51、在一些实施例中，所述多个毫米波天线位于所述训练人员的活动区域上方，且所述多个毫米波天线在所述活动区域的平面上的投影，位于所述活动区域的边界处。

52、在一些实施例中，所述电子设备，具体用于：确定所述三维图像中目标关键点所在的第一区域；在所述第一区域内搜索所述目标关键点，得到所述目标关键点的目标运动信息。

53、在一些实施例中，所述系统还包括相机；

54、所述相机，用于采集所述训练人员的二维图像；

55、所述电子设备，具体用于：获取所述相机采集的所述训练人员的二维图像；识别所述二维图像中所述目标关键点所在的第二区域；根据二维图像与三维图像之间的映射关系，确定所述三维图像中所述第二区域对应的第一区域。

56、在一些实施例中，所述相机位于所述训练人员的活动区域上方，且所述相机在所述活动区域的平面上的投影，位于所述活动区域的边界处。

57、在一些实施例中，所述电子设备，具体用于：获取所述目标关键点的历史运动信息；根据所述历史运动信息，预测所述三维图像中所述目标关键点所在的第一区域。

58、在一些实施例中，所述三维图像包括本次获取的信号对应的第一三维图像、以及上一次获取的信号对应的第二三维图像；

59、所述电子设备，具体用于：对比所述第一三维图像和第二三维图像中所述训练人员的目标关键点，得到所述目标关键点的目标运动信息。

60、在一些实施例中，所述电子设备，具体用于：获取所述三维图像中所述训练人员的目标关键点的坐标，作为所述训练人员的目标关键点的目标运动信息。

61、在一些实施例中，所述目标关节点包括所述机器人上具有旋转自由度的各个点；所述目标关键点包括所述训练人员的骨骼点和/或根据多个关联骨骼点得到的点。

62、第四方面，本技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

63、存储器，用于存放计算机程序；

64、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的机器人训练方法。

65、第五方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的机器人训练方法。

66、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的机器人训练方法。

67、本技术实施例有益效果：

68、本技术实施例提供的技术方案中，训练人员的关键点与机器人的关节点关联。训练人员位于多个毫米波天线的覆盖范围内，采用毫米波天线发射的信号，生成训练人员的三维图像，进而从该三维图像中获得目标关键点的目标运动信息，以此来控制目标关节点运动，完成对机器人的训练。本技术实施例中，训练人员的关键点直接与机器人的关节点关联，只要训练人员位于毫米波天线的覆盖范围内，就可以采集到相应的关键点，完成对机器人的训练，无需专门的定制设备，降低了机器人的训练成本。此外，毫米波天线的信号的延迟低，且准确度较高，训练人员在训练机器人时不会存在视野受阻的情况，提高了机器人的训练精度。

69、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。