机械臂的控制方法及装置、电子设备及存储介质与流程

本发明涉及机械臂领域，具体而言，涉及一种机械臂的控制方法、一种机械臂的控制装置、一种电子设备及一种存储介质。

背景技术：

1、随着物联网的发展，机械臂行业将受到更大的影响，这一技术可以有效降低机器设备的运行成本，大大降低企业的投资风险，提升企业的效率，具备很大的市场潜力和发展前景。因此，如何利用机械臂对港口码头的集装箱进行装卸是亟需解决的技术问题。

技术实现思路

1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

2、为此，本发明的第一个方面提出了一种机械臂的控制方法。

3、本发明的第二个方面提出了一种机械臂的控制装置。

4、本发明的第三个方面提出了一种电子设备。

5、本发明的第四个方面提出了一种存储介质。

6、有鉴于此，根据本发明的第一个方面，提出了一种机械臂的控制方法，其中，机械臂包括抓取装置、第一摄像装置以及第二摄像装置；机械臂的控制方法包括：获取第二摄像装置拍摄的第一图像信息；根据第一图像信息确定集装箱的角点的第一坐标信息，其中角点位于集装箱的顶部；根据第一坐标信息控制抓取装置移动至集装箱的顶部；获取第一摄像装置拍摄的第二图像信息；根据第二图像信息确定角点的第二坐标信息；根据第二坐标信息控制抓取装置对集装箱进行抓取；获取目标区域的第三坐标信息；根据第三坐标信息控制机械臂将集装箱移动至目标区域。

7、本发明提供的机械臂的控制方法，其中，机械臂包括抓取装置，抓取装置能够对集装箱进行抓取，具体地，抓取装置可以为4个抓手。机械臂还包括第一摄像装置，第一摄像装置设置在抓取装置上，具体地，第一摄像装置可以为高清相机，其可以设在抓手的端部，可以垂直的拍摄地面。进一步地，机械臂还包括第二摄像装置，其设置在机械臂的侧边。机械臂的控制方法包括：首先获取第二摄像装置拍摄的第一图像信息，由于第二摄像装置位于机械臂的侧边，因此第二摄像装置所拍摄的图像信息为集装箱的整体图像，即第一图像信息为集装箱的整体图像信息。然后根据得到的第一图像信息确定集装箱的角点的第一坐标信息，其中，该角点指的是位于集装箱顶部的角度，也就是说，在得到第一图像信息后，通过对第一图像信息进行处理分析，从而分析出集装箱的顶部的四个角点的第一坐标信息，并且由于第一图像信息为集装箱的整体图像，因此得到的角点的第一坐标信息为粗略的坐标信息。进一步地，在得到第一坐标信息后，根据第一坐标信息控制抓取装置按照第一坐标信息进行移动，从而将抓取装置移动至集装箱的顶部，进而方便后续对集装箱进行抓取。进一步地，获取第一摄像装置拍摄的第二图像信息，第一摄像装置位于抓取装置的端部，并且由于抓取装置位于集装箱的顶部，因此第二图像信息为集装箱的顶部的图像信息，然后对第二图像信息进行分析处理，从而确定出角点的第二坐标信息，由于第二图像信息为集装箱的顶部的图像信息，其可以类似与集装箱的俯视图，因此此时得到角点的第二坐标信息为精细的坐标信息，然后根据第二坐标信息控制抓取装置开始抓取集装箱。进一步地，还需要获取目标区域的第三坐标信息，目标区域指的是集装箱被抓取后放置的区域，其可以是用户设置的，也是可以机械臂自动划分的。最后根据第三坐标信息控制机械臂将集装箱放置到目标区域，从而实现了利用机械臂对港口码头的集装箱进行装卸的技术效果，并且本发明所提供的机械臂控制方法通过第一图像信息和第二图像信息确定角点的坐标信息，然后根据得到的坐标信息控制机械臂执行对应的集装箱装卸的工作，从而使得装卸作业更加精准、效率更高以及智能化程度更高。

8、根据本发明的上述机械臂的控制方法，还可以具有以下技术特征：

9、在一些技术方案中，可选地，机械臂还包括压力传感器；根据第二坐标信息控制抓取装置对集装箱进行抓取的步骤，包括：根据第二坐标信息控制抓取装置移动至集装箱的角点；获取压力传感器的压力值；基于压力值达到预设压力阈值时，控制抓取装置对集装箱进行抓取。

10、在该技术方案中，机械臂还包括压力传感器，压力传感器位于抓取装置内，具体地，当抓取装置为抓手时，压力传感器内嵌在抓手的侧边。其中，根据第二坐标信息控制抓取装置对集装箱进行抓取的步骤，包括：首先，根据第二坐标信息控制抓取装置移动至集装箱的角点，然后由于压力传感器设置在抓取装置内，因此获取压力传感器输出的压力值，当压力值达到预设压力阈值时，控制抓取装置开始抓取集装箱。其中，预设阈值可以由确保安全抓取满载集装箱最大重量确定。本发明通过在压力值达到预设阈值时才开始抓取集装箱，从而确保了机械臂在装卸集装箱的过程中的安全性。

11、在一些技术方案中，可选地，根据第一图像信息确定集装箱的角点的第一坐标信息的步骤，包括：获取角点检测模型；根据第一图像信息和角点检测模型确定集装箱的角点的第一坐标信息。

12、在该技术方案中，根据第一图像信息确定集装箱的角点的第一坐标信息的步骤，包括：首先获取角点检测模型，角点检测模型用于检测定位集装箱4个顶部角点坐标信息，角点检测模型是训练好的神经网络模型，其是由神经网络模型和大量标注集装箱角点数据进行训练获得。进一步地，在得角点检测模型后，将得到第一图像信息输入角点检测模型中，从而最终得到了角点的第一坐标信息。进一步地，在根据第二图像信息确定角点的第二坐标信息的过程中也是首先获取角点检测模型，然后将第二图像输入至角点检测模型，从而得到的第二坐标信息。通过将机械臂与角点检测模型进行结合，从而使得作业更加精准。

13、在一些技术方案中，可选地，机械臂的控制方法还包括：获取货号识别模型；根据第一图像信息和货号识别模型确定集装箱的货号；根据角点的第一坐标信息确定集装箱的第四坐标信息；对集装箱的货号、第四坐标信息以及第三坐标信息进行记录。

14、在该技术方案中，机械臂的控制方法还包括：获取货号识别模型，货号识别模型是通过收集标注大量汉字、英文、数字以及符号等数据对神经网络模型进行训练获得，货号识别模型能够对第一图像信息中的集装箱的货号进行识别，具体地，可以将第一图像信息输入至货号识别模型中，从而得到了被抓取的集装箱的货号。进一步地，根据角点的第一坐标信息确定集装箱的第四坐标信息，通过对第一坐标信息进行计算从而得到了集装箱在未被抓取前的位置。最后对集装箱的货号、第四坐标信息以及第三坐标信息进行记录，即对集装箱的货号、未被抓取前的位置以及抓取后放置的位置进行存储。通过对集装箱的货号、未被抓取前的位置以及抓取后放置的位置进行存储从而方便了后续的查询。

15、根据本发明的第二个方面，提出了一种机械臂的控制装置，机械臂包括抓取装置、第一摄像装置以及第二摄像装置；机械臂的控制装置包括：第一获取模块，第一获取模块用于获取第二摄像装置拍摄的第一图像信息；第一确定模块，第一确定模块用于根据第一图像信息确定集装箱的角点的第一坐标信息，其中角点位于集装箱的顶部；第一控制模块，第一控制模块用于根据第一坐标信息控制抓取装置移动至集装箱的顶部；第二获取模块，第二获取模块用于获取第一摄像装置拍摄的第二图像信息；第二确定模块，第二确定模块用于根据第二图像信息确定集装箱的角点的第二坐标信息；第二控制模块，第二控制模块用于根据第二坐标信息控制抓取装置对集装箱进行抓取；第三获取模块，第三获取模块用于获取目标区域的第三坐标信息；第三控制模块，第三控制模块用于根据第三坐标信息控制机械臂将集装箱移动至目标区域。

16、本发明提供的机械臂控制装置，其中，机械臂包括抓取装置，抓取装置能够对集装箱进行抓取，具体地，抓取装置可以为4个抓手。机械臂还包括第一摄像装置，第一摄像装置设置在抓取装置上，具体地，第一摄像装置可以为高清相机，其可以设在抓手的端部，可以垂直的拍摄地面。进一步地，机械臂还包括第二摄像装置，其设置在机械臂的侧边。机械臂的控制装置主要包括：第一获取模块、第一确定模块、第一控制模块、第二获取模块、第二确定模块、第二控制模块、第三获取模块以及第三控制模块。其中，第一获取模块首先获取第二摄像装置拍摄的第一图像信息，由于第二摄像装置位于机械臂的侧边，因此第二摄像装置所拍摄的图像信息为集装箱的整体图像，即第一图像信息为集装箱的整体图像信息。然后第一确定模块根据得到的第一图像信息确定集装箱的角点的第一坐标信息，其中，该角点指的是位于集装箱顶部的角度，也就是说，在得到第一图像信息后，通过对第一图像信息进行处理分析，从而分析出集装箱的顶部的四个角点的第一坐标信息，并且由于第一图像信息为集装箱的整体图像，因此得到的角点的第一坐标信息为粗略的坐标信息。进一步地，在得到第一坐标信息后，第一控制模块根据第一坐标信息控制抓取装置按照第一坐标信息进行移动，从而将抓取装置移动至集装箱的顶部，进而方便后续对集装箱进行抓取。进一步地，第二获取模块获取第一摄像装置拍摄的第二图像信息，第一摄像装置位于抓取装置的端部，并且由于抓取装置位于集装箱的顶部，因此第二图像信息为集装箱的顶部的图像信息，然后对第二图像信息进行分析处理，从而确定出角点的第二坐标信息，由于第二图像信息为集装箱的顶部的图像信息，其可以类似与集装箱的俯视图，因此此时得到角点的第二坐标信息为精细的坐标信息，然后第二控制模块根据第二坐标信息控制抓取装置开始抓取集装箱。进一步地，第三获取模块还需要获取目标区域的第三坐标信息，目标区域指的是集装箱被抓取后放置的区域，其可以是用户设置的，也是可以机械臂自动划分的。最后第三控制模块根据第三坐标信息控制机械臂将集装箱放置到目标区域，从而实现了利用机械臂对港口码头的集装箱进行装卸的技术效果，并且本发明所提供的机械臂控制方法通过第一图像信息和第二图像信息确定角点的坐标信息，然后根据得到的坐标信息控制机械臂执行对应的集装箱装卸的工作，从而使得装卸作业更加精准、效率更高以及智能化程度更高。

17、在一些技术方案中，可选地，机械臂还包括压力传感器；第二控制模块包括：第四控制模块，第四控制模块用于根据第二坐标信息控制抓取装置移动至集装箱的角点；第四获取模块，第四获取模块用于获取压力传感器的压力值；第五控制模块，第五控制模块用于基于压力值达到预设压力阈值时，控制抓取装置对集装箱进行抓取。

18、在该技术方案中，机械臂还包括压力传感器，压力传感器位于抓取装置内，具体地，当抓取装置为抓手时，压力传感器内嵌在抓手的侧边。其中，第二控制模块包括：第四控制模块、第四获取模块以及第五控制模块。具体地，第四控制模块首先根据第二坐标信息控制抓取装置移动至集装箱的角点，然后由于压力传感器设置在抓取装置内，因此第四获取模块获取压力传感器输出的压力值，第五控制模块用于当压力值达到预设压力阈值时，控制抓取装置开始抓取集装箱。其中，预设阈值可以由确保安全抓取满载集装箱最大重量确定。本发明通过在压力值达到预设阈值时才开始抓取集装箱，从而确保了机械臂在装卸集装箱的过程中的安全性。

19、在一些技术方案中，可选地，第一确定模块包括：第五获取模块，第五获取模块用于获取角点检测模型；第三确定模块，第三确定模块用于根据第一图像信息和角点检测模型确定集装箱的角点的第一坐标信息。

20、在该技术方案中，第一确定模块包括：第五获取模块以及第三确定模块。其中，第五获取模块首先获取角点检测模型，角点检测模型用于检测定位集装箱4个顶部角点坐标信息，角点检测模型是训练好的神经网络模型，其是由神经网络模型和大量标注集装箱角点数据进行训练获得。进一步地，第三确定模块在得角点检测模型后，将得到第一图像信息输入角点检测模型中，从而最终得到了角点的第一坐标信息。进一步地，在根据第二图像信息确定角点的第二坐标信息的过程中也是首先获取角点检测模型，然后将第二图像输入至角点检测模型，从而得到的第二坐标信息。通过将机械臂与角点检测模型进行结合，从而使得作业更加精准。

21、在一些技术方案中，可选地，机械臂的控制装置还包括：第六获取模块，第六获取模块用于获取货号识别模型；第四确定模块，第四确定模块用于根据第一图像信息和货号识别模型确定集装箱的货号；第五确定模块，第五确定模块用于根据角点的第一坐标信息确定集装箱的第四坐标信息；记录模块，记录模块用于对集装箱的货号、第四坐标信息以及第三坐标信息进行记录。

22、在该技术方案中，机械臂的控制装置还包括：第六获取模块、第四确定模块、第五确定模块以及记录模块。其中，第六获取模块获取货号识别模型，货号识别模型是通过收集标注大量汉字、英文、数字以及符号等数据对神经网络模型进行训练获得，货号识别模型能够对第一图像信息中的集装箱的货号进行识别，具体地，第四确定模块将第一图像信息输入至货号识别模型中，从而得到了被抓取的集装箱的货号。进一步地，第五确定模块根据角点的第一坐标信息确定集装箱的第四坐标信息，通过对第一坐标信息进行计算从而得到了集装箱在未被抓取前的位置。最后记录模块对集装箱的货号、第四坐标信息以及第三坐标信息进行记录，即对集装箱的货号、未被抓取前的位置以及抓取后放置的位置进行存储。通过对集装箱的货号、未被抓取前的位置以及抓取后放置的位置进行存储从而方便了后续的查询。

23、根据本发明的第三个方面，提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项的机械臂的控制方法的步骤。

24、本发明提供的电子设备，处理器执行计算机程序时实现上述机械臂的控制方法的步骤，能够实现上述任一技术方案的技术效果，在此不再赘述。

25、根据本发明的第四个方面，提出了一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的机械臂的控制方法的步骤。

26、本发明提供的存储介质，计算机程序被处理器执行时实现上述机械臂的控制方法的步骤，能够实现上述任一技术方案的技术效果，在此不再赘述。

27、本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。