一种基于阅读说明书的设备操控机器人及其控制方法与流程

本申请属于设备操控机器人领域，特别涉及一种基于阅读说明书的设备操控机器人及其控制方法。

背景技术：

1、设备操控机器人通常包含一个机械臂，可以通过对设备上的按钮进行操作，实现对设备的操控。

2、现有技术中，当设备操控机器人需要对一个新设备进行操控之前，需要预先录入该设备上按钮所在的位置，并预先设定好控制程序，由于过程比较繁琐，新设备的setup成本较高，通常一个设备操控机器人只能适应一种设备，适应性较低。

3、因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。

技术实现思路

1、本申请的目的是提供了一种基于阅读说明书的设备操控机器人及其控制方法，以解决现有技术存在的设备操控机器人适应性较低的问题。

2、本申请的技术方案是：

3、本申请的第一个方面提供了一种基于阅读说明书的设备操控机器人控制方法，包括：

4、获取设备说明书，并对所述设备说明书中的按钮进行标定；

5、获取控制指令，并将所述控制指令分解成待操控设备的按钮操作序列；

6、获取位置信息，并根据所述位置信息移动至所述待操控设备；

7、获取待操控设备图像，并将所述设备说明书中的按钮与所述待操控设备图像中的按钮进行视觉匹配，得到按钮匹配结果；

8、根据所述按钮操作序列以及所述按钮匹配结果依次操作所述待操控设备上的按钮。

9、在本申请的至少一个实施例中，所述对所述设备说明书中的按钮进行标定，包括：

10、通过多模态模型定位出所述设备说明书中的操作界面；

11、通过分割模型分割出所述操作界面中的按钮；

12、通过多模态模型识别出每个按钮的功能，并将所有按钮及按钮对应的功能保存到数据库中。

13、在本申请的至少一个实施例中，所述多模态模型采用gpt模型。

14、在本申请的至少一个实施例中，所述分割模型采用segment anything model模型。

15、在本申请的至少一个实施例中，所述将所述控制指令分解成待操控设备的按钮操作序列，包括：

16、通过大语言模型将所述控制指令分解成待操控设备的按钮操作序列，所述大语言模型采用gpt模型。

17、本申请的第二个方面提供了一种基于阅读说明书的设备操控机器人，基于如上所述的基于阅读说明书的设备操控机器人控制方法，所述设备操控机器人包括：控制器、移动模块、图像采集模块以及执行模块，其中，

18、所述控制器包括：

19、设备说明书标定单元，用于获取设备说明书，并对所述设备说明书中的按钮进行标定；

20、控制指令分解单元，用于获取控制指令，并将所述控制指令分解成待操控设备的按钮操作序列；

21、移动控制单元，用于获取位置信息，并根据所述位置信息控制所述移动模块移动至所述待操控设备；

22、按钮匹配单元，用于控制所述图像采集模块获取待操控设备图像，并将所述设备说明书中的按钮与所述待操控设备图像中的按钮进行视觉匹配，得到按钮匹配结果；

23、操作控制单元，用于根据所述按钮操作序列以及所述按钮匹配结果控制所述执行模块依次操作所述待操控设备上的按钮。

24、在本申请的至少一个实施例中，所述移动模块包括移动底盘以及设置在所述移动底盘上的安装架。

25、在本申请的至少一个实施例中，所述图像采集模块为安装在所述安装架上的摄像头。

26、在本申请的至少一个实施例中，所述执行模块为安装在所述安装架上的机械臂。

27、发明至少存在以下有益技术效果：

28、本申请的基于阅读说明书的设备操控机器人控制方法，在需要操作一个新设备之前，首先将设备说明书进行上传并标定；然后将控制指令分解成待操控设备的按钮操作序列；在收到待操控设备的位置信息后移动至待操控设备，采集待操控设备图像，待操控设备图像中包含多个按钮，采用视觉匹配技术将设备说明书中的按钮与待操控设备图像中的按钮进行匹配，得到按钮匹配结果；最后根据从控制指令中分解出的按钮操作序列，以及设备说明书与待操控设备图像的按钮匹配结果依次操作待操控设备上的按钮，完成对待操控设备的操控。

技术特征：

1.一种基于阅读说明书的设备操控机器人控制方法，其特征在于，包括：

2.根据权利要求1所述的基于阅读说明书的设备操控机器人控制方法，其特征在于，所述对所述设备说明书中的按钮进行标定，包括：

3.根据权利要求2所述的基于阅读说明书的设备操控机器人控制方法，其特征在于，所述多模态模型采用gpt模型。

4.根据权利要求2所述的基于阅读说明书的设备操控机器人控制方法，其特征在于，所述分割模型采用segment anything model模型。

5.根据权利要求1所述的基于阅读说明书的设备操控机器人控制方法，其特征在于，所述将所述控制指令分解成待操控设备的按钮操作序列，包括：

6.一种基于阅读说明书的设备操控机器人，基于权利要求1至5任意一项所述的基于阅读说明书的设备操控机器人控制方法，其特征在于，所述设备操控机器人包括：控制器、移动模块、图像采集模块以及执行模块，其中，

7.根据权利要求6所述的基于阅读说明书的设备操控机器人，其特征在于，所述移动模块包括移动底盘以及设置在所述移动底盘上的安装架。

8.根据权利要求7所述的基于阅读说明书的设备操控机器人，其特征在于，所述图像采集模块为安装在所述安装架上的摄像头。

9.根据权利要求8所述的基于阅读说明书的设备操控机器人，其特征在于，所述执行模块为安装在所述安装架上的机械臂。

技术总结本申请属于设备操控机器人领域，特别涉及一种基于阅读说明书的设备操控机器人及其控制方法。方法包括：获取设备说明书，并对设备说明书中的按钮进行标定；获取控制指令，并将控制指令分解成待操控设备的按钮操作序列；获取位置信息，并根据位置信息移动至待操控设备；获取待操控设备图像，并将设备说明书中的按钮与待操控设备图像中的按钮进行视觉匹配，得到按钮匹配结果；根据按钮操作序列以及按钮匹配结果依次操作待操控设备上的按钮。本申请的基于阅读说明书的设备操控机器人控制方法，能够降低新设备的setup成本，使得设备操控机器人能够快速满足对不同设备的操控需求，极大提高了设备操控机器人的普适性。技术研发人员：陈敬敏,江敏,吕强受保护的技术使用者：杭州右侧智能科技有限责任公司技术研发日：技术公布日：2024/8/16