一种多模态仓储机器人开关装配智能识别与定位抓取方法

本发明涉及机器人，尤其涉及一种多模态仓储机器人开关装配智能识别与定位抓取方法。

背景技术：

1、随着物流行业的快速发展，仓储自动化和智能化已成为行业发展的重要趋势。开关装配作为仓储物流过程中的关键环节，其自动化程度直接影响整体作业效率。

2、传统的开关装配方法多依赖于人工操作，存在作业效率低、精度差、人力成本高等问题。由于仓储环境复杂多变，开关的位置、类型和姿态各异，传统的识别与抓取方法已难以满足高精度、高效率的作业需求；因此提出一种实现开关的自动化装配，提高开关装配的效率和准确性的识别与定位抓取方法是十分有必要的。

技术实现思路

1、本发明的目的在于提供一种多模态仓储机器人开关装配智能识别与定位抓取方法，旨在解决现有技术中的由于仓储环境复杂多变，开关的位置、类型和姿态各异，传统的识别与抓取方法已难以满足高精度、高效率的作业需求的技术问题。

2、为实现上述目的，本发明采用的一种多模态仓储机器人开关装配智能识别与定位抓取方法，包括如下步骤：

3、采集待检测开关的多模态信息；其中多模态信息包括但不限于待检测开关的图像、形状、深度；

4、提取待检测开关的图像特征数据；

5、判断待检测开关装配识别标签；

6、根据待检测开关装配识别标签控制机器人进行抓取操作。

7、其中，在采集待检测开关的多模态信息；其中多模态信息包括但不限于待检测开关的图像、形状、深度的步骤中：

8、采用多模态感知系统采集待检测开关的多模态信息，对各种模态分配权重，融合多模态信息。

9、其中，在采用多模态感知系统采集待检测开关的多模态信息，对各种模态分配权重，融合多模态信息的步骤中，对各种模态分配权重的过程为：

10、设有m种不同的模态，每种模态i有一个特征向量f_i和一个与之对应的权重w_i，其中i＝1,2,...,m)；通过加权求和的方式得到融合后的特征向量f：

11、f＝∑_({i＝1}_i^{m}w)·f_i；

12、式中，w_i为模态i的权重，且所有模态的权重之和为1，即∑_({i＝1}_i^{m}w)＝1。

13、其中，在提取待检测开关的图像特征数据的步骤中：

14、获取待检测开关表面初始图像；

15、构建深度神经网络模型；

16、对初始图像进行预处理，得到图像特征数据。

17、其中，在判断待检测开关装配识别标签的步骤中：

18、预设开关装配识别标签；

19、根据图像特征数据输出待检测开关装配识别标签；

20、对比开关装配识别标签和待检测开关装配识别标签；

21、输出对比结果。

22、其中，在根据待检测开关装配识别标签控制机器人进行抓取操作的步骤中：

23、采用视觉伺服控制方式控制机器人进行抓取操作。

24、其中，在采用视觉伺服控制方式控制机器人进行抓取操作的步骤中：

25、根据实时多模态信息，动态调整机器人抓取方式和力度，提取实时图像，根据识别的待检测开关装配识别标签，确定抓取点和抓取姿态。

26、本发明的一种多模态仓储机器人开关装配智能识别与定位抓取方法，通过采集待检测开关的多模态信息；其中多模态信息包括但不限于待检测开关的图像、形状、深度；提取待检测开关的图像特征数据；判断待检测开关装配识别标签；根据待检测开关装配识别标签控制机器人进行抓取操作；实现了开关的自动化装配，提高开关装配的效率和准确性，为仓储物流行业的自动化升级提供有效支持。

技术特征：

1.一种多模态仓储机器人开关装配智能识别与定位抓取方法，其特征在于，包括如下步骤：

2.如权利要求1所述的多模态仓储机器人开关装配智能识别与定位抓取方法，其特征在于，在采集待检测开关的多模态信息；其中多模态信息包括但不限于待检测开关的图像、形状、深度的步骤中：

3.如权利要求2所述的多模态仓储机器人开关装配智能识别与定位抓取方法，其特征在于，在采用多模态感知系统采集待检测开关的多模态信息，对各种模态分配权重，融合多模态信息的步骤中，对各种模态分配权重的过程为：

4.如权利要求1所述的多模态仓储机器人开关装配智能识别与定位抓取方法，其特征在于，在提取待检测开关的图像特征数据的步骤中：

5.如权利要求4所述的多模态仓储机器人开关装配智能识别与定位抓取方法，其特征在于，在判断待检测开关装配识别标签的步骤中：

6.如权利要求1所述的多模态仓储机器人开关装配智能识别与定位抓取方法，其特征在于，在根据待检测开关装配识别标签控制机器人进行抓取操作的步骤中：

7.如权利要求6所述的多模态仓储机器人开关装配智能识别与定位抓取方法，其特征在于，在采用视觉伺服控制方式控制机器人进行抓取操作的步骤中：

技术总结本发明涉及机器人技术领域，具体涉及一种多模态仓储机器人开关装配智能识别与定位抓取方法；包括如下步骤：采集待检测开关的多模态信息；其中多模态信息包括但不限于待检测开关的图像、形状、深度；提取待检测开关的图像特征数据；判断待检测开关装配识别标签；根据待检测开关装配识别标签控制机器人进行抓取操作；通过上述方式，实现开关的自动化装配，提高开关装配的效率和准确性，为仓储物流行业的自动化升级提供有效支持。技术研发人员：连圣阳,单海芳,胡瀚文,方武,陈洋,落莉莉,李慧姝受保护的技术使用者：苏州经贸职业技术学院技术研发日：技术公布日：2024/9/2