一种物体拾取方法、装置、电子设备及存储介质与流程

本技术涉及机器人，特别是涉及一种物体拾取方法、装置、电子设备及存储介质。

背景技术：

1、机器人在执行各类操作任务时，通常会涉及拾取操作。目前会预先在机器人中录入规则数据，进而机器人可以按照规则数据进行拾取操作。例如，规则数据中可以预先定义杯子、书本等实物类别，并定义各实物类别的物体的拾取方式。然而对于未被定义过的实物类别的物体，机器人难以通过规则数据完成拾取操作，泛化能力较差。

技术实现思路

1、本技术实施例的目的在于提供一种物体拾取方法、装置、电子设备及存储介质，以用以解决机器人难以对未定义过的实物类别的物体完成拾取操作问题。具体技术方案如下：

2、第一方面，本技术实施例提供一种物体拾取方法，包括：

3、获取拾取指令所指示的待拾取物体的类别；

4、响应于预设规则库中不存在所述待拾取物体的类别与拾取方式之间的对应关系，则识别所述待拾取物体包括的几何元素；

5、基于识别得到的几何元素，确定至少一个目标几何元素，按照所述目标几何元素对应的预设拾取方式，对所述待拾取物体的目标几何元素对应的区域进行拾取。

6、在一种可能的实现方式中，所述基于识别得到的几何元素，确定至少一个目标几何元素，包括：

7、从识别得到的几何元素中，筛选满足各预设拾取方式对应的拾取条件的几何元素；

8、从筛选出的几何元素中随机选择至少一个几何元素，作为所述目标几何元素；或者，

9、从筛选出的几何元素对应的预设拾取方式中，基于历史拾取成功率选择第一拾取方式；从所述第一拾取方式对应的几何元素中选择至少一个几何元素，作为所述目标几何元素；或者，

10、从筛选出的几何元素对应的预设拾取方式中，基于作为纠正后的拾取方式的次数选择第二拾取方式；从所述第二拾取方式对应的几何元素中选择至少一个几何元素，作为所述目标几何元素，其中，所述纠正后的拾取方式为拾取失败后，经调整所采用的拾取方式。

11、在一种可能的实现方式中，所述从所述第一拾取方式对应的几何元素中选择至少一个几何元素，作为所述目标几何元素，包括：

12、从所述第一拾取方式对应的几何元素中随机选择至少一个几何元素，作为所述目标几何元素；或者，从所述第一拾取方式对应的几何元素中，基于可拾取区域的大小和所述待拾取物体中各几何元素的堆叠高度中的至少一项，确定至少一个几何元素，作为所述目标几何元素；

13、所述从所述第二拾取方式对应的几何元素中选择至少一个几何元素，作为所述目标几何元素，包括：

14、从所述第二拾取方式对应的几何元素中随机选择至少一个几何元素，作为所述目标几何元素；或者，从所述第二拾取方式对应的几何元素中，基于可拾取区域的大小和所述待拾取物体中各几何元素的堆叠高度中的至少一项，确定至少一个几何元素，作为所述目标几何元素。

15、在一种可能的实现方式中，所述预设拾取方式包括吸盘吸取方式、夹爪拾取方式和灵巧手拾取方式中的至少一项；所述吸盘拾取方式对应的拾取条件为几何元素的可拾取区域的面积处于预设面积范围内，所述夹爪拾取方式和所述灵巧手拾取方式对应的拾取条件为几何元素的可拾取区域的长度处于预设长度范围内；

16、所述从所述第一拾取方式对应的几何元素中，基于可拾取区域的大小和所述待拾取物体中各几何元素的堆叠高度中的至少一项，确定至少一个几何元素，作为所述目标几何元素，包括如下至少一项：

17、响应于所述第一拾取方式为吸盘吸取方式，则基于可拾取区域的面积和所述待拾取物体中各几何元素的堆叠高度中的至少一项，从所述第一拾取方式对应的几何元素中，确定至少一个几何元素，作为所述目标几何元素；

18、响应于所述第一拾取方式为夹爪拾取方式或灵巧手拾取方式，则基于可拾取区域的长度和所述待拾取物体中各几何元素的堆叠高度中的至少一项，从所述第一拾取方式对应的几何元素中，确定至少一个几何元素，作为所述目标几何元素；

19、所述从所述第二拾取方式对应的几何元素中，基于可拾取区域的大小和所述待拾取物体中各几何元素的堆叠高度中的至少一项，确定至少一个几何元素，作为所述目标几何元素，包括如下至少一项：

20、响应于所述第二拾取方式为吸盘吸取方式，则基于可拾取区域的面积和所述待拾取物体中各几何元素的堆叠高度中的至少一项，从所述第二拾取方式对应的几何元素中，确定至少一个几何元素，作为所述目标几何元素；

21、响应于所述第二拾取方式为夹爪拾取方式或灵巧手拾取方式，则基于可拾取区域的长度和所述待拾取物体中各几何元素的堆叠高度中的至少一项，从所述第二拾取方式对应的几何元素中，确定至少一个几何元素，作为所述目标几何元素。

22、在一种可能的实现方式中，所述获取拾取指令所指示的待拾取物体的类别，包括：

23、响应于所述拾取指令不包括待拾取物体的类别，获取二维图像和三维图像；

24、将所述二维图像输入第一图文大模型，得到所述二维图像中各物体的类别；

25、通过所述二维图像和所述三维图像识别所述二维图像和所述三维图像中各物体的深度信息；

26、基于各物体的类别和深度信息确定所述拾取指令所指示的待拾取物体的类别。

27、在一种可能的实现方式中，所述获取拾取指令所指示的待拾取物体的类别，包括：

28、响应于所述拾取指令不包括待拾取物体的类别，获取二维图像和三维图像中各物体的类别和深度信息；

29、基于各物体的类别和深度信息确定所述拾取指令所指示的待拾取物体的类别。

30、在一种可能的实现方式中，所述识别所述待拾取物体包括的几何元素，包括：

31、获取二维图像和三维图像；

32、将所述二维图像、所述三维图像以及映射关系输入第二图文大模型，得到所述待拾取物体包括的各几何元素，所述映射关系为所述二维图像与所述三维图像之间的对应关系。

33、第二方面，本技术实施例提供一种物体拾取装置，包括：

34、获取模块，用于获取拾取指令所指示的待拾取物体的类别；

35、识别模块，用于响应于预设规则库中不存在所述待拾取物体的类别与拾取方式之间的对应关系，则识别所述待拾取物体包括的几何元素；

36、确定模块，用于基于识别得到的几何元素，确定至少一个目标几何元素；

37、拾取模块，用于按照所述目标几何元素对应的预设拾取方式，对所述待拾取物体的目标几何元素对应的区域进行拾取。

38、第三方面，本技术实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

39、存储器，用于存放计算机程序；

40、处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的方法步骤。

41、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。

42、第五方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包含可执行指令，当所述可执行指令在计算机上执行时，使得计算机执行第一方面所述的方法步骤。

43、采用上述技术方案，在获取拾取指令所指示的待拾取物体的类别后，若预设规则库中不存在待拾取物体的类别与拾取方式之间的对应关系，则识别待拾取物体包括的几何元素，并从中确定至少一个目标几何元素，按照目标几何元素对应的预设拾取方式，对待拾取物体的目标几何元素对应的区域进行拾取。即对于未被定义过拾取规则的物体，也能够识别出该物体适合被进行拾取的目标几何元素，进而按照目标几何元素对应的预设拾取方式，实现了对待拾取物体的目标几何元素对应区域的拾取。如此，机器人能够对未被定义过拾取规则的各类物体进行拾取，有效提升机器人在拾取时的泛化能力。

44、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。