一种基于李群SE(3)扩散模型的机械臂6D抓取姿态估计方法

本发明涉及图像处理的，特别是一种基于李群se(3)扩散模型的机械臂6d抓取姿态估计方法。

背景技术：

1、在机械臂的实际应用中，特别是在需要机械臂与环境或人类进行交互的情况下，精确可行的末端执行器抓取姿态估计，是机械臂能够精确、稳定完成抓取操作的重要前提。经典的基于深度学习抓取姿态估计方法多采用部分点云作为输入数据，按处理方法不同主要分为两类：第一类方法通过分类直接估计候选抓取姿态并评估抓取姿态质量，例如pointnetgpd方法使用简单的神经网络对夹爪范围内的点云进行分类来判断抓取的质量；第二类方法则从现有的抓取姿态中进行转移得到新的抓取姿态，例如transferringgrasp方法假设新物体和已知物体具有相同的拓扑结构，在处理时首先对未知物体进行分类与分割并对已知物体的每个部分计算可行抓取空间，最后将抓取映射至未知物体并微调。

2、抓取姿态估计、抓取路径规划是机械臂抓取过程的关键步骤，同时也是影响机器人抓取效果的核心步骤。现有的处理方法倾向于将抓取姿态估计、抓取路径规划这两个处理步骤分别处理，即先训练一个抓取姿态估计的分类器对抓取姿态进行采样，然后通过传统的路径规划方法或者基于深度学习的路径规划方法，在采样到的抓取姿态的基础上搜索避免碰撞或者平滑的轨迹。在这种处理框架下抓取姿态估计、抓取路径规划被解耦为两个部分分别优化学习，这可能会导致采样到的抓取姿态在路径规划时不可行，从而导致整个问题求解失败。扩散模型作为一种生成模型，通过学习逆向去噪过程，可以从高斯噪声数据中拟合任意目标数据的分布。由于其强大的生成能力，已被尝试应用与各类机器人任务。

3、申请公开号为cn114119753a的发明专利申请公开了面向机械臂抓取的透明物体6d姿态估计方法，其输入为透明物体的rgb图像、edge图像以及深度图像，输出为透明物体的6d位姿。构建三分支深度学习网络模型，该模型包括纹理特征提取网络、边缘特征提取网络、几何特征提取网络和关键点检测网络；其中，纹理特征提取网络输入数据为rgb图像，边缘特征提取网络输入数据为edge图像，几何特征提取网络输入数据为深度图像；其中，关键点检测网络融合三个特征提取网络提取出来的特征，并嵌入自注意力机制来获取全局特征；最大限度利用透明物体的纹理信息和几何信息。该方法的缺点是计算复杂性过高，三分支深度学习网络模型的复杂性较高，训练和推理时间较长；对数据依赖性强，需要大量高质量的rgb、edge和深度图像数据集，数据采集和标注成本高；泛化能力不足，虽然结合了多种特征，但在不同的光照和遮挡条件下，模型的泛化能力可能仍有限。

技术实现思路

1、为了解决上述的技术问题，本发明提出的一种基于李群se(3)扩散模型的机械臂6d抓取姿态估计方法，包括一个训练过程和一个生成过程，训练过程用于训练神经网络模型，生成过程用于生成可行抓取姿态。

2、本发明的目的是提供一种基于李群se(3)扩散模型的机械臂6d抓取姿态估计方法，包括构建李群se(3)扩散模型网络，还包括以下步骤：

3、步骤1：训练所述李群se(3)扩散模型网络；步骤2：使用所述李群se(3)扩散模型网络生成可行抓取状态。

4、优选的是，所述李群se(3)扩散模型网络将一个场景点云和一个6自由度的抓取姿态h∈se(3)，及其附加的抓取姿态参数映射到能量和

5、在上述任一方案中优选的是，所述步骤1包括以下子步骤：

6、步骤11：获取抓取场景的点云p∈dp、抓取姿态h～dh与对应抓取参数

7、步骤12：使用点云编码器zθ获取点云形状编码z，z＝zθ(p)；

8、步骤13：根据扩散步数k决定的噪声尺度σk采样噪声ε；

9、步骤14：使用所述噪声ε扰动抓取姿态得到扰动抓取参数得到

10、步骤15：点云化扰动的抓取姿态与扰动的抓取参数得到点云化的抓取姿态xw1与点云化的抓取参数xw2；

11、步骤16：将抓取姿态xw1与抓取参数xw2分别与所述点云形状编码z和所述扩散步数k组合输入各自的特征编码器fθ*得到编码后的特征并展平；

12、步骤17：将展平的特征输入各自的解码器dθ*得到解码后的特征，并根据特征计算各自的能量e*；

13、步骤18：根据所述能量e*、所述噪声尺度σk、所述抓取姿态h与扰动的抓取姿态抓取参数ph与扰动的抓取参数计算各自的loss值

14、步骤19：使用loss值更新神经网络参数θ，当loss函数值不再下降时，停止训练。

15、在上述任一方案中优选的是，所述步骤11包括计算抓取姿态上的能量及其附加的抓取姿态参数的能量上述抓取姿态是通过噪声扰乱抓取姿态h∈ρd(h)和ph∈ρd(ph)而得到的，其中，s为抓取姿态的得分，w为夹爪的开合宽度，d为抓取的点到夹爪原点的距离。

16、在上述任一方案中优选的是，根据所述扩散步数k决定的噪声尺度σk←[0,…,l]。

17、在上述任一方案中优选的是，所述步骤14包括在se(3)中生成一个噪声扰动后的数据点，即从李群上的高斯分布中采样，其中扰动后的抓取姿态为它的均值为h∈ρd(h)，标准差为σk，采样方式为：

18、

19、在上述任一方案中优选的是，所述步骤15包括通过将加噪后的抓取姿态转换为一组围绕夹爪的点；构造一个姿态：

20、

21、通过将抓取参数点云化，

22、其中，为一组随机生成的固定点云。

23、在上述任一方案中优选的是，所述步骤16包括使用特征编码器fθ1和fθ2编码所有的输入特征，特征编码器fθ1的输入为xw1、z、k，特征编码器fθ2的输入为xw2、z、k，其中，z为通过点云变编码器zθ得到的抓取场景的形状编码，k为步数。

24、在上述任一方案中优选的是，所述编码后的特征的获取公式为

25、ψ1＝fθ1(xw1，z，k)，ψ2＝fθ2(xw2，z，k)。

26、在上述任一方案中优选的是，所述步骤17包括将特征展平，并将特征送入解码器dθ1和dθ2得到标量能量值e1和e2，在训练过程中共同学习点云变编码器zθ，以及特征编码器fθ1和fθ2、解码器dθ1和dθ2的参数θ。

27、在上述任一方案中优选的是，所述编码后的特征的展平公式为

28、ψ′1＝flatten(ψ1)，ψ′2＝flatten(ψ2)。

29、在上述任一方案中优选的是，标量能量值e1和e2的计算公式为

30、e1＝dθ1(ψ′1)，e2＝dθ2(ψ′2)。

31、在上述任一方案中优选的是，所述步骤17包括将分数函数建模为能量分布eθ的导数，即sθ(h，k)＝-deθ(h，k)/dh，计算能量e1＝dθ1(ψ′1)，e2＝dθ2(ψ′2)。

32、在上述任一方案中优选的是，所述步骤18包括计算和相加得到loss损失函数l＝ldsm1+ldsm2。

33、在上述任一方案中优选的是，在李群上的去噪分数匹配的损失函数的计算公式为

34、

35、其中，l为噪声尺度数量，e为对真实数据和扰动数据的期望，sθ为在扰动数据和噪声尺度上的分数函数。

36、在上述任一方案中优选的是，所述步骤2包括以下子步骤：

37、步骤21：获取抓取场景的点云p、初始化随机抓取姿态hl与随机抓取参数phl；

38、步骤22：使用训练好的点云编码器zθ获取点云形状编码z；

39、步骤23：点云化第k步抓取姿态hk与抓取参数phk得到点云化的抓取姿态xw1与点云化的抓取参数xw2；

40、步骤24：将抓取姿态xw1与抓取参数xw12分别与形状编码z、扩散步数k组合输入各自训练好的编码器fθ*得到编码后的特征并展平；

41、步骤25：将展平的特征输入各自训练好的解码器dθ*得到解码后的特征，并根据特征计算得到各自的能量e*；

42、步骤26：确定噪声尺度σk并采样标准高斯噪声ε；

43、步骤27：根据噪声尺度σk、能量e*、噪声ε、抓取姿态hk和抓取参数phk，进行逆扩散生成抓取姿态hk-1，抓取参数ph(k-1)。

44、步骤28：重复执行步骤23-27，直至k＝0，完成迭代。

45、在上述任一方案中优选的是，所述步骤25包括计算抓取姿态能量eθ1＝eθ1(p，hk，k)，抓取参数能量eθ2＝eθ2(p，phk，k)。

46、在上述任一方案中优选的是，所述噪声尺度σk的公式为

47、αk＝α·σk/σl

48、其中，α为步数比率，σk为第k个噪声尺度。

49、在上述任一方案中优选的是，所述标准高斯噪声ε的公式为

50、在上述任一方案中优选的是，所述抓取姿态hk-1的逆扩散公式为

51、

52、所述抓取参数ph(k-1)的公式为

53、

54、本发明提出了一种基于李群se(3)扩散模型的机械臂6d抓取姿态估计方法，避免了多步分类步骤，可以直接在抓取场景中生成6d抓取姿态，且能更好地覆盖和表示多模态分布，为后续机器人规划提供了更好和更高效的样本性。