一种物体位姿检测方法及装置与流程

技术特征：
1.一种物体位姿检测方法，其特征在于，包括：获取包含待检测的目标物体的观察图像；基于所述观察图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图；将所述二值轮廓分割图作为resnet网络模型的输入量，通过所述resnet网络模型的运算，确定所述目标物体的关键点信息、边缘向量信息以及图像像素对称对应关系信息；基于所述关键点信息、所述边缘向量信息以及所述图像像素对称对应关系信息，通过仿射空间位姿换算方式以及epnp算法，得到所述目标物体的初始位姿参数。2.根据权利要求1所述的一种物体位姿检测方法，其特征在于，得到所述目标物体的初始位姿参数之后还包括：基于所述目标物体的标准三维模型，结合所述初始位姿参数，构建所述目标物体的渲染图像；对所述渲染图像与所述观察图像进行特征比较，确定所述初始位姿参数与实际位姿参数的位姿参数偏差值，以便基于所述初始位姿参数与所述位姿参数偏差值，确定所述目标物体的实际位姿参数。3.根据权利要求2所述的一种物体位姿检测方法，其特征在于，对所述渲染图像与所述观察图像进行特征比较，确定所述初始位姿参数与实际位姿参数的位姿参数偏差值具体包括：将所述渲染图像与所述观察图像作为flownetsimple网络模型的输入量，通过所述flownetsimple网络模型以及点匹配损失函数对所述渲染图像与所述观察图像进行特征比较运算，以确定所述初始位姿参数与实际位姿参数的位姿参数偏差值。4.根据权利要求3所述的一种物体位姿检测方法，其特征在于，所述点匹配损失函数具体为：式中，x代表图像中的像素点，n为像素点的数量，p代表所述渲染图像，代表所述观察图像，r代表所述渲染图像中目标物体的位姿旋转分量，代表所述观察图像中目标物体的位姿旋转分量，t代表所述渲染图像中目标物体的位姿平移分量，代表所述观察图像中目标物体的位姿平移分量。5.根据权利要求1所述的一种物体位姿检测方法，其特征在于，获取包含待检测的目标物体的观察图像之后，且基于所述观察图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图之前还包括：基于所述观察图像中包含的目标物体，从所述观察图像中分割出所述目标物体的图像，以便基于分割得到的图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图。6.一种物体位姿检测装置，其特征在于，包括：观察图像获取单元，用于获取包含待检测的目标物体的观察图像；二值分割处理单元，用于基于所述观察图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图；
目标物体信息确定单元，用于将所述二值轮廓分割图作为resnet网络模型的输入量，通过所述resnet网络模型的运算，确定所述目标物体的关键点信息、边缘向量信息以及图像像素对称对应关系信息；初始位姿计算单元，用于基于所述关键点信息、所述边缘向量信息以及所述图像像素对称对应关系信息，通过仿射空间位姿换算方式以及epnp算法，得到所述目标物体的初始位姿参数。7.根据权利要求6所述的一种物体位姿检测装置，其特征在于，之后还包括：物体渲染图像构建单元，用于基于所述目标物体的标准三维模型，结合所述初始位姿参数，构建所述目标物体的渲染图像；实际位姿参数确定单元，用于对所述渲染图像与所述观察图像进行特征比较，确定所述初始位姿参数与实际位姿参数的位姿参数偏差值，以便基于所述初始位姿参数与所述位姿参数偏差值，确定所述目标物体的实际位姿参数。8.根据权利要求7所述的一种物体位姿检测装置，其特征在于，实际位姿参数确定单元具体用于：将所述渲染图像与所述观察图像作为flownetsimple网络模型的输入量，通过所述flownetsimple网络模型以及点匹配损失函数对所述渲染图像与所述观察图像进行特征比较运算，以确定所述初始位姿参数与实际位姿参数的位姿参数偏差值。9.根据权利要求8所述的一种物体位姿检测装置，其特征在于，所述点匹配损失函数具体为：式中，x代表图像中的像素点，n为像素点的数量，p代表所述渲染图像，代表所述观察图像，r代表所述渲染图像中目标物体的位姿旋转分量，代表所述观察图像中目标物体的位姿旋转分量，t代表所述渲染图像中目标物体的位姿平移分量，代表所述观察图像中目标物体的位姿平移分量。10.根据权利要求6所述的一种物体位姿检测装置，其特征在于，还包括：目标物体图像分割单元，用于基于所述观察图像中包含的目标物体，从所述观察图像中分割出所述目标物体的图像，以便基于分割得到的图像，通过二值掩码分割处理，得到所述目标物体的二值轮廓分割图。

技术总结
本申请公开了一种物体位姿检测方法及装置，本申请基于目标物体的观察图像处理后得到的二值轮廓分割图，将二值轮廓分割图作为ResNet网络模型的输入量，通过ResNet网络模型的运算，确定目标物体的关键点信息、边缘向量信息以及图像像素对称对应关系信息；基于关键点信息、边缘向量信息以及图像像素对称对应关系信息，通过仿射空间位姿换算方式以及EPnP算法进行运算，得到目标物体的初始位姿参数。当目标物体部分被遮挡的情况下也能够检测出位姿参数，解决了现有技术的位姿检测方法在遮挡环境下准确度低的技术问题，为机器人的工件物体抓取任务提供信息，进而提升流水线的生产效率。率。率。


技术研发人员：郑培文 陈禹明 张晓晔 方燕琼 赖嘉骏 梁俊韬 吴勇
受保护的技术使用者：南方电网电力科技股份有限公司
技术研发日：2021.12.07
技术公布日：2022/3/8