基于多模态图像的非合作目标位姿测量方法、装置、计算机设备及介质

本发明适用于空间探测，尤其涉及一种基于多模态图像的非合作目标位姿测量方法、装置、计算机设备及介质。

背景技术：

1、卫星由于故障或失效而被放弃后，会长期挤占轨道资源，导致环地轨道日渐拥挤，可用轨道急剧减少。同时，失效卫星的不受控运动加剧了空间碰撞的概率，时刻威胁空间正常飞行器的安全，因此，需要进行空间碎片清除、失效卫星救援等空间任务。在执行此类空间任务时，由于目标通常是非合作目标，需要进行非合作目标的位姿估计，以进行非合作目标的相对导航。

2、然而，由于地球高层大气和外层空间的光照明暗对比强烈、非合作目标运行状态不定等多种因素影响，导致当前对非合作目标的位姿估计精度较差。因此，为提高非合作目标相对导航的准确性，首先如何提高非合作目标的位姿估计精度，成为了亟待解决的问题。

技术实现思路

1、有鉴于此，本发明实施例提供了一种基于多模态图像的非合作目标位姿测量方法、装置、计算机设备及介质，以解决当前对地球高层大气和外层空间中的非合作目标位姿测量准确度较差的问题。

2、第一方面，提供一种基于多模态图像的非合作目标位姿测量方法，所述方法包括：

3、将非合作目标的rgb图像以及深度图像融合得到融合图像，将所述融合图像输入训练好的分类模型确定所述非合作目标的目标类别；

4、根据所述目标类别以及所述融合图像，借助训练好的分割模型确定所述非合作目标的每个部件所对应的二值分割图像；

5、将所述二值分割图以及所述深度图像输入训练好的部件位姿预测模型，确定每个部件的位姿概率分布向量，所述位姿概率分布向量包括若干个部件预测位姿以及对应的预测概率；

6、根据所述目标类别确定各个所述二值分割图像对应的部件之间的连接关系，根据所述连接关系对所述位姿概率分布向量进行修正，确定每个部件的子位姿；

7、根据各个部件的所述子位姿确定所述非合作目标的目标位姿。

8、第二方面，提供一种基于多模态图像的非合作目标位姿测量装置，所述装置包括：

9、目标类别确定模块，用于将非合作目标的rgb图像以及深度图像融合得到融合图像，将所述融合图像输入训练好的分类模型确定所述非合作目标的目标类别；

10、部件图像确定模块，用于根据所述目标类别以及所述融合图像，借助训练好的分割模型确定所述非合作目标的每个部件所对应的二值分割图像；

11、部件位姿预测模块，用于将所述二值分割图以及所述深度图像输入训练好的部件位姿预测模型，确定每个部件的位姿概率分布向量，所述位姿概率分布向量包括若干个部件预测位姿以及对应的预测概率；

12、部件预测位姿修正模块，用于根据所述目标类别确定各个所述二值分割图像对应的部件之间的连接关系，根据所述连接关系对所述位姿概率分布向量进行修正，确定每个部件的子位姿；

13、非合作目标位姿确定模块，用于根据各个部件的所述子位姿确定所述非合作目标的目标位姿。

14、第三方面，本发明实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于多模态图像的非合作目标位姿测量方法。

15、第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于多模态图像的非合作目标位姿测量方法。

16、本发明与现有技术相比存在的有益效果是：

17、本发明对非合作目标进行位姿测定过程中结合了rgb图像以及深度图像该种多模态的图像信息，并且将现有的将非合作目标作为整体进行位姿识别的识别方式改变为先对非合作目标上各个部件的子位姿识别再基于部件子位姿确定非合作目标整体位姿的识别方式，并且本发明在确定各个部件的子位姿过程中，以部件之间的位姿关系该种先验信息对直接预测各个部件后所得的部件预测位姿进行对照修正，在多模态图像图像信息的采用所带来的测定准确度提高效果上进一步提高了测定准确度，从而在由各部件子位姿确定非合作目标的整体位姿时，显著提高了位姿测定准确度。

技术特征：

1.一种基于多模态图像的非合作目标位姿测量方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于多模态图像的非合作目标位姿测量方法，其特征在于，所述根据所述目标类别以及所述融合图像，借助训练好的分割模型确定所述非合作目标的每个部件所对应的二值分割图像，包括：

3.根据权利要求1或2所述的基于多模态图像的非合作目标位姿测量方法，其特征在于，所述根据所述连接关系对所述位姿概率分布向量进行修正，确定每个部件的子位姿，包括：

4.根据权利要求1所述的基于多模态图像的非合作目标位姿测量方法，其特征在于，所述位姿概率分布向量的构建方法为：

5.根据权利要求1所述的基于多模态图像的非合作目标位姿测量方法，其特征在于，所述根据各个部件的所述子位姿确定所述非合作目标的目标位姿，包括：

6.根据权利要求1所述的基于多模态图像的非合作目标位姿测量方法，其特征在于，所述将非合作目标的rgb图像以及深度图像融合得到融合图像，包括：

7.根据权利要求1所述的基于多模态图像的非合作目标位姿测量方法，其特征在于，所述目标类别为卫星的型号，所述分割类别为部件的类别。

8.一种基于多模态图像的非合作目标位姿测量装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于多模态图像的非合作目标位姿测量方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于多模态图像的非合作目标位姿测量方法。

技术总结本发明涉及空间探测技术领域，具体涉及一种基于多模态图像的非合作目标位姿测量方法、装置、计算机设备及介质。本发明对非合作目标进行位姿测定过程中结合RGB图像及深度图像的多模态图像信息，并将现有以非合作目标为整体进行位姿识别的方式改为先对其上各个部件的子位姿识别再基于各个部件子位姿确定非合作目标整体位姿的识别方式，并且本发明在确定各个部件的子位姿过程中，以部件之间的位姿关系该种先验信息对直接预测各个部件后所得的部件预测位姿进行对照修正，在多模态图像图像信息的采用所带来的测定准确度提高效果上进一步提高了测定准确度，从而在由各部件子位姿确定非合作目标的整体位姿时，可显著提高位姿测定准确度。技术研发人员：徐利民,陈宇,宋佳凝,屈明,张圆斌,翟志鹏受保护的技术使用者：郑州航空工业管理学院技术研发日：技术公布日：2024/7/29