具有统计保证的非合作目标位姿测量方法和装置

本技术涉及图像处理，特别是涉及一种具有统计保证的非合作目标位姿测量方法和装置。

背景技术：

1、随着技术的快速发展，例如编队飞行、失效卫星与碎片清除等任务中要求测量目标航天器相对于服务航天器的位置和姿态，现有方法通过预测在目标航天器上定义语义关键点在图像上位置，然后通过求解n点透视问题得到相对位置和姿态。

2、但是已有方法所输出的单一位姿，无法表达由于实际任务中遮挡、光照变化和图像质量退化等问题所导致的位姿不确定性问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够得到精准位姿的具有统计保证的非合作目标位姿测量方法和装置。

2、一种具有统计保证的非合作目标位姿测量方法，所述方法包括：

3、获取待进行位姿测量的非合作目标图像；

4、采用训练好的深度神经网络对所述非合作目标图像中的语义关键点进行预测，得到多个语义关键点以及各所述语义关键点在非合作目标三维坐标体系下三维坐标的索引分类项以及非合作目标图像上的像素坐标；

5、根据预设的非共形分位数，针对每一个所述语义关键点进行共形预测，生成语义关键点共形集合；

6、按照预设数量在所述语义关键点共形集合内进行随机采样，在所述非合作目标图像上得到一组采样点像素坐标；

7、根据所述一组采样点像素坐标，基于采样点和其对应的非合作目标体坐标系下的三维坐标的点对应关系，以及n点透视模型估计得到所述非合作目标的估计位姿，并判断所述估计位姿是否满足预设标准，若满足则将所估计位姿保留至目标位姿集合中，完成一次迭代计算，并再在所述语义关键点共形集合内进行随机采样得到另外一组采样点像素坐标，并生成对应的估计位姿，直至迭代次数符合预设次数，则停止迭代计算；

8、根据所述目标位姿集合中的所有估计位姿计算得到平均位姿，得到所述非合作目标的目标位姿集合以及平均位姿，以实现非合作目标位姿测量。

9、在其中一实施例中，在对深度神经网络进行训练时：

10、获取样本数据集，所述样本数据集中包括多张样本目标图像以及对应各张样本图像的真值标签；

11、将所述样本数据集划分为训练样本数据集以及标定样本数据集；

12、利用所述训练样本数据集对所述深度神经网络进行训练，得到具备在样本目标图像中预测目标语义关键点能力的所述训练好的神经网络；

13、利用所述训练好的神经网络对所述标定样本数据集中的样本目标图像进行语义关键点进行预测，得到多个预测语义关键点，通过多个所述预测语义关键点以及对应的真值标签对所述标定样本数据集进行共形标定，得到预设的所述非共形分数。

14、在其中一实施例中，所述深度神经网络包括特征提取网络、索引分类项预测头以及图像坐标位置预测头；

15、所述特征提取网络用于提取所述非合作目标图像的特征地图；

16、所述索引分类项预测头以及图像坐标位置预测头分别根据所述特征地图，对语义关键点在非合作目标三维坐标体系下三维坐标的索引分类项以及非合作目标图像上的像素坐标进行预测。

17、在其中一实施例中，所述通过多个所述预测语义关键点以及对应的真值标签对标定样本数据集进行共形标定，得到预设的所述非共形分数包括：

18、在所述标定样本数据集中的各张所述样本目标图像中的每一个预测语义关键点，基于非共形函数，计算预测得到像素坐标以及真值标签之间的非共形程度值；

19、将各所述预测语义关键点在每一张所述样本目标图像中的非共形程度值，按照降序排列得到对应的非共形分数序列；

20、根据预设的容错率以及非共形分数序列进行计算，得到对应各所述预测语义关键点的非共形分位数。

21、在其中一实施例中，所述根据预设的非共形分位数，针对每一个所述语义关键点进行共形预测，生成语义关键点共形集合包括：

22、根据所述非共形分数的形式，生成对应每一个所述语义关键点的共形预测范围；

23、根据各所述语义关键点生成的共形预测范围，得到所述语义关键点共形集合。

24、在其中一实施例中，所述一组采样点像素坐标中的各采样点像素坐标分别采样于不同的语义关键点共形预测范围。

25、在其中一实施例中，所述根据所述一组采样点像素坐标，基于采样点和其对应的非合作目标体坐标系下的三维坐标的点对应关系，以及n点透视模型估计得到所述非合作目标的估计位姿，包括：

26、将各所述采样点二维坐标转换至所述非合作目标三维坐标体系下的采样点三维坐标；

27、根据各所述三维坐标，对n点透视问题进行求解，得到对应的非合作目标的估计位姿。

28、在其中一实施例中，所述判断所述估计位姿是否满足预设标准，包括：

29、将所述估计位姿投影至所述非合作目标图像中，得到投影二维坐标；

30、通过所述投影二维坐标以及预测得到的像素坐标之间残差值判断，所述估计位姿是否符合预设标准。

31、在其中一实施例中，当迭代次数符合预设次数，所述目标位姿集合为空时，则再进行第二预设次数的迭代计算，在此次每一次迭代计算过程中，直接将得到的估计位姿保留至目标位姿集合中。

32、本技术还提供了一种具有统计保证的非合作目标位姿测量装置，所述装置包括：

33、图像获取模块，用于获取待进行位姿测量的非合作目标图像；

34、语义关键点预测模块，用于采用训练好的深度神经网络对所述非合作目标图像中的语义关键点进行预测，得到多个语义关键点以及各所述语义关键点在非合作目标三维坐标体系下三维坐标的索引分类项以及非合作目标图像上的像素坐标；

35、语义关键点共形集合得到模块，用于根据预设的非共形分位数，针对每一个所述语义关键点进行共形预测，生成语义关键点共形集合；

36、随机采样模块，用于按照预设数量在所述语义关键点共形集合内进行随机采样，在所述非合作目标图像上得到一组采样点像素坐标；

37、目标位姿迭代估计模块，用于根据所述一组采样点像素坐标，基于采样点和其对应的非合作目标体坐标系下的三维坐标的点对应关系，以及n点透视模型估计得到所述非合作目标的估计位姿，并判断所述估计位姿是否满足预设标准，若满足则将所估计位姿保留至目标位姿集合中，完成一次迭代计算，并再在所述语义关键点共形集合内进行随机采样得到另外一组采样点像素坐标，并生成对应的估计位姿，直至迭代次数符合预设次数，则停止迭代计算；

38、非合作目标位姿测量结果得到模块，用于根据所述目标位姿集合中的所有估计位姿计算得到平均位姿，得到所述非合作目标的目标位姿集合以及平均位姿，以实现非合作目标位姿测量。

39、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

40、获取待进行位姿测量的非合作目标图像；

41、采用训练好的深度神经网络对所述非合作目标图像中的语义关键点进行预测，得到多个语义关键点以及各所述语义关键点在非合作目标三维坐标体系下三维坐标的索引分类项以及非合作目标图像上的像素坐标；

42、根据预设的非共形分位数，针对每一个所述语义关键点进行共形预测，生成语义关键点共形集合；

43、按照预设数量在所述语义关键点共形集合内进行随机采样，在所述非合作目标图像上得到一组采样点像素坐标；

44、根据所述一组采样点像素坐标，基于采样点和其对应的非合作目标体坐标系下的三维坐标的点对应关系，以及n点透视模型估计得到所述非合作目标的估计位姿，并判断所述估计位姿是否满足预设标准，若满足则将所估计位姿保留至目标位姿集合中，完成一次迭代计算，并再在所述语义关键点共形集合内进行随机采样得到另外一组采样点像素坐标，并生成对应的估计位姿，直至迭代次数符合预设次数，则停止迭代计算；

45、根据所述目标位姿集合中的所有估计位姿计算得到平均位姿，得到所述非合作目标的目标位姿集合以及平均位姿，以实现非合作目标位姿测量。

46、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

47、获取待进行位姿测量的非合作目标图像；

48、采用训练好的深度神经网络对所述非合作目标图像中的语义关键点进行预测，得到多个语义关键点以及各所述语义关键点在非合作目标三维坐标体系下三维坐标的索引分类项以及非合作目标图像上的像素坐标；

49、根据预设的非共形分位数，针对每一个所述语义关键点进行共形预测，生成语义关键点共形集合；

50、按照预设数量在所述语义关键点共形集合内进行随机采样，在所述非合作目标图像上得到一组采样点像素坐标；

51、根据所述一组采样点像素坐标，基于采样点和其对应的非合作目标体坐标系下的三维坐标的点对应关系，以及n点透视模型估计得到所述非合作目标的估计位姿，并判断所述估计位姿是否满足预设标准，若满足则将所估计位姿保留至目标位姿集合中，完成一次迭代计算，并再在所述语义关键点共形集合内进行随机采样得到另外一组采样点像素坐标，并生成对应的估计位姿，直至迭代次数符合预设次数，则停止迭代计算；

52、根据所述目标位姿集合中的所有估计位姿计算得到平均位姿，得到所述非合作目标的目标位姿集合以及平均位姿，以实现非合作目标位姿测量。

53、上述具有统计保证的非合作目标位姿测量方法和装置，通过采用训练好的深度神经网络非合作目标图像进行预测，得到多个语义关键点在非合作目标三维坐标体系下三维坐标的索引分类项以及非合作目标图像上的像素坐标，根据预设的非共形分位数，针对每一个语义关键点进行共形预测生成语义关键点共形集合，在语义关键点共形集合内进行随机采样得到一组采样点像素坐标，根据该组采样点像素坐标得到非合作目标的估计位姿，并判断满足预设标准的估计位姿保留至目标位姿集合中，通过多次迭代计算后，得到非合作目标的标位姿集合以及平均位姿。采用本方法可以在由于遮挡、光照变化和图像质量退化等问题所导致的视觉模糊的情况下，进行精准的非合作目标位姿的测量。