一种卫星编队协同感知的空间非合作多目标识别定位方法

本发明涉及多目标识别，具体涉及一种卫星编队协同感知的空间非合作多目标识别定位方法。

背景技术：

1、立足卫星集群对空间非合作目标的高精度、高效率识别定位需求，基于多目图像配准和图像融合技术，开展广域图像合成算法研究；针对空间目标检测难度大、效率低和样本量缺乏问题，开展基于前景提取结合神经网络的识别算法研究；针对激光成像定位成本高、负载重和双目定位精度低、容错性差问题，建立基于卫星集群的多目立体定位模型，实现目标的世界坐标系下三维定位。

技术实现思路

1、为此，本发明提供一种卫星编队协同感知的空间非合作多目标识别定位方法，对空间非合作目标的识别定位由四颗编队卫星的视觉相机共同完成，指定其中一颗卫星为中枢卫星，基于星间链路各卫星将采集的图像数据传输至中枢卫星，利用中枢卫星的星载处理器执行多星协同的在轨图像拼接、识别与定位任务，以解决背景技术中提出的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种卫星编队协同感知的空间非合作多目标识别定位方法，包括基于图像匹配和加权融合算法进行多卫星图像拼接生成广域图像；

3、广域图像拼接包括图像预处理、图像配准和图像融合，设计基于图像畸变矫正、色彩校正和投影坐标转换的图像预处理算法进行图像预处理；基于surf算法特征提取、渐进一致采样法（prosac）匹配矫正和单应性变换实现图像配准，最后，基于加权平均融合实现图像融合拼接；

4、利用图像处理算法提取（框选）出融合拼接后的广域图像中的所有前景目标，基于最小外接矩形的前景提取算法进行广域图像中所有可疑目标的提取；

5、基于卷积神经网络模型对提取出的目标进行卫星和碎片分类识别；基于多目定位模型获取目标的三维坐标。

6、优选的，对获取的卫星图像预处理操作，包括畸变镜头图像的矫正和图像色彩的平衡；若采集图像时，相机镜头的朝向设置不同，则需进行图像投影坐标转换，将图像坐标系转换为柱面投影坐标系。

7、优选的，图像配准通过寻找两幅图像的相似之处，找到两幅图像的重叠区域，从而确定两幅图像之间的变换关系，实现图像之间的配准。

8、优选的，图像配准和拼接广域图像步骤包括：

9、图像灰度化；

10、提取特征（surf），基于surt算法提取基准图像和待配准图像的特征点，并进行特征描述，生成各自的特征点集；

11、构建特征点匹配器（knn），基于快速近似最近邻搜索flann算法和knn近邻筛选方式实现特征点粗匹配，当最近邻欧氏距离与次近邻欧氏距离的比值小于设定阈值时为一对匹配点；

12、特征点精细匹配（prosac），采用prosac算法实现匹配点矫正，并解算单应性变换矩阵h，任意两幅图像可利用单应性变换矩阵h来表示两者的投影变换关系；若图像中的坐标对应在图像中的坐标为，则两点间的单应性变换表达式为：

13、

14、计算变换矩阵，为一个8自由度的3×3矩阵；将待配准图像经过单应性变换后，采用加权平均融合算法，使其与基准图像自然拼接；加权平均融合计算公式为：

15、；

16、其中为基准图像所在区域，为待配准图像所在区域,、为加权系数，且满足，融合区域从左至右过渡时，的取值由0至1逐渐提高。

17、循环上述步骤，生成多星广域图像。由于本发明基于卫星星座的多星方位关系固定，广域图像视场衔接属于有序拼接，故可提前设置匹配拼接顺序，提高广域图像生成效率。

18、融合拼接完成后，通过计算拼接后重叠区域的相关系数来定量描述拼接质量；相关系数计算公式为：

19、；

20、式中，为重叠区域像素点的总数，为两幅拼接图像重叠区域相对应的序号为的像素点像素值，为两幅拼接图像重叠区域的像素平均值。

21、优选的，循环图像配准和拼接广域图像步骤，生成多星广域图像。

22、优选的，基于最小外接矩形（minimum bounding rectangle，mbr）的前景目标提取法，处理过程包括：

23、灰度化：利用cvtcolor函数对图像进行灰度处理；

24、滤波处理：进行预处理，包括均值滤波、高斯滤波和对比度增强；

25、otsu阈值分割：空间图像采集时由于受光照、噪声等影响，背景亮度易发生变化，对阈值分割的自适应能力要求较高，指定阈值的二值化分割方式在真实场景中适应性较差。利用最大类间阈值法（otsu）通过引入类间方差思想，可实现阈值自动寻优，适用于空间场景图像的前景提取任务；

26、轮廓提取：对各连通区域进行形态学处理，包括膨胀以及配置膨胀次数。轮廓提取时，利用opencv库中的findcontours函数获得各轮廓坐标；利用minarearect函数获得各区域的最小外接框，同时可根据最小外接框的角点坐标，求解中心坐标，获得目标位置信息。

27、优选的，卷积神经网络模型对提取出的可疑目标物进行分类识别，利用卫星-碎片空间目标数据集对网络进行训练完毕后，输入前景提取的目标图像区域，并对输入图像进行resize统一尺寸，依次送入卷积神经网络，即可输出目标类别和预测概率，包括以下步骤：

28、获取前景提取的目标图像区域，对图像统一尺寸，进行图像预处理消除噪声；

29、将预处理后的目标图像依次送入预训练后的识别模型，预测目标类别为卫星或空间碎片；

30、在原场景图像上显示前景提取的目标检测框、识别模型预测的目标类别信息和置信度信息。

31、优选的，基于多目定位模型获取目标的三维坐标的步骤如下：

32、（1）获取同名点的像素点坐标和相机内外参：在拼接后的全景图像中获取目标的中心像素坐标后，对图像拼接时各相机图像的旋转矩阵、平移矩阵进行逆变换，获取目标点在每一个相机图像下的对应像素坐标，即可获得同名点像素坐标，用于后续基于多目立体定位模型获得目标点三维坐标，其中内参为相机已知数据，卫星利用gps、imu等获取自身位置与姿态数据后即可实时解算外参数据。

33、（2）建立多目立体定位模型：虽然依靠双目定位模型即可获得空间目标三维坐标信息，但考虑到定位精度和容错性，多目定位将更具应用性；根据任务紧急程度即实时性需求，可将多目立体定位模型分为三目定位模型和四目定位模型；

34、三目立体定位模型:以双目立体视觉测量原理为基础，由3组双目子系统组成，四颗卫星集群中任意三颗卫星均可实现三目立体定位，根据任务需求，在实时性要求较高的捕获任务中，可选用三目定位提高定位效率，或当四颗卫星中任一颗卫星发生故障或视野受遮挡时，可及时采用三目定位策略，保证定位任务的顺利完成，提高系统的容错性。

35、对于三目定位模型中任意一组双目定位模型而言，由双目定位原理可知，在相机的内参和外参已知的情况下，若已知不同相机下同名点像素坐标，则可求解出目标点在给定世界坐标系下的三维坐标。任意空间点的像素坐标与世界坐标系坐标的关系式为：

36、；

37、其中来源于相机坐标系下，表示相机的内参，包括相机焦距、像元尺寸和像主点；表示相机的外参，代表相机坐标系与世界坐标系的旋转和平移关系，表示旋转矩阵、表示平移向量，表示相机的投影矩阵，反映相机内外参数。

38、若空间点在左右相机成像平面上的投影点为和，两相机的投影矩阵分别为和,根据任意空间点的像素坐标与世界坐标系坐标的关系式联立左右两相机的像素坐标与空间坐标，即

39、；

40、；

41、式中，为点在两相机坐标系下的轴坐标，为左相机投影矩阵中各元素，为右相机投影矩阵中各元素，将左右两相机的像素坐标与空间坐标联合后获得四个联立的线性方程，

42、；

43、故可依据双目系统中两相机同名点像素坐标和解算出目标点空间坐标，以此方法可解算三目定位系统空间点的空间坐标，真实的目标点位置应满足与点之间距离之和最小，基于最小二乘法，可得三目定位系统中最优的空间点坐标为：

44、；

45、四目立体定位模型：根据任务需求，在实时性要求相对较低的捕获任务中（比如空间站对接就实时性要求比较低，或者和对面的卫星是相对速度比较慢的，也可以认为是实时性要求较低的识别任务），可选用卫星集群组成的四目定位系统提高定位精度。

46、本发明具有如下优点：

47、本发明提供了一种卫星编队协同感知的空间非合作多目标识别定位方法。通过卫星集群采集空间图像；基于图像匹配和加权融合算法进行多卫星图像拼接生成广域空间场景图像；基于前景提取算法进行场景中所有可疑目标的提取；基于卷积神经网络模型对提取出的目标进行卫星和碎片分类识别；基于多目定位模型获取目标的三维坐标。本发明可实现基于多星协同观测的空间态势感知，相比单星探测将获得高分辨率的大视场空间图像，可大幅提高深空探测的范围和效率。