基于单目视觉深度估计的航班保障节点检测方法及装置

本发明涉及智能计算，具体涉及基于单目视觉深度估计的航班保障节点检测方法及装置。

背景技术：

1、民航客机需要机场为航班提供大量的地勤服务，以保障客机的正常运行。这些地勤服务直接关系到民航客机的运行安全，所以对民航客机航班保障节点进行自动化、智能化采集分析，是提高航班保障安全的有效手段，具有重要意义。目前机场多采用人工看监控的手段对

2、航班保障节点进行人工记录，其中存在以下几个缺点：

3、效率低下：机场运行日益繁忙，采用人工记录方式效率低。

4、易错性高：依靠人工记录航班保障节点，数据复杂繁琐，容易出现记录偏差。

5、数据安全性差：人工记录航班保障节点，数据没有安全保密措施，数据安全性较低。

6、数据难以可视化：人工记录数据难以实现数据归纳整理，无法进行可视化分析。

7、在目前人工记录数据的基础上，国内一些民航机场逐步引入人工智能技术，采用智能视频分析的手段，对航班保障节点进行自动化采集，同步应运而生了许多基于ai识别技术的航班保障节点自动化采集解决方案。但是目前提出和运用的解决方案中依然存在以下问题：

8、深度信息丢失：采用图像识别技术的方法会导致深度信息丢失，在同一视角出现多机位重叠情况下，难以分辨出航班停靠的具体机位，导致识别失败或不准确，难以达到稳定准确的检测标准。

9、采用深度学习进行统一的模型训练，不适用于整个机场所有的机位场景，在某些场景下识别率低，难以达到使用标准。

10、占用资源多，深度学习技术多采用gpu服务器进行加速计算，占用计算资源，设备投入和结果产出性价比低。

11、可见现有方法可以在特定场景下实现部分航班保障节点的自动化采集，但是采集准确率依然较低，所以目前依然多采用人工和自动化采集相结合的方式，未达到真正意义上的航班保障节点自动化、智能化采集。

技术实现思路

1、为了解决上述现有技术中存在的问题，本发明提供了基于单目视觉深度估计的航班保障节点检测方法及装置，解决目前航班保障节点采集存在占用资源多、漏检、错检以及多机位重叠时不适用的问题。

2、基于单目视觉深度估计的航班保障节点检测方法，包括：

3、s1：获取机场图像数据并检测分割得到航班分割结果，根据航班分割结果区域和对应图像数据区域的比例确定航班停靠的机位号sn以及相应的图像内参参数kbn；

4、s2：标注航班保障节点区域rn，获取不同机位上航班保障节点的模板图像并提取纹理信息和形状信息作为特征t；结合航班停靠机位号sn、相应的图像内参参数kbn以及对应机位下划定的航班保障节点区域rn，依次计算出不同航班保障节点区域的三维坐标及深度信息d；

5、s3：提取深度信息变化明显的检测区域的特征m与特征t比较并计算相应特征匹配分值，而后根据特征匹配分值确定航班保障节点输出结果。

6、优选的，s1中所述获取机场图像数据并检测分割得到航班分割结果包括：

7、对获取的机场图像数据进行sobel算子检测，检测出图像中的边缘区域；再采用飞机外观模板结合opencv中基于区域增长的图像分割方法对边缘检测结果进行图像分割，计算出图像中的航班分割结果；具体如下：

8、首先，根据飞机外观模板选择一个种子像素作为起始点，并将其标记为一个新的区域；然后，遍历种子像素的邻域像素，计算邻域像素与当前区域的相似度；如果邻域像素与当前区域的相似度大于阈值，则将其添加到当前区域，并将其标记为已访问；重复上述步骤，直到没有新的像素可以添加到当前区域为止；继续选择下一个未访问的像素作为种子像素，并重复上述步骤，直到所有像素都被访问过；最后，得到一块相似的像素集合即为航班分割结果。

9、优选的，s1中所述图像内参参数kbn计算过程如下：

10、步骤a、获取航班停靠图像数据以及航班周围环境的三维点云数据并分别提取航班停靠数据、三维点云数据中的直线信息；

11、步骤b、利用提取的直线信息进行2d-3d直线特征数据匹配寻找出2d图像直线与3d点云直线相应的直线匹配对，根据直线匹配对计算的图像内参集合，根据图像内参集合计算图像内参参数kbn；

12、优选的，所述步骤a包括：

13、获取航班停靠在不同机位上(s1,s2,…,sn)的图像数据，分别命名为采用lsd图像直线检测算法，计算出中的直线信息li1,li2,…,lin；

14、获取在不同机位(s1,s2,…,sn)上停靠航班时周围环境的三维点云数据，分别命名为将三维点云数据表示为函数：

15、ax+by+cz+d＝0

16、根据法向量寻找出三维点云的平面区域，将平面区域投影在xoy坐标平面上，采用canny算子计算出投影区域的边缘，将边缘反投影回三维点云中，实现三维点云直线lc1,lc2,…,lcn的检测。

17、优选的，所述步骤b包括：

18、提取航班停靠在同一机位上的图像直线信息即lin和三维点云直线信息即lcn并选取出一组匹配的直线组(lin,lcn)，计算出相机初始化内参kin：

19、puv＝kpw

20、其中，puv为图像数据中直线上像素点坐标，pw为直线对应的三维点云直线的坐标；

21、在获得相机初始化图像内参kin之后，将三维点云中其他的直线坐标计算投影到图像数据坐标系中，而后进行2d-3d直线特征数据匹配，计算公式如下：

22、dist(lin,lin)＝{θ,dic}

23、

24、其中，dist(lin,lcn)为图像线段lin和三维点云直线经过投影后在图像上的线段lcn之间的距离，θ为两线段之间的夹角，dic为两线段之间的平均距离；

25、根据dist(lin,lcn)寻找出2d图像直线与3d点云直线相应的直线匹配对lci1,lci2,…,lcin，根据直线匹配对计算依次内参k1,k2,…,kn，最后计算图像内参参数kbn：

26、kbn＝(k1,k2,…,kn)/n。

27、优选的，s2中所述深度信息d的计算公式如下：

28、

29、其中，x、y、z为pw为三维坐标，d为深度信息。

30、优选的，s3中所述提取深度信息变化明显的检测区域的特征m与特征t比较并计算相应特征匹配分值，而后根据特征匹配分值确定航班保障节点输出结果包括：

31、依次计算标注的航班保障节点的区域r1,r2,…,rn的深度信息d以及在无航班保障节点时的深度信息dnull，计算深度信息之间的变化：

32、rn＝knpw

33、dchange＝|dnull-d|

34、其中，rn为图像中航班保障节点区域的像素坐标，pw为三维坐标；

35、当dchange≈0即无变化时，无结果输出；当dchange＞0时，采用灰度共生矩阵(glcm)和canny算子提取检测区域的纹理和形状特征m，将提取的特征m与模板库中的特征t进行比较并计算相应特征匹配分值，计算公式如下：

36、p＝(a1+a2+…+an)/n

37、其中，a*表示模板图像和检测图像的纹理信息和图像信息相似向量的夹角余弦值；

38、所述特征匹配分值p在(0～1)之间，越接近1则说明提取的特征m与模板库中的特征t越相似，将与模板相似度最高的检测结果作为航班保障节点输出结果。

39、优选的，s2所述标注航班保障节点区域rn，获取不同机位上航班保障节点的模板图像并提取纹理信息和形状信息作为特征t包括：

40、分别在不同机位号(s1,s2,…,sn)上的图像数据中标注出航班保障节点的区域r1,r2,…,rn；获取不同机位上航班保障节点的模板图像，计算模板图像的灰度共生矩阵，提取模板图像的纹理信息，采用canny算子检测模板图像的边缘信息，提取形状信息的，而后将纹理信息和形状信息保存为特征t。

41、基于单目视觉深度估计的航班保障节点检测装置，包括：航班停靠机位确定模块和航班保障节点识别模块；

42、所述航班停靠机位确定模块用于获取机场图像数据并检测分割得到航班分割结果，根据航班分割结果区域和对应图像数据区域的比例确定航班停靠的机位号sn以及相应的图像内参参数kbn；

43、所述航班保障节点识别模块用于标注航班保障节点区域rn，获取不同机位上航班保障节点的模板图像并提取纹理信息和形状信息作为特征t；结合航班停靠机位号sn、相应的图像内参kn以及在此机位下划定的航班保障节点区域rn，依次计算出不同航班保障节点区域的三维坐标及深度信息d；提取深度信息变化明显的检测区域的特征m与特征t比较并计算相应特征匹配分值，而后根据特征匹配分值确定航班保障节点输出结果。

44、本发明的有益效果包括：

45、(1)相较现有的二维图像数据上的航班保障节点检测，本发明采用二维与三维相结合的航班保障节点检测方式，使得检测更准确。

46、(2)可以在单一摄像头下，确定航班停靠的位置(机位号)，实现同一视角下，对不同机位上航班保障节点的精确检测，解决了二维图像识别中存在的无法判断是哪个机位上的哪个航班进行了保障节点操作的问题。

47、(3)本发明不需要采用深度学习等技术手段，不需要gpu这类大功耗的设备资源加速计算，降低了设备资源消耗，提高了设备投入和结果产出性价比。