基于AGV移动平台主动监测的飞机拖动过程风险预警方法

本发明属于飞机复杂维修现场碰撞风险检测，具体涉及一种基于agv移动平台主动监测的飞机拖动过程风险预警方法。

背景技术：

1、在飞机维修复杂现场，安全性一直是至关重要的问题。由于飞机种类的多样性和环境的复杂性，在飞机拖动过程中存在多种风险，包括但不限于机翼与机场检修梯的碰撞风险，尾翼与机库门的碰撞风险。因此，如何实现对飞机拖动过程中风险的监测和预警，成为解决维修现场安全问题的关键。

2、传统的飞机拖动监测方法通常只依赖有限的传感器和辅助工具，缺乏对风险的全面感知能力。传统传感器系统有限的覆盖范围和对复杂环境变化的适应性限制了其在飞机拖动过程中的应用。此外，这些方法通常需要大量人工干预，很容易出现失误，监测效率和准确性已逐渐无法满足现代航空维护的需求。

技术实现思路

1、为了解决上述问题，本发明的目的在于提供一种基于agv移动平台主动监测的飞机拖动过程风险预警方法。

2、为了达到上述目的，本发明提供的基于agv移动平台主动监测的飞机拖动过程风险预警方法包括按顺序进行的下列步骤：

3、1)建立基于agv移动平台主动监测的飞机拖动过程风险预警系统：

4、2)对上述基于agv移动平台主动监测的飞机拖动过程风险预警系统中的相机、激光雷达和投影仪进行联合标定；

5、3)采集原始目标图像并进行筛选、标注，由所有标注后的目标图像构成目标图像样本数据集并按比例划分成训练集和测试集；搭建原始二维目标检测模型并分别利用训练集和测试集进行训练和评估，获得最终二维目标检测模型；

6、4)将步骤1)构建的飞机拖动过程风险预警系统中的agv移动平台置于待检测目标前方并随目标移动，同时在工控机的控制下，使用步骤2)中已标定的相机连续采集一系列实时的待检测目标图像并输入步骤3)获得的最终二维目标检测模型，最终二维目标检测模型输出待检测目标二维检测框，由此完成二维目标检测；

7、5)利用deepsort关联算法对步骤4)获得的相邻帧待检测目标的二维检测框进行关联，获得目标的跟踪轨迹；之后控制agv移动平台与目标的距离保持在设定的距离范围内，并根据跟踪轨迹进行转向；

8、6)在上述agv移动平台移动过程中，利用步骤2)中已标定的激光雷达实时采集待检测目标点云，结合步骤2)中获得的已标定的相机内参和外参，对步骤4)中获得的待检测目标图像所对应同一时刻的待检测目标点云进行深度筛选、相机视场(fov)筛选和地面点云剔除在内的预处理，然后利用步骤4)获得的待检测目标二维检测框结合步骤2)获得的已标定的相机的内参计算出目标深度，之后基于目标深度对预处理后的待检测目标点云进行聚类分割，确定出目标点云和障碍物点云，由此完成三维目标检测；

9、7)对上述目标点云沿法线方向进行放大，然后在碰撞检测区域内，首先使用包围盒检测方法对上述目标点云和障碍物点云进行粗略碰撞检测，若判断包围盒发生了碰撞，再使用体素检测方法进行精确碰撞检测，由此确定出目标碰撞区域点云；

10、8)利用步骤2)中获得的激光雷达、相机和投影仪的标定结果，确定出步骤7)中检测到的目标碰撞区域点云所在实际位置，再通过投影仪将红色图像投影到目标碰撞区域点云所在实际位置。

11、在步骤1)中，所述系统包括agv移动平台和搭载在agv移动平台上的激光雷达、相机、投影仪及工控机；其中，工控机分别与激光雷达、相机和投影仪电连接，agv移动平台通过外部连接的can总线接口控制；

12、所述激光雷达采用400线固态激光雷达；相机采用工业面阵相机；agv移动平台采用小鱼800底盘。

13、在步骤2)中，所述对上述基于agv移动平台主动监测的飞机拖动过程风险预警系统中的相机、激光雷达和投影仪进行联合标定的方法是：

14、使用棋盘格标定板，根据单应矩阵映射原理和非线性优化原理完成相机内参的标定，然后利用已经过内参标定的相机和激光雷达分别采集多组不同角度和距离下棋盘格标定板的图像和点云，根据上述图像和点云计算出相机和激光雷达的外参；之后使用投影仪投影棋盘格图案到空白标定板，将棋盘格标定板置于同一平面，利用已经过内参标定的相机在不同角度和距离下采集棋盘格标定板的图像，由此计算出相机和投影仪的内参和外参。

15、在步骤3)中，所述采集原始目标图像并进行筛选、标注，由所有标注后的目标图像构成目标图像样本数据集并按比例划分成训练集和测试集；搭建原始二维目标检测模型并分别利用训练集和测试集进行训练和评估，获得最终二维目标检测模型的方法是：

16、使用任意相机采集不同角度和不同深度的原始目标图像，所述目标包括飞机机翼、尾翼和发动机，之后对原始目标图像进行筛选以保留高质量图像；然后对筛选后的目标图像采用labellmg.exe标注方法利用方形标注框手动标注出目标的位置，从而得到标注后的目标图像，由所有标注后的目标图像构成目标图像样本数据集，之后将目标图像样本数据集按8:2的比例划分成训练集和测试集；

17、使用深度学习yolov7算法模型搭建原始二维目标检测模型，然后将上述训练集输入原始二维目标检测模型进行训练，通过迭代优化损失函数，不断调整模型性能，然后将测试集输入训练后的二维目标检测模型，通过计算检测精确度及平均精度对二维目标检测模型的准确性进行评估，最后根据评估结果优化二维目标检测模型，选择具有最佳检测性能的二维目标检测模型作为最终二维目标检测模型。

18、在步骤4)中，所述将步骤1)构建的飞机拖动过程风险预警系统中的agv移动平台置于待检测目标前方并随目标移动，同时在工控机的控制下，使用步骤2)中已标定的相机连续采集一系列实时的待检测目标图像并输入步骤3)获得的最终二维目标检测模型，最终二维目标检测模型输出待检测目标二维检测框，由此完成二维目标检测的方法是：

19、在飞机复杂维修现场中，将agv移动平台置于待检测目标前方10m位置并使其跟随待检测目标移动，同时在工控机的控制下，使用步骤2)中已标定的相机连续采集一系列实时的待检测目标图像并输入步骤3)获得的最终二维目标检测模型，最终二维目标检测模型输出待检测目标二维检测框，由此完成二维目标检测。

20、在步骤5)中，所述利用deepsort关联算法对步骤4)获得的相邻帧待检测目标的二维检测框进行关联，获得目标的跟踪轨迹；之后控制agv移动平台与目标的距离保持在设定的距离范围内，并根据跟踪轨迹进行转向的方法是：

21、利用deepsort关联算法，将步骤4)获得的当前帧待检测目标图像的二维检测框与前一帧待检测目标图像的二维检测框进行关联，结合卡尔曼滤波器进行状态更新，得到待检测目标的位置和速度，在每帧新的待检测目标图像中重复上述关联操作，就能将每一帧待检测目标图像的目标信息关联，以实现对待检测目标的实时跟踪，获得目标的跟踪轨迹；

22、设定一9.5m-10.5m的距离范围，将当前待检测目标图像中agv移动平台和待检测目标间的距离与上述距离范围进行对比，若agv移动平台与待检测目标间的距离大于距离范围的最大值，则控制agv移动平台加速，反之减速，使其位置始终处于上述距离范围内；同时，根据上述跟踪轨迹计算当前待检测目标图像中待检测目标的角度，并控制agv移动平台1以相同的角度转向。

23、在步骤6)中，所述在上述agv移动平台移动过程中，利用步骤2)中已标定的激光雷达实时采集待检测目标点云，结合步骤2)中获得的已标定的相机内参和外参，对步骤4)中获得的待检测目标图像所对应同一时刻的待检测目标点云进行深度筛选、相机视场筛选和地面点云剔除在内的预处理，然后利用步骤4)获得的待检测目标二维检测框结合步骤2)获得的已标定的相机的内参计算出目标深度，之后基于目标深度对预处理后的待检测目标点云进行聚类分割，确定出目标点云和障碍物点云，由此完成三维目标检测的方法是：

24、在上述agv移动平台移动过程中，利用步骤2)中已标定的激光雷达实时采集待检测目标点云，然后设定待检测目标所在感兴趣区域的深度阈值，从上述待检测目标点云中剔除上述深度阈值以外的点云，获得深度筛选后的待检测目标点云；利用步骤2)中获得的已标定的相机内参和外参，将上述深度筛选后的待检测目标点云投影到相机的图像平面上，得到对应像素点的坐标，然后判断每个像素点的坐标是否在相机视场范围内，且只保留在相机视场范围内的像素点，获得相机视场内的待检测目标点云；最后使用ransac算法，迭代拟合出地面点云并从上述相机视场内的待检测目标点云中剔除，由此完成待检测目标点云的预处理；

25、然后利用步骤2)获得的相机内参：

26、

27、其中dx是相机的像元尺寸，从相机的出厂参数中获得，令f/dx为fx，由下式求出相机焦距f：

28、f＝fx·dx

29、之后将步骤4)获得的待检测目标二维检测框在水平方向的像素长度记为像素宽度w，则待检测目标的图像宽度w表示为下式：

30、w＝w·dx

31、使用激光测距仪测量待检测目标的实际长度并作为其先验长度l，根据相机成像原理，以及相机焦距f、图像宽度w与像元尺寸dx的关系，得到目标深度计算公式：

32、

33、利用步骤2)获得的相机3内参和外参，将步骤4)获得的待检测目标二维检测框和预处理后的待检测目标点云转换到相机坐标系下，由待检测目标二维检测框框选出包含待检测目标的三维点云视锥体，然后根据上述目标深度d，结合待检测目标的先验三维尺寸设定深度阈值，之后根据所设深度阈值缩小三维点云视锥体的范围，在此范围内，通过欧式聚类算法对缩小后的三维点云视锥体中的点云进行聚类分割，并根据待检测目标的先验长度l在聚类簇中确定出目标点云，而将目标点云之外的其他簇视为障碍物点云，由此完成三维目标检测。

34、在步骤7)中，所述对上述目标点云沿法线方向进行放大，然后在碰撞检测区域内，首先使用包围盒检测方法对上述目标点云和障碍物点云进行粗略碰撞检测，若判断包围盒发生了碰撞，再使用体素检测方法进行精确碰撞检测，由此确定出目标碰撞区域点云的方法是：

35、使用aabb包围盒对目标点云和障碍物点云进行粗略碰撞检测；在进行碰撞检测前，对上述目标点云沿法线方向进行放大；然后通过计算目标点云和障碍物点云在x、y、z三个轴的极大值和极小值得到相应点云的aabb包围盒，之后在相机坐标系中，若目标点云aabb包围盒与障碍物点云aabb包围盒在x、y、z三个轴上的投影都相交，便判断发生了碰撞，否则没有发生碰撞；

36、在相机坐标系中，若目标点云体素网格与障碍物点云体素网格在x、y、z三个轴上的投影都相交，便判断发生了碰撞，否则没有发生碰撞，由此确定出目标碰撞区域点云。

37、本发明提供的基于agv移动平台主动监测的飞机拖动过程风险预警方法设计了一种由agv移动平台搭载，集成了激光雷达、相机、投影仪等多传感器的系统，具有更高的自主性、实时性和精确性，可以在复杂环境中对各种风险进行监测和预警。