基于视觉激光融合的无人船自主靠离泊方法及系统与流程

本发明涉及图像处理技术，尤其涉及一种基于视觉激光融合的无人船自主靠离泊方法及系统。

背景技术：

1、船舶自动靠离泊是码头作业自动化的重要环节之一，对于提高港口运营效率、减少人工操作风险具有重要意义。传统的船舶靠离泊作业主要依赖船员的经验和判断，存在着一定的安全隐患和效率低下的问题。因此，研发一种自动化的船舶靠离泊系统具有重要的理论和现实意义。目前，船舶自动靠离泊技术主要面临以下几个关键技术难题，第一、船舶的准确位姿(位置和姿态)信息是实现自动靠离泊的前提。由于码头环境复杂、船体运动存在扰动等原因，如何从多源异构传感器数据中融合获取高精度的船体位姿估计是一大挑战。第二、针对不同的码头布局、障碍物分布和船舶动力学约束，需要设计出高效、安全的靠离泊路径规划算法，充分考虑障碍物避让、轨迹平滑性等多重约束条件。针对上述难题，国内外学者和企业通过多年的研究和实践探索，提出了多种理论和技术方案，取得了一些进展。但由于技术难度较大，目前船舶自动靠离泊系统在实际应用中仍存在一定的局限性，亟需进一步的技术突破。

技术实现思路

1、本发明实施例提供一种基于视觉激光融合的无人船自主靠离泊方法及系统，能够解决现有技术中的问题。

2、本发明实施例的第一方面，

3、提供一种基于视觉激光融合的无人船自主靠离泊方法，包括：

4、获取码头区域图像并进行预处理，得到码头边缘特征，利用所述码头边缘特征与船体轮廓的相对位置关系，建立船体姿态估计模型，求解出船体相对于码头的初始姿态角，并对初始姿态角进行优化，得到最优船体姿态估计结果；

5、通过激光雷达获取码头区域的三维点云数据并进行预处理，得到码头平面图像，提取码头平面点云并构建码头平面方程，基于码头平面方程计算出船体相对于码头的初始位移量，并构建激光测量误差补偿方程对初始位移量进行优化，得到最优船体位置估计结果；

6、将得到的最优船体姿态估计结果和最优船体位置估计结果输入到预先训练的视觉激光融合模型中，得到最优船体位姿融合估计结果；

7、根据最优船体位姿融合估计结果和预设的目标码头位置，基于船舶与码头、障碍物之间的斥力以及目标码头位置的引力，构建复合势场函数，通过求解复合势场函数的梯度得到船舶在每个位置的期望运动方向，生成靠离泊路径曲线；

8、将生成的靠离泊路径曲线划分为多个段，利用五次多项式函数对每个段进行拟合，并利用多项式函数的导数信息计算靠离泊路径曲线上每个离散点的切线方向和曲率，并根据船舶的速度和加速度约束对离散点进行筛选和调整，得到初始运动轨迹；

9、将得到的初始运动轨迹作为初始解，结合船舶的动力学模型构建运动轨迹优化问题，其中船舶的动力学模型可以包括推进器推力和舵角限制，同时引入平滑因子和安全性约束，采用非线性优化算法对初始运动轨迹进行优化，最终得到可执行的运动轨迹。

10、在一种可选的实施例中，

11、对初始姿态角进行优化，得到最优船体姿态估计结果包括：

12、获取码头边缘特征和船体轮廓特征构建船体姿态图，其中，姿态图中每个节点表示一帧图像中船体的姿态状态，姿态状态包括船体的位置和方向，每条边表示不同姿态状态之间的空间约束关系；

13、根据码头边缘特征在不同帧图像中的对应关系，建立重投影误差方程，将一帧图像中的三维点投影到另一帧图像中，计算码头边缘特征的重构误差；

14、根据船体轮廓特征在不同帧图像中的变换关系，建立几何误差方程，计算船体轮廓特征的几何误差；

15、将码头边缘特征的重投影误差和船体轮廓特征的几何误差作为优化目标，引入鲁棒核函数，构建图优化问题，通过对图优化问题进行求解，得到第一船体姿态估计结果；

16、基于第一船体姿态估计结果，对码头区域图像进行下采样处理，生成不同分辨率的图像金字塔，在每个分辨率下构建对应的姿态图，引入多尺度优化策略对姿态图进行优化，将多尺度优化得到的姿态估计结果作为初始值，在原始分辨率下对姿态图进行进一步优化，得到最优船体姿态估计结果。

17、在一种可选的实施例中，

18、对图优化问题进行求解包括：

19、根据将码头边缘特征的重投影误差和船体轮廓特征的几何误差构建目标函数，通过非线性最小二乘优化算法，最小化所有重投影误差和几何误差的鲁棒核函数值之和，求解图优化问题，其中目标函数公式如下：

20、；

21、其中，e(x)表示目标函数，ρ表示鲁棒核函数，eij表示第j个特征点在第i帧图像中的重投影误差或几何误差，λ1表示姿态节点位置正则化项的权重系数，xi表示第i个姿态节点的位置，x0i表示第i个姿态节点的初始位置，λ2表示姿态节点方向正则化项的权重系数，ri表示第i个姿态节点的方向，r0i表示第i个姿态节点的初始方向。

22、在一种可选的实施例中，

23、提取码头平面点云并构建码头平面方程包括：

24、在预先提取的码头平面点云中抽取若干组点，计算候选平面方程，根据候选平面方程计算所有点到候选平面的距离，根据预先设置的距离阈值确定支持该候选平面的内点集，并进行重复迭代更新，得到最优候选平面的内点集；

25、计算最优候选平面的内点集中每个点的权重，引入权重衰减参数，通过加权最小二乘法对最优候选平面的内点集进行平面拟合，得到最终的码头平面方程；

26、其中，最优候选平面的内点集中每个点的权重的计算公式如下：

27、；

28、其中，ωt表示第t个点的权重，a表示平面方程的x轴参数，b表示平面方程的y轴参数，c表示平面方程常参数，xt表示第t个点的x轴坐标，yt表示第t个点的y轴坐标，zt表示第t个点的z轴坐标，σ表示控制权重衰减速率的参数。

29、在一种可选的实施例中，

30、训练视觉激光融合模型包括：

31、将视觉激光融合模型视为生成器，引入一个判别器网络对生成的最优船体姿态估计结果和最优船体位置估计结果进行判别，其中，判别器网络的输入为船体姿态和船体位置，输出层使用激活函数，将输出映射为表示输入船体位姿为真实样本的概率值；

32、将实际视觉激光数据对输入到融合模型中，生成对应的船体位姿估计，其中，船体位姿估计包括船体姿态估计和船体位置估计；

33、将生成的船体位姿估计和实际船体位姿输入到判别器网络中计算判别损失，利用判别损失更新判别器网络的参数，同时将生成的船体位姿估计输入到更新后的判别器中计算判别错误率；

34、根据船体位姿估计损失和判别器的判别错误率构建视觉激光融合模型的融合损失函数，通过最小化损失函数更新激光视觉融合模型的参数，并重复更新直到达到预设的训练轮数，得到训练好的视觉激光融合模型。

35、在一种可选的实施例中，

36、复合势场函数的计算公式如下：

37、；

38、其中，u(p)表示复合势场函数，katt表示引力的增益系数，p表示船舶位置，pg表示目标码头位置，k表示第k个障碍物，krep表示斥力的增益系数，pk表示障碍物位置，d(·)表示欧氏距离，d0表示斥力作用的影响范围。

39、本发明实施例的第二方面，

40、提供一种基于视觉激光融合的无人船自主靠离泊系统，包括：

41、第一单元，用于获取码头区域图像并进行预处理，得到码头边缘特征，利用所述码头边缘特征与船体轮廓的相对位置关系，建立船体姿态估计模型，求解出船体相对于码头的初始姿态角，并对初始姿态角进行优化，得到最优船体姿态估计结果；

42、第二单元，用于通过激光雷达获取码头区域的三维点云数据并进行预处理，得到码头平面图像，提取码头平面点云并构建码头平面方程，基于码头平面方程计算出船体相对于码头的初始位移量，并构建激光测量误差补偿方程对初始位移量进行优化，得到最优船体位置估计结果；

43、第三单元，用于将得到的最优船体姿态估计结果和最优船体位置估计结果输入到预先训练的视觉激光融合模型中，得到最优船体位姿融合估计结果，根据所述船体位姿融合估计结果和预设的目标码头位置，利用预先构建的船舶靠离泊路径规划模型，得到最优的靠离泊路径曲线，并将路径曲线转换为可执行的运动轨迹。

44、本发明实施例的第三方面，

45、提供一种电子设备，包括：

46、处理器；

47、用于存储处理器可执行指令的存储器；

48、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

49、本发明实施例的第四方面，

50、提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

51、在本实施例中，通过融合视觉和激光传感器数据，利用优化算法对船体初始姿态角和位移量进行修正，能够获得高精度的船体位姿(位置和姿态)估计结果。这为后续的自动靠离泊提供了可靠的位姿参考。利用图像处理技术从码头区域图像中提取码头边缘特征的方法，并将其与船体轮廓的相对位置关系建模，实现了对船体初始姿态角的估计，提高了系统的智能化水平。通过基于码头平面方程构建激光测量误差补偿方程的方法，对初始位移量进行优化，提高了激光测距的精确度，从而获得更准确的船体位置估计结果。将高精度的船体位姿融合估计结果和目标码头位置输入预先构建的路径规划模型，能够得到最优的靠离泊路径曲线，提高了路径规划的效率和质量。将规划得到的最优路径曲线转换为可执行的运动轨迹，实现了自动靠离泊控制的全流程闭环，提高了码头作业的自动化水平，实现了系统的高度智能化，并在各个环节进行了算法优化，提升了整体系统的性能和稳定性。