一种用于水下声光信息结合的标定方法

本发明属于水下声学及光学成像，尤其涉及一种用于水下声光信息结合的标定方法。

背景技术：

1、在海洋勘探活动中，自主水下航行器（autonomous underwater vehicles, auv）和有缆水下机器人（remote operated vehicle, rov）是主要的探测工具，通常配备声呐和摄像机。声呐不受水体浑浊程度的影响，可以探测到距离相对较远的目标物，摄像机可以直观地得到高分辨率的目标图像，但由于海水中光的散射和介质对其吸收的影响，导致光学图像模糊，颜色失真，成像距离受到严重限制。自主水下航行器（auv）和有缆水下机器人（rov）驶近目标物，根据目标位置信息及采集到的图像信息进行灯光亮度调节。这两种成像技术具有互补性。因此，声光融合技术近年来发展迅速，在水下领域得到了广泛的应用，是提高整体成像能力的一种很有潜力的方法。

2、目前水下声光融合主要的研究方向是水下声光图像空间配准算法，主要分为基于区域和基于特征的配准方法。

3、基于区域的水下声光图像配准方法主要利用光声两幅图像的灰度统计信息，通过搜索其最优化全局参数来得到配准测度函数，从而实现两幅图像在空间上的配准。这种遍历式的搜索匹配算法计算量和复杂度较高，而且匹配精度与原数据质量有关，需要图像之间存在较大的重叠区域。

4、基于特征的配准方法以基于特征描述符的配准方法和基于深度学习的配准方法为主。基于特征的配准算法受到水下声光影像显著的结构差异影响，如目标物在声光图像中发生旋转或比例存在差异等都会降低特征描述符的稳健性，影响配准精度。 对于基于深度学习的配准方法，需要大量数据集训练泛化能力强的网络。因此，基于特征的配准方法需要统一的水下声光数据集，水下光学场景数据集获取简单，而声呐图像采集实验成本高。

技术实现思路

1、基于上述亟待解决的问题，本发明提出了一种多物理场标定方法，通过相机标定方法将声呐探测到的目标物的坐标，即以声呐为原点的世界坐标系下的坐标，转换为目标物在光学图像中的像素坐标，从而实现声学信息与光学信息结合，达到提高水下成像质量的目的。

2、本发明提出了一种用于水下声光信息结合的标定方法，包括以下步骤：

3、步骤1，根据小孔成像原理建立摄像机成像模型，设定以声呐为原点的世界坐标系，摄像机坐标系，图像物理坐标系，图像像素坐标系；

4、步骤2，利用一个棋盘格标定板作为标准参照物，通过变换它的位置，摄像机采集多幅图像，已知棋盘格的尺寸和每个格子的大小，建立棋盘格上角点的图像物理坐标与对应的图像点在摄像机坐标系下的二维图像坐标之间的关系，经过坐标转换和最大似然法，求解出摄像机内部矩阵和畸变矩阵；

5、步骤3，根据张正友标定法，利用求解出的摄像机内部矩阵和畸变矩阵以及已知的目标物特征点的世界坐标和目标物特征点在图像中的像素坐标，使用opencv中的函数得到以声呐为原点的世界坐标系和摄像机坐标系之间的旋转矩阵和平移矩阵；

6、步骤4，利用摄像机的成像模型计算四个坐标系之间的转换关系；即推导得到世界坐标系中的目标物特征点的坐标与其在摄像机成像平面上的像素坐标之间的数学关系，将内部矩阵、畸变矩阵、旋转矩阵和平移矩阵代入关系式中，得到已知的声呐识别的目标位置的坐标和目标物的像素坐标之间的映射关系，从而完成标定。

7、优选的，所述步骤1中设定以声呐为原点的世界坐标系，摄像机坐标系，图像物理坐标系，图像像素坐标系，具体为：

8、以声呐为坐标原点建立世界坐标系； 、和轴满足右手螺旋定则；

9、设定摄像机坐标系，以摄像机光心作为坐标系的原点，经过光心垂直于成像平面的直线作轴，轴和轴所形成的平面与成像平面平行来建立摄像机坐标系；

10、设定图像物理坐标系，图像物理坐标系建立在摄像机二维成像面上，原点为摄像机光轴与成像面的交点，轴轴分别平行于摄像机坐标系的轴轴；

11、设定图像像素坐标系；图像像素坐标系以图像左上角为原点，轴轴为坐标轴，坐标轴的单位为像素pixel，像素的横坐标与纵坐标分别表示图像数组中所在的行数与列数。

12、优选的，所述步骤2的具体过程为：

13、利用一个已知尺寸和每个格子大小的棋盘格标定板作为标准参照物，为保证标定的精度，采集n张不同位置不同角度的棋盘格标定板图像；

14、使用opencv库中内置的calibratecamera函数进行标定，标定程序读取角点的像素坐标和世界坐标，所述角点的像素坐标是角点在采集的图像中的像素坐标；所述角点的世界坐标是角点在以棋盘格标定板为z平面，以棋盘格左上角点为原点，以棋盘格长、宽分别为x、y轴建立的世界坐标系中的世界坐标；

15、摄像机标定的原理为：

16、

17、

18、其中、分别表示和，、分别表示水平方向和垂直方向上单位距离内像素的个数，表示焦距，摄像机坐标系的轴与图像交点的像素坐标为；

19、标定时将世界坐标系的平面定义在标定板平面上，表示在这种世界坐标系下棋盘格角点的世界坐标，是棋盘格角点的像素坐标；为的投影矩阵；表示摄像机的外参矩阵；和分别表示标定时定义的世界坐标系相对于摄像机坐标系的旋转矩阵和平移矩阵；根据最大似然法计算摄相机的内部矩阵和畸变矩阵。

20、优选的，所述步骤3的具体过程为：

21、获取以声呐为原点的世界坐标系下目标物特征点的世界坐标；获取目标物特征点的像素坐标；

22、用求解出的摄像机内部参数和畸变矩阵以及已知的目标物特征点的世界坐标和目标物特征点在图像中的像素坐标，使用opencv中内置的solvepnp函数求出旋转向量和平移矩阵，并用rodrigues函数将旋转向量转换为旋转矩阵。

23、优选的，所述获取以声呐为原点的世界坐标系下目标物特征点的世界坐标是使用以下三种方法中的任意一种：

24、利用卷尺测量 、和轴上的坐标表示以声呐为原点的世界坐标系下目标物特征点的世界坐标；

25、或用二维声呐获取影像，测量得到极坐标，用卷尺得到轴上的坐标，将二维声呐得到的极坐标转换为测量 、轴上的世界坐标，结合轴上的世界坐标，得到以声呐为原点的世界坐标系下目标物特征点的世界坐标；

26、或直接用三维声呐测量获得以声呐为原点的世界坐标系下目标物特征点的世界坐标。

27、优选的，所述步骤4的具体过程为：

28、s1，将已知的声呐识别的目标位置的坐标转换为摄像机坐标系中的坐标；

29、s2，将已知的声呐识别的目标位置在摄像机坐标系中的齐次坐标转换为图像物理坐标系中的齐次坐标，通过针孔相机模型有：

30、

31、

32、其中，为摄像机的焦距；

33、s3，推导摄像机坐标系中的坐标同像素坐标系中的坐标的关系，并完成坐标转换；包括以下过程：

34、s31，转换时首先考虑偏移，设摄像机坐标系的轴与图像交点的像素坐标为,则在图像物理坐标系下的点所成的像在像素坐标系中的坐标为：

35、

36、s32，将物理单位和像素单位进行转换：

37、

38、其中， 、分别表示水平方向和垂直方向上单位距离内像素的个数，焦距的单位是；

39、s33，使用 、表示和，可得：

40、

41、得到摄像机坐标系中的坐标同像素坐标系中坐标的关系：

42、

43、由于摄像机的内参数矩阵为：

44、

45、则有：

46、

47、s34，将摄像机坐标系中的坐标转换为像素坐标系中坐标；即将内部矩阵与得到的摄像机坐标相乘，并对得到的矩阵作归一化，将其中的每一个元素除以，得到矩阵的前两行为求得的像素坐标；利用opencv库函数中的undistortpoints函数将得到的像素坐标进行畸变矫正，矫正后像素坐标取整得到最终的目标物的像素坐标。

48、优选的，所述s1的具体过程为：

49、将已知的目标物在以声呐为原点的世界坐标系下的坐标转换为齐次坐标并进行转置并将旋转矩阵和连接组成新的矩阵，即：

50、

51、其中， 、分别为以声呐为原点的世界坐标系相对于摄像机坐标系的旋转矩阵和平移矩阵，是3×3的正交单位矩阵，有3个独立变量，为3×1的平移矩阵，是4×4的摄像机外部参数矩阵；

52、根据声呐识别的目标位置的坐标和摄像机坐标系中的坐标之间的关系，将矩阵与已知的目标物在以声呐为原点的世界坐标系下的坐标的齐次坐标相乘得到摄像机坐标系中的齐次坐标；两者之间的关系为：

53、

54、其中，是点在以声呐为原点的世界坐标系下的齐次坐标，是点在摄像机坐标系下的齐次坐标。

55、与现有技术相比，本发明具有如下有益效果：

56、实验结果显示，将不同的棋盘格角点的世界坐标输入，根据将计算出的像素坐标可视化的图像，可以看出与图像上的目标物特征点基本吻合，准确的声光物理场标定方法可以用于新型光、声联合探测技术，具体可以用于根据目标物在图像中的像素坐标来计算目标物所在区域的曝光度，从而对光源能量投送大小进行调节，提高水下成像质量，为水下机器人在不同水体环境中进行作业系统提供良好的光场环境和视觉效果。

57、本发明所提出的方法充分利用了张正友标定法的优势，避免了标定需要高精度的标定物和操作繁琐等问题，同时达到了比其他标定方法更高的精度，而且还可以避免成本高的问题。该方法制作简单，在标定过程中考虑了镜头畸变，增加了标定的精确性，同时还具有很好的稳定性。