水域监控变焦摄像机视频增强现实实现方法及系统与流程

本发明涉及水上交通，具体地，涉及一种水域监控变焦摄像机视频增强现实实现方法及系统。

背景技术：

1、近年来，水域治理越来越受到重视，水域治理工作不断被提上日程。

2、

3、高效的监测系统，是执法系统中的重中之重。目前，市场上多传感器融合的多元感知监测系统更能满足用户实战需求，更能高效的辅助用户完成作业任务，其中多传感器包括雷达、ais、北斗、光电等。人类获取外界信息最直观的途径是通过视觉图像，如果把被光电监测到船舶的信息叠加在光电视频画面中，使用户可以在光电视频中观测到目标的动、静态信息，当光电视频中包含多个目标，也可以利用叠加信息，对多个目标进行快速区分，从而加快下一步行动的反应。

4、在摄像机增强现实领域，常规技术往往只适用于定焦摄像机，变焦摄像机因焦距会随用户使用发生变化，主要体现为摄像机视场角变化，而又无法直接获取摄像机在各个时刻的实际焦距数据，因此无法使用常规技术实现变焦摄像机的增强现实效果。

5、专利文献cn111238478a公开了一种基于三维视景的港水域航标助航系统及方法。其方法包括如下步骤：采用视频图像以增强场景模型的深度感和真实感；对三维视景进行增强处理；基于计算机视觉技术获得航标最优视景。但该发明不能在光电动态工作过程中，例如视场变倍、云台水平垂直旋转等情境下实现水域监控变焦摄像机视频增强现实。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种水域监控变焦摄像机视频增强现实实现方法及系统。

2、根据本发明提供的一种水域监控变焦摄像机视频增强现实实现方法，包括：

3、步骤s1：进行目标位置信息采集，作为目标位置数据源；

4、步骤s2：接收实时多光电状态信息，作为增强现实计算叠加信息；

5、步骤s3：进行变焦摄像机内参计算，根据摄像机视场角与焦距离散数据，拟合连续的摄像机视场角与焦距关系曲线；

6、步骤s4：根据输入的目标及计算得到的变焦摄像机焦距信息，将目标的大地坐标转换至相机坐标，由相机坐标转换至图像坐标，将图像坐标转换至像素坐标，得到最终的增项现实数据信息。

7、优选地，在所述步骤s1中：

8、接收多种传感器所采集到的目标位置信息，包括目标的经纬度信息，并对目标位置信息进行管理，作为目标位置数据源，以备增强现实计算叠加信息使用；多种传感器包括雷达、ais、gps和北斗；

9、在所述步骤s2中：

10、接收实时多光电状态信息，包括光电方位角、俯仰角、视场角和光电高度，并对每台光电的状态信息进行管理，作为增强现实计算叠加信息过程中的信息；

11、目标位置信息和光电状态信息是变焦摄像机增强现实系统的输入数据。

12、优选地，在所述步骤s3中：

13、变焦摄像机内参计算部分，使用多项式，根据摄像机视场角与焦距离散数据，拟合连续的摄像机视场角与焦距关系曲线；

14、使用matlab工具，根据摄像机视场角与焦距离散数据，摄像机视场角作为变量，摄像机焦距作为因变量，得到焦距的拟合式，得到拟合连续的摄像机视场角与焦距关系曲线；调整拟合式的最高次数，保证在摄像机工作过程中，根据视场角得到焦距信息。

15、优选地，在所述步骤s4中：

16、坐标转换的步骤，为增强现实结果的计算步骤，其中，目标位置信息，包括目标经纬度信息；光电状态信息，包括光电方位角p、俯仰角t、视场角z、光电经纬度、光电高度h等信息，作为系统数据输入；

17、大地坐标是指目标的经纬度坐标，相机坐标是指以摄像机位置为原点，以平行于摄像机成像靶面、平行于地面的直线为x轴，以垂直于摄像机成像靶面指向目标方向的直线为y轴，以平行于摄像机成像靶面指向上方的直线为z轴的右手坐标系。

18、优选地，在所述步骤s4中：

19、图像坐标是指以摄像机成像靶面中心为原点以平行于摄像机成像靶面、平行于地面的直线为x轴，以平行于摄像机成像靶面指向上方的直线为cz轴的二维坐标系；相机坐标转图像坐标为将目标在相机坐标系中的位置，通过三角映射，转化为图像坐标系的过程；

20、像素坐标是指图像左上角为原点，图像宽所在的直线为x轴，图像高所在直线为y轴的坐标系；图像坐标转像素坐标将连续的成像靶面位置对应到离散的像素位置的过程；

21、通过以上步骤，得到大地坐标中船舶目标经纬度，转化为船舶目标在像素中的位置。

22、根据本发明提供的一种水域监控变焦摄像机视频增强现实实现系统，包括：

23、模块m1：进行目标位置信息采集，作为目标位置数据源；

24、模块m2：接收实时多光电状态信息，作为增强现实计算叠加信息；

25、模块m3：进行变焦摄像机内参计算，根据摄像机视场角与焦距离散数据，拟合连续的摄像机视场角与焦距关系曲线；

26、模块m4：根据输入的目标及计算得到的变焦摄像机焦距信息，将目标的大地坐标转换至相机坐标，由相机坐标转换至图像坐标，将图像坐标转换至像素坐标，得到最终的增项现实数据信息。

27、优选地，在所述模块m1中：

28、接收多种传感器所采集到的目标位置信息，包括目标的经纬度信息，并对目标位置信息进行管理，作为目标位置数据源，以备增强现实计算叠加信息使用；多种传感器包括雷达、ais、gps和北斗；

29、在所述模块m2中：

30、接收实时多光电状态信息，包括光电方位角、俯仰角、视场角和光电高度，并对每台光电的状态信息进行管理，作为增强现实计算叠加信息过程中的信息；

31、目标位置信息和光电状态信息是变焦摄像机增强现实系统的输入数据。

32、优选地，在所述模块m3中：

33、变焦摄像机内参计算部分，使用多项式，根据摄像机视场角与焦距离散数据，拟合连续的摄像机视场角与焦距关系曲线；

34、使用matlab工具，根据摄像机视场角与焦距离散数据，摄像机视场角作为变量，摄像机焦距作为因变量，得到焦距的拟合式，得到拟合连续的摄像机视场角与焦距关系曲线；调整拟合式的最高次数，保证在摄像机工作过程中，根据视场角得到焦距信息。

35、优选地，在所述模块m4中：

36、坐标转换的步骤，为增强现实结果的计算步骤，其中，目标位置信息，包括目标经纬度信息；光电状态信息，包括光电方位角p、俯仰角t、视场角z、光电经纬度、光电高度h等信息，作为系统数据输入；

37、大地坐标是指目标的经纬度坐标，相机坐标是指以摄像机位置为原点，以平行于摄像机成像靶面、平行于地面的直线为x轴，以垂直于摄像机成像靶面指向目标方向的直线为y轴，以平行于摄像机成像靶面指向上方的直线为z轴的右手坐标系。

38、优选地，在所述模块m4中：

39、图像坐标是指以摄像机成像靶面中心为原点以平行于摄像机成像靶面、平行于地面的直线为x轴，以平行于摄像机成像靶面指向上方的直线为cz轴的二维坐标系；相机坐标转图像坐标为将目标在相机坐标系中的位置，通过三角映射，转化为图像坐标系的过程；

40、像素坐标是指图像左上角为原点，图像宽所在的直线为x轴，图像高所在直线为y轴的坐标系；图像坐标转像素坐标将连续的成像靶面位置对应到离散的像素位置的过程；

41、通过以上步骤，得到大地坐标中船舶目标经纬度，转化为船舶目标在像素中的位置。

42、与现有技术相比，本发明具有如下的有益效果：

43、1、本发明能够融合雷达、ais、北斗等多种传感器感知到的目标信息已经较为固定的监控周边环境信息，应用大地坐标系至像素坐标系转换的原理，支持多光电、多角度、多场景组合应用；

44、2、本发明能够在光电动态工作过程中，例如视场变倍、云台水平垂直旋转等情境下实现水域监控变焦摄像机视频增强现实；

45、3、本发明能够直观清晰的标识大地坐标系中目标在摄像机监控画面中的位置，提升系统应用过程中目标观测的直观性，极大程度上降低误判率、虚警概率。