基于多源数据融合的升船机船厢内船舶动态监测系统及方法与流程

本发明涉及船舶过闸监测，具体涉及一种基于多源数据融合的升船机船厢内船舶动态监测系统及方法。

背景技术：

1、目前船舶进出升船机船厢过程中，管理方仅设置红外线接收传感器及摄像头进行船厢内船舶动态位置感知。当发现船舶已越过红外传感器感知区域后，由于船舶惯性，无法进行减速回避，因而易造成升船机内各类设备受损。同时，视频监测仅传输单一图像，由监管人员进行人工经验判断，未对入厢船舶进行路径监测和统计，无法针对各类船舶进行航行特征分析，进而未能提出合理驶入速度区间等航行要素告知，无法建立可靠的过闸助航服务系统。

技术实现思路

1、为解决单一数据来源下船舶进厢难以判断其精确位置易造成设备损失的问题。本发明提供一种基于多源数据融合的升船机船厢内船舶动态监测系统及方法。本发明通过视频数据与毫米波雷达数据融合的船舶动态位置感知技术，可精准把控船厢上行、下行过程中船舶的位置、速度信息，并通过4g平台告知升船机控制方及船舶操纵方。避免了航行船舶进、出船厢对升船机设施的损坏，同时信息的及时反馈，提升了操纵人员决策可靠性。

2、本发明采取的技术方案为：

3、基于多源数据融合的升船机船厢内船舶动态监测系统，该系统包括：

4、监测终端设备、数据通信设备、数据存储设备、后台数据处理服务器、船舶运行监测及预警模块；

5、所述监测终端设备包括毫米波雷达、高清摄像机、前端数据处理单元、电源控制模块；毫米波雷达、清摄像机连接前端数据处理单元，电源控制模块分别连接毫米波雷达、高清摄像机、前端数据处理单元；

6、毫米波雷达，用于探测指定区域内的船舶目标，采集船舶目标某一时刻的行驶状态数据，包括船舶进出升船机船厢的空间位置坐标和行驶速度；

7、高清摄像机，用于采集指定区域内的视频图像，指定区域与同一监测终端设备的毫米波雷达探测区域一致；

8、前端数据处理单元，包括毫米波雷达数据处理单元、高清视频图像处理单元、雷达-视频数据匹配与融合单元；

9、毫米波雷达数据处理单元，对接收到的雷达数据进行噪声处理和信息提取，并将空间位置坐标转换至统一的大地坐标系中，如图4所示。从图4可以看出,毫米波雷达提供的是目标的相对坐标，即目标相对于雷达的位置信息。数据处理单元可能会将这些相对坐标转换为统一的大地坐标系中的位置信息。

10、高清视频图像处理单元，对接收到的视频数据进行图像处理，采用yolov5的网络模型提取出船舶类型、船舶方位等信息；如图5所示。

11、yolov5的网络模型结构，可简便分为四个模块，即input、backbone、neck及prediction。

12、1)input：

13、input表示图像输入端，包含图像数据输入及预处理流程，即统一大小等步骤。在yolov5中，以上预处理阶段可概括为：mosaic数据增广、自适应锚框计算、自适应图片缩放三部分。mosaic数据增广指随机广角四张图像形成新的数据集，以提升检测能力；自适应锚框计算指的是不断迭代预测框与真实框，对比后反向迭代优化网络，达到对数据集的最适锚框；自适应图片缩放指将输入图像规范到统一大小，便于后续开展深度学习特征提取。

14、2)backbone：

15、backbone部分主要包括focus结构、csp结构和spp(spatialpyramidpooling)结构。在yolov5模型中，输入的图像到focus结构，采用切片操作，再经过一次卷积操作，最终得到所需的特征图。

16、在backbone步骤前采用focus的模块，是为了进一步降低yolo系列中卷积计算量的问题，提升运算效率，可从参数数量(params)和计算量(flops)进行说明，其公式表现见下式

17、params:kh*kw*cin*cout

18、flops:kh*kw*cin*cout*h*w＝params*h*w

19、式中：cin为输出通道数，cout为输入通道数，kh*kw为卷积核大小，h*w为特征图的宽高相乘，计算量即为每张特征图的通道数与卷积核相乘数。yolov5中将spp结构替换为sppf(spatialpyramidpooling-fast)结构以减少计算量，cspnet和prn思想相同，均为featuremap二分化，分为卷积与上阶段卷积结果进行连接的多层特征融合。

20、3)neck：

21、yolov5采用fpn+pan的结构，使得网络中特征信息更加丰富，提升了后续预测部分的性能。neck部分通过上采样和下采样操作将不同层次的特征图融合在一起，生成多尺度的特征金字塔，以联合不同层级的特征金字塔。

22、4)prediction：

23、prediction部分包括损失函数计算和非极大值抑制(non-maximumsuppression，nms)。nms去除大量候选框中概率较低的，最终在检测结果中显示唯一高概率候选框，显示了置信度和目标类别。

24、雷达-视频数据匹配与融合单元，

25、将雷达采集的船舶位置信息与视频图像上船舶位置进行匹配与融合，具体如下：

26、首先，这种融合能够提高船舶监控系统的准确性和可靠性，通过结合不同传感器的数据，减少误差和漏报，确保对船舶位置的确认和跟踪。其次，结合视频图像和雷达数据可以增强目标识别和分类能力，视频提供船舶的直观特征信息，而雷达数据提供位置和速度等精确信息，有助于更准确地识别不同类型的船舶，提高监控和识别能力。此外，融合不同传感器的数据也可以提高目标追踪的稳定性和连续性，填补雷达数据可能出现的空白，确保追踪的稳定性。最后，这种融合技术还能够提高应对突发事件的能力，通过及时准确地融合不同传感器的数据，提高应急响应的效率和准确性。

27、将雷达采集的船舶空间位置、行驶速度与船舶类型等信息进行关联，具体如下：

28、首先，这种关联可以提供更全面和准确的船舶监控信息。通过将不同的数据元素相互关联，监控系统能够更精确地了解船舶的实时位置、速度以及船舶类型等重要信息，有助于实时掌握船舶航行状况。其次，关联这些信息可以提高对船舶活动的分析和预测能力。通过分析船舶类型和行驶速度等信息，监控系统可以更好地理解船舶的行为模式，识别异常行为并进行预警，有助于防范潜在的安全风险。此外，将船舶类型与空间位置和速度等信息进行关联还能够优化船舶管理和资源分配。例如，根据船舶类型和行驶速度等信息，可以更合理地规划航行路线，提高航运效率和资源利用率。

29、在理想状态下，同1条船舶的视频和雷达航迹数据应该是完全相同的。即使有随机误差和不良因素的干扰，同1条船舶的两条航迹也应该有相近的位置和运动趋势。因此，如果两条航迹在一定时间内有足够多的航迹点位置相似，则可以认为这两条航迹表征的是同1条船舶。但视频和雷达的测量航迹与船舶真实航迹的偏差主要是仪器精度内的随机误差导致的，经过仿真测试发现，在解决此类问题时，柯西型分布作为隶属函数时判断正确率比正态型和梯形的正确率高，故本发明中采用柯西型分布作为隶属函数，柯西型隶属函数为：

30、

31、式中：ξ(ηk)为模糊因素中第k个因素的柯西型隶属度函数；ηk为第k个因素的欧氏距离；λk为第k个因素的展度。

32、欧氏距离为待关联航迹点在第k个因素上的绝对差值，欧氏距离为:

33、ηk＝|ek1-ek2|

34、式中：ηk为第k个因素的欧氏距离；ek1为第k个因素在特征空间1中的表示；ek2为第k个因素在特征空间2中的表示。

35、因素的展度取该时间区间内的待关联航迹点在该因素上的欧氏距离的均方根值，因素展度为:

36、

37、式中：λk为表示第k个样本的局部密度；ηk(t)为t时刻第k个样本与其相邻样本之间的距离；n为样本的数量。

38、通过计算，能够得到航迹点在各因素的隶属度函数值。包括：航向隶属度函数，描述了船舶的航向相对于某个特定方向的隶属程度；航速隶属度函数描述了船舶的航行速度相对于某个特定范围的隶属程度；方位隶属度函数，描述了船舶相对于目标方向的位置关系；距离隶属度函数，描述了船舶与某个目标或参考点的距离的隶属程度。

39、通过层次分析法获得各个模糊因素的权重，采用加权平均法，得到t时刻航迹点的综合关联度ρk，为:

40、

41、式中：ξ(ηk(t))为t时刻待关联航迹点在第k个因素的隶属度函数；ak，k＝1,2,3,…，为各因素的权重。

42、根据多因素模糊综合评价法的评判规则，建立模糊综合评价模型的步骤如下。

43、step1：确定模糊因素集和各因素的权重船舶的航迹主要由航向、航速、方位、距离等信息确定，故选用这4个因素作为判断依据，记为u(u1,u2,u3,u4)，u1,u2,u3,u4分别为航向、航速、方位、距离，采用层次分析法确定这4个因素各自的权重，记为a(a1,a2,a3,a4)，a1,a2,a3,a4分别表示航向、航速、方位和距离因素的权重。

44、step2：选定评判集，文中研究的为航迹是否关联的问题，故选用关联、不关联作为评判集的元素，记为v(v1,v2)。将关联记为1，不关联记为0，可以得到评判集的数学简化形式为：v(1,0)。

45、step3：构建第i条雷达航迹和第j条视频航迹在设定时间区间内关于第k个模糊因素的关联度矩阵为：

46、

47、式中：

48、表示第一个时间点t1下，第v1条视频航迹关于第k个模糊因素的关联度；

49、表示第一个时间点t2下，第v1条视频航迹关于第k个模糊因素的关联度；

50、表示第一个时间点tn下，第v1条视频航迹关于第k个模糊因素的关联度；

51、表示第一个时间点t1下，第v2条视频航迹关于第k个模糊因素的关联度；

52、表示第一个时间点t2下，第v2条视频航迹关于第k个模糊因素的关联度；

53、表示第一个时间点tn下，第v2条视频航迹关于第k个模糊因素的关联度。

54、step4：为充分考虑各个模糊因素对航迹关联判断的影响，采用加权平均模型，根据计算得到第i条雷达航迹和第j条视频航迹在设定时间区间中的多因素综合评价矩阵c(i,j)为：

55、

56、式中：

57、表示第一个时间点t1下，第v1条视频航迹与第i条雷达航迹的综合评价值；

58、表示第一个时间点t2下，第v1条视频航迹与第i条雷达航迹的综合评价值；

59、表示第一个时间点tn下，第v1条视频航迹与第i条雷达航迹的综合评价值；

60、表示第一个时间点t1下，第v2条视频航迹与第i条雷达航迹的综合评价值；

61、表示第一个时间点t2下，第v2条视频航迹与第i条雷达航迹的综合评价值；

62、表示第一个时间点tn下，第v2条视频航迹与第i条雷达航迹的综合评价值。

63、step5：提取各关联度矩阵中t时刻的关联度参数，组成t时刻m条雷达航迹和n条视频航迹的综合关联度矩阵l(t)为：

64、

65、式中：

66、h11表示第1条雷达航迹和第1条视频航迹在t时刻的关联度；

67、hn1表示第n条雷达航迹和第1条视频航迹在t时刻的关联度；

68、h1n表示第1条雷达航迹和第n条视频航迹在t时刻的关联度；

69、hnn表示第n条雷达航迹和第n条视频航迹在t时刻的关联度。

70、step6：航迹关联判断，当某时刻第j条视频航迹与第i条雷达航迹在该时刻的关联程度相对于其他视频航迹最高时，航迹关联系数dij加1，当dij大于待关联航迹点总数的85％时，则认为两条航迹关联，为同1条船舶的航迹。

71、通过上面step～step6,达到了一下的技术目的：

72、首先，通过综合考虑多个评价指标，模型能够量化地评价目标对象的多方面性能。这种综合评价可以帮助决策者更清晰地了解目标对象的整体情况，从而更有针对性地制定决策方案。

73、其次，模型的建立需要对大量数据进行处理和分析，这有助于发现数据之间的相关性和规律。通过数据挖掘技术，可以从海量数据中提取出有价值的信息，为决策提供更准确的依据。

74、进一步地，优化模型的参数和结构可以提高模型的预测能力和适应性。通过对模型进行精细调整，可以使其更好地拟合实际情况，从而提高评价结果的准确性和可信度。

75、模型的输出结果可以为决策提供重要参考，特别是在多变的环境中。基于模型的评价结果，决策者可以做出更明智的决策，减少不确定性，提高决策的成功率。

76、最后，模型的建立和应用可以促进科学决策的发展。通过利用模型进行决策分析和预测，可以实现决策的科学化和智能化，提升决策的效率和水平。

77、所述数据通信设备输入端与对应监测终端设备的输出端相连，数据通信设备的输出端与数据存储设备的输入端相连，数据存储设备连接后台数据处理服务器，后台数据处理服务器连接船舶运行监测及预警模块；

78、数据通信设备，用于将监测终端设备的数据，包括毫米波雷达、高清摄像机采集的原始数据，前端数据处理单元的处理数据，按统一的格式传送至数据存储设备。每一套监测终端设备对应独立的数据通信设备，并均独立接入数据存储设备；

79、数据存储设备，用于将数据通信设备传输来的数据存入存储设备中指定的数据库。数据存储设备存在多个数据输入端接口；

80、后台数据处理服务器，用于读取存储于数据存储设备中的数据，进行单组监测终端设备内部的数据关联处理，实现对船舶在监测区域下的轨迹跟踪与提取；

81、并进行监测终端设备组群之间的数据融合处理，实现监测区域之间的航行轨迹匹配衔接，获取船舶通过整个监测区域的完整轨迹与速度、加速度运行特征，并对典型的驾驶行为如船舶超速入厢、紧急制动等进行分析与特殊标记。

82、船舶运行监测及预警模块，负责船舶在监测区域内的行驶过程在计算机上的可视化显示，包括显示完整的运动轨迹、运动速度和加速度，以及船舶类型等信息。若出现危险驾驶行为，采用红颜色予以突出标识。

83、船端船舶运行监测及预警模块完成后主界面如图6所示，主要包括工作栏、助航信息、航行信息、可视化状态、警示模块、历史数据模块等。软件运行后界面左侧便会显示实时的航行数据，右侧界面显示历史数据及数据的波动情况。左下方的可视化模块会实时展示船舶的航行轨迹。此外，还可开启警示模块，当船舶离导航墙过近时，警示框便会开始闪烁预警。

84、岸端显示软件如图7所示，可实时显示船舶从上游靠船墩驶入三峡升船机上闸首的船舶状态。通过tcp通信，接收来自船舶位姿感知系统的报文数据，并在三维仿真软件中显示船舶位置、姿态角、航速以及偏差信息，从而支持船舶驾驶员更好地掌握船舶实时动态，优化船舶进出船厢运动控制。

85、船舶运行监测及预警模块的上述信息会及时反馈于船端和升船机控制室，提升助航能力。

86、基于多源数据融合的升船机船厢内船舶动态监测方法，包括以下步骤：

87、步骤s1、高清摄像机俯视船厢内水面，实时拍摄水面过往船舶图像，进行船舶监测；

88、毫米波雷达同时扫描过往船舶，负责探测指定区域内的船舶目标，采集船舶目标某一时刻的行驶状态数据，包括船舶的空间位置坐标和行驶速度；

89、步骤s2、当识别过程结束后，前端数据处理单元提取扫描到的目标船舶图像与毫米波数据，进行数据预处理与时刻匹配，之后对将雷达采集的船舶空间位置、行驶速度与船舶类型等信息进行关联，实现对船舶在监测区域下的轨迹跟踪与提取；

90、步骤s3、后台数据处理服务器处理数据后，船舶运行监测及预警模块将监测区域内船舶行驶过程在计算机上的可视化显示，包括显示船舶完整的运动轨迹、运动速度和加速度，以及船舶类型等信息。

91、步骤s4、当出现危险驾驶行为，采用红颜色予以突出标识并通过船舶并及时告知升船机控制室，提出船舶船厢内航行决策建议，提升升船机运行安全性。

92、本发明一种基于多源数据融合的升船机船厢内船舶动态监测系统及方法，技术效果如下：1)本发明的采用的监测终端设备，具备以下优点功能：

93、毫米波雷达通过发射和接收毫米波来实现对船舶周围环境的高精度监测，而高清摄像机则提供直观的视觉信息。前端数据处理单元负责对传感器采集的原始数据进行处理，提取关键信息，而电源控制模块则确保这些传感器能够稳定运行。这些传感器的功能优点在于协同工作，提供全方位、多角度的船舶监测。

94、高精度环境感知：毫米波雷达能够在不同天气条件下实现高精度的环境感知，而高清摄像机提供直观的可见光图像，使监测系统具备更全面的感知能力。

95、实时数据采集：传感器能够实时采集船舶周围的数据，包括雷达探测到的物体位置、高清摄像机拍摄的实时画面等，确保监测系统对船舶运行状态的实时监测。

96、2)本发明的采用的数据通信设备，具备以下优点功能：

97、它提供了高效的数据传输能力，确保监测系统产生的实时数据能够迅速、可靠地传送到后台数据处理服务器。这有助于保持监测系统的实时性和灵敏度。其次，数据通信设备支持多种通信协议和技术，从而确保在不同条件下能实现稳定的数据传输，保障监测系统的全天候运行。此外，数据通信设备通过优化数据传输协议和压缩算法，提高了数据传输的效率，减少了传输的时间和成本。

98、3)本发明的采用的数据存储设备，具备以下优点功能：

99、它提供了可靠的数据存储，确保监测系统生成的海量数据能够被安全地存储下来。这有助于满足长期数据保留的需求，支持历史数据的回溯和分析。其次，数据存储设备提供高效的数据管理能力，使得船舶监测数据能够被有序地组织和分类。这种数据管理功能有助于提高数据的检索效率，使船舶管理者能够迅速找到所需的信息。此外，数据存储设备保障了数据的安全性。通过采用适当的数据加密和备份策略，它确保了船舶监测数据在存储过程中不受损坏或丢失。这有助于维护数据的完整性和可用性。

100、4)本发明的采用的后台数据处理服务器，具备以下优点功能：

101、它拥有强大的数据处理能力，能够高效处理大量实时产生的船舶监测数据。其次，通过实时性数据处理，保证船舶监测信息的及时性，支持迅速发现和应对潜在问题。此外，后台服务器负责数据存储与管理，构建完善的数据库，使得历史数据能够被有效检索、管理和分析。这种数据存储能力为船舶管理者提供了长期数据回溯和趋势分析的支持。另外，后台服务器具备数据融合与分析的能力，能够将来自雷达和视频监测的多源数据整合，提供更全面的船舶运行信息。通过高级算法的应用，后台服务器实现了预测性分析，支持船舶管理者提前发现潜在问题，为智能化运营决策提供数据支持。最后，考虑到数据存储设备的存在，后台服务器确保了数据的安全性和可靠性，为系统整体提供了更加稳健的基础。这些功能优点共同确保了后台数据处理服务器在船舶监测及预警系统中的关键角色。

102、5)本发明的采用的船舶运行监测及预警模块，具备以下优点功能：

103、它融合了雷达和视频监测技术，充分发挥了这两者的优势。雷达技术通过无线电波实现对船舶的远距离探测，即使在恶劣天气和夜间也能提供可靠数据。视频监测则通过摄像头捕捉实时画面，提供直观的视觉信息。这种融合使得船舶管理者能够全方位、全天候地监控船舶的位置、状态和行为。雷达和视频监测相互协同，提供了更全面、准确的监测结果。雷达技术可以弥补视频监测在某些情况下的不足，比如在恶劣天气或能见度较差的情况下，雷达的探测效果更为可靠。而视频监测则为船舶监控提供了直观的视觉数据，使船舶管理者更容易理解和判断船舶的状态。这一融合的优势还在于能够结合高级算法进行目标跟踪和异常检测，进一步提高监测系统的智能化水平。通过将雷达和视频监测数据进行综合分析，系统能够自动检测可能的问题，并发出及时的预警，帮助船舶管理者迅速采取行动，确保船舶的安全运行。

104、6)本发明的采用的步骤s1～步骤s5，整合高清摄像机和毫米波雷达实现了全面监测，提供了对船舶运行状态的多维度信息。通过实时数据采集和处理，系统能够及时获取并处理船舶目标的位置、速度等数据，确保监测的实时性。数据关联和轨迹跟踪提高了对船舶运行过程的分析精度，有助于提取关键信息。最终，通过可视化显示，系统将监测到的船舶运行信息在计算机上呈现，为船舶管理者提供直观、全面的船舶监测结果。在出现危险驾驶行为时，通过突出标识并及时告知控制室，系统提供了及时的预警和决策建议，有力地提升了升船机运行的安全性。