一种船只识别监测方法及系统与流程

1.本发明涉及图像处理、船只识别定位的技术领域，尤其涉及一种船只识别监测方法及系统。


背景技术：

2.海上船只识别应用及其广泛，例如，恶意船只的靠近、非我国船只进入我国领海、智能监控系统、海洋大数据等，然而，在海面船只识别中，风浪、大雾、光照等都会对海面船只识别造成重大的影响，使得船只识别的准确性、精度和鲁棒性问题备受关注。
3.目前，应用于海面船只的识别算法主要是svm算法，通过svm算法对船只信号进行分类训练预测，不能实现实时识别，运行时间过长，识别率较低，对于现在海洋大数据的观测缺乏准确数据的支持。


技术实现要素：

4.本发明实施例提供一种船只识别监测方法及系统，能够提高船只识别定位的准确度和效率，实现实时监测。
5.本发明实施例的第一方面，提供一种船只识别监测方法，可选地，在第一方面的一种可能实现方式中，包括：利用5g数传技术采集船只所在海面环境图像；基于边缘特征提取策略检测所述船只所在海面环境图像并提取海面船只边缘特征；将深度学习神经网络策略与yolo算法相结合，构建船只特征识别模型，输入获取的所述海面船只边缘特征进行训练；利用定位传感器传输待监测船只的坐标数据，基于二进制策略构建定位识别模型，输入训练结束后的所述船只特征识别模型输出的识别数据；计算、匹配所述坐标数据和所述识别数据，得到最终的船只监测数据。
6.本发明实施例的第一方面，提供一种船只识别监测方法，可选地，在第一方面的一种可能实现方式中，采集的所述船只所在海面环境图像需进行预处理，形成样本集；所述预处理包括，灰度化、几何变换和图像增强处理。
7.本发明实施例的第一方面，提供一种船只识别监测方法，可选地，在第一方面的一种可能实现方式中，所述边缘特征提取策略包括，对所述船只所在海面环境图像中的每一个像素点进行梯度计算，得到所述像素点对应的梯度强度值；若当前像素点的梯度强度大于沿正、负梯度方向上像素点的梯度强度，则所述当前像素点的梯度强度为边缘像素点；若所述边缘像素点的梯度强度大于高边缘阈值，则所述边缘像素点为强边缘像素点；若所述边缘像素点的梯度强度大于低边缘阈值且小于所述高边缘阈值，则所述边缘像素点为弱边缘像素点；提取所述边缘像素点周围的各个领域像素点，若所述领域像素点中存在所述强边缘像素点，则保留提取的所述弱边缘像素点；连接所有保留的所述强边缘像素点和所述弱边缘像素点，形成所述海面船只边缘特征。
8.本发明实施例的第一方面，提供一种船只识别监测方法，可选地，在第一方面的一种可能实现方式中，构建所述船只特征识别模型包括，在深度学习神经网络结构层中搭建
yolo算法框架运行，形成目标函数，即所述船只特征识别模型，如下，
[0009][0010]
其中，confidence为特征识别信任值，即为所识别的网格中含有目标物体的置信度和标注的iou两重信息，若目标物体在网格中，则特征识别信任值为1，否则为0，d
r
(object)为置信度，iou为交并比，若则识别结果为正确。
[0011]
本发明实施例的第一方面，提供一种船只识别监测方法，可选地，在第一方面的一种可能实现方式中，构建所述定位识别模型包括，
[0012][0013][0014][0015]
z
xy
≤s
xy
，x＝1，2
…
x，a
nx
∈{0，1}
[0016]
其中，x为所述船只所在海面环境图像中边缘像素点个数，y为所述船只所在海面环境图像中每个监测时间段个数，为每个监测请求只能选择一个边缘像素点进行定位检测，s
xy
为边缘像素点检测供应矩阵，a
nx
为边缘像素点检测需求矩阵，b
ny
为边缘像素点选择矩阵，z
xy
为边缘像素点异常检测矩阵，c
xy
为边缘像素点的confidence矩阵，t为监测时段，s为定位约束参数，τ为所述船只所在海面环境图像中边缘像素点识别检测的目标函数，所述所述
[0017]
本发明实施例的第一方面，提供一种船只识别监测方法，可选地，在第一方面的一种可能实现方式中，监测结果包括，若边缘像素点异常检测矩阵z
xy
值大于边缘像素点检测供应矩阵s
xy
值，则监测船只需进行检修维护。
[0018]
本发明实施例的第二方面，提供一种船只识别监测系统，可选地，在第二方面的一种可能实现方式中，包括，采集模块、图像识别模块、船只定位模块和监测管控模块；所述采集模块包括摄像头和视觉传感器，所述摄像头和所述视觉传感器设置在待监测船只的船体四周，所述摄像头用于拍摄海面周围环境图片，所述视觉传感器与所述摄像头相连接，其用于捕捉待监测船只在行驶过程中的船只与周围海域环境变化的图像信息。
[0019]
本发明实施例的第二方面，提供一种船只识别监测系统，可选地，在第二方面的一种可能实现方式中，所述图像识别模块与所述采集模块通过协议栈相连接，所述图像识别模块包括图像解码体和识别单元；所述船只定位模块与所述图像识别模块并行连接于所述采集模块，所述船只定位模块包括定位传感器，所述定位传感器内搭载gps定位算法和网格节点定位技术，实时提供待监测船只的三维坐标。
[0020]
本发明实施例的第二方面，提供一种船只识别监测系统，可选地，在第二方面的一
种可能实现方式中，所述监测管控模块分别与所述图像识别模块和所述船只定位模块相连接，所述监测管控模块包括计算处理中心和控制单元，所述计算处理中心用于批量处理各模块获得的数据信息，最终以数值的形式进行体现，所述控制单元用于读取所述计算处理中心的计算结果，实时控制监测船只的状态。
[0021]
本发明实施例的第二方面，提供一种船只识别监测系统，可选地，在第二方面的一种可能实现方式中，还包括数据传输模块；所述数据传输模块并行设置连接于所述采集模块、所述图像识别模块、所述船只定位模块和所述监测管控模块，其包括5g数传和收发，所述数据传输模块用于为各模块提供数据传输服务，搭建信息传输通道。
[0022]
本发明通过5g数传技术高效率采集数据信息，结合目标检测和二进制优化定位技术，精确得到监测船只的位置和状态信息，提升船只识别定位的准确度和效率，通过地面平台管控进行实时监测，提升海上船只的安全维护性和适用广泛性。
附图说明
[0023]
图1为本发明第一个实施例所述的一种船只识别监测方法的流程示意图；
[0024]
图2为本发明第二个实施例所述的一种船只识别监测系统的模块结构分布示意图；
[0025]
图3为本发明第二个实施例所述的一种船只识别监测系统的网络拓扑结构示意图。
具体实施方式
[0026]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0027]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0028]
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0029]
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0030]
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含a、b和c”、“包含a、b、 c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含
a、b和/或c”是指包含a、b、c三者中任1个或任2个或3个。
[0031]
应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a 与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定 b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
[0032]
取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
[0033]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0034]
【应用场景描述】实施例1
[0035]
参照图1，为本发明的第一个实施例，提供了一种船只识别监测方法，具体包括：
[0036]
s1：利用5g数传技术采集船只所在海面环境图像。其中需要说明的是：
[0037]
采集的船只所在海面环境图像需进行预处理，形成样本集；
[0038]
预处理包括，灰度化、几何变换和图像增强处理。
[0039]
s2：基于边缘特征提取策略检测船只所在海面环境图像并提取海面船只边缘特征。本步骤需要说明的是，边缘特征提取策略包括：
[0040]
对船只所在海面环境图像中的每一个像素点进行梯度计算，得到像素点对应的梯度强度值；
[0041]
若当前像素点的梯度强度大于沿正、负梯度方向上像素点的梯度强度，则当前像素点的梯度强度为边缘像素点；
[0042]
若边缘像素点的梯度强度大于高边缘阈值，则边缘像素点为强边缘像素点；
[0043]
若边缘像素点的梯度强度大于低边缘阈值且小于高边缘阈值，则边缘像素点为弱边缘像素点；
[0044]
提取边缘像素点周围的各个领域像素点，若领域像素点中存在强边缘像素点，则保留提取的弱边缘像素点；
[0045]
连接所有保留的强边缘像素点和弱边缘像素点，形成海面船只边缘特征。
[0046]
s3：将深度学习神经网络策略与yolo算法相结合，构建船只特征识别模型，输入获取的海面船只边缘特征进行训练。其中还需要说明的是，构建船只特征识别模型包括：
[0047]
在深度学习神经网络结构层中搭建yo lo算法框架运行，形成目标函数，即船只特征识别模型，如下，
[0048][0049]
其中，confidence为特征识别信任值，即为所识别的网格中含有目标物体的置信度和标注的iou两重信息，若目标物体在网格中，则特征识别信任值为1，否则为0，d
r
(object)为置信度，iou为交并比，若则识别结果为正确。
[0050]
进一步的，训练具体包括：
[0051]
(1)输入初始化后的预训练数据，单独训练rpn网络；
[0052]
(2)将rpn网络的输出候选区域作为检测识别网络的输入，单独训练 fast
‑
rcnn网络；
[0053]
(3)再次训练rpn网络，固定网络公共部分的参数，只更新rpn网络独有部分的参
数；
[0054]
(4)利用rpn网络的训练结果微调fast
‑
rcnn网络，固定网络公共部分的参数，只更新fast
‑
rcnn网络独有部分的参数；
[0055]
再进一步的，本实施例还需要说明的是：
[0056]
若iou的真值过大，则目标检测物体的置信度也随着增大，即confidence值越大；
[0057]
若confidence值越大，则识别结果越准确。
[0058]
s4：利用定位传感器传输待监测船只的坐标数据，基于二进制策略构建定位识别模型，输入训练结束后的船只特征识别模型输出的识别数据。本步骤还需要说明的是，构建定位识别模型包括：
[0059][0060][0061][0062]
z
xy
≤s
xy
，x＝1，2
…
x，a
nx
∈{0，1}
[0063]
其中，x为船只所在海面环境图像中边缘像素点个数，y为船只所在海面环境图像中每个监测时间段个数，为每个监测请求只能选择一个边缘像素点进行定位检测，s
xy
为边缘像素点检测供应矩阵，a
nx
为边缘像素点检测需求矩阵，b
ny
为边缘像素点选择矩阵，z
xy
为边缘像素点异常检测矩阵，c
xy
为边缘像素点的confidence矩阵，t为监测时段，s为定位约束参数，τ为船只所在海面环境图像中边缘像素点识别检测的目标函数，目标函数，
[0064]
较佳的，本步骤还需要详细说明的是：
[0065]
(1)利用gps定位技术获取坐标数据，结合图像目标检测的识别数据进行二进制转换计算；
[0066]
(2)随机监测某一时段捕捉的数据进行图像坐标匹配计算，若监测时段内出现的边缘像素点异常检测矩阵z
xy
较大，则立即调取该时段船只图像划分的网格地图，确定与图像目标检测识别中的confidence较小值所在图像区域；
[0067]
(3)若confidence较小值所在图像区域与实际的船只图像拍摄位置相对应，则匹配成功，否则删除该记录并遍历全图，重新计算直至遍历结束。
[0068]
s5：计算、匹配坐标数据和识别数据，得到最终的船只监测数据。其中再次需要说明的是，监测结果包括：
[0069]
若边缘像素点异常检测矩阵z
xy
值大于边缘像素点检测供应矩阵s
xy
值，则监测船只需进行检修维护。
[0070]
不难理解的是，本实施例还需要说明的是，现有的船只识别方法大多是通过简单
的特征提取进行计算识别，且只能在船只行驶较为平稳、网络信号较为通畅的情况下才能正常进行，若面对海上船只风浪过大或网络通信不良好的情况，则无法为地面工作人员提供精准的监测，传统的船只还无法实现实时监控技术，因为当前针对船只的监测技术还不够广泛成熟，因而急需一种能够实现实时船只识别监测的方法。
[0071]
优选的，本实施例引用5g数传技术高效率的采集数据信息，通过无线电和基站进行数据传输，即使出现海浪过大、网络通信不良好的情况，也能实时的、通畅的传输数据，进而避免了这一难题的出现，且本发明方法将yo lo算法搭载在深度学习神经网络中进行参数训练，针对图像边缘特征提取进一步提高了参数精度，即增大了图像识别的准确度，本发明提出的定位坐标匹配算法将定位数据和图像识别数据进行两者结合匹配，在初步确定识别结果的准确度的基础上进一步的验证、提高船只监测的准确度，这使得地面平台监控系统能够大精度、高效率、实时的对船只进行监测。
[0072]
为了更好地对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的基于卷积神经网络的船只检测方法、基于特征提取的船只检测方法和二值化处理的船只检测方法进行对比测试，以科学论证的手段对比试验结果，以验证本发明方法所具有的真实效果。
[0073]
传统的基于卷积神经网络的船只检测方法、基于特征提取的船只检测方法和二值化处理的船只检测方法无法实时、准确的对船只进行监控，其只能在正常天气下、平稳状态行驶中的船只进行识别，具有很大的局限性，为验证本发明方法相对于传统方法具有较高的识别定位准确度、传输效率和实时性，本实施例中将采用传统的三种方法与本发明方法分别对仿真船只的状态进行实时监测对比。
[0074]
测试环境：将船只运行在仿真平台模拟行驶并模拟恶劣天气风浪过大场景，采用舟山海域环境作为测试样本，分别输入三种传统方法(传统方法1基于卷积神经网络的船只检测方法、传统方法2基于特征提取的船只检测方法和传统方法3二值化处理的船只检测方法)和本发明方法的运行程序，开启自动化测试设备并运用matlb进行船只检测测试并获得测试结果数据，每种方法各测试一百组数据，计算获得每组数据的时间和误差值，观测测试时段内各方法的数据传输情况，结果如下表所示。
[0075]
表1：效率、准确度对比数据表。
[0076][0077]
参照表1，为各方法测试一百组数据的时间平均值和误差平均值的对比，能够直观的看出，本发明方法相对传统的三种方法在恶劣天气下的计算用时更短，且误差值较低，即准确度越高。
[0078]
本实施例为了进一步验证本发明方法能够实现实时监测的有益效果，在四种方法进行测试的过程中还分别观测、记录了四种方法的通信状态，如下表所示：
[0079]
表2：通信观测记录表。
[0080] 测试前期测试中期测试后期传统方法1传输正常传输不稳定传输中断传统方法2传输正常传输不稳定传输中断传统方法3传输正常传输中断/本发明方法传输正常传输正常传输正常
[0081]
参照表2，本实施例将测试划分为测试前期、中期和后期，例如，若测试时长为1小时，则第一个20分钟为测试前期，第二个20分钟为测试中期，第三个20分钟为测试后期，根据表2的示意，三种传统的方法均不能很好的在恶劣环境下提供实时监测，只有本发明方法能够正常传输数据。
[0082]
实施例2
[0083]
参照图2和图3，为本发明第二个实施例，该实施例不同于第一个实施例的是，提供了一种船只识别监测系统，具体包括：
[0084]
采集模块100、图像识别模块200、船只定位模块300、监测管控模块400 和数据传输模块500。
[0085]
采集模块100包括摄像头101和视觉传感器102，摄像头101和视觉传感器102设置在待监测船只的船体四周，摄像头101用于拍摄海面周围环境图片，视觉传感器102与摄像头101相连接，其用于捕捉待监测船只在行驶过程中的船只与周围海域环境变化的图像信息。
[0086]
图像识别模块200与采集模块100通过协议栈相连接，图像识别模块200 包括图像解码体201和识别单元202；船只定位模块300与图像识别模块200 并行连接于采集模块100，船只定位模块300包括定位传感器301，定位传感器301内搭载gps定位算法和网格节点定位技术，实时提供待监测船只的三维坐标。
[0087]
监测管控模块400分别与图像识别模块200和船只定位模块300相连接，监测管控模块400包括计算处理中心401和控制单元402，计算处理中心401 用于批量处理各模块获得的数据信息，最终以数值的形式进行体现，控制单元 402用于读取计算处理中心401的计算结果，实时控制监测船只的状态。
[0088]
数据传输模块500并行设置连接于采集模块100、图像识别模块200、船只定位模块300和监测管控模块400，其包括5g数传501和收发502，数据传输模块500用于为各模块提供数据传输服务，搭建信息传输通道。
[0089]
较佳的，本实施例还需要说明的是，5g数传501用于进行无线长距离数据传输，其采用高性能处理器和无线端，以实时操作端为软件支撑地面平台控制系统，直接连接串口设备并通过串口转为5g传输，实现数据高效率无线长距离传输，计算处理中心401将串口数据打包成tcp数据通过收发502进行远程传输至服务器，通过图像识别模块200和船只定位模块300的通信并行的高度可靠，准确的提供监测信息。
[0090]
本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
[0091]
其中，可读存储介质可以是计算机存储介质，也可以是通信介质，通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质，计算机存储介质可以是通用或专用计算机能够存取的任何可用介质；例如，可读存储介质耦合至处理器，从而使处理器能够
从该可读存储介质读取信息，且可向该可读存储介质写入信息。
[0092]
当然，可读存储介质也可以是处理器的组成部分，处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic) 中，另外，该asic可以位于用户设备中，当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中，可读存储介质可以是只读存储器(rom)、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0093]
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中，设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
[0094]
在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：centralprocessing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器 (英文：digital signal processor，简称：dsp)、专用集成电路(英文：applicationspecific integrated circuit，简称：asic)，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
[0095]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。