一种船舶在线监测方法及终端与流程

1.本发明涉及图像识别领域，尤其涉及一种船舶在线监测方法及终端。


背景技术：

2.国内港口在视频监控领域开展了一定的研究工作，但仍然是基于传统视频监控领域，通常只提供视频的捕获、保存、传输、显示画面等功能。而视频内容的分析识别等功能大多在监控中心依赖人工实现，工作量巨大且容易出错。在传统视频监控系统中，视频内容的分析识别等功能需要人工参与实现，该工作的劳动强度高，工作量巨大且容易出错。
3.随着我国卫星物联网第一阶段的建设成功，高通量卫星通信技术发展使得多地协同海洋观测成为可能，同时基于新兴人工智能、图像深度学习以及计算机视觉技术对渔港、养殖区、重点水域进行实时监控管理和智能识别跟踪，必然成为海洋全天候实时在线监控的主要研究手段和发展方向。但尽管我国沿海地区已为部分渔港和养殖区布设了通用的智能摄像头，由于缺乏对海洋场景的深度挖掘和分析，缺乏高效可行的船舶、航标、浮标等海上目标数据集，因此在海洋动态目标的跟踪和在线识别方面还较为薄弱，而对海洋动态目标的跟踪和在线识别特别是对海上船舶的跟踪和在线识别对海洋整体管理有重要作用。


技术实现要素：

4.本发明所要解决的技术问题是：提供一种船舶在线监测方法及终端，实现对船舶的实时跟踪监控。
5.为了解决上述技术问题，本发明采用的一种技术方案为：
6.一种船舶在线监测方法，包括步骤：
7.s1、获取待监测视频；
8.s2、通过预训练的多个嵌套的lstm网络获取所述待监测视频的目标待监测关键帧；
9.s3、根据预训练目标识别神经网络对所述目标待监测关键帧进行目标识别和目标跟踪。
10.为了解决上述技术问题，本发明采用的另一种技术方案为：
11.一种船舶在线监测终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
12.s1、获取待监测视频；
13.s2、通过预训练的多个嵌套的lstm网络获取所述待监测视频的目标待监测关键帧；
14.s3、根据预训练目标识别神经网络对所述目标待监测关键帧进行目标识别和目标跟踪。
15.本发明的有益效果在于：获取待监测视频，通过预训练的多个嵌套的lstm网络获取其对应的目标待监测关键帧，对目标待监测关键帧进行目标识别和目标跟踪，通过lstm
网络获取目标待监测关键帧，大大降低了待监测视频的数据量，使得后续的目标识别和目标跟踪的计算量大大降低，缩短了接收视频到完成目标识别和目标跟踪之间的时延，实现待监测视频的实时在线计算，从而能够实现对船舶的实时跟踪监控。
附图说明
16.图1为本发明实施例的一种船舶在线监测方法的步骤流程图；
17.图2为本发明实施例的一种船舶在线监测终端的结构示意图；
18.图3为本发明实施例的一种多个嵌套的lstm网络示意图；
19.图4为本发明实施例的一种多个嵌套的lstm网络数据流示意图；
20.图5为本发明实施例的一种预测轨迹的流程示意图；
21.图6为本发明实施例的一种船舶在线监测系统的的模块组成示意图；
22.图7为本发明实施例的一种船舶在线监测系统的功能模块示意图；
23.图8为本发明实施例的可实现一种船舶在线监测方法的硬件组成示意图；
24.标号说明：
25.1、一种船舶在线监测终端；2、处理器；3、存储器。
具体实施方式
26.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
27.请参照图1，一种船舶在线监测方法，包括步骤：
28.s1、获取待监测视频；
29.s2、通过预训练的多个嵌套的lstm网络获取所述待监测视频的目标待监测关键帧；
30.s3、根据预训练目标识别神经网络对所述目标待监测关键帧进行目标识别和目标跟踪。
31.从上述描述可知，本发明的有益效果在于：获取待监测视频，通过预训练的多个嵌套的lstm网络获取其对应的目标待监测关键帧，对目标待监测关键帧进行目标识别和目标跟踪，通过lstm网络获取目标待监测关键帧，大大降低了待监测视频的数据量，使得后续的目标识别和目标跟踪的计算量大大降低，缩短了接收视频到完成目标识别和目标跟踪之间的时延，实现待监测视频的实时在线计算，从而能够实现对船舶的实时跟踪监控。
32.进一步地，所述s2之前包括：
33.预训练多个嵌套的lstm网络。
34.由上述描述可知，预训练多个嵌套的lstm网络，通过lstm网络获取目标待监测关键帧，实现了后续计算量的减小。
35.进一步地，所述预训练多个嵌套的lstm网络具体为：
36.s21、获取训练视频，通过选择lstm网络获取所述训练视频的训练视频关键帧的第一特征；
37.s22、通过判别lstm网络获取所述训练视频的第二特征，并判断所述第一特征及所述第二特征是否相同，若是，则执行s23、否则，调整所述选择lstm网络的参数后执行所述
s21；
38.s23、保存所述选择lstm网络及所述判别lstm网络；
39.所述s2具体为：
40.通过所述选择lstm网络及所述判别lstm网络获取所述待监测视频的目标待监测关键帧。
41.由上述描述可知，获取训练视频，首先通过选择lstm网络获取训练视频中关键帧的第一特征，再通过判别lstm网络直接获取训练视频的第二特征，对比第二特征和第二特征是否相同，若相同则说明所获取到的关键帧能够很好地反应视频中的特征，可以与原视频做等同看待，若不相同则说明该选择lstm网络的关键帧提取不准确，需要对参数进行调整；还可设置预设数量的训练视频，调整选择lstm网络的参数和判别lstm网络的参数直至对预设数量的训练视频的准确度即第一特征和第二特征相同的比例达到阈值。
42.进一步地，所述s21具体为：
43.将所述训练视频分解为多个训练视频帧，将所述训练视频帧逐一通过所述选择lstm网络得到与所述训练视频帧对应的关键性评分及特征向量；
44.根据所述关键性评分由高到低的顺序排列所述训练视频帧，获取前预设个数的所述训练视频帧，并标记为训练视频关键帧；
45.根据所述关键性评分及所述特征向量加权计算得到所述训练视频关键帧的第一特征。
46.由上述描述可知，由上述描述可知，将训练视频分解为训练视频帧，将训练视频帧逐一通选择过lstm网络得到关键性评分及其对应的特征向量，根据结果得到训练视频关键帧，并获取训练视频关键帧的第一特征，能够较为准确地获取到训练视频所对应的关键帧，且计算训练视频关键帧的第一特征以备进行后续比对，能够同时训练判别lstm达到最优分辨能力。
47.进一步地，还包括编码lstm网络及解码lstm网络；
48.所述s21及所述s22之间还包括：
49.通过所述编码lstm网络计算所述第一特征的特征编码；
50.通过所述解码lstm网络解码所述特征编码得到第三特征；
51.所述s22具体为：
52.通过判别lstm网络获取所述训练视频的第二特征，并判断所述第三特征及所述第二特征是否相同，若是，则执行s23、否则，调整所述选择lstm网络的参数后执行所述s21。
53.由上述描述可知，在选择lstm网络得到第一特征后，由编码lstm网络和解码lstm网络对第一特征进行重新编码和解码，可以获得一个与第一特征相似的重构特征，与第一特征在统计学上形成“独立同分布”的关系，从而能够使得判别lstm的分辨能力达到最优。
54.进一步地，所述s2及所述s3之间还包括：
55.通过目标识别网络对所述目标待监测关键帧进行环境过滤处理；
56.对环境过滤处理后的所述目标待监测关键帧进行图像预处理，统一各个目标待监测关键帧的格式。
57.由上述描述可知，在得到目标待监测关键帧之后，进行环境过滤处理和图像预处理，统一来自不同摄像头的目标待监测关键帧的格式，并且提前排除较明显的环境干扰。使
得预训练目标识别神经网络能够更加准确地进行目标识别。
58.进一步地，所述图像预处理包括格式转化、重采样及对比度调整。
59.由上述描述可知，进行格式转化、重采样及对比度调整，保证了输入预训练目标识别神经网络的目标待监测关键帧的格式统一，在进行目标识别的过程中最大程度排除了外在因素的影响，提高了最终目标识别结果的准确性。
60.进一步地，所述目标待监测关键帧按照时间顺序排列；
61.所述s3包括：
62.从最早的所述目标待监测关键帧开始遍历所述目标待监测关键帧，根据所述预训练的目标识别神经网络对遍历到的第一待监测关键帧进行目标识别得到第一标记框；并根据所述预训练的目标识别神经网络对所述第一待监测关键帧的后一第二待监测关键帧进行目标识别得到第二标记框；
63.获取所述第一标记框与所述第二标记框的交集与二者并集的比值；
64.根据所述比值新增、更新或删除轨迹信息。
65.由上述描述可知，将目标待监测关键帧按照时间顺序排列，最大程度保留了原视频的特征，且对于相邻的目标待监测关键帧中的相同标记目标进行标记框的交集和并集比值的判断，能够实现对标记目标的轨迹跟踪。
66.进一步地，所述第一标记框包括多个，所述第一标记框与所述标记目标一一对应；
67.所述第二标记框包括多个，所述第二标记框与多个所述标记目标一一对应；
68.所述获取所述第一标记框与所述第二标记框的交集与二者并集的比值具体为：
69.获取相同所述标记目标的第一标记框及所述第二标记框的交集与二者并集的比值。
70.由上述描述可知，对于一个目标待监测关键帧中的不同目标用不同的标记框进行分别比对，在计算比值时计算同一个标记目标对应的相邻目标待监测关键帧中的标记框的比值，能够同时获取目标待监测视频中多个标记目标的移动轨迹，提高计算效率。
71.一种船舶在线监测终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种船舶在线监测方法。
72.请参照图1
‑
图5，本发明的实施例一为：
73.一种船舶在线监测方法，包括步骤：
74.s1、获取待监测视频；
75.s2、通过预训练的多个嵌套的lstm网络获取所述待监测视频的目标待监测关键帧；
76.s3、通过目标识别网络对所述目标待监测关键帧进行环境过滤处理；对环境过滤处理后的所述目标待监测关键帧进行图像预处理，统一各个目标待监测关键帧的格式；
77.其中，图像预处理包括格式转化、重采样及对比度调整；
78.在一种可选的实施方式中，环境过滤处理具体为：采用通用的目标识别网络如精度较高的imagenet网络进行目标待检测关键帧中的通用目标识别，针对性消除目标待监测关键帧中的非目标物干扰，如港口场景下的岸边房屋、来往车辆、行人、遮阳伞等的影响；
79.s4、根据预训练目标识别神经网络对所述目标待监测关键帧进行目标识别和目标
跟踪；
80.在一种可选的实施方式中，采用第一预训练目标识别神经网络对目标待监测关键帧进行目标识别，采用第二预训练目标识别神经网络对目标待监测关键帧所识别出的目标进行目标跟踪；如，第一预训练目标识别神经网络为yolo，第二预训练目标识别神经网络为多目标跟踪神经网络；
81.请参照图5，具体的，目标待监测关键帧按照时间顺序排列，从最早的所述目标待监测关键帧开始遍历所述目标待监测关键帧，根据所述预训练的目标识别神经网络对遍历到的第一待监测关键帧进行目标识别得到第一标记框；并根据所述预训练的目标识别神经网络对所述第一待监测关键帧的后一第二待监测关键帧进行目标识别得到第二标记框；获取所述第一标记框与所述第二标记框的交集与二者并集的比值；根据所述比值新增、更新或删除轨迹信息；
82.在一种可选的实施方式中，所述第一标记框包括多个，所述第一标记框与所述标记目标一一对应；所述第二标记框包括多个，所述第二标记框与多个所述标记目标一一对应；所述获取所述第一标记框与所述第二标记框的交集与二者并集的比值具体为：获取相同所述标记目标的第一标记框及所述第二标记框的交集与二者并集的比值；
83.其中，获取所述第一标记框与所述第二标记框的交集与二者并集的比值采用匈牙利算法，并将代价矩阵输入linear_sum_assignment(线性总和分配)算法得到最优匹配，目标跟踪轨迹的预测与更新采用卡尔曼滤波：x(k)＝h(k)x(k
‑
1) w(k)，y(k)＝x(k) v(k)，其中v(k)为服从一种非高斯异常生成分布，x(k)为第k次预测x值、h(k)w(k)为第k次预测线性模型参数、y(k)为第k次预测y值；
84.在执行多目标跟踪时，统计识别与跟踪效果情况，如连续换面内出现目标的多次跟踪失败如丢失轨迹，则进行再次训练以适应港口环境，具体地，返回执行s2。
85.本发明的实施例二为：
86.一种船舶在线监测方法，其与实施例一的不同之处在于：
87.请参照图3，s2之前包括预训练多个嵌套的lstm(lstm，long short
‑
term memory，长短期记忆)网络，具体为：
88.s21、获取训练视频，通过选择lstm网络(elstm)获取所述训练视频的训练视频关键帧的第一特征，具体的：将所述训练视频分解为多个训练视频帧，将所述训练视频帧逐一通过所述选择lstm网络得到与所述训练视频帧对应的关键性评分及特征向量，其中特征向量为训练视频帧通过cnn卷积处理后获得的；根据所述关键性评分由高到低的顺序排列所述训练视频帧，获取前预设个数的所述训练视频帧，并标记为训练视频关键帧；根据所述关键性评分及所述特征向量加权计算得到所述训练视频关键帧的第一特征；
89.s22、通过判别lstm(dlstm)网络获取所述训练视频的第二特征，并判断所述第一特征及所述第二特征是否相同，若是，则执行s23、否则，调整所述选择lstm网络的参数后执行所述s21；
90.s23、保存所述选择lstm网络及所述判别lstm网络；
91.在一种可选的实施方式中，s21与s22之间还包括：通过所述编码lstm网络(elstm)计算所述第一特征的特征编码；通过所述解码lstm网络(dlstm)解码所述特征编码得到第三特征；则s22具体为：通过判别lstm网络获取所述训练视频的第二特征，并判断所述第三
特征及所述第二特征是否相同，若是，则执行s23、否则，调整所述选择lstm网络的参数后执行所述s21；其中，编码lstm将特第一特征转化为固定长度的特征编码，将第一特征转化为固定长度特征值，保证第一特征和特征编码具有相同概率分布；当一组选择通过重构获得序列与原序列在最优分辨下仍无法区分，则可认为该选择序列是代表原视频特征的最优选择；
92.在一种可选的实施方式中，判别lstm网络对第三特征即解码lstm的重构特征与训练视频的第二特征进行二分类判别；
93.请参照图4，在一种可选的实施方式中，vt表示第t个训练视频，由cnn(convolutional neural networks，卷积神经网络)提取训练视频的第二特征；
94.s21
‑
s23为对抗学习方法，是非监督学习方法，在此过程中，选择lstm网络、编码lstm网络及解码lstm网络组成的特征总结网络与判别lstm网络持续进行学习优化，直至判别lstm网络午安区分第三特征和第二特征，训练结束，此时判别lstm网络对视频特征的分辨效果达到最优，并且选择lstm网络的输出也是最能代表视频特征的训练视频关键帧，即实现了无需标注过程，实现模型训练效率的提高；
95.s2具体为：
96.通过所述选择lstm网络及所述判别lstm网络获取所述待监测视频的目标待监测关键帧；
97.可知，通过最终确定的选择lstm网络，能够得到顺序与待监测视频一致的目标待监测关键帧，且最大程度消除了目标待监测关键帧中的信息冗余和目标待监测关键帧的数量，同时因目标待监测关键帧中包含着最具有代表性的特征，能够通过关键帧容易地识别出目标，无需重复识别多个类似帧，提高了效率。
98.本发明的实施例三为：
99.一种船舶在线监测方法，其与其余实施例的区别在于：
100.s3之前还包括预训练出预训练目标识别神经网络，具体为：
101.在s23之后，获取训练视频关键帧，并对训练视频关键帧进行环境过滤处理及图像预处理得到待标注关键帧；
102.将待标注关键帧按照预设规则分配给标注终端，如平均分配给各个在线的标注终端，标注终端为标注人员使用的终端；或根据标注类别将待标注关键帧进行分类，再将待标注关键帧；
103.接收标注终端发送的已标注关键帧，并将已标注关键帧转发给审核终端，接收审核终端发送的与已标注关键帧对应的审核结果，若审核通过，则将已标注关键帧放入训练数据集；
104.在一种可选的实施方式中，可设置多个审核终端接收同一已标注关键帧进行审核，审核通过的比例达到阈值则该已标注关键帧审核通过；或同一待标注关键帧分配给多个标注终端得到已标注关键帧，并发送给一个审核终端进行审核；或，由一个标注终端标注待标注关键帧得到已标注关键帧，并由一个审核终端进行审核；
105.使用训练数据集中的已标注关键帧训练目标识别神经网络，直至达到预设精度得到预训练目标识别神经网络；则通过预训练目标识别神经网络能够实现目标的实时监测，经验证一个工作站每秒可处理至少72帧的数据，则若视频采样为24fps，一个工作站可以同
时计算三个摄像头的视频流数据；可识别大中型渔船、小型渔船、商船、采砂船、游轮、浮标等不同大小的目标；
106.在一种可选的实施方式中，目标识别神经网络为yolo。
107.请参照图6
‑
图8，本发明的实施例四为：
108.在实际场景中实现实施例一、实施例二或实施例三中的一种船舶在线监测方法：
109.请参照图6，设置监控通讯系统：在各个视频采集节点，以4g/5g无线视频图传及卫星物联网为基础构建通讯框架，实现现场多站采集系统将图像传输至工作站，并由工作站统一处理供客户端访问，实现云台控制的远程互联互通；
110.设置客户端标注系统：现场数据经过通讯系统传输到远程的客户端，客户端负责进行视频图像的格式、裁剪的编辑，存储及数据标注任务，同时由负责标注成果质量控制的客户端进行质量审核和任务派发；
111.设置工作站数据分析处理及数据系统：针对现场采集的海洋移动目标的视频图像数据，以及客户端传输的标注数据，进行系统深度学习，完善海洋目标的后台数据集管理，基于轻量型自编码mot多目标跟踪深度学习神经网络和鲁棒粒子滤波技术，在高性能工作站上进行实时在线的跟踪和识别；
112.请参照图7，在具体实现过程中主要分三个方向实现：
113.1)面向标注及标注质控人员客户端的标注系统：
114.分别形成对应的操作功能模块，在标注工作台基于c#及qt开发桌面级标注操作及质控工具台。标注过程需要响应标注人员在载入的数据库图片上的手动推拽，框选等一系列操作。提供标注工具栏按钮(包括：框选按钮，放大，缩小，恢复原图，上下左右移动，)，以及图像属性配置对话框，用于标明图像中框选的内容是船等属性。提供针对标注质控的意见反馈消息对话框，保障标注工作的质量可控；
115.面向质控人员，主要满足其对标注人员标注图像数据的审核和质量控制，采用c#及web service开发。形成客户端web主页，能够显示标注客户端人物列表，显示任务列表中已标注，未标注，以及正在进行图像标注的相关任务进度，从而有助于实时了解客户端标注人员的标注情况。支持标注质控意见消息反馈，能够针对客户端标注的情况提出修改意见，同时能够动态地根据标注工作台进度情况，指派各个客户端标注任务，达到资源的合理配置；
116.2)面向港口船舶目标跟踪及识别：
117.底层采用c 及python开发，提高开发效率及计算效率。该部分针对港口目标中的船舶，浮标等对象的识别，设计自编码轻量化目标识别深度学习神经网络模型。基于标注工作台形成的图像标注文件，在多显卡工作站上通过python进行目标识别神经网络的训练(以标注文件作为原始数据)。同时考虑到图像扰动对目标动态跟踪的影响，开展多目标粒子滤波鲁棒跟踪技术的开发，保证多目标跟踪(mot)的性能。
118.3)数据管理系统：
119.采用c#及sql server数据库进行数据库设计管理软件，管理软件主要形成对标注图像相关属性数据的字段封装，数据加密等。保证标注数据的安全不外泄。数据库管理软件支持图像数据的抽取，即按照时间或者任务进行检索查询，支持对相关图像数据的捕捉来源场所及时间，标注和质控人员等字段属性进行sql查询，通过将采集和标注的数据及相关
属性封装到数据库中，一方面能够有效达到统一访问管理和统计数据的目的，同时也能控制访问权限，保证数据安全；
120.数据库管理的另一个内容是：后台管理，即针对任务和操作人员权限的管理：数据库系统根据人的权限分为：
121.系统数据管理员：能够直接访问sql server数据库，具备直接查询数据和任务，备份数据能力；
122.图像标注人员：通过客户端进行数据库的数据和任务读取操作，具备临时数据区存储能力；
123.图像标注质量控制人员：通过客户端进行数据库数据和任务读取操作，通过质控将临时数据存储到数据库中；
124.数据统计分析人员：读取能够统计分析数据库能力，无法写入数据库；
125.请参照图8，针对近海环境，通过卫星图像捕捉，现场部署多路高清摄像头，网络远程访问和采集海洋渔船、商船、浮标等视频图像，通过4g/5g网络通讯无线接入节点形成互联互通，将所有一个监控区域内的相机布局在同一个网段下。
126.在多个港口或者大范围监控区域场景下，通过卫星物联网技术实现多个片区不同视频采集设备的分布式联网，接入视频通过卫星中继发送至网络交换机，并传输至中控室，在中控调度室布局各个监控窗体，能够查看轮圈，车辆及人群的实时识别及跟踪效果。视频nvr用于存储原始视频数据。
127.通将标注客户端和质控客户端主机与网络交换机连接，将两种客户端连接在同一网段内，标注客户端主机和质控客户端主机可以根据业务量扩展形成分布式标注及质量审核集群客户端，从而满足灵活可扩展的需要。
128.大规模数据存储，识别及跟踪工作站通过核心交换机通过核心交换机与网络内其他设备相连接。实现数据的存储和交换。
129.请参照图2，本发明的实施例五为：
130.一种船舶在线监测终端1，包括处理器2、存储器3及存储在存储器3上并可在所述处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现实施例一至实施例三中的各个步骤。
131.综上所述，本发明提供了一种船舶在线监测方法及终端，获取待监测视频，通过预训练的多个嵌套的lstm网络获取其对应的目标待监测关键帧，再通过预训练的目标识别神经网络对目标待监测关键帧进行目标识别和目标跟踪，使用目标待监测关键帧替代原始的待监测视频，大大降低了预训练目标识别神经网络中需要计算的数据量，即降低了目标识别和目标跟踪的计算量，使得在相同的时间内可以处理更大数据量的视频，缩短了接收视频到完成目标识别和目标跟踪之间的时延，实现待监测视频的实时在线计算，从而能够实现对船舶的实时跟踪监控，并且在进行lstm网络训练时引入自学习等方法，无需人工标注过程，提高了模型训练的效率，使得模型能够快速更新适应不同的海洋环境，实现对船舶的实时跟踪监控的同时提高了监测结果的准确性。
132.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。