一种营运车辆防控用非高清视频图像内容分析系统的制作方法

1.本发明涉及车辆智能防控技术领域，具体为一种营运车辆防控用非高清视频图像内容分析系统。


背景技术：

2.随着交通建设的大力发展，目前道路上营运车辆越来越多，但是营运车辆的监管一直是营运车防控的短板，目前多是依靠在营运车辆中加装监控、传感器等一系列信息采集装置，从而来监控司机的动态，从而分析出营运车辆是否存在违规驾驶等问题，但目前的问题是，为了降低司机监控的图像延迟，目前多采用低分辨率的非高清视频进行网络传输，而目前的图像分析系统对非高清图像的分析存在短板，导致分析效果差，分析误差较高。


技术实现要素：

3.(一)解决的技术问题
4.针对现有技术的不足，本发明提供了一种营运车辆防控用非高清视频图像内容分析系统，解决了上述的问题。
5.(二)技术方案
6.为实现上述目的，本发明提供如下技术方案：一种营运车辆防控用非高清视频图像内容分析系统，包括视频监控模块、车辆数据采集模块、北斗导航模块、导航记录模块以及视频图像分析模块，所述视频监控模块包括摄像头、麦克风以及存储单元，所述视频图像分析模块包括深度学习单元、视频图像拆分单元、图像分类单元、分析单元以及图像增强单元，所述摄像头以及麦克风的输出端均与存储单元的输入端进行信息传输，所述视频图像分析模块的输入端与视频监控模块的输出端进行信息传输。
7.优选的，所述车辆数据采集模块的输出端与视频图像分析模块的输入端进行信息数据传输，所述车辆数据采集模块对车辆行车电脑进行数据采集，所述车辆数据采集模块信息用于视频图像分析模块的分析参考，所述北斗导航模块可以跟踪车辆行驶路径，所述北斗导航模块的输出端与导航记录模块的输入端进行信息传输，所述导航记录模块的输出端与视频图像分析模块的输入端进行信息传输。
8.优选的，所述视频图像拆分单元基于帧数时间间隔对视频画面进行抽帧，将视频画面拆分成若干图片并提取特征区域，所述图像分类单元将画面相同的视频帧删除，所述图像增强单元对保留图像的画面的特征区域进行分辨率增强，所述分析单元对画面的特征区域进行画面识别。
9.优选的，所述深度学习单元包括神经网络模型，所述深度学习单元对视频图像分析模块的分析数据进行采集，并对图像分析判断结果进行记录以作为神经网络模型的训练，所述深度学习单元采用神经网络算法，所述分析单元根据神经网络模型修正判断结果，所述深度学习单元采用预训练神经网络模型迁移到神经网络模型中，所述预训练神经网络模型作为分析单元的初始化权重。
10.优选的，所述视频图像拆分单元采用聚类抽帧、基于运动抽帧以及基于镜头抽帧，所述视频图像拆分单元采取深度学习cnn模型框架对图像进行特征提取，所述视频图像拆分单元按照视频时间的固定间隔抽取关键帧。
11.优选的，所述图像增强单元采用双三插值算法，将低分辨率图像插值到目标分辨率作为网络的输入，计算公式如下：
12.f-1
＝h
bic
(i
lr
)
13.式中，f-1
＝h
bic
(*)为双三次插值函数，f-1
为经过双三次插值函数所得到的图像，由此可得到下式：
14.f0＝h
cfen
(f-1
)
15.式中，h
cfen
为图像粗特征提取网络，通过一层卷积操作提取图像的浅层特征作为多介特征融合单元的输入，设该网络包括d个多介特征融合单元，fd表示第d个多介特征融合单元的输出，fd由f-1
和f0开始经过对应的h
cfen
函数逐级计算得到下式：
16.fd＝h
mfu.d
(f
d-1
f0)＝h
mfu.d
(h
mfu.d-1
(h
mu.2
(f-1
f0)......))
17.式中，h
mfu.d
表示第d个多介特征融合单元，h
mfu.d
是个复合函数，包括卷积操作和relu激活函数，在每个h
mfu.d
内，不同卷积层提取的图像特征被先级联、后融合，使用递归学习策略，在mfu之间实现权值共享。
18.(三)有益效果
19.与现有技术相比，本发明提供了一种营运车辆防控用非高清视频图像内容分析系统，具备以下有益效果：
20.1、该基于北斗导航的车辆智能防控系统，通过设置了视频图像分析模块，摄像头以及麦克风的输出端均与存储单元的输入端进行信息传输，视频图像分析模块的输入端与视频监控模块的输出端进行信息传输，且视频图像拆分单元基于帧数时间间隔对视频画面进行抽帧，将视频画面拆分成若干图片并提取特征区域，图像分类单元将画面相同的视频帧删除，图像增强单元对保留图像的画面的特征区域进行分辨率增强，分析单元对画面的特征区域进行画面识别，深度学习单元包括神经网络模型，深度学习单元对视频图像分析模块的分析数据进行采集，并对图像分析判断结果进行记录以作为神经网络模型的训练，深度学习单元采用神经网络算法，分析单元根据神经网络模型修正判断结果，深度学习单元采用预训练神经网络模型迁移到神经网络模型中，预训练神经网络模型作为分析单元的初始化权重，图像增强单元采用双三插值算法，将低分辨率图像插值到目标分辨率作为网络的输入，能够有效的提取视频画片人物特征区域的图像信息，并通过图像增强单元，大大提高图像区域的分辨率，提高识别的辨识度，提高识别效果，同时将判断结果用于神经网络模型的训练，可以逐步提高对非高清画面特征的分析效果，通过对比神经网络模型，可以快速会析出司机行为是否规范，状态是否清醒，提高对营运车辆的管控力。
21.2、该基于北斗导航的车辆智能防控系统，通过设置了视频监控模块、车辆数据采集模块、北斗导航模块以及导航记录模块，且车辆数据采集模块的输出端与视频图像分析模块的输入端进行信息数据传输，所述车辆数据采集模块对车辆行车电脑进行数据采集，所述车辆数据采集模块信息用于视频图像分析模块的分析参考，所述北斗导航模块可以跟踪车辆行驶路径，所述北斗导航模块的输出端与导航记录模块的输入端进行信息传输，所述导航记录模块的输出端与视频图像分析模块的输入端进行信息传输，能够在对司机监控
图像分析时，融入车辆行驶信息以及导航跟踪信息的参考，通过测量信息监控，可以提高司机状态判断的准确性，并通过深度学习，建立关联模型，同时导航跟踪信息可以参考车辆行驶时长、行驶距离以及停车时长，为司机是否疲劳驾驶作为参考，提高判断的准确性。
附图说明
22.图1为本发明的系统结构示意图。
23.具体实施方式
24.下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.实施例一：
26.一种营运车辆防控用非高清视频图像内容分析系统，包括视频监控模块、车辆数据采集模块、北斗导航模块、导航记录模块以及视频图像分析模块，所述视频监控模块包括摄像头、麦克风以及存储单元，所述视频图像分析模块包括深度学习单元、视频图像拆分单元、图像分类单元、分析单元以及图像增强单元，所述摄像头以及麦克风的输出端均与存储单元的输入端进行信息传输，所述视频图像分析模块的输入端与视频监控模块的输出端进行信息传输。
27.优选的，所述车辆数据采集模块的输出端与视频图像分析模块的输入端进行信息数据传输，所述车辆数据采集模块对车辆行车电脑进行数据采集，所述车辆数据采集模块信息用于视频图像分析模块的分析参考，所述北斗导航模块可以跟踪车辆行驶路径，所述北斗导航模块的输出端与导航记录模块的输入端进行信息传输，所述导航记录模块的输出端与视频图像分析模块的输入端进行信息传输。
28.优选的，所述视频图像拆分单元基于帧数时间间隔对视频画面进行抽帧，将视频画面拆分成若干图片并提取特征区域，所述图像分类单元将画面相同的视频帧删除，所述图像增强单元对保留图像的画面的特征区域进行分辨率增强，所述分析单元对画面的特征区域进行画面识别。
29.优选的，所述深度学习单元包括神经网络模型，所述深度学习单元对视频图像分析模块的分析数据进行采集，并对图像分析判断结果进行记录以作为神经网络模型的训练，所述深度学习单元采用神经网络算法，所述分析单元根据神经网络模型修正判断结果，所述深度学习单元采用预训练神经网络模型迁移到神经网络模型中，所述预训练神经网络模型作为分析单元的初始化权重，将判断结果用于神经网络模型的训练，可以逐步提高对非高清画面特征的分析效果，通过对比神经网络模型，可以快速会析出司机行为是否规范，状态是否清醒，提高对营运车辆的管控力。
30.优选的，所述视频图像拆分单元采用聚类抽帧、基于运动抽帧以及基于镜头抽帧，所述视频图像拆分单元采取深度学习cnn模型框架对图像进行特征提取，所述视频图像拆分单元按照视频时间的固定间隔抽取关键帧，该抽帧方式，可以有效适应不同格式的视频
图像，并根据需求调节抽帧间隔。
31.优选的，所述图像增强单元采用双三插值算法，将低分辨率图像插值到目标分辨率作为网络的输入，计算公式如下：
32.f-1
＝h
bic
(i
lr
)
33.式中，f-1
＝h
bic
(*)为双三次插值函数，f-1
为经过双三次插值函数所得到的图像，由此可得到下式：
34.f0＝h
cfen
(f-1
)
35.式中，h
cfen
为图像粗特征提取网络，通过一层卷积操作提取图像的浅层特征作为多介特征融合单元的输入，设该网络包括d个多介特征融合单元，fd表示第d个多介特征融合单元的输出，fd由f-1
和f0开始经过对应的h
cfen
函数逐级计算得到下式：
36.fd＝h
mfu.d
(f
d-1
f0)＝h
mfu.d
(h
mfu.d-1
(h
mu.2
(f-1
f0)......))
37.式中，h
mfu.d
表示第d个多介特征融合单元，h
mfu.d
是个复合函数，包括卷积操作和relu激活函数，在每个h
mfu.d
内，不同卷积层提取的图像特征被先级联、后融合，使用递归学习策略，在mfu之间实现权值共享，通过先级联、后融合，使用递归的学习策略，可以逐步提高对非高清图像的加强处理，并通过训练，提高对非高清图像的识别效果。
38.本发明的有益效果是：通过设置了视频图像分析模块，摄像头以及麦克风的输出端均与存储单元的输入端进行信息传输，视频图像分析模块的输入端与视频监控模块的输出端进行信息传输，且视频图像拆分单元基于帧数时间间隔对视频画面进行抽帧，将视频画面拆分成若干图片并提取特征区域，图像分类单元将画面相同的视频帧删除，图像增强单元对保留图像的画面的特征区域进行分辨率增强，分析单元对画面的特征区域进行画面识别，深度学习单元包括神经网络模型，深度学习单元对视频图像分析模块的分析数据进行采集，并对图像分析判断结果进行记录以作为神经网络模型的训练，深度学习单元采用神经网络算法，分析单元根据神经网络模型修正判断结果，深度学习单元采用预训练神经网络模型迁移到神经网络模型中，预训练神经网络模型作为分析单元的初始化权重，图像增强单元采用双三插值算法，将低分辨率图像插值到目标分辨率作为网络的输入，能够使有效的提取视频画片人物特征区域的图像信息，并通过图像增强单元，大大提高图像区域的分辨率，提高识别的辨识度，提高识别效果，同时将判断结果用于神经网络模型的训练，可以逐步提高对非高清画面特征的分析效果，通过对比神经网络模型，可以快速会析出司机行为是否规范，状态是否清醒，提高对营运车辆的管控力，再通过设置了视频监控模块、车辆数据采集模块、北斗导航模块以及导航记录模块，且车辆数据采集模块的输出端与视频图像分析模块的输入端进行信息数据传输，所述车辆数据采集模块对车辆行车电脑进行数据采集，所述车辆数据采集模块信息用于视频图像分析模块的分析参考，所述北斗导航模块可以跟踪车辆行驶路径，所述北斗导航模块的输出端与导航记录模块的输入端进行信息传输，所述导航记录模块的输出端与视频图像分析模块的输入端进行信息传输，能够在对司机监控图像分析时，融入车辆行驶信息以及导航跟踪信息的参考，通过测量信息监控，可以提高司机状态判断的准确性，并通过深度学习，建立关联模型，同时导航跟踪信息可以参考车辆行驶时长、行驶距离以及停车时长，为司机是否疲劳驾驶作为参考，提高判断的准确性。
39.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以
理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。