一种基于机器视觉的停车不规范行为识别方法及系统与流程

本技术涉及智能停车，尤其涉及一种基于机器视觉的停车不规范行为识别方法及系统。

背景技术：

1、现有停车场存在乱停，或者乱占车位的现象比较严重，因此给车场人员带来极大的困扰，现有比较多的停车管理人员均是通过人工巡检，或着在监控视频画面中发现，而监控相机的成本较低且采集的车周边的信息较为丰富，所以目前大多数的感知识别算法方法都是依赖于视觉，传统算法易于实现且成本更低，但难以适应复杂车位场景，另外现有的基于机器视觉的智能停车系统，通过高置信度的目标框进行车辆识别，但是其无法避免畸变影响，导致最终的检测准确性较低。

2、综上，相关技术中存在的技术问题有待得到改善。

技术实现思路

1、本技术实施例的主要目的在于提出一种基于机器视觉的停车不规范行为识别方法及系统，通过采用矩形框和旋转框结合的方式提高目标检测框的识别精度。

2、为实现上述目的，本技术实施例的一方面提出了一种基于机器视觉的停车不规范行为识别方法，所述方法包括：

3、获取目标区域车位图像并进行数据标注处理，得到标注后的目标区域车位图像，所述标注后的目标区域车位图像包括目标区域车位图像矩形目标框数据和目标区域车位图像旋转目标框数据；

4、通过yolov8网络模型对所述目标区域车位图像矩形目标框数据进行预测，得到目标区域车辆预测框；

5、引入改进的c2f模块与跨层连接的卷积层，构建改进的yolov8n_obb网络模型；

6、通过所述改进的yolov8n_obb网络模型对所述目标区域车位图像旋转目标框数据进行预测，得到目标区域车位预测框；

7、结合所述目标区域车辆预测框和所述目标区域车位预测框，并进行非极大值过滤处理，得到车辆行为识别结果。

8、在一些实施例中，所述获取目标区域车位图像并进行数据标注处理，得到标注后的目标区域车位图像，包括：

9、通过相机对目标区域进行拍摄采集处理，得到所述目标区域车位图像；

10、通过labelimg工具对所述目标区域车位图像进行目标框选标注处理，得到所述目标区域车位图像矩形目标框数据；

11、通过rolabelimg工具对所述目标区域车位图像进行目标框选标注与微调旋转处理，得到所述目标区域车位图像旋转目标框数据；

12、结合所述目标区域车位图像矩形目标框数据和所述目标区域车位图像旋转目标框数据，得到所述标注后的目标区域车位图像。

13、在一些实施例中，所述改进的yolov8n_obb网络模型包括主干网络模块、颈部模块和预测模块，所述主干网络模块的输出端与所述颈部模块的输入端连接，所述颈部模块的输出端与所述预测模块的输入端连接，其中：

14、所述主干网络模块包括sppf模块、改进的c2f模块、卷积模块和concat模块，其中，所述改进的c2f模块的输出端通过所述跨层连接的卷积层与所述concat模块的输入端连接；

15、所述颈部模块包括fpn层和pan层；

16、所述预测模块包括卷积层。

17、在一些实施例中，所述改进的c2f模块包括第一卷积层、若干finenet模块、第一concat模块和第二卷积模块，所述第一卷积层的第一输出端与所述finenet模块的输入端连接，所述finenet模块的输出端与所述第一concat模块的第一输入端连接，所述第一卷积层的第二输出端与所述第一concat模块的第二输入端连接，所述第一concat模块的输出端与所述第二卷积模块的输入端连接，其中：

18、所述finenet模块包括split网络层和bottleneck网络层，所述split网络层的输出端与所述bottleneck网络层的输入端连接；

19、所述bottleneck网络层包括第三卷积层与第四卷积层。

20、在一些实施例中，所述通过所述改进的yolov8n_obb网络模型对所述目标区域车位图像旋转目标框数据进行预测，得到目标区域车位预测框，包括：

21、将所述目标区域车位图像旋转目标框数据输入至所述改进的yolov8n_obb网络模型；

22、基于所述改进的yolov8n_obb网络模型的主干网络模块，对所述目标区域车位图像旋转目标框数据进行特征提取处理，得到目标区域车位图像旋转目标框特征数据；

23、基于所述改进的yolov8n_obb网络模型的颈部模块，对所述目标区域车位图像旋转目标框特征数据进行特征融合处理，得到融合后的目标区域车位图像旋转目标框特征数据；

24、基于所述改进的yolov8n_obb网络模型的预测模块，对所述融合后的目标区域车位图像旋转目标框特征数据进行预测，得到目标区域车位预测框。

25、在一些实施例中，所述基于所述改进的yolov8n_obb网络模型的主干网络模块，对所述目标区域车位图像旋转目标框数据进行特征提取处理，得到目标区域车位图像旋转目标框特征数据，包括：

26、将所述目标区域车位图像旋转目标框数据输入至所述改进的yolov8n_obb网络模型的主干网络模块；

27、基于所述主干网络模块的卷积模块，对所述目标区域车位图像旋转目标框数据进行卷积处理，得到卷积后的目标区域车位图像旋转目标框数据；

28、基于所述主干网络模块的改进的c2f模块，对所述卷积后的目标区域车位图像旋转目标框数据进行特征降维处理，得到降维后的目标区域车位图像旋转目标框数据；

29、基于所述主干网络模块的跨层连接的卷积层，对所述卷积后的目标区域车位图像旋转目标框数据进行卷积处理，得到二次卷积后的目标区域车位图像旋转目标框数据；

30、基于所述主干网络模块的concat模块，对所述降维后的目标区域车位图像旋转目标框数据与所述二次卷积后的目标区域车位图像旋转目标框数据进行融合拼接处理，得到初步的目标区域车位图像旋转目标框特征数据；

31、基于所述主干网络模块的sppf模块，对所述初步的目标区域车位图像旋转目标框特征数据进行分块池化处理，得到所述目标区域车位图像旋转目标框特征数据。

32、在一些实施例中，所述基于所述主干网络模块的改进的c2f模块，对所述卷积后的目标区域车位图像旋转目标框数据进行特征降维处理，得到降维后的目标区域车位图像旋转目标框数据，包括：

33、将所述卷积后的目标区域车位图像旋转目标框数据输入至所述主干网络模块的改进的c2f模块；

34、基于所述改进的c2f模块的第一卷积层，对所述卷积后的目标区域车位图像旋转目标框数据进行特征提取处理，得到目标区域车位图像旋转目标框卷积特征数据；

35、基于所述改进的c2f模块的finenet模块，对所述目标区域车位图像旋转目标框卷积特征数据进行多尺度信息提取处理，得到目标区域车位图像旋转目标框多尺度特征数据；

36、基于所述改进的c2f模块的第一concat模块，对所述目标区域车位图像旋转目标框卷积特征数据和所述目标区域车位图像旋转目标框多尺度特征数据进行融合拼接处理，得到压缩后的目标区域车位图像旋转目标框数据；

37、基于所述改进的c2f模块的第二卷积模块，对所述压缩后的目标区域车位图像旋转目标框数据进行卷积处理，得到所述降维后的目标区域车位图像旋转目标框数据。

38、在一些实施例中，所述基于所述改进的c2f模块的finenet模块，对所述目标区域车位图像旋转目标框卷积特征数据进行多尺度信息提取处理，得到目标区域车位图像旋转目标框多尺度特征数据，包括：

39、将所述目标区域车位图像旋转目标框卷积特征数据输入至所述改进的c2f模块的finenet模块；

40、基于所述finenet模块的split网络层，对所述目标区域车位图像旋转目标框卷积特征数据进行多尺度分割处理，得到第一目标区域车位图像旋转目标框多尺度特征数据和第二目标区域车位图像旋转目标框多尺度特征数据；

41、基于所述finenet模块的bottleneck网络层，对所述第一目标区域车位图像旋转目标框多尺度特征数据和所述第二目标区域车位图像旋转目标框多尺度特征数据进行加权融合处理，得到所述目标区域车位图像旋转目标框多尺度特征数据。

42、在一些实施例中，所述结合所述目标区域车辆预测框和所述目标区域车位预测框，并进行非极大值过滤处理，得到车辆行为识别结果，包括：

43、获取所述目标区域车辆预测框的宽高和所述目标区域车位预测框的宽高，确定所述目标区域车辆预测框的面积和所述目标区域车位预测框的面积；

44、设置面积阈值；

45、将所述目标区域车辆预测框的面积和所述目标区域车位预测框的面积小于所述面积阈值对应的预测框进行剔除处理，得到剔除后的目标区域车辆预测框和剔除后的目标区域车位预测框；

46、将所述剔除后的目标区域车辆预测框和所述剔除后的目标区域车位预测框分别进行iou计算，并根据计算结果确定所述车辆行为识别结果。

47、为实现上述目的，本技术实施例的另一方面提出了一种基于机器视觉的停车不规范行为识别系统，所述系统包括：

48、标注模块，用于获取目标区域车位图像并进行数据标注处理，得到标注后的目标区域车位图像，所述标注后的目标区域车位图像包括目标区域车位图像矩形目标框数据和目标区域车位图像旋转目标框数据；

49、第一预测模块，用于通过yolov8网络模型对所述目标区域车位图像矩形目标框数据进行预测，得到目标区域车辆预测框；

50、构建模块，用于引入改进的c2f模块与跨层连接的卷积层，构建改进的yolov8n_obb网络模型；

51、第二预测模块，用于通过所述改进的yolov8n_obb网络模型对所述目标区域车位图像旋转目标框数据进行预测，得到目标区域车位预测框；

52、识别模块，用于结合所述目标区域车辆预测框和所述目标区域车位预测框，并进行非极大值过滤处理，得到车辆行为识别结果。

53、本技术实施例至少包括以下有益效果：本技术提供一种基于机器视觉的停车不规范行为识别方法及系统，该方案通过获取目标区域车位图像并进行数据标注处理，得到目标区域车位图像矩形目标框数据和目标区域车位图像旋转目标框数据，通过采用矩形框和旋转框结合的方式提高检测准确率，进一步引入改进的c2f模块与跨层连接的卷积层，构建改进的yolov8n_obb网络模型，并进行非极大值过滤处理，通过矩形框面积进行过滤误识别，提高目标框的识别检测精度，更好的进行停车规范行为指导。

54、附图说明

55、图1是本技术实施例提供的一种基于机器视觉的停车不规范行为识别方法的流程图；

56、图2是本技术实施例提供的一种基于机器视觉的停车不规范行为识别系统的结构示意图；

57、图3是本技术实施例提供的改进的yolov8n_obb网络模型的结构示意图；

58、图4是本技术实施例提供的改进的c2f模块的结构示意图；

59、图5是本技术实施例提供的bottleneck网络层的结构示意图；

60、图6是本技术实施例提供的旋转框预测与矩形框预测的结果示意图。