一种基于视觉的起重机钢丝绳缠绕异常检测系统及方法与流程

本发明涉及起重监测，特别涉及一种基于视觉的起重机钢丝绳缠绕异常检测系统及方法。

背景技术：

1、随着我国经济的不断发展，工业领域不断完善，特种设备的使用需求越来越高，其中起重机是一个重要的特种设备，其在港口、水电站、桥梁以及建筑建设等涉及大型设备和物品的搬运的行业起着极其重要的作用。起重机是指可以在一定范围内垂直和水平搬运物料的起重机械，具有间歇性运动的工作特点，即其工作是取料、转移、卸载等动作循环进行的工程，常用的大型起重机械有塔式起重机、门式起重机、桥式起重机，履带式起重机和轮胎式起重机。

2、起重机是一个具有复杂工作环境的重型机械，一般来说，设备的复杂程度越高，其发生故障的可能性越高，而对起重机这类重型机械来讲任何故障都可能导致非常严重的后果，造成一定的经济损失，甚至危害人身安全。

3、为了减少事故的发生次数，保障从业人员的人身安全，早前国内外许多公司和机构便开始针对起重机故障的诊断和预防展开研究，在经过数十年的不断发展后，如今起重机的故障检测逐渐成为一个完善的学科体系。在故障检测领域，国外起步较早，例如美国、德国、英国、法国和日本等国家都有比较成熟的故障诊断产品。美国的 scientific 和 lip等公司成立故障诊断技术研究中心，也已经开发出了成熟的状态检测和故障诊断系统，caterpillar公司开发出计算机监控系统，具备故障检测能力，同时还实现了机械设备的工作状态监测、诊断和远程控制；德国的 liebherr 公司在起重机领域占有着较为雄厚的市场，并开发出了包含视频监控系统、运行参数监控系统、力矩限制系统、防碰撞系统等多个状态监护系统，并应用到了其一系列起重机产品上，可以通过电子显示器查看机械的状态参数；而国内在近20年，部分龙头企业联合高校对重型机械的故障检测开展了一些研究。上海交通大学刘成良教授团队对大型履带式起重机械的实时状态监测和故障诊断技术进行了研究，主要是利用gprs/gsm无线通讯技术和gps定位技术对故障诊断中的数据传输、远程监控等关键问题进行了研究。

4、目前的故障诊断研究中，对起重机钢丝绳的缠绕异常包括乱绳、松绳、跳绳等问题的研究相对较少，如何实现在水电站等复杂工业环境下的钢丝绳缠绕异常智能检测更是接近空白，如果起重机钢丝绳在起吊过程中产生缠绕异常时同样会带来严重的后果，为保障水电站从业人员的生命安全，促进安全生产，有必要对起重机钢丝绳的缠绕异常监测进行进一步的研究。

技术实现思路

1、本发明提供了一种基于视觉的起重机钢丝绳缠绕异常检测系统及方法，此方法利用工业摄像机采集钢绳卷轴的图像，然后传输给工控机，通过神经网络模型进行缠绕异常检测，得到最终的异常检测判断，如果钢丝绳出现异常情况，则通过人机交互设备进行警报，从而实现对缠绕异常的实时检测，避免安全隐患，保证了起重作业过程的安全性。

2、为了实现上述的技术特征，本发明的目的是这样实现的：一种基于视觉的起重机钢丝绳缠绕异常检测系统，包括：

3、图像采集模块，安装在起重机卷筒所在位置，并用于实时采集起重机卷筒在卷扬过程中钢丝绳缠绕情况的图像；

4、光源模块，设置在图像采集模块所在位置，并用于为图像采集模块提供照明，以保证图像采集质量；

5、图像处理模块，图像处理模块与图像采集模块相连，用于接收图像采集模块所采集到的图像，并采用神经网络模型对图像信息进行处理和识别，进行缠绕异常检测，以检测钢丝绳状态是否正常；

6、人机交互模块，人机交互模块与图像处理模块相连，用于接收图像处理模块的检索结果，得到最终的异常检测判断，如果钢丝绳出现异常情况，则通过人机交互模块进行警报并控制起重机卷筒采取相应的停机动作。

7、所述图像采集模块采用工业相机或者工业摄像头，并通过固定底座布置安装在小车机房、左右回转吊机房内的墙壁上，同时使得工业相机或者工业摄像头对准起重机卷筒。

8、所述工业相机或者工业摄像头采用俯视角度拍摄以获取起重机卷筒上钢丝绳图像。

9、所述光源模块采用条形光源，所述条形光源用于产生柔和均匀光，并调整至合适的位置及角度，以避免自然光干扰。

10、通过在光源模块所在位置布置安装反光板，以分散光线，减少目标物上的高光现象。

11、一种基于视觉的起重机钢丝绳缠绕异常检测方法，所述检测方法采用检测系统来实现，包括以下步骤：

12、步骤1，采集图像数据集：

13、通过图像采集模块采集足量钢丝绳绕线正常与异常样本，并构成图像数据集；

14、步骤2，图像大小调整：

15、对图像数据集中的图片进行图像大小调整，以确保所有输入图像符合yolo模型所需的统一尺寸，以保证后续yolo模型训练的一致性和效率；

16、步骤3，手动标定异常状态：

17、采用labelimg软件对获取的图像进行手动标定异常状态，人为地对图像中的乱绳、松绳、跳绳区域进行标记，以标识出这些区域所代表的异常状态，并生成具有精确标注信息的yolo 格式的txt文件数据集；

18、步骤4，数据增强处理：

19、对手动标定后的数据集的原始图像进行一系列随机的、程序化的修改包括翻转、旋转、缩放、裁剪、色彩调整、添加噪声操作，从而生成大量与原始图像相似但有所差异的新样本，从而扩充训练集的规模和多样性；

20、步骤5，yolov8模型训练与验证：

21、将数据增强处理后创建的数据集输入yolov8神经网络模型进行改进训练并在验证集上进行测试；模型通过梯度下降不断迭代损失函数以完成对数据集的拟合，完成模型的训练；

22、步骤6，压缩处理：

23、对训练好的模型进行参数修剪和共享、知识蒸馏压缩处理；

24、步骤7，本地部署应用：

25、将训练调整好的模型导入至本地工控机，对钢丝绳异常状态进行实时检测。

26、所述步骤1具体包括：

27、步骤1.1，在小车机房、左右回转吊机房内的墙壁上进行工业相机或者工业摄像头安装，安装方式为固定底座安装，与图像处理模块的连接方式为有线连接；

28、步骤1.2，通过工业相机或者工业摄像头以俯视角度获取钢丝绳图像，此外在图像数据集采集时为提高图像质量，还需加装光源减少自然光干扰来辅助拍摄；

29、步骤1.3，使用柔和均匀光源并调整至合适的位置及角度采用反光板帮助分散光线，避免自然光干扰，减少目标物上的高光现象；

30、步骤1.4，在正确光源环境下采集足量钢丝绳绕线正常与异常样本。

31、所述步骤2具体包括：

32、步骤2.1，首先确定一个目标尺寸，通常是神经网络模型推荐或要求的输入尺寸，主要操作包括裁剪和缩放，缩放直接调整图像大小至目标尺寸，并使用双线性插值方法来保持图像质量；

33、当调整图像大小时，图像中目标的边界框坐标也需要按照相同的缩放比例进行调整，假设原图尺寸为(width, height)，调整后尺寸为(new_width, new_height)，则对于每个边界框的坐标(x, y, width, height)，调整公式如下：

34、x_new = x * (new_width / width)；

35、y_new = y * (new_height / height)；

36、width_new = width * (new_width / width)；

37、height_new = height * (new_height / height)；

38、式中，（x_new、y_new、width_new、width_new、height_new）为调整后的边界框的坐标；

39、通过这个操作能够确保边界框的坐标始终对应于调整后图像的实际位置；

40、步骤2.2，对调整后的坐标进行归一化到[0, 1]区间，以便于模型处理，这一步骤是在最终输入到模型前完成的，公式为：

41、normalized_x = x_new / new_width；

42、normalized_y= y_new/ new_height；

43、normalized_width= width_new/ new_width；

44、normalized_height= height_new/ new_height；

45、式中，（ normalized_x，normalized_y，normalized_width，normalized_height）为归一化之后的边界框的坐标。

46、所述步骤2中图像大小调整过程中，如果采用python进行调整，则用pil或opencv库的函数实现；

47、如果策略允许，也能够选择裁剪图像到目标尺寸，确保关键目标信息不丢失；或者需要先按比例缩放图像以保持其宽高比，然后裁剪或填充边缘以达到目标尺寸，以避免扭曲图像。

48、所述步骤3具体包括：

49、步骤3.1，首先在python环境中安装 labelimg；

50、步骤3.2，为标注项目创建一个目录结构，并配置输出格式为yolo格式的txt文件；

51、步骤3.3，运行 labelimg，在图像上，点击并拖动来绘制包含异常状态的边界框来标注乱绳、松绳、跳绳区域，确保标注时边界框精确地包围异常区域，这直接影响到后续模型学习的效果最后保存标注。

52、所述步骤5 中具体实现时先将yolov8模型下载至本地并配置环境，而后将前面采集制作的数据集导入模型中进行训练，其具体步骤如下：

53、步骤5.1，从github上下载yolov8项目；

54、步骤5.2，配置相关环境包括依赖的python环境和pytorch，并安装所需依赖；

55、步骤5.3，根据建立的数据集在datasets文件夹中创建自己的yaml文件，而后将网络模型配置文件中的类别改为自己的实际类别数量；

56、步骤5.4，修改训练参数配置文件；

57、步骤5.5，开始模型训练，在训练过程中或训练结束后，使用验证集评估模型性能，通过调用模型的.val()方法进行验证；

58、所述步骤6中进行以下四种操作：

59、参数修剪和共享，核心是删除对预测准确率影响不大的参数，应用于模型的卷积层和全连接层；修剪过程首先要选择修剪的类型：剪枝整个神经元、过滤器、通道或权重；而后使用准则评估模型中每个参数的重要性，具体涉及计算权重的绝对值、梯度大小、taylor展开的一阶或二阶导数；然后开始时先进行剪枝，然后逐步增加剪枝比例，同时监控模型性能，确保精度不会大幅下降；再之后对模型进行微调，以恢复因剪枝而损失的精度；最后重复剪枝和微调的过程，直到达到理想的模型大小与性能平衡点；

60、低秩因子分解，使用矩阵对参数进行分解估计，主要应用于模型的卷积层和全连接层，低秩分解通过合并维数和施加低秩约束的方式稀疏化卷积核矩阵，基于权值向量大多分布在低秩子空间的特点，通过选用少数的基向量来重构卷积核矩阵，以缩小存储空间，其具体操作为二元和多元分解，二元操作采用两个k*1的卷积核替换掉一个k*k的卷积核，多元操作采用svd分解、tucker分解、block term分解；

61、转移/紧凑卷积滤波器，通过设计卷积核来保存模型参数，包括mobilenet系列中的depthwise convolution结合pointwise convolution，或者shufflenet中的通道重排和分组卷积策略，来提取相关特征，这种方法只在模型的卷积层应用；

62、知识蒸馏，训练一个更紧凑的神经网络来从大的模型蒸馏知识，应用于模型的卷积层和全连接层。

63、所述步骤6中具体包括：

64、步骤6.1，首先，使用大量数据和计算资源训练一个高性能的教师模型，设计一个结构简单、参数少的学生模型，利用教师模型对训练数据集进行预测，但不直接使用硬标签，而是采用软目标进行蒸馏；

65、步骤6.2，而后对学生模型进行训练，其损失函数包含两部分：一部分是学生模型预测结果与真实标签之间的差距，另一部分是学生模型预测结果与教师模型软目标之间的差距；通过最小化这两部分损失的加权和来调整学生模型的参数；然后进行参数调整与优化，最后训练完成后，对学生模型在验证集上的表现进行评估；如果必要，进行微调以进一步提升性能。

66、所述步骤7中具体包括：首先起重机开始工作，工业相机或者工业摄像头实时拍摄门式起重机起吊重物的钢丝绳的图像，传输给本地工控机进行图像处理，该设备对图像信息进行处理并识别，检测钢丝绳状态是否正常，如果钢丝绳出现异常情况，将通过人机交互模块进行警报，提醒工作人员或者控制停机，防止事故发生，如果正常则继续检测，直到起重工作完成。

67、本发明有益效果：

68、1、本发明利用工业摄像机采集钢绳卷轴的图像，然后传输给工控机，通过神经网络模型进行缠绕异常检测，得到最终的异常检测判断，如果钢丝绳出现异常情况，则通过人机交互模块进行警报，从而实现对缠绕异常的实时检测，避免安全隐患。

69、2、发明建立了完整的视觉检测与智能报警系统。

70、3、本发明采用的视觉算法具有更高的识别精度与检测速度。

71、4、本发明视觉算法具有更高的应用性和多功能性。

72、5、本发明模型提供丰富的超参数和模型结构选项，便于用户进行定制化调整和优化。

73、6、本发明模型提供了更友好的安装和运行方式，使得部署和应用更为便捷。