基于YOL0v5的起重机四绳抓斗摆角计算方法及系统与流程

本发明涉及起重机四绳抓斗智能吊装，特别是涉及一种基于yol0v5的起重机四绳抓斗摆角计算方法。

背景技术：

1、在起重机作业过程中，尤其是在涉及四绳抓斗的物料搬运任务中，确保负载稳定和安全是至关重要的。然而，由于起重机系统的复杂性和外部环境的多种影响因素，四绳抓斗在运行过程中往往会受到多种动态扰动的共同作用，导致其在水平(大车、小车运行方向)和垂直方向(提升动作)上产生不同程度的摇扭现象。

2、首先，钢丝绳作为连接四绳抓斗与起重机主体的关键部件，其弹性特性和动态响应直接影响了抓斗的稳定性。在起重机进行大车或小车的加速、减速操作时，由于惯性力的作用，四绳抓斗会产生相应的摆动。这种摆动不仅增加了负载控制的难度，还可能因为摆动幅度过大而引发安全事故。

3、其次，四绳抓斗的提升动作本身就是一个复杂的动态过程。在提升过程中，负载的重量、形状、重心位置等因素都会影响抓斗的姿态和稳定性。特别是在提升初期和接近目标高度时，由于速度变化或外力干扰，抓斗更容易出现不稳定的摇扭现象。

4、此外，外部环境因素如风力、温度变化以及机械部件之间的摩擦等也会对四绳抓斗的稳定性产生影响。风力作用在抓斗上会产生额外的力矩，导致抓斗偏离预定轨迹；温度变化可能引起钢丝绳伸缩，进而影响抓斗的悬挂状态；而机械部件之间的摩擦则可能产生不规律的振动和噪声，进一步加剧抓斗的不稳定性。

5、面对这些挑战，操作员主要依赖个人经验和直觉来控制四绳抓斗的摆动。通过不断调整大车、小车的速度和方向，以及抓斗的提升高度和速度，来努力保持负载的稳定。然而，这种方法不仅劳动强度大、技能要求高，而且难以保证长时间、高精度的稳定控制。更重要的是，它限制了起重机的作业效率，因为操作员需要花费大量时间来观察、判断和调整。

6、所以本发明提供一种新的方案来解决此问题。

技术实现思路

1、本技术的主要目的在于提供一种基于yol0v5的起重机四绳抓斗摆角计算方法及系统，旨在能够实时监测四绳抓斗姿态、自动计算摆角并据此调整起重机动作，减轻操作员的负担、提高作业安全性。

2、为实现上述目的，本技术提供一种基于yol0v5的起重机四绳抓斗摆角计算方法，包括如下步骤：

3、s1、图像采集：起重机开始作业，起重机plc控制程序向图像采集单元发送触发脉冲，图像采集单元接收到触发脉冲后，启动相机对四绳抓斗的实时姿态图像进行采集；

4、s2、图像预处理：利用轻量化yolov5算法对采集到的图像进行预处理，以提取图像中的特征信息；

5、s3、抓斗识别：通过yolov5算法对预处理后的图像进行特征提取，识别出图像中的四绳抓斗特征；

6、s4、显示抓斗位置：yolov5算法对图像进行分析归类后定位，确定四绳抓斗的位置；

7、s5、摆动量计算：根据yolov5检测到的吊具位置，通过像素坐标系与世界坐标系之间的坐标转换，计算沿x轴和y轴方向上的摆动量δx和δy：

8、δx＝xw-x0，δy＝yw-y0

9、其中，x0、y0代表起始位置在x轴和y轴上的坐标；xw，yw代表当前位置在x轴和y轴上的坐标；

10、s6、输出摆角：根据所述摆动量和四绳抓斗的吊绳长度计算摆角α：

11、

12、其中，l为吊绳长度，d为吊绳在水平方向上的偏移量。

13、可选的，所述步骤s2中将预处理需要将图像数据从浮点数转换为量化后的数值，量化后的具体数值公式为：

14、

15、

16、式中:q为量化后的具体数值；r为权重参数值；z为零点值；xf为输入数据；n为量化处理后数值的bit位数。

17、可选的，所述步骤s3中特征提取具体包括如下步骤：

18、s3.1、深度卷积：

19、对每个输入通道应用一个卷积核，得到相同数量的输出通道，但每个输出通道的特征图尺寸与输入相同；

20、s3.2、逐点卷积：

21、对深度可分离卷积的结果进行1x1逐点卷积，得到与输入特征图相同维度的特征图；

22、s3.3、将逐点卷积的结果与原始特征图相加，增强特征表示：

23、

24、式中:wc、hc分别为输入特征图的宽度和高度；n为卷积核的通道数；m为卷积核的数量；ho为卷积模块的高度；wo为卷积模块的宽度。

25、可选的，所述步骤s4中运用剪枝设计判断函数来优化网络结构，具体算法为：

26、

27、式中:n为网络剪枝后通道数；x为原始网络卷积核通道数；f(x)为在剪枝后小于x并为9的倍数的最大值。

28、可选的，所述步骤s5中坐标转换具体操作方法如下：

29、从yolov5算法获取四绳抓斗的检测结果；

30、将相机像素坐标系下的坐标转换为世界坐标系下的坐标，公式如下：

31、

32、式中:zc为相机与物体之间的距离，具体为四绳抓斗吊绳的长；

33、为像素坐标；为内参矩阵；

34、为外参矩阵；为世界坐标。

35、可选的，所述坐标转换过程使用相机标定得到的畸变系数来校正图像中的径向畸变和切向畸变，具体操作步骤为：

36、采用相机标定法获取所述相机的畸变系数；

37、将检测到的像素坐标(u，v)转换为图像坐标系中的坐标(xd，yd)；

38、使用畸变校正公式对(xd，yd)进行校正，得到校正后的坐标(x′,y′)。

39、可选的，所述畸变校正公式为：

40、径向畸变：

41、x′＝x(1+k1r2+k2r4+k3r6)

42、y′＝y(1+k1r2+k2r4+k3r6)

43、其中，r2＝x2+y2，(x，y)是畸变点的坐标，(x′，y′)是校正后的坐标，k1、k2、k3是径向畸变系数；

44、切向畸变：

45、x′＝x+[2p1y+p2(r2+2x2)

46、y′＝y+[2p1x+p2(r2+2x2)

47、其中，p1、p2是切向畸变系数。

48、可选的，所述轻量化yolov5算法的特征提取网络采用conv卷积模块和mobilenetv2作为backbone；所述轻量化yolov5算法的颈部网络采用fpn+pan特征金字塔结构传递不同尺寸目标物的特征信息。

49、基于yol0v5的起重机四绳抓斗摆角计算系统，所述系统包括：

50、ccd工业相机，安装于所述起重机的小车平台上，用于捕捉四绳抓斗的实时图像；

51、图像采集卡，用于将所述ccd工业相机捕获的图像数据传输到工控机；

52、旋转编码器，用于测量所述四绳抓斗的吊绳长度；

53、plc，用于控制所述起重机的操作和所述图像采集卡的触发；以及

54、标志物，设置于所述四绳抓斗的顶部，且位于所述ccd工业相机的正下方，用于辅助图像识别和坐标定位的参照物。

55、可选的，所述标志物为红外结构光源或圆形反光板。

56、本技术实施例提出的基于yol0v5的起重机四绳抓斗摆角计算方法及系统，一方面，采用轻量化yolov5算法，通过优化特征提取网络、使用mobilenetv2作为backbone以及fpn+pan特征金字塔结构，有效提升了图像中四绳抓斗的识别精度，特别是在小目标检测任务上表现出色，显著提高了系统整体的检测性能；另一方面，通过轻量化设计，包括量化模型处理、使用ghost卷积减少计算量、以及网络剪枝技术，大幅降低了模型复杂度和计算资源需求，使得系统能够在资源受限的嵌入式设备上高效运行，提高了实时性和系统吞吐量。基于yolov5检测到的吊具位置，通过精确的坐标变换和畸变校正处理，能够实时输出四绳抓斗的摆角，为起重机作业提供了准确的反馈和控制依据。