一种基于机器视觉的钢筋笼下放工序判别方法与流程

本发明涉及钻孔灌注桩施工领域。更具体地说，本发明涉及一种基于机器视觉的钢筋笼下放工序判别方法。

背景技术：

1、目前，钻孔灌注桩成桩环节繁多，缺乏有效的现场管理和过程控制手段，例如在钻孔灌注桩清孔后未能及时安放钢筋笼或者钢筋笼安放时间过长，导致塌孔事故偶有发生。为了解决这一问题，需要实现对钢筋笼安放时间的自动记录和管控。

技术实现思路

1、本发明的目的是提出一种基于机器视觉的钢筋笼下放工序判别方法，为实现钢筋笼施工工序自动判别，本发明通过在施工现场安装摄像头对钢筋笼施安放进行拍摄，并使用yolov7算法跟踪识别拍摄画面中钢筋笼目标，获取吊装钢筋笼的运动轨迹和坐标，通过工序判别算法实时分析钢筋笼的轨迹坐标的变化趋势，判别钢筋笼下放过程中钢筋笼吊装开始、钢筋笼套筒连接开始、钢筋笼套筒连接结束和钢筋笼吊装结束四个工序节点，并自动记录节点时间。通过上述方法，实现对钢筋笼下放工序自动判别、记录与超时预警，从而提升现场施工进度管控水平。

2、本发明的目的是提供一种基于机器视觉的钢筋笼下放工序判别方法，可以有效地把控钢筋笼的安放时长，降低塌孔事故的发生概率，还能提高钻孔灌注桩施工的数字化和智能化水平。

3、本发明解决此技术问题所采用的技术方案是：一种基于机器视觉的钢筋笼下放工序判别方法，包含以下步骤：

4、步骤s1：施工现场安装摄像头，采集钢筋笼施工过程数据，并制作数据集，以及模型训练；

5、步骤s2：接收摄像头视频数据，并使用模型检测视频中钢筋笼目标，获取钢筋笼检测框坐标信息，将坐标信息实时传输至钢筋笼工序判别算法进行工序判别，判别出钢筋笼吊装开始、钢筋笼套筒连接开始、钢筋笼套筒连接结束、钢筋笼吊装结束四个工序，并记录工序时间；

6、步骤s3：在实时处理坐标数据的同时，对数据进行降噪处理和统计钢筋笼下放数量。

7、作为本发明进一步的方案是：所述步骤s1具体包括：

8、s11、在现场安装高清摄像头对钢筋笼施工现场进行拍摄，从拍摄画面中截取钢筋笼吊装图像，并对图像中钢筋笼进行标记，得到标签数据，标签数据保存至文件，形成数据集；

9、s12、按照s11的方法制作n张数据集，将数据集按照a：1的比例分成训练集和验证集，并将训练集和验证集的图片和标签按照目录结构进行存放；

10、s13、进行yolov7模型训练。

11、作为本发明进一步的方案是：所述步骤s2具体包括：

12、s21、模型训练完毕后，得到模型的权重参数形成的best.pt文件，将训练后的权重best.pt写入test.py程序中的weights，作为test.py程序的检测模型参数使用，并随机在拍摄画面中截取g张图像进行测试，测试检测效果；

13、s22、best.pt权重表现良好，故继续在test.py中使用best.pt作为权重检测钢筋笼目标，调用连接现场摄像头，并获取画面、获取检测框左上坐标(x1,y1)和右下坐标(x2,y2)，x1,y1,x2,y2＝xyxy输入到工序判别算法中，并保存到文件。

14、作为本发明进一步的方案是：所述步骤s2中将坐标信息实时传输至钢筋笼工序判别算法进行工序判别具体包括：

15、s2a1、判定吊装开始，包括：当吊车吊起钢筋笼，并且钢筋笼与地面夹角大于35°角时，yolov7模型可检测出钢筋笼目标，检测框坐标从(0，0，0，0)无坐标值变化为有坐标值时，并且检测框持续存在10帧以上，判定钢筋笼吊装开始，并记录钢筋笼吊装开始时间；

16、s2a2、判定套筒连接开始，包括：吊车将钢筋笼吊装至桩孔上方悬停，并与桩孔中钢筋笼进行套筒连接，此时，钢筋笼坐标x1,x2和y1,y2从移动时的变化状态变为相对静止状态，坐标持续静止或在阈值10以内变化60帧以上时，判定钢筋笼套筒连接开始，记录钢筋笼套筒连接开始时间；

17、s2a3、判定套筒连接结束，包括：将钢筋笼套筒连接完成后，吊车将钢筋笼下放，此时钢筋笼检测框坐标的x1,x2,y2依旧相对静止，但坐标框左上纵坐标y1会持续下降，y1坐标持续下降时间超过20帧以上，判定钢筋笼套筒连接结束，钢筋笼进入下放阶段，记录钢筋笼套筒连接结束时间；

18、s2a4、判定吊装结束，包括：当钢筋笼下放进桩孔中之后，检测框消失，消失状态持续30帧以上，判定钢筋笼吊装结束，记录钢筋笼吊装结束时间。

19、作为本发明进一步的方案是：判定左上纵坐标y1持续下降的方法如下：

20、判定钢筋笼套筒连接开始后，创建一个空列表y1_value＝[]，用于存储获取的y1值，y1_value列表长度固定为10，y1_value＝y1_value[-10：]，并求得y1_value的平均值为公式如下：

21、

22、其中，当i≥9时，既从第10个坐标数据开始计算平均值，的状态持续超过20帧以上，判定为下降。

23、作为本发明进一步的方案是：所述步骤s3对数据进行降噪处理具体包括：

24、s3a1、创建两个空列表x_values＝[]，y_values＝[]，分别保存获取的x1和y1坐标，使用x1坐标判断钢筋笼左右移动，y1坐标判断钢筋笼上上下移动；

25、s3a2、将列表数据数量控制在g个，当x_values和y_values的长度大于g时，使用切片操作x_values＝x_values[-100：]，y_values＝y_values[-100：]，并且算法每p次迭代计算1次x_values和y_values的平均值和

26、s3a3、每次获取新坐标x1,y1与和进行比较，如果当前值x1与的差值大于图像宽度1％，判定为干扰坐标；当前值y1与的差值大于图像高度2％，判定为干扰坐标。

27、作为本发明进一步的方案是：所述步骤s3统计钢筋笼下放数量具体包括：

28、s3b1、设定好该桩孔下放钢筋笼总根数为x和初始值i＝0，并创建一个空字典dict_cage＝{}用于记录每根钢筋笼的工序；

29、s3b2、当判定为钢筋笼吊装开始，记录钢筋笼吊装开始时间时，搜索字典中是否有“第{i}个钢筋笼吊装结束时间”；如果存在，执行i＝i+1，并将“第{i}个钢筋笼吊装开始时间：{cage_start_datetime}”保存至字典dict_cage＝{}中，进入下一个工序判别流程；如果字典中不存在，说明工序判别存在误判，继续执行当前工序判别算法；

30、s3b3、当判定钢筋笼套筒连接开始，记录钢筋笼套筒连接开始时间时，dict_cage.get搜索字典中是否有“第{i}个钢筋笼吊装开始时间”；如果存在，将“第{i}个钢筋笼套筒连接开始时间：{cage_start_datetime}”保存至字典dict_cage＝{}中，进入下一个工序判别流程；如果字典中不存在，说明工序判别存在误判，继续执行当前工序判别算法；

31、s3b4、当判定钢筋笼套筒连接结束，记录钢筋笼套筒连接开始时间时，dict_cage.get搜索字典中是否有“第{i}个钢筋笼套筒连接开始时间”；如果存在，将“第{i}个钢筋笼套筒连接结束时间：{cage_start_datetime}”保存至字典dict_cage＝{}中，进入下一个工序判别流程；如果字典中不存在，说明工序判别存在误判，继续执行当前工序判别算法；

32、s3b5、当判定钢筋笼吊装结束，记录钢筋笼吊装结束时间时，dict_cage.get搜索字典中是否有“第{i}个钢筋笼套筒连接结束时间”；如果存在，将“第{i}个钢筋笼吊装结束时间：{cage_start_datetime}”保存至字典dict_cage＝{}中；判断i是否等于x，如果不相等，进入下一根钢筋笼的工序判别流程，如果相等，该桩孔钢筋笼工序判别流程结束，将dict_cage的全部内容使用pandas.to_excel保存为excel文件；如果字典中不存在，说明工序判别存在误判，继续执行当前工序判别算法。

33、作为本发明进一步的方案是：所述步骤s3还包括超时预警，具体包括：步骤s3b5中，当程序进入下一根钢筋笼的工序判别流程时，以cage_start_datetime为起始时间，在另一个新线程中进行计时，当时间超过30分钟仍未判别到下一根钢筋笼吊装开始时，进行预警，预警信息会通过http上传至可视化云平台中。

34、本发明至少包括以下有益效果：本发明提升了钢筋笼安放环节的智能化程度，实现对钢筋笼运动数据无接触采集，不影响施工情况下对钢筋笼安放工序自动识别、记录以及超时预警，在全程监控钢筋笼施工过程的同时，提醒技术员对钢筋笼安放停滞、超时等行为进行管控，提升钻孔灌注桩施工的整体管理水平，降低塌孔风险。

35、本发明基于机器视觉的钢筋笼下放工序判别方法，通过在桩孔旁边放置监控摄像头，同时利用机器视觉、数据处理等方法，识别钢筋笼安放的工序，并自动记录每节钢筋笼的安放时间；当某节钢筋笼安放间隔时间过长时，预警信息通过http协议传输到可视化云平台，通知技术人员到施工现场了解情况。

36、本方法无需对工程机械做任何改装，使用摄像头通过目标检测技术，在非接触情况下获取钢筋笼的动态数据，通过数据分析实现工序识别的目的；在检测钢筋笼和识别工序过程中，由于外界因素干扰导致部分数据不准确，通过干扰数据处理机制进行解决。

37、本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。