一种基于模板匹配以及视觉的金属加工异常规格检测方法

本发明涉及计算机视觉，更具体的说是涉及一种基于模板匹配以及视觉的金属加工异常规格检测方法。

背景技术：

1、目前，专注于金属板材冲孔生产的企业在制造过程中经常面临孔漏打、孔位偏差和孔径尺寸不准确等问题。传统上，这些问题主要通过人工检测来解决，但人工检测不仅成本高昂，还容易因视觉疲劳而导致漏检。为了解决这些问题，企业开始考虑采用摄像头实时检测技术来监控冲孔质量，即采用机器视觉检测技术。这种技术的引入旨在实现产品质量的实时监控，及时发现并解决问题，以降低废品率，同时，摄像头检测还能减少对人工检测的依赖，降低人力成本，进一步提高生产效率。在工业产品质量检测领域，机器视觉检测技术正随着技术进步而迅猛发展。

2、在机器视觉检测技术针对图像的匹配方面，蒋子贤提出了基于一致性敏感哈希的高精确度图像匹配算法，使用surf算法提取图像的特征点，以这些特征点为圆心构建特征区域，再使用csh算法对这些特征区域进行匹配，以实现高精确度的匹配。但是该方法在检测时采用surf算法去除了对特征点方向的计算，这可能导致在某些情况下失去了一些重要的图像信息，影响匹配的准确性。刘振华等人提出了一种图像匹配方法，获取2张图像，分为第一图像和第二图像，对两张图像进行分割，每张图像至少分割为2个区域，建立每张图像区域匹配方法，建立第一图像中第一图像区域与第二图像中第一图像区域之间的至少一组特征点的匹配关系，但是在针对板材冲孔方面，为每个区域独立选择和应用不同的匹配方法可能会导致计算成本显著增加，由于需要对每个图像区域分别处理并匹配，这可能导致处理时间延长。

3、但是当前，针对冲孔板材的自学习算法，包括检测模板的形成及后续的检测与模板相匹配，相结合的研究还相对较为稀少。

4、因此，如何通过模板匹配进行机器视觉检测，实现加工异常规则检测是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于模板匹配以及视觉的金属加工异常规格检测方法，通过自动化学习板材上孔洞的大小和分布，进而形成图像检测模板，从而实现工件规格检测，解决在生产过程中孔漏打、孔位偏差和孔径尺寸不准确等问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于模板匹配以及视觉的金属加工异常规格检测方法，包括以下步骤：

4、步骤1：采集通孔训练图像，对目标检测网络进行训练，获得目标检测模型；

5、步骤2：采集冲孔加工视频，利用目标检测模型建立冲孔规格模板，构建模板数据库；

6、步骤3：采集冲孔过程实时图像，利用目标检测模型提取待检测数据，将待检测数据与模板数据库中的冲孔规格模板依次进行匹配，获得检测结果。

7、优选的，步骤1中在不同冲孔产线上或其他场景下，录制金属板材冲孔后的视频或图片，对录制的视频采用模糊帧检测算法提取清晰帧图像，提取的清晰帧图像与录制的图片共同构成孔洞训练图像，对孔洞训练图像进行标注，构建训练数据集，利用训练数据集训练目标检测网络；对录制的视频进行处理的过程如下：

8、步骤11：使用视频抽帧代码将其转换为帧图像，采用模糊帧检测算法去除模糊帧图像后，将剩余的清晰帧图像合并成板材冲孔数据集；

9、步骤12：使用labelimg对板材冲孔数据集中的图像进行冲孔目标标注，标注完成后，生成以“.xml”为后缀的标签文件，并将其转换为以“.txt”为后缀的标签文件；

10、步骤13：利用格式转换后的标签文件构建训练数据集；将训练数据集划分为训练集和测试集。

11、优选的，目标检测网络可以选用yolov5算法、yolov9算法等现有技术中常见的目标检测算法。其中，yolov9算法采用一种新的骨干网络设计，在保持计算效率的同时增强了特征的提取能力，通过引入更深的网络层次和更复杂的连接方式，yolov9能够更有效地捕捉图像中的上下文信息，从而提高了对目标的识别和定位精度；采用了多尺度特征融合的策略，使得模型能够同时关注不同大小的目标，这对于实时图像中存在尺度变化的冲孔目标的检测尤为重要；引入了一种新的损失函数，以更好地平衡正负样本之间的权重，从而提高了模型的训练稳定性和检测性能，这种优化有助于提高对实时图像中复杂冲孔目标的准确性和鲁棒性；对梯度信息的利用方式，通过引入可编程的梯度信息学习策略，加速了模型的收敛速度，并提高了对复杂场景和多样化任务的适应性，这对于在实时图像中冲孔目标的快速识别至关重要；采用了模型剪枝和压缩技术，以减小模型的计算量和内存占用，同时保持性能，这使得在实时环境中部署该算法变得更加高效可行；还采用了丰富的数据增强策略和有效的预处理技术，以提高模型的泛化能力和对输入数据的适应性，从而更好地应对实际场景中的变化和挑战，为实时图像中冲孔目标的准确检测提供了更好的支持。

12、优选的，步骤2中采集设定时长的多组冲孔加工视频，对所有冲孔加工视频进行处理，构建模板数据库，具体过程为：

13、步骤21：将每一组冲孔加工视频转化为帧图像，并采用模糊帧检测算法提取若干冲孔加工清晰帧图像，选取一帧清晰帧图像；可以选择出现清晰帧后的第5帧图像；

14、步骤22：分别将从每组冲孔加工视频中选择的一帧清晰帧图像输入目标检测模型中，识别图像中每一个通孔目标，并获得对应的冲孔规格特征，将冲孔规格特征进行数据格式重构，将每一幅图像的所有通孔目标对应的重构冲孔规格特征建立一个冲孔规格模板；

15、步骤23：所有冲孔加工视频对应的冲孔规格模板按照设定规则进行排序，标记序号，组成模板数据库。因为在训练yolo模型时加入边框的标注，因此可以在检测时检测到板材的边框，进而对检测范围进行限制，捕捉每个通孔的形状、尺寸和位置等信息。模板的排序方式同时遵循时间序列。

16、优选的，设定规则为将所有冲孔规格模板按照对应的冲孔规格特征中的位置从左向右按行排列。设定行阈值group_threshold，即如果通孔的y坐标差值小于或等于行阈值group_threshold，确定属于同一行的冲孔规格模板，再按照x坐标从左向右排列，便于数据的保存与后续的匹配。

17、优选的，步骤22中目标检测模型输出的冲孔规格特征为tensor数据，数据格式重构是将tensor数据转换为python列表；目标检测模型识别通孔目标，生成的冲孔规格特征包括通孔目标的形状、尺寸、位置、置信度、标签类别和相对位置信息，位置包括通孔目标的左上角x坐标、左上角y坐标、右下角x坐标和右下角y坐标，根据通孔目标的位置计算两个通孔目标之间的相对位置信息。每一张冲孔加工清晰帧图像的冲孔规格特征为张量。

18、优选的，采用模糊帧检测算法提取图像的具体过程为：

19、步骤111：对每张图像进行len()运算，得到图像中通孔目标的个数hole_num；

20、步骤112：选取所有图像对应的通孔目标个数的最大值作为最大通孔数量max_hole_num，根据最大通孔数量设定提取阈值，提取阈值＝0.9*max_hole_num；

21、步骤113：提取通孔目标个数大于或等于提取阈值的图像作为清晰帧图像。当某一帧中得到的hole_num<0.9*max_hole_num时，判定其为模糊帧，模糊帧不参与模板的学习与匹配。

22、优选的，步骤3的具体过程为：

23、步骤31：将实时图像输入目标检测模型，获得实时冲孔规格特征；

24、步骤32：将实时冲孔规格特征进行分段，获得第一匹配特征和第二匹配特征；在实时冲孔规格特征的1/3处进行切割，第一匹配特征group1＝a[0:2/3]，第二匹配特征group2＝a[1/3:1]，a表示实时冲孔规格特征；

25、步骤33：根据第一匹配特征和第二匹配特征分别遍历模板数据库中的冲孔规格模板进行匹配，获得检测结果。

26、优选的，步骤33的具体过程为：

27、将匹配特征与模板数据库中第一个冲孔规格模板进行匹配，根据对应的冲孔规格特征计算偏移量，如果偏移量小于偏移阈值，则判断为匹配，否则选取下一个冲孔规格模板进行匹配，直至遍历完模板数据库，判断为不匹配；下一时刻的实时图像对应的匹配特征与上一时刻匹配冲孔规格模板的下一序号冲孔规格模板开始进行匹配；第一匹配特征和第二匹配特征均判断为匹配，则匹配成功，未发生加工异常，否则匹配失败，发生加工异常。因为实时图像和冲孔规格模板的排列均遵循时间序列，因此如果当前实时图像与当前序号模板匹配，则下一时刻冲孔的通孔应该与下一序号的模板匹配，即与后续时刻冲孔的通孔相匹配的模板应该为之后的序号模板，否则冲孔过程发生错误。

28、优选的，第一匹配特征group1进行匹配的过程为：

29、步骤3311：从模板数据库中按序号检索与group1中通孔行数相同的冲孔规格模板，作为当前匹配模板，并进入步骤3312；如果没有检索到通孔行数相同的冲孔规格模板，则判断匹配失败；

30、步骤3312：遍历group1中的每行通孔，选择所有行中左侧第一个通孔的左上角x坐标最小的一行通孔为基准行；

31、步骤3313：将基准行的左侧第一个通孔与当前匹配模板的相同行的左侧第i个孔进行整体对齐，i＝0；

32、步骤3314：按顺序计算group1中每个通孔与步骤3313中对齐的当前匹配模板中对应的通孔的偏移量；假设检测结果通孔数据格式为[cpx1,cpy1,wi dth1,height1]，模板通孔数据格式为[cpx2,cpy2,width2,height2]，其计算公式为loss＝abs(cpx1-cpx2)+abs(cpy1-cpy2)+abs(width1-width2)+abs(he ight1-height2)；

33、步骤3315：当所有通孔的偏移量loss总和超过预设偏移阈值match_threshold时，则令group1向右平移，基准行的左侧第一个通孔与与当前匹配模板的相同行的左侧第i个孔进行对齐，i＝i+1，并返回步骤3314，直至基准行的左侧第一个通孔超出当前匹配模板的的相同行的最后一个通孔，判定匹配失败；否则偏移量loss未超过match_threshold时，则判定匹配成功。

34、优选的，第二匹配特征group2进行匹配的过程为：

35、步骤3321：从模板数据库中按序号检索与group2中通孔行数相同的冲孔规格模板，作为当前匹配模板；

36、步骤3322：遍历group2中的每行通孔，选择所有行中右侧通孔的右上角x坐标最大的一行通孔为基准行；

37、步骤3323：将基准行的右侧通孔与当前匹配模板的相同行的右侧第i＝0个通孔(即为最右侧的孔)进行整体对齐；

38、步骤3324：将group2中每个通孔按顺序与步骤3323中对齐的模板中对应的通孔单独计算偏移量；

39、步骤3325：当所有通孔的偏移量loss总和超过预设match_threshold时，则将步骤3323中i＝i+1，即将检测结果的基准行的右侧第一个孔与待匹配模板的相对应行的右侧第i通孔进行整体对齐，直至超出能对齐的范围；当偏移量loss未超过match_threshold时，则判定匹配成功；

40、步骤3326：重复步骤3324-3325至匹配成功，否则判定匹配失败。

41、优选的，当group1、group2都与模板匹配成功，则判定为匹配成功，未发生加工异常，否则判定匹配失败，发生加工异常。

42、一种基于模板匹配以及视觉的金属加工异常规格检测系统，包括实时图像采集模块、目标检测模块、学习模块和模板匹配模块；

43、实时图像采集模块：利用高性能摄像设备，实时捕获冲孔加工过程中的图像数据；这些图像包含了不同形状、大小和位置的冲孔目标；

44、目标检测模块：基于目标检测算法，该模块对实时图像中的冲孔目标进行快速、精准的检测和识别；

45、学习模块：模块自动学习设定时长的冲孔加工视频信息，将检测结果进行重构数据格式等操作，以构建冲孔规格的参考模型，将检测到的通孔帧中的数据保存在数据库中，便于后续匹配操作；在学习过程中，可以根据不同材料、冲孔工艺参数等因素进行调整，以适应不同的生产环境；

46、模板匹配模块：基于学习模块建立的数据库，该模块对设定时长学习到的图像进行分析和处理，提取冲孔规格的特征信息，并建立相应的模板数据库；在实时检测过程中，模板匹配模块可以通过比对实时采集的图像与数据库中的模板图像，快速准确地识别冲孔目标并实时监测冲孔规格的准确性。

47、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于模板匹配以及视觉的金属加工异常规格检测方法，通过使用高性能摄像设备和最新的yolov9目标检测算法，能够实时捕获并处理图像，确保冲孔加工过程中的检测无延迟，同时保证了高速且高效的检测性能；自动学习并优化冲孔规格模型，提高了检测的准确性与自适应能力，适用于复杂变换的孔洞类型，利用从实时视频流中学到的数据构建模板，并使用这些模板进行实时匹配检测，显著提升了冲孔目标的识别精度，并减少了误检率；整合了yolov9算法与自动学习和模板匹配技术的应用，将深度学习直接应用于工业生产实践；对实时视频流进行检测，自动剔除模糊的帧，仅对清晰的帧进行分割和检测，从而提高了检测准确率并显著降低了误检率。本发明基于深度学习进行模板匹配的实时检测技术，不仅能显著提升检测准确率、生产效率和降低成本，还能有效预防制造缺陷，减少废品率，在实际生产检测的速度最高可达每秒250帧。因此，将此类技术应用于企业生产流程，对于保障产品质量、提升生产力和增强市场竞争力具有至关重要的作用。