一种基于深度学习的指针式仪表示数识别方法

本发明涉及指针式仪表示数识别方法，具体涉及一种基于深度学习的指针式仪表示数识别方法。

背景技术：

1、在工业生产、能源管理等领域，仪表数据的准确、及时读取对于保障生产安全、提高生产效率、优化资源利用至关重要。指针式仪表是应用广泛的仪表类型之一，其示数读取传统采用人工方式，存在耗时耗力、精确度受人为主观因素影响、实时性差等问题。如何实现指针式仪表示数自动读取是当前工业自动化领域的重要研究方向之一。

2、指针式仪表示数识别主要涉及三个方面，包括仪表定位(识别)、量程识别和仪表分割读数。仪表定位方面，传统采用yolo模型，其能够在单次前向传播中同时预测多个边界框和类别概率，适于实时检测任务。然而，标准yolo模型在面对复杂背景和小目标检测时，无法提供足够的检测精度。

3、量程识别方面，传统的光学字符识别(ocr)技术在处理复杂背景和变形文本时存在局限性。近年来，基于深度学习的文本识别方法取得了显著进展，其中crnn模型能够实现端到端文本识别，它结合了卷积神经网络的特征提取能力和循环神经网络的序列建模能力，能够有效处理不定长的文本序列。然而，传统的crnn模型在处理复杂背景时，存在识别准确性不足的问题。

技术实现思路

1、发明目的：本发明的目的是提供一种准确性、鲁棒性高，能够适应复杂工业环境的基于深度学习的指针式仪表示数识别方法。

2、技术方案：本发明所述的基于深度学习的指针式仪表示数识别方法，包括：

3、(1)构建仪表检测数据集和量程识别数据集；

4、(2)构建改进的yolov8模型，包括：

5、将backbone部分的c2f模块替换为fasterc2f模块，fasterc2f模块通过将c2f模块中的bottleneck模块替换为fasterblock模块形成；在backbone部分sppf层后添加ema注意力机制模块；

6、将neck部分前三个concat替换为tgc模块，在neck部分引入slim-neck结构，slim-neck结构包括gsconv和vov-gscsp，将neck部分的conv替换为gsconv，将neck部分的前三个c2f模块替换为vov-gscsp，将neck部分的后三个c2f模块替换为fasterc2f模块；替换的三个fasterc2f模块中，前两个fasterc2f模块后添加ema注意力机制模块；

7、在head部分使用dyhead检测头并添加160×160小目标检测层；

8、(3)构建改进的crnn模型，包括：使用resnet18作为主干网络并添加cbam注意力机制；

9、(4)利用仪表检测数据集对改进的yolov8模型进行训练，利用量程识别数据集对改进的crnn模型进行训练；

10、(5)利用经训练的改进的yolov8模型对输入图像进行检测，检测结果分别输入经训练的改进的crnn模型和预先训练的u2net模型中，经训练的改进的crnn模型识别出仪表量程，预先训练的u2net模型进行指针及刻度分割，结合识别出的仪表起始量程刻度数值和终止量程刻度数值，完成仪表最终读数。

11、进一步地，步骤(1)包括：采集包含指针式仪表的图片，对图片进行标注，标注内容包括meter、max、min，依次代表仪表表盘区域、仪表量程最大值区域、仪表量程最小值区域，标注完成后形成仪表检测数据集；量程识别数据集通过选取仪表检测数据集中图片的max和min区域形成。

12、进一步地，构建仪表检测数据集时进行数据增强，包括随机缩放、裁剪、排布、颜色抖动、翻转操作。

13、进一步地，gsconv包括标准卷积、深度可分离卷积dwconv和shuffle操作，标准卷积和深度可分离卷积得到的不同层次特征进行concat拼接，再通过shuffle操作，将来自标准卷积的信息完全混合到深度可分离卷积的输出中；

14、vov-gscsp包括类残差的跨阶段操作，使用两条分支进行特征的提取，聚合分支的特征图结合类残差的跨阶段操作。

15、进一步地，tgc模块具有三个不同大小的特征图作为输入，分别为c/2×c/2、c×c和2c×2c；对c/2×c/2的特征图进行近邻插值上采样，得到大小为c×c的特征图；c×c的特征图保持不变；对2c×2c的特征图进行自适应最大池化和自适应平均池化操作，得到大小为c×c特征图；最后，将三个c×c特征图连接起来，作为tgc模块的输出。

16、进一步地，yolov8模型backbone部分包括conv-1、conv-2、conv-3、conv-4、conv-5、fasterc2f-1、fasterc2f-2、fasterc2f-3、fasterc2f-4、sppf和ema-1，neck部分包括tgc-1、tgc-2、tgc-3、gsconv-1、gsconv-2、gsconv-3、gsconv-4、vovgscsp-1、vovgscsp-2、vovgscsp-3、concat-1、concat-2、concat-3、fasterc2f-5、fasterc2f-6、fasterc2f-7、ema-2、ema-3，head部分包括dyhead160×160、dyhead80×80、dyhead40×40、dyhead20×20；

17、conv-1的输出传递给conv-2，conv-2的输出分两路，分别传递给fasterc2f-1和tgc-3；fasterc2f-1的输出分三路，分别传递给conv-3、tgc-3和tgc-2；conv-3的输出传递给fasterc2f-2，fasterc2f-2的输出分三路，分别传递给conv-4、tgc-2和tgc-1；conv-4的输出传递给fasterc2f-3，fasterc2f-3的输出分两路，分别传递给conv-5和tgc-1；conv-5的输出传递给fasterc2f-4，fasterc2f-4的输出传递给sppf，sppf的输出传递给ema-1；ema-1的输出分为两路，分别传递给gsconv-1和concat-3；

18、gsconv-1的输出传递给tgc-1，tgc-1输出传递给vovgscsp-1，vovgscsp-1的输出分为两路，分别传递给gsconv-2和concat-2；gsconv-2的输出传递给tgc-2，tgc-2的输出传递给vovgscsp-2，vovgscsp-2的输出分为两路，分别传递给gsconv-3和concat-1；gsconv-3的输出传递给tgc-3，tgc-3的输出传递给vovgscsp-3，vovgscsp-3的输出分为两路，分别传递给dyhead160×160和gsconv-4；gsconv-4的输出传递给concat-1，concat-1的输出传递给fasterc2f-5，fasterc2f-5的输出传递给ema-2，ema-2的输出分两路，分别传递给dyhead80×80和gsconv-5；gsconv-5的输出传递给concat-2，concat-2的输出传递给fasterc2f-6，fasterc2f-6的输出传递给ema-3，ema-3的输出分两路，分别传递给dyhead40×40和concat-3；concat-3的输出传递给fasterc2f-7，fasterc2f-7的输出传递给dyhead20×20。

19、进一步地，步骤(4)中，改进的yolov8模型使用sgd优化器参数迭代更新；改进的crnn模型使用adam优化器进行参数更新，采用ctcloss作为损失函数。

20、进一步地，步骤(5)中，改进的yolov8模型的检测结果包括仪表区域、最大量程数值区域max、最小量程数值区域min的边界框坐标和置信度得分。

21、进一步地，使用非极大值抑制nms算法过滤重叠检测框，保留置信度最高的检测框。

22、进一步地，步骤(5)中，采用距离法计算最终的仪表读数，包括：计算指针端点与每个刻度点之间的欧氏距离，选择距离最小的刻度作为指针指示的读数；根据量程信息将读数映射到实际数值，得到最终的仪表读数结果。

23、有益效果：本发明与现有技术相比，具有如下显著优点：

24、(1)改进的yolov8模型中，将原有的c2f模块替换为fasterc2f模块，能够显著提升检测性能；在主干网络中添加ema注意力机制模块，在检测头部分使用dyhead检测头并增加小目标检测层，能够增强复杂背景和小目标检测的表现；在颈部结构中，通过slim-neck结构和tgc模块实现了三输入通道的高效融合，进一步提高了模型的检测精度和鲁棒性。

25、(2)改进的crnn模型中，将resnet18作为主干网络结合cbam注意力机制，能够提高量程识别的准确性和鲁棒性。

26、综上，本发明能够实现指针式仪表示数的高效、准确读取，从而满足工业应用中对于实时性和准确性的高要求。