基于自适应池化和注意力融合的指针式仪表读数方法

本发明设计了一种基于自适应池化和注意力融合的指针式仪表读数方法，属于计算机视觉研究领域。

背景技术：

1、指针式仪表具有结构简单、运行稳定可靠、生产成本低等优势，在工业领域中扮演着重要角色。为解决传统的人工读数存在的效率与准确率低、安全隐患高等诸如多局限性，基于深度学习的仪表盘读数算法成为研究热点。然而，指针式仪表多为小目标，直接应用分割模型可能导致分割出的指针与刻度线的边缘像素与实际存在的目标边缘之间存在较大偏差，进而影响读数的精度和稳定性。为促进指针式仪表数字化进程、保障高危环境下读数人员的安全，提出了基于自适应池化和注意力融合的指针式仪表机器视觉识读方法。

技术实现思路

1、本发明针对指针式仪表小目标难以检测、指针与刻度线边缘像素分割粗糙的问题，提供了一种基于自适应池化和注意力融合的指针式仪表读数方法，来实现指针式仪表数字化识读的像素级的精准。

2、为实现上述目的，本发明的技术方案如下：

3、步骤1：采集指针式仪表图像，并对图像进行标注，得到指针式仪表目标检测数据集、指针与刻度线分割数据集；

4、步骤2：构建da-yolov8n网络模型，设计apm模块与alh模块以提高小目标检测精度与速度，旨在快速准确地检测与提取表盘区域，并使用步骤1中标注的目标检测训练集进行训练，从而提取出图像中的表盘区域；

5、步骤3：对步骤2中提取到的表盘区域图像，采用正方形中心化统一其尺寸，并使用霍夫圆检测获取表盘中心点坐标；

6、步骤4：构建af-u2net网络模型，设计msam模块与siaconv模块以提高分割目标完整性与边缘信息的敏感度，旨在更精准地分割指针与刻度线，并使用步骤1中标注的分割训练集进行训练，从而得到指针与刻度线的掩码图像；

7、步骤5：对步骤4中的掩码图像进行细化处理之后，通过改进的极坐标变换算法和基于投影的距离法实现像素级读数。

8、进一步地，步骤1中，构建指针式仪表的数据集包括：

9、使用labelimg和labelme软件工具对预先采集的指针式仪表图像进行标注，分别得到指针式仪表目标检测数据集、指针与刻度线分割数据集，再将两个数据集各自划分为训练集、验证集与测试集，为后续工作做准备。

10、进一步地，步骤2中，构建da-yolov8n网络模型并进行训练包括：

11、首先，通过模型的骨干网络对输入图像进行特征提取，一共分为5层特征fk,k∈{1,2,3,4,5}。此外，将apm模块放在骨干网络的末尾，其输入特征为f5，输出特征为fapm，该模块主要负责捕获不同尺度特征的深层语义信息，这些信息对应着不同大小的目标。然后，将骨干网络提取出的特征f3、f4以及amp模块输出的fapm输入到模型的颈部进行特征融合、特征调整及尺度变换。颈部中融入alh模块。最后，通过模型的检测头产生目标检测的预测结果，从而提取出图像中的表盘区域。

12、进一步地，步骤3中，对提取到的表盘图像进行预处理包括：

13、预设表盘图像尺寸像素，然后获取表盘图像实际宽、高像素数量，记其中较大值为max，再使用预设图像的宽、高分别除以max得到表盘图像的宽、高缩放比例，以此对图像进行缩放。对缩放后图像的宽或高尺寸不足预设尺寸像素的，则在宽或高两边填充同等数量的灰度像素以完成正方形中心化处理。对处理后的表盘图像进行霍夫圆检测，得到表盘中心点坐标为后续读数操作进行校准。

14、进一步地，步骤4中，构建af-u2net网络模型并进行训练包括：

15、构建af-u2net网络模型并进行训练。af-u2net整体为u型，由编码器ek,k∈{1,2,3,4,5}、解码器dk,k∈{1,2,3,4,5}、跳跃连接结构及融合模块组成。编码器逐步提取图像特征，并利用msam模块和siaconv模块增强特征的表征能力。编码器每一阶段输出的特征图的通道数依次为

16、{64,128,256,512,512}。融合模块连接编码器e5与解码器d5，融合模块的输入特征为其输出特征ffuse作为d5模块的输入。解码器通过双线性插值法逐步将输入特征恢复到原始尺寸，以保留图像细节信息。与此同时，编码器输出特征通过跳跃连接结构传递到msam模块，在解码器相应阶段会融合注意力模块输出的特征解码器从下至上各阶段输出特征图的通道数变化为{512,256,128,64,64}，并且解码器与融合模块利用侧输出产生多尺度的预测结果最后，通过融合得到指针与刻度线的预测掩码图像。

17、进一步地，步骤5中，像素级的指针式仪表读数方法包括：

18、首先，对指针和刻度线的掩码图像进行二值化处理，再通过3×3卷积核对二值化图像进行形态学腐蚀以细化掩码图像。接着，对细化后的掩码图像采用改进的极坐标变换算法，将极坐标变换中心改为了步骤3中获取到的表盘中心点坐标，以校准变换后的图像在水平方向上对齐，保证读数的准确性。然后，采用投影法将得到的极坐标图像转换为一维数组，数组的每一列表示二维像素点投影后的像素数量，通过均值滤波去除无效数据。最终，通过对一维数组进行遍历以确定指针与刻度线的位置关系，采用距离法实现像素级读数，通过下式计算读数：

19、

20、式中，p表示指针的像素位置，d表示刻度线像素位置，s表示仪表量程，n表示刻度线数量，i表示第i个刻度。

技术特征：

1.一种基于自适应池化和注意力融合的指针式仪表读数方法，其特征在于，具体步骤如下：

2.根据权利要求1所述的基于自适应池化和注意力融合的指针式仪表读数方法，其特征在于，其中步骤1的实现过程包括：

3.根据权利要求1所述的基于自适应池化和注意力融合的指针式仪表读数方法，其特征在于，其中步骤2的实现过程包括：

4.根据权利要求1所述的基于自适应池化和注意力融合的指针式仪表读数方法，其特征在于，其中步骤3的实现过程包括：

5.根据权利要求1所述的基于自适应池化和注意力融合的指针式仪表读数方法，其特征在于，其中步骤4的实现过程包括：

6.根据权利要求1所述的基于自适应池化和注意力融合的指针式仪表读数方法，其特征在于，其中步骤5的实现过程包括：

技术总结本发明公开一种基于自适应池化和注意力融合的指针式仪表读数方法，包括以下步骤：采集指针式仪表图像并标注；构建DA‑YOLOv8n模型并训练，设计APM模块与ALH模块以提高小目标检测精度与速度，旨在快速准确地检测与提取表盘区域；采用正方形中心化统一提取到的表盘区域图像尺寸，并使用霍夫圆检测获取表盘中心点坐标；构建AF‑U<supgt;2</supgt;Net模型并训练，设计MSAM模块与SIAConv模块以提高分割目标完整性与边缘信息的敏感度，旨在更精准地分割指针与刻度线，并得到对应的掩码图像；对指针与刻度线掩码图像进行细化处理之后，通过改进的极坐标变换算法和基于投影的距离法实现像素级读数。技术研发人员：尹静涛,刘利平,王金亮,何雨曦受保护的技术使用者：上海电子信息职业技术学院技术研发日：技术公布日：2024/7/29