基于不定长序列预测的数字仪表读数自动识别方法与流程

本申请涉及图像识别领域，特别是涉及基于不定长序列预测的数字仪表读数自动识别方法。

背景技术：

1、数字仪表是各类电气设备的核心组件，是数字化车间的最小构成单元，在面向智能制造过程开展实时监控、系统控制、数据分析和记录发挥着不可或缺的作用，具有广泛的应用场景。数字仪表的定期检定与校准对于维护其最佳性能与质量，确保准确性和可信性，保障使用过程安全性与可靠性，提升工业生产效率至关重要。当前，数字仪表的检定与校准大多依靠计量人员手工抄表记录数据，一方面花费时间较长、效率较低，另一方面高温、压力、辐射和腐蚀等特殊环境中的持续检定与校准工作也会对计量人员的身心健康带来挑战。因此，研究和发明一种高效、准确、鲁棒的数字仪表读数自动识别技术，解放生产力，促进计量测试行业的数字化转型，推动新型工业化进程，具有重要意义。

2、不同于传统数字序列光学字符识别任务，如典型的车牌识别，字符序列长度固定，字符间距与字体字形统一，工业数字仪表由于其应用场景、工作性能、产品类型差异，使得仪表所显示读数信息的字体、字形、颜色与字符间距均存在差异，其中由型号(不同生产厂家)与功能(不同计量参数)引入不同纵横比显示特征所造就的读数序列不定长问题更是对其字符自动识别带来重大挑战。

3、针对数字仪表读数序列字体、字形、颜色与字符间距差异下的不定长识别问题，当前主流方法可分为传统算法、机器学习和深度学习三类：

4、1.传统算法采用自底向上的策略，将识别分为字符检测和字符识别两个子任务，并设计相应的模型来解决问题，包括线程法和模板匹配法；这类方法易受到环境因素的影响，在照明变化大、背景噪声复杂和图像分辨率低的情况下难以准确识别数字仪表不定长读数序列，且需根据不同仪表对象单独设计、训练和调制识别模块，导致面向多类型仪表时，系统复杂度较高，兼容性较差；

5、2.基于机器学习的仪表读数序列不定长识别方法采用“特征提取+字符识别”的分布式策略，利用核函数将读数序列长度特征映射至高维空间中的超平面或超高平面集开展字符不定长序列预测，此类方法的关键在于人工特征的设计与提取，对于光学字符预处理经验及先验知识依赖较重，导致其运行效率较低且泛化能力不足，仅能适用于字符序列长度变化范围较小且字体字形接近的局部数字仪表类型；

6、3.基于深度学习的仪表读数识别方法在端到端架构下利用循环神经网络(rnn)、长短时记忆机(lstm)和transformer等模型无需人工特征的先验设计，直接从各类仪表图像中提取具有字体、字形、颜色差异的不定长字符序列特征，实现图像到字符序列的自适应跨模态映射，并协同连接时序分类(ctc)损失函数完成仪表读数自动识别。尽管此类方法结构化预测能力较为显著，在仪表读数序列长度预判上具有较高的鲁棒性与泛化能力，但由于其序列预测主要依赖字符间的语义相关性即上下文信息进行关联记忆，导致序列中单体字符识别极易受上下文信息干扰，形成固定搭配式记忆依赖，产生误判，影响字符预测准确率。同时，由于考虑了整个序列的全局信息，模型参数量较大，需要大量数据样本开展训练，且不利于边端设备部署，运行效率较低，限制了其实际场景的应用效果。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的基于不定长序列预测的数字仪表读数自动识别方法解决了现有方法依赖字符间的语义相关性即上下文信息进行关联记忆，导致序列中单体字符识别极易受上下文信息干扰，形成固定搭配式记忆依赖，产生误判，影响字符预测准确率的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：基于不定长序列预测的数字仪表读数自动识别方法，包括：

3、s1、收集数字仪表读数图像，并进行读数区域提取后，作为数字仪表读数图像数据集；

4、s2、利用数字仪表读数图像数据集生成并训练不定长读数序列识别模型；

5、s3、使用不定长读数序列识别模型提取待识别图像的仪表读数序列，完成数字仪表读数自动识别。

6、进一步地：所述s2中，不定长读数序列识别模型包括依次连接的输入层、补丁嵌入模块、位置嵌入模块、独立字符形态特征提取模块和输出模块。

7、进一步地：所述补丁嵌入模块包括补丁分割子模块与线性嵌入子模块；

8、所述补丁分割子模块用于将数字仪表读数图像分割成若干补丁特征块；

9、所述线性嵌入子模块用于将补丁特征块嵌入到指定尺寸维度中，得到补丁图像。

10、进一步地：所述位置嵌入模块用于在补丁图像中增添位置信息。

11、进一步地：所述独立字符形态特征提取模块用于执行三个特征提取阶段提取字符笔画特征局部表征；

12、其中，第一个特征提取阶段和第二个特征提取阶段结构相同，均包括依次连接的字符局部表征模块与补丁融合模块，用于捕捉单一字符笔画特征间的依赖关系；

13、第三个特征提取阶段包括依次连接的字符局部表征模块与补丁组合模块，用于基于笔画特征依赖关系输出独立字符特征。

14、进一步地：所述字符局部表征模块对输入数据的处理方法包括：

15、a01、使用尺度余弦注意力机制对输入数据进行局部注意力池化，得到第一中间数据；

16、a02、对第一中间数据进行层归一化，得到第二中间数据；

17、a03、对输入数据和第二中间数据进行逐元素相加，得到第三中间数据；

18、a04、使用多层感知机学习第三中间数据的非线性关系，得到第四中间数据；

19、a05、对第四中间数据进行层归一化，得到第五中间数据；

20、a06、对第三中间数据和第五中间数据进行逐元素相加，得到字符局部表征模块的输出。

21、进一步地：所述补丁融合模块用于对输入数据进行3×3的卷积核和(2,1)步长的下采样。

22、进一步地：所述补丁组合模块包括依次连接的池化层、卷积层、激活函数层和dropout层。

23、本发明的有益效果为：

24、1.提出了一种尺度余弦注意力机制，该机制通过计算两个图像块之间的余弦相似度来获得较轻的注意力权重，以抑制序列上下文信息记忆依赖的问题，克服常规深度学习模型序列字符识别易受上下文信息干扰，形成固定搭配式记忆依赖的问缺陷，并弥补了其参数量过大、优化困难、运行效率低等问题；

25、2.提出了一种字符形态特征提取模块，用于提取字符内部的笔画特征以及字符成分间的依赖关系，建立字符笔画之间的关联，完成字符级特征挖掘，提升不定长字符序列识别精度；

26、3.基于以上两点，构建了一种不定长读数序列识别模型，用于增强工业场景中数字仪表不定长读数序列的自动识别能力。

技术特征：

1.基于不定长序列预测的数字仪表读数自动识别方法，其特征在于，包括：

2.根据权利要求1所述的基于不定长序列预测的数字仪表读数自动识别方法，其特征在于，所述s2中，不定长读数序列识别模型包括依次连接的输入层、补丁嵌入模块、位置嵌入模块、独立字符形态特征提取模块和输出模块。

3.根据权利要求2所述的基于不定长序列预测的数字仪表读数自动识别方法，其特征在于，所述补丁嵌入模块包括补丁分割子模块与线性嵌入子模块；

4.根据权利要求2所述的基于不定长序列预测的数字仪表读数自动识别方法，其特征在于，所述位置嵌入模块用于在补丁图像中增添位置信息。

5.根据权利要求2所述的基于不定长序列预测的数字仪表读数自动识别方法，其特征在于，所述独立字符形态特征提取模块用于执行三个特征提取阶段提取字符笔画特征局部表征；

6.根据权利要求5所述的基于不定长序列预测的数字仪表读数自动识别方法，其特征在于，所述字符局部表征模块对输入数据的处理方法包括：

7.根据权利要求5所述的基于不定长序列预测的数字仪表读数自动识别方法，其特征在于，所述补丁融合模块用于对输入数据进行3×3的卷积核和(2,1)步长的下采样。

8.根据权利要求5所述的基于不定长序列预测的数字仪表读数自动识别方法，其特征在于，所述补丁组合模块包括依次连接的池化层、卷积层、激活函数层和dropout层。

技术总结本发明公开了基于不定长序列预测的数字仪表读数自动识别方法，包括：S1、收集数字仪表读数图像，并进行读数区域提取后，作为数字仪表读数图像数据集；S2、利用数字仪表读数图像数据集生成并训练不定长读数序列识别模型；S3、使用不定长读数序列识别模型提取待识别图像的仪表读数序列，完成数字仪表读数自动识别，适用于无上下文语义关联的字符序列特征挖掘，捕捉字符笔画特征的局部表征信息，有效提升数字仪表读数自动识别性能。技术研发人员：姚勇,杨春节,李想,张森受保护的技术使用者：中国测试技术研究院技术研发日：技术公布日：2024/10/10