一种读数识别方法、读数识别装置以及计算机存储介质与流程

本申请涉及机器视觉和人工智能，特别是涉及一种读数识别方法、读数识别装置以及计算机存储介质。

背景技术：

1、随着科技水平的发展以及电力系统智能化的推广，在一个常见的中等变电站里便存在各类仪器仪表数量多达数万台,如何自动化的对数以万计的仪器仪表进行有效的自动化抄表或读数准确度鉴定已经成为亟待解决的问题，目前现有的方式一般分为两种：

2、(1)主要依靠人工抄表，费时费力。

3、(2)采用深度学习方式，通过采集一些素材进行训练，得到一个具备识别能力的专家网络模型，通过专家网络模型提取有效特征用于表计区域提取、表计刻度计算，通过对不同类型的表计分类，最后通过逻辑判断实现表计读数的识别。

4、但是，第二种方式存在识别步骤较多，并且定制化严重，无法适应不同类别的表计读数的识别，同时难以保证表计读数的实时性以及表计度数的准确性。

技术实现思路

1、为解决上述技术问题，本申请提出了一种读数识别方法、读数识别装置以及计算机存储介质。

2、为解决上述技术问题，本申请提出了一种读数识别方法，所述读数识别方法包括：

3、将待读数图像输入读数识别网络的图像特征提取器，提取所述待读数图像的图像特征；

4、将类别文本输入所述读数识别网络的文本特征提取器，提取所述类别文本的文本特征；

5、将所述图像特征和所述文本特征生成的复用特征输入所述读数识别网络的检测头，生成所述待读数图像的感兴趣区域图像；

6、将所述感兴趣区域图像和预设提示词输入所述读数识别网络的生成头，获取所述待读数图像的最终读数结果。

7、其中，所述预设提示词与所述待读数图像的读数类别对应，所述预设提示词为指针表计对应的提示词、数码表计对应的提示词、液/油位计对应的提示词，或者状态指示器对应的提示词。

8、其中，所述预设提示词至少包括第一预设提示词和第二预设提示词；

9、所述将所述感兴趣区域图像和预设提示词输入所述读数识别网络的生成头，获取所述待读数图像的最终读数结果，包括：

10、将所述感兴趣区域图像和所述预设提示词输入所述读数识别网络的生成头；

11、获取所述感兴趣区域图像针对所述第一预设提示词的第一读数值；

12、获取所述感兴趣区域图像针对所述第二预设提示词的第二读数值；

13、按照预设权重比例将所述第一读数值和所述第二读数值加权相加，得到所述待读数图像的最终读数结果。

14、其中，所述读数识别方法，还包括：

15、获取检测大模型和识别大模型；

16、提取所述检测大模型和/或所述识别大模型的特征提取器，其中，所述特征提取器包括图像特征提取器和文本特征提取器；

17、提取所述检测大模型的检测头，以及提取所述识别大模型的生成头；

18、将所述图像特征提取器、所述文本特征提取器、所述检测头，以及所述生成头整合为所述读数识别网络。

19、其中，所述读数识别方法，还包括：

20、获取公开数据集，其中，所述公开数据集包括若干原始图像；

21、获取每一原始图像的物体名称列表，并从所述公开数据集中筛选所述物体名称列表包括预设读数类别物体的候选图像；

22、生成所述候选图像的读数区域掩码；

23、根据所述读数区域掩码在所述候选图像中生成目标检测框，生成待训练图像；

24、利用所述待训练图像对所述读数识别网络进行训练。

25、其中，所述待训练图像的预设读数类别物体为指数表计时，所述生成待训练图像之后，所述读数识别方法还包括：

26、获取所述待训练图像中的指针区域和背景表盘区域；

27、以所述指针区域中的标定点为圆心，将所述指针区域在所述背景表盘区域上按照预设度数步长旋转，生成拓展图像。

28、其中，所述生成待训练图像之后，所述读数识别方法还包括：

29、将所述待训练图像输入风格生成模型，生成风格图像。

30、其中，所述生成待训练图像之后，所述读数识别方法还包括：

31、将所述待训练图像进行形态学变换，生成增强图像；

32、其中，所述形态学变换包括尺寸缩放、镜像对称、颜色变化，和/或尺度模糊。

33、为解决上述技术问题，本申请还提出一种读数识别装置，所述读数识别装置包括存储器以及与所述存储器耦接的处理器；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的读数识别方法。

34、为解决上述技术问题，本申请还提出一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现上述的读数识别方法。

35、与现有技术相比，本申请的有益效果是：读数识别装置将待读数图像输入读数识别网络的图像特征提取器，提取所述待读数图像的图像特征；将类别文本输入所述读数识别网络的文本特征提取器，提取所述类别文本的文本特征；将所述图像特征和所述文本特征生成的复用特征输入所述读数识别网络的检测头，生成所述待读数图像的感兴趣区域图像；将所述感兴趣区域图像和预设提示词输入所述读数识别网络的生成头，获取所述待读数图像的最终读数结果。通过上述读数识别方法，实现读数识别网络的端到端部署，降低读数识别方案的耗时，通过图文多模态的读数识别，提高读数识别的准确性和效果。

技术特征：

1.一种读数识别方法，其特征在于，所述读数识别方法包括：

2.根据权利要求1所述的读数识别方法，其特征在于，

3.根据权利要求1或2所述的读数识别方法，其特征在于，

4.根据权利要求1所述的读数识别方法，其特征在于，

5.根据权利要求1所述的读数识别方法，其特征在于，

6.根据权利要求5所述的读数识别方法，其特征在于，

7.根据权利要求5或6所述的读数识别方法，其特征在于，

8.根据权利要求5或6所述的读数识别方法，其特征在于，

9.一种读数识别装置，其特征在于，所述读数识别装置包括存储器以及与所述存储器耦接的处理器；

10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至8任一项所述的读数识别方法。

技术总结本申请提出一种读数识别方法、读数识别装置以及计算机存储介质。所述读数识别方法包括：将待读数图像输入读数识别网络的图像特征提取器，提取所述待读数图像的图像特征；将类别文本输入所述读数识别网络的文本特征提取器，提取所述类别文本的文本特征；将所述图像特征和所述文本特征生成的复用特征输入所述读数识别网络的检测头，生成所述待读数图像的感兴趣区域图像；将所述感兴趣区域图像和预设提示词输入所述读数识别网络的生成头，获取所述待读数图像的最终读数结果。通过上述读数识别方法，实现读数识别网络的端到端部署，降低读数识别方案的耗时，通过图文多模态的读数识别，提高读数识别的准确性和效果。技术研发人员：沙鑫宽,郭威,熊剑平,毛礼建受保护的技术使用者：浙江大华技术股份有限公司技术研发日：技术公布日：2024/8/1