一种基于深度学习的料箱标签关键信息比对方法

本发明涉及深度学习与图像处理，具体涉及一种基于深度学习的料箱标签关键信息比对方法。

背景技术：

1、卷烟厂烟叶原料箱大多以扫描条形码的方式进行管理，但原料厂商提供的粘贴在原料箱上的标签，在运输过程中易出现破损、磨损、污染等现象，导致无法成功读取标签上的条形码信息。为方便卷烟厂的生产管理，在原料箱入厂后，需按照原始标签上的文字信息重新制作条形码标签粘贴在箱体上，条形码的信息录入以及粘贴均由人工完成，在这一环节中，容易出现所录条码信息与烟叶原料信息不一致的问题。

2、目前，卷烟厂在入库前，为保证条码记录信息正确，仍采用人工识别判断的方式，通过手动扫描新粘贴的条形码信息，并与肉眼识别的原始标签上的文字信息对比。这种方法不仅效率低，而且由于个人主观因素的影响，容易出现误判情况。因此，为进一步提高企业生产效率，自动化地提取识别关键信息是非常重要与必要的。

技术实现思路

1、本发明是为了解决上述现有技术存在的问题而提供一种基于深度学习的料箱标签关键信息比对方法。

2、本发明所采用的技术方案有：

3、一种基于深度学习的料箱标签关键信息比对方法，包括以下步骤：

4、s1：采集料箱图像，建立目标检测数据样本，训练目标检测网络，获得标签检测模型；

5、s2：为每种类别的标签选定一张正角度的图像作为模板图像，使用标签检测模型提取料箱上的标签图像，将提取出的标签图像与模板图像进行sift图像特征匹配操作，矫正标签图像；

6、s3：使用矫正后的标签，建立关键信息抽取数据样本，训练关键信息抽取网络，获得标签关键信息抽取模型；

7、s4：通过标签检测模型、sift图像特征匹配算法和标签关键信息抽取模型对新的料箱图像上的标签进行检测与识别，以key-value键值对的形式抽取标签中的关键信息；

8、s5：将抽取的标签中的关键信息与读取出的条形码信息做对比，判断条形码信息是否正确。

9、进一步地，步骤s1中，采集料箱图像，建立目标检测数据样本，具体包括：使用传统黑白工业相机采集料箱图像，根据图像上标签所在的坐标信息与标签的类别信息，以矩形框的形式进行人工标注，并将标注数据以8：2的比例划分为训练集与验证集，建立目标检测数据样本。

10、所述的目标检测网络为yolov5目标检测网络，将目标检测数据样本输入目标检测网络中进行训练，获得标签检测模型。

11、进一步地，步骤s2中，为每种类别的标签选定一张正角度的图像作为模板图像，使用标签检测模型提取料箱上的标签图像，将提取出的标签图像与模板图像进行sift图像特征匹配操作，矫正标签图像，具体包括：为每一类别的标签选定一张清晰规范的正角度标签图像作为模板标签图像，使用训练好的标签检测模型对料箱上的标签进行定位提取，检测提取出的标签图像与模板标签图像的特征点，找到两图中匹配的特征点，计算单应性矩阵，将计算得到的单应性矩阵应用到提取的标签图像上，进行图像的几何变换，矫正标签图像。

12、进一步地，步骤s3中，使用矫正后的标签，建立关键信息抽取数据样本，具体包括：根据关键信息所在位置的坐标信息、类别信息与文本信息，以矩形框的形式进行人工标注，并将标注数据以8：2的比例划分为训练集与验证集，建立关键信息抽取数据样本。

13、所述的关键信息抽取网络为vi-layoutxlm网络，将关键信息抽取数据样本输入关键信息抽取网络中进行训练，获得关键信息抽取模型。

14、进一步地，步骤s4中，通过标签检测模型、sift图像特征匹配算法和标签关键信息抽取模型对新的料箱图像上的标签进行检测与识别，以key-value键值对的形式抽取标签中的关键信息，具体包括：

15、s41）使用目标检测模型提取新拍摄的料箱上的标签图像，得到角度不一的标签，并根据不同标签的特征信息输出标签所属类别；

16、s42）根据输出的标签所属类别选择设置好的正角度标签模板图像，匹配提取出的标签图像与标签模板图像的特征点，计算单应性矩阵，将计算得到的单应性矩阵应用到提取的标签图像上，进行图像的几何变换，矫正标签图像；

17、s43）使用关键信息提取模型对矫正后的标签图像进行关键信息识别，以key-value键值对的形式抽取标签中的关键信息。

18、进一步地，步骤s5中，将抽取的标签中的关键信息与读取出的条形码信息做对比，判断条形码信息是否正确，具体包括：使用条码枪扫描料箱上的条形码，读取其记录的关键信息，与关键信息抽取模型的识别结果对比，判断条形码信息是否正确。

19、本发明具有如下有益效果：

20、本发明通过采集料箱图像，使用训练好的标签检测模型提取料箱图像上的标签图像，并对图像进行sift图像矫正操作，使用标签关键信息抽取模型对正角度的图片进行关键信息识别，将识别结果与扫码枪读取的结果比对，判断条形码所录信息是否正确。由此，自动化地检测人工录入信息是否正确，减少人工识别判断的主观性因素影响，提高企业生产效率。

技术特征：

1.一种基于深度学习的料箱标签关键信息比对方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于深度学习的料箱标签关键信息比对方法，其特征在于：步骤s1中，使用传统黑白工业相机采集料箱图像，根据图像上标签所在的坐标信息与标签的类别信息，以矩形框的形式进行人工标注，并将标注数据以8：2的比例划分为训练集与验证集，建立目标检测数据样本。

3.如权利要求1所述的一种基于深度学习的料箱标签关键信息比对方法，其特征在于：所述的目标检测网络为yolov5目标检测网络，将目标检测数据样本输入目标检测网络中进行训练，获得标签检测模型。

4.如权利要求1所述的一种基于深度学习的料箱标签关键信息比对方法，其特征在于：步骤s2中，为每一类别的标签选定一张清晰规范的正角度标签图像作为模板标签图像，使用训练好的标签检测模型对料箱上的标签进行定位提取，检测提取出的标签图像与模板标签图像的特征点，找到两图中匹配的特征点，计算单应性矩阵，将计算得到的单应性矩阵应用到提取的标签图像上，进行图像的几何变换，矫正标签图像。

5.如权利要求1所述的一种基于深度学习的料箱标签关键信息比对方法，其特征在于：步骤s3中，根据关键信息所在位置的坐标信息、类别信息与文本信息，以矩形框的形式进行人工标注，并将标注数据以8：2的比例划分为训练集与验证集，建立关键信息抽取数据样本。

6.如权利要求1所述的一种基于深度学习的料箱标签关键信息比对方法，其特征在于：所述的关键信息抽取网络为vi-layoutxlm网络，将关键信息抽取数据样本输入关键信息抽取网络中进行训练，获得关键信息抽取模型。

7.如权利要求1所述的一种基于深度学习的料箱标签关键信息比对方法，其特征在于：步骤s4具体包括：

8.如权利要求1所述的一种基于深度学习的料箱标签关键信息比对方法，其特征在于：步骤s5中，使用条码枪扫描料箱上的条形码，读取其记录的关键信息，与关键信息抽取模型的识别结果对比，判断条形码信息是否正确。

技术总结本发明专利提供一种基于深度学习的料箱标签关键信息比对方法，包括：采集料箱图像，建立目标检测数据样本，训练目标检测网络，获得标签检测模型；为每种类别的标签选定一张正角度的图像作为模板图像，使用标签检测模型提取料箱上的标签图像，将提取出的标签图像与模板图像进行SIFT图像特征匹配操作，矫正标签图像；使用矫正后的标签，建立关键信息抽取数据样本，训练关键信息抽取网络，获得标签关键信息抽取模型；通过标签检测模型、SIFT图像特征匹配算法和标签关键信息抽取模型对新的料箱图像上的标签进行检测与识别，以key‑value键值对的形式抽取标签中的关键信息；将抽取的标签中的关键信息与读取出的条形码信息做对比，判断条形码信息是否正确。技术研发人员：罗印升,颜锦耀,孟新红,张淼,马天军受保护的技术使用者：泉州信息工程学院技术研发日：技术公布日：2024/9/26