一种无模板图像的卡证印刷文字缺失检测方法及装置与流程

本发明涉及卡证印刷文字缺失检测，尤其是涉及一种无模板图像的卡证印刷文字缺失检测方法及装置。

背景技术：

1、在卡证制作过程中，由于打印头故障，可能会导致印刷的文字漏打印某个区域；同时，在卡证覆膜过程中，也会有覆膜破损，当破损的位置位于印刷文字上方时，也会导致印刷文字部分笔画或者部分区域的缺失。

2、以上两种情况都会导致制作的卡证不合格。解决这一问题的传统方法往往需人工检查，效率低下且容易出错。

3、因此，有必要开发一种自动化的方法和装置来检测卡证中的印刷文字缺失情况。

技术实现思路

1、为了解决卡证中的印刷文字缺失情况自动化检测的技术问题，本发明提供一种无模板图像的卡证印刷文字缺失检测方法及装置。采用如下的技术方案：

2、一种无模板图像的卡证印刷文字缺失检测方法，包括以下步骤：

3、步骤1，对于待检测图像进行卡证目标检测和对齐，得到归一化后的卡证图像；

4、步骤2，提取卡证文字信息，卡证文字信息包括文字位置信息和文字内容信息；

5、步骤3，获取卡证文字内容信息的字体类型；

6、步骤4，根据卡证文字信息和卡证字体类型，对于每一个文本行，生成二值模板文本行图像；

7、步骤5，计算二值模板文本行图像与归一化后的卡证图像的差异图，根据差异图得到文字残缺的位置。

8、通过采用上述技术方案，首先对待检测图像进行目标检测和对齐，得到归一化后的卡证图像。然后提取卡证文字信息和字体类型，生成模板文本行图像；最后计算模板文本行图像和归一化卡证图像的差异图并根据差异图得到印刷文字缺失检测区域。

9、实现对卡证中的印刷文字缺失情况自动化检测，检测效率高，检测准确率高。

10、对卡证目标检测和对齐，主要是降低成像过程中的仿射变换对检测结果的影响。在归一化后的图像上进行卡证文字信息提取和卡证字体类型检测，是为了生成一个二值模板文本行图像，便于与归一化后的卡证图像的文本行进行匹配以计算差异图，对差异图进行处理就可以获取文字残缺位置，从而实现无模板图像下的卡证印刷文字缺失检测。

11、可选的，步骤1的方法是：采用yolo或者ssd在训练集上训练卡证目标检测模型，然后对待测试图像进行目标检测，得到目标的位置，并扩大裁剪出目标图像，利用cornernet或centernet在目标图像中定位卡证的四个角点，根据角点位置，使用透视变换算法估计变换矩阵，并利用变换矩阵对目标图像进行透视变换得到归一化后的卡证图像。

12、透视变换算法可以是opencv环境下的getperspectivetransform和warpperspective。

13、可选的，步骤2的方法是：对于包含有芯片的卡证，利用读卡器可以读取卡面文字信息，并获取对应的域，然后利用目标检测算法在归一化的卡证图像上检测各个域；

14、对于不包含有芯片的卡证，利用ctpn或east识别归一化后的卡证图像上的所有文本行，并利用ocr算法获取文字信息，得到所有的文本行位置和文字信息对。

15、目标检测算法可以是yolo；ocr算法可以是tesseract ocr或crnn。

16、步骤3中可以利用先验知识获取卡证字体信息，也可以利用字体识别算法获取字体类型。对于某些通用的卡证，如二代证，驾驶证等，通常使用的是固定的某一种字体。除此之外，也可以通过训练一个分类器对文本行的字体类型进行识别。进一步地，也可以利用多任务学习方法，训练一个模型，同时进行文本检测和文字类型识别。

17、可选的，步骤4中，所述二值模板文本行图像与归一化后的卡证图像文本行具有相同的分辨率。

18、可选的，步骤4中，记录每一个单字在模板文本行中的位置。

19、通过采用上述技术方案，获取卡证文字信息和卡证字体类型，可以在不具备模板图像的条件下，自动生成模板图像，对单个字符的打印缺失进行自动判断。如果所需要质检的卡证有芯片信息可以使用时，利用芯片的信息可以进一步对整个字符的打印缺失进行自动判断。

20、可选的，步骤5包括以下子步骤：

21、步骤51，对归一化后的卡证图像提取灰度图像；

22、步骤52，对灰度图像进行二值化处理，得到二值化卡证图像；

23、步骤53，对二值模板文本行图像，切割为单个字，得到单字二值图像块；

24、步骤54，以单字二值图像块为模板，利用模板匹配方法在二值化卡证图像对应文本行位置上进行搜索，找到最佳匹配，对单字二值图像块和最佳匹配进行像素异或操作，得到该字的差异图；

25、步骤55，对差异图进行形态学开操作，形态学开操作先对二值图像做腐蚀运算，再做膨胀运算，可以消除小的差异；

26、步骤56，对形态学开操作处理后的差异图进行连通域提取，判断是否有连通域面积大于阈值t，如果有，判断该单字出现缺失，缺失位置为连通域面积大于阈值t的连通域。

27、通过采用上述技术方案，可以降低归一化过程中的误差带来的误判。

28、可选的，步骤52中，采用自适应阈值分割算法或深度学习的分割算法。

29、一种无模板图像的卡证印刷文字缺失检测装置，包括成像设备、存储器和处理器，所述成像设备用于对制作完成的卡证进行成像得到待检测图像，并与存储器交互待检测图像，所述存储器存储采用一种无模板图像的卡证印刷文字缺失检测方法设计的卡证印刷文字缺失检测程序，处理器与存储器通信连接，运行卡证印刷文字缺失检测程序输出检测结果。

30、综上所述，本发明包括以下至少有益技术效果：

31、本发明能提供一种无模板图像的卡证印刷文字缺失检测方法及装置，首先对待检测图像进行目标检测和对齐，得到归一化后的卡证图像。然后提取卡证文字信息和字体类型，生成模板文本行图像；最后计算模板文本行图像和归一化卡证图像的差异图并根据差异图得到印刷文字缺失检测区域；实现对卡证中的印刷文字缺失情况自动化检测，检测效率高，检测准确率高。

技术特征：

1.一种无模板图像的卡证印刷文字缺失检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种无模板图像的卡证印刷文字缺失检测方法，其特征在于：步骤1的方法是：采用yolo或者ssd在训练集上训练卡证目标检测模型，然后对待测试图像进行目标检测，得到目标的位置，并扩大裁剪出目标图像，利用cornernet或centernet在目标图像中定位卡证的四个角点，根据角点位置，使用透视变换算法估计变换矩阵，并利用变换矩阵对目标图像进行透视变换得到归一化后的卡证图像。

3.根据权利要求1所述的一种无模板图像的卡证印刷文字缺失检测方法，其特征在于：步骤2的方法是：对于包含有芯片的卡证，利用读卡器可以读取卡面文字信息，并获取对应的域，然后利用目标检测算法在归一化的卡证图像上检测各个域；

4.根据权利要求1所述的一种无模板图像的卡证印刷文字缺失检测方法，其特征在于：步骤4中，所述二值模板文本行图像与归一化后的卡证图像文本行具有相同的分辨率。

5.根据权利要求1所述的一种无模板图像的卡证印刷文字缺失检测方法，其特征在于：步骤4中，记录每一个单字在模板文本行中的位置。

6.根据权利要求1所述的一种无模板图像的卡证印刷文字缺失检测方法，其特征在于：步骤5包括以下子步骤：

7.根据权利要求6所述的一种无模板图像的卡证印刷文字缺失检测方法，其特征在于：步骤52中，采用自适应阈值分割算法或深度学习的分割算法。

8.一种无模板图像的卡证印刷文字缺失检测装置，其特征在于：包括成像设备、存储器和处理器，所述成像设备用于对制作完成的卡证进行成像得到待检测图像，并与存储器交互待检测图像，所述存储器存储采用权利要求1-7任一项所述的一种无模板图像的卡证印刷文字缺失检测方法设计的卡证印刷文字缺失检测程序，处理器与存储器通信连接，运行卡证印刷文字缺失检测程序输出检测结果。

技术总结本发明公开一种无模板图像的卡证印刷文字缺失检测方法及装置，涉及卡证印刷文字缺失检测技术领域，首先对待检测图像进行目标检测和对齐，得到归一化后的卡证图像。对卡证目标检测和对齐降低成像过程中的仿射变换对检测结果的影响。在归一化后的图像上进行卡证文字信息提取和卡证字体类型检测为了生成一个二值模板文本行图像，便于与归一化后的卡证图像的文本行进行匹配以计算差异图，对差异图进行处理就可以获取文字残缺位置，从而实现无模板图像下的卡证印刷文字缺失检测。实现对卡证中的印刷文字缺失情况自动化检测，检测效率高，检测准确率高。技术研发人员：温成超,申意萍,陈友斌,张志坚,徐一波受保护的技术使用者：湖北微模式科技发展有限公司技术研发日：技术公布日：2024/11/4