一种基于语义分割的关键信息提取方法及系统与流程

技术特征：
1.一种基于语义分割的关键信息提取方法，其特征在于，包括以下步骤：s1、采集包含增值税发票图片与营业执照图片的数据集，形成学习样本集1和学习样本集2，学习样本集1标注增值税发票是否盖有公章，学习样本集2标注增值税发票及营业执照关键信息；s2、构建包含分类器、文本检测器与文本识别器的深度神经网络，使用步骤s1的学习样本集对构建的深度神经网络进行训练；s3、获取待分类的图像并进行图像增强处理；s4、采用步骤s2训练好的深度神经网络的分类器对步骤s3图像增强处理后的待分类图像进行分类，得到当前识别的图像属于增值税发票还是营业执照，然后采用步骤s2训练好的深度神经网络的文本检测器对步骤s3图像增强处理后的待分类图像进行文本检测定位，得到文本区域位置；s5、将步骤s4中检测定位的文本区域作为输入，送入步骤s2训练好的深度神经网络的文本识别器进行文本识别，得到文本识别结果；s6、根据步骤s4得到的文本区域位置以及步骤s5得到的文本识别结果，通过增值税发票图片与营业执照图片中相对位置及比例与正则匹配方法对增值税发票图片及营业执照图片的关键字段信息进行提取。2.根据权利要求1所述的方法，其特征在于，步骤s1中，对学习样本集1进行随机裁剪、改变亮度和随机旋转处理后输入深度神经网络用于训练，学习样本集1大于或等于1000张，学习样本集2中的增值税发票样本大于或等于500张，营业执照样本大于或等于500张。3.根据权利要求1所述的方法，其特征在于，步骤s2具体为：s201、将学习样本集1输入深度神经网络的分类器中进行训练，每隔n次进行模型测试，挑选性能最好的模型保存，到达设定训练次数后保存模型作为训练好的分类器；s202、将学习样本集2转化为icdar标准数据集格式；s203、将步骤s202转化后的icdar标准数据集输入深度神经网络的文本检测器进行训练，每隔n次进行模型测试，挑选性能最好的模型保存，到达设定训练次数后保存模型作为训练好的文本检测器；s204、将步骤s202转化后的icdar标准数据集输入深度神经网络的文本识别器进行训练，每隔n次进行模型测试，挑选性能最好的模型保存，到达设定训练次数后保存模型作为训练好的文本识别器。4.根据权利要求3所述的方法，其特征在于，分类器为resnet50，文本检测器为dbnet，文本识别器为crnn与ctc。5.根据权利要求1所述的方法，其特征在于，步骤s6中，使用关键信息提取系统对增值税发票及营业执照的关键字段信息进行提取，关键信息提取系统包括通用ocr识别模块、增值税发票识别模块和增值税发票识别模块；通用ocr识别模块能够将得到的文本识别结果作为通用ocr识别结果以json的格式返回，增值税发票识别模块能够根据识别文本及相对位置和比例提取增值税发票关键信息；增值税发票识别模块能够根据识别文本及相对位置和比例提取营业执照关键信息。6.根据权利要求5所述的方法，其特征在于，增值税发票识别模块进行识别具体为：将增值税发票输入步骤s2训练后的分类器得到是否存在公章的分类结果；将增值税发
票输入步骤s2训练后的文本检测器和文本识别器得到初步文本识别结果；对输入增值税发票图片进行方向与倾斜矫正；截取出增值税发票区域；将截取后的增值税发票输入步骤s2训练后的文本检测器和文本识别器得到文本位置与识别结果；去掉得分概率在0.5以下的识别结果；根据识别文本及相对位置和比例提取增值税发票关键信息。7.根据权利要求5所述的方法，其特征在于，提取增值税发票关键信息具体为：s601、根据标准增值税发票格式，计算出发票上各关键信息在x轴、y轴所处的标准位置范围；s602、使用正则方法筛选文本识别结果，利用开票日期、规格型号、价税合计、收款人、开票人将文本识别结果划分为首部信息、购买方信息、应税货物或劳务服务信息、销售方信息与底部信息；s603、根据s601中计算出的各关键信息在发票中的标准位置范围，提取步骤s602中各个部分的关键信息。8.根据权利要求5所述的方法，其特征在于，营业执照识别模块进行识别具体为：将营业执照输入步骤s2训练好的文本检测器和文本识别器得到初步文本识别结果；利用文本检测器得到的文本位置范围对横版竖版营业执照分类；对输入营业执照图片进行方向与倾斜矫正；截取出营业执照区域；将截取后的营业执照输入步骤s2训练好的文本检测器和文本识别器得到文本位置与识别结果；去掉得分概率在0.5以下的识别结果；根据识别文本及相对位置和比例提取营业执照关键信息。9.根据权利要求5所述的方法，其特征在于，提取营业执照关键信息具体为：s605、根据标准横版与竖版营业执照格式，计算出营业执照上各关键信息在x轴、y轴所处的标准位置范围；s606、使用正则方法筛选文本识别结果，利用营业执照、统一社会信用代码、名称、法定代表人文本，将文本识别结果划分到各个待提取的关键信息区域中；s607、根据步骤s605中计算出的关键信息在营业执照中的标准位置范围，提取步骤s606中各个部分的关键信息。10.一种基于语义分割的关键信息提取系统，其特征在于，包括：数据模块，采集包含增值税发票与营业执照图片的数据集，形成学习样本集1和学习样本集2，学习样本集1标注增值税发票是否盖有公章，学习样本集2标注增值税发票及营业执照关键信息；训练模块，构建包含分类器、文本检测器与文本识别器的深度神经网络，使用数据模块的学习样本集对构建的深度神经网络进行训练；增强模块，获取待分类的图像并进行图像增强处理；检测模块，采用训练模块训练好的深度神经网络的分类器对增强模块图像增强处理后的待分类图像进行分类，得到当前识别的图像属于增值税发票还是营业执照，然后采用训练模块训练好的深度神经网络的文本检测器对增强模块图像增强处理后的待分类图像进行文本检测定位，得到文本区域位置；识别模块，将检测模块中检测定位的文本区域作为输入，送入训练模块训练好的深度神经网络的文本识别器进行文本识别，得到文本识别结果；提取模块，根据检测模块得到的文本区域位置以及识别模块得到的文本识别结果，通
过增值税发票图片与营业执照图片中相对位置及比例与正则匹配方法对增值税发票及营业执照的关键字段信息进行提取，实现关键信息提取。

技术总结
本发明公开了一种基于语义分割的关键信息提取方法及系统，采集数据形成学习样本；构建深度神经网络，使用样本集的数据对神经网络进行训练；通过终端或者其他设备获取待处理图片数据，并对图片进行增强处理；将处理后的图片输入预先训练好的深度神经网络文本检测器与文本识别器进行文本的定位与识别；利用发票与营业执照格式固定，关键信息所处位置比例等信息，对关键信息进行提取。本发明将不同种类的增值税发票与营业执照关键信息提取集于一个系统，并提高了现有识别的准确率和速率，为有效减少人工核算的工作量，降低人力成本，实现财税报销的自动化，商家资质检查等工作提供了更好的系统的服务。了更好的系统的服务。了更好的系统的服务。


技术研发人员：赵国帅 贾欣悦 钱学明
受保护的技术使用者：西安交通大学
技术研发日：2021.09.26
技术公布日：2022/1/21