图像与寄递信息融合多模态的违禁品包裹检测方法与流程

本发明属于图像处理，更进一步涉及图像识别中的一种图像与寄递信息融合多模态的违禁品包裹检测方法。本发明可用于对违禁品包裹进行快速、准确识别与查询。

背景技术：

1、在当前的安全管理领域，特别是涉及到邮递服务和包裹检测的领域，对于非法物品的筛查和识别一直是一个难题。传统的方法主要依赖于两种技术：一是利用寄递信息进行筛查，二是利用包裹检测技术对包裹进行检测。目前尚未将寄递信息和包裹检测技术完全统一起来，利用寄递信息进行筛查的方法往往局限于基于数据分析的预判，其准确性受到信息质量和完整性的限制。尽管寄递信息可以提供有用的线索，但单纯依靠这些信息进行筛查容易受到信息不全或者伪造的影响，导致漏检或误判的情况。

2、广东邦华智能安防科技有限公司在其申请的专利文献“基于深度学习模型的物流包裹违禁品识别方法”(专利申请号cn 202211392547.1，申请公布号cn 116343022a)中公开了一种利用深度学习模型对物流包裹中的违禁品进行识别的方法。该方法将物流包裹放入x光成像检测装置生成x光图像，并将x光图像灰度图像；将x光成像系统的灰度图进行存档，将违禁品图像与尺寸统一的x光违禁品图像进行匹配；将x光成像系统中的图像通过图像增强器件进行图像增强；x光成像系统中自动对金属识别，并标记突出颜色；对标记突出颜色的地方通过划圈进行圈定。此方法虽然可以显著提高检测效率和目标检测精度，但是，该方法仍然存在的不足之处是：该方法只对于金属类例如刀具或者枪支的违禁品识别的准确率较高，这种局限性可能导致对于其他类型的违禁品，例如液体、化学品或烟草制品等，识别准确率较低，从而在保障安全的过程中存在漏检或误判的风险。

3、北京声迅电子股份有限公司在其申请的专利文献“基于x光图像的违禁品识别方法”(专利申请号cn 202311497180.4，申请公布号cn 117635965a)中公开了一种基于x光图像的违禁品识别方法。该方法接收安检机发送的对移动的待检测件进行实时扫描得到的单元序列数据，在累计的所述图像单元序列数据的像素宽度之和大于或等于第一预设识别宽度的情况下，将累计的所述图像单元序列数据进行拼接，得到第一待测x光图像。该方法根据所述第一待测x光图像，识别所述待检测件中是否包含违禁品，得到第一识别结果，并发送至安检机进行显示。该方法虽然可以提高安检的速度和准确率，但是，该方法仍然存在的不足之处是：该方法仅依靠图像信息进行检测容易受到信息质量和完整性的限制，信息的不充分利用和识别的不准确性影响了违禁品包裹检测的效率和准确性。

技术实现思路

1、本发明的目的在于针对上述现有技术存在的不足，提出一种图像与寄递信息融合多模态的违禁品包裹检测方法，用于解决现有违禁品包裹检测方法未将视觉信息和包裹文本信息两种模态信息相融合，容易受到信息不全或者伪造的影响的问题，以及局限于金属类例如刀具或者枪支的违禁品识别，导致对于其他类型的违禁品识别准确率较低，从而产生存在漏检或误判的问题。

2、实现本发明目的的技术思路是，本发明构建由多尺度感知的图片特征提取子网络、大语言模型的文本分类子网络、识别模块级联组成的违禁品包裹检测网络，可以充分利用两种模态特征，克服了现有包裹检测方法中仅依靠单方面信息进行检测的方法容易受到信息质量和完整性的限制的问题。为更好地扩展检测方法的应用范围，本发明突破了传统的检测模式，通过将寄递信息与大模型提示词匹配筛选技术相结合，实现了对违禁品包裹的更为准确、全面的检测，通过对包裹的寄递信息和x光图像等多种数据进行综合分析，能够快速、精准地识别潜在的违禁品包裹，解决了现有技术对于其他违禁品，例如液体、化学品或烟草制品等，识别准确率较低，从而产生漏检或误判的问题。

3、本发明的实现的具体步骤如下：

4、步骤1，分别生成违禁品包裹图像训练集、违禁品包裹寄递信息训练集；

5、步骤2，构建多尺度感知的图片特征提取子网络；

6、步骤3，构建基于大语言模型的文本分类子网络；

7、步骤4，将图片特征提取子网络、基于大语言模型的文本分类子网络串联组成违禁品包裹检测网络；并训练违禁品包裹检测网络；

8、步骤5，将待检测图像依次输入到训练好的违禁品包裹检测网络中，输出对图像中违禁品所在的每个外接矩形框位置的检测结果，并同时输出违禁品包裹相关文本信息。

9、与现有技术相比，本发明具有以下优点：

10、第一，本发明利用大语言模型，设计特定的文本提示重新进行微调，使得大语言模型的识别精度和准确率相比于传统检测方法有显著提高，克服了现有方法仅针对于金属类违禁品进行检测，导致其他违禁品可能产生漏检或误判的情况。本发明突破了传统的违禁品包裹检测的模式，通过将寄递信息与用于处理文本信息的大模型相结合，对包裹的寄递信息和x光图像等多种数据进行综合分析，不仅能够对于违禁品包裹准确的识别和检测，还能够实时对违禁品的寄递信息进行追踪。

11、第二，由于本发明构建多尺度感知的图片特征提取子网络对图像特征进行提取，克服了现有方法仅针对于金属类违禁品进行检测，导致其他违禁品可能产生漏检或误判的情况。使得本发明能够不局限于检测某一种类别的违禁品，而是适用于多种不同类型的违禁品，扩大检测范围。

技术特征：

1.一种图像与寄递信息融合多模态的违禁品包裹检测方法，其特征在于，分别生成违禁品包裹图像训练集、违禁品包裹寄递信息训练集，构建多尺度感知的图片特征提取子网络，构建基于大语言模型的文本分类子网络；该检测方法的步骤包括如下：

2.根据权利要求1所述的图像与寄递信息融合多模态的违禁品包裹检测方法，其特征在于，步骤1中所述违禁品包裹图像训练集指的是：由至少1000张x光违禁品包裹图像组成图像样本集；每张图像中至少含有一个包裹目标；采用外接矩形框对每张图像中的违禁品所在位置的各顶点坐标进行标注后得到该违禁品对应的标注文件；将样本集与所有标注文件组成违禁品包裹图像训练集。

3.根据权利要求2所述的图像与寄递信息融合多模态的违禁品包裹检测方法，其特征在于，所述图像样本集中包括无包装违禁品样本图像、存在遮挡的违禁品样本图像、不同尺寸的违禁品样本图像共三类样本图像，其比例为1：2：1；第一类中包括横置、竖放、斜放的无包装违禁品样本，其比例为1：1：1；第三类中包括不同尺寸违禁品的样本。

4.根据权利要求1所述的图像与寄递信息融合多模态的违禁品包裹检测方法，其特征在于，步骤1中所述违禁品包裹寄递信息训练集指的是：生成与每个违禁品包裹图像样本一一对应的违禁品包裹寄递信息样本集；对每条寄递信息添加与违禁品包裹图像相对应的标签得到对应的模拟寄递信息标签文件；将寄递信息模拟数据与所有标签文件组成违禁品包裹寄递信息训练集。

5.根据权利要求2所述的图像与寄递信息融合多模态的违禁品包裹检测方法，其特征在于，所述违禁品包裹寄递信息样本集中包括寄件人相关寄递信息和收件人相关寄递信息共两类样本集，其比例为1：1；第一类中包括寄件人、寄件地址、寄件人电话的寄递信息样本；第二类中包括收件人、收件人地址、收件人电话的寄递信息样本。

6.根据权利要求1所述的图像与寄递信息融合多模态的违禁品包裹检测方法，其特征在于，步骤2中所述多尺度感知的图片特征提取子网络的结构依次由分组操作层、多尺度卷积组、最大池化层，以及softmax层级联组成；分组操作层将输入的特征图按通道均分为32个独立的组；多尺度卷积组由三个卷积层串联组成，其卷积核的大小依次设置为1x1，3x3，和5x5，卷积核的个数均设置为1；将最大池化层的池化核大小设置为2x2；softmax层采用relu激活函数实现。

7.根据权利要求1所述的图像与寄递信息融合多模态的违禁品包裹检测方法，其特征在于，步骤3中所述基于大语言模型的文本分类子网络的结构依次由输入嵌入层、位置编码层、多头自注意力机制层、前馈神经网络组，以及输出softmax层级联组成；所述输入嵌入层的输入数据维度设置为128，输出维度设置为512；将位置编码层添加到输入嵌入层中，用正弦和余弦函数交替生成位置信息；将多头自注意力机制层设置为8个并行的头部，每个头部维度均设置为64，采用标准缩放点积注意力方法提取文本特征；所述前馈神经网络组由两个线性变换层级联组成，第一个变换层从512维扩展到2048维，第二个变换层从2048层压缩为512维；输出softmax层采用sigmoid激活函数实现。

8.根据权利要求1所述的图像与寄递信息融合多模态的违禁品包裹检测方法，其特征在于，步骤4中所述训练违禁品包裹检测网络的步骤如下：将违禁品包裹图像训练集和违禁品包裹寄递信息训练集分别输入到违禁品包裹检测网络中，使用adam下降法迭代更新网络参数，直至网络损失函数收敛为止，得到训练好的违禁品包裹检测网络。

9.根据权利要求8所述的图像与寄递信息融合多模态的违禁品包裹检测方法，其特征在于，所述网络损失函数如下：

技术总结本发明公开了一种图像与寄递信息融合多模态的违禁品包裹检测方法，具体步骤如下：构建多尺度感知的图片特征提取子网络、基于大语言模型的文本分类子网络级联组成的违禁品包裹检测网络；用违禁品包裹图像训练集、违禁品包裹寄递信息训练集训练违禁品包裹检测网络，用训练好的网络对待检测目标进行检测。本发明克服了仅依靠图像信息检测，以及局限于金属类违禁品识别，导致其他类型的违禁品产生存在漏检或误判的问题，使得本发明通过对包裹的多模态数据进行综合分析，能够对多种潜在的金属类及其他类违禁品进行快速、精准地识别，并及时掌握包裹相关寄递信息。技术研发人员：高宝红,吴家骥,朱汉宁,乔浪超,马彦泽,冯文涛,屈檀,陈少宏,林泽毅受保护的技术使用者：中国烟草总公司陕西省公司技术研发日：技术公布日：2024/7/29