一种基于CenterNet改进的多尺度缺陷目标检测方法及系统

技术特征：
1.一种基于centernet改进的多尺度缺陷目标检测方法，其特征在于，包括以下步骤：获取缺陷目标图片，对所述缺陷目标图片进行预处理，得到预处理图片；对centernet网络结构进行改进，得到改进centernet网络结构；将所述预处理图片输入到所述改进centernet网络结构，生成若干个第一部分特征图；将所述若干个第一特征图进行信息叠加，形成若干个第二部分特征图；通过限定多种目标尺度信息生成多层分支热力图以产生类别标签，将目标映射到对应的第二部分特征图；经过若干个第二部分特征图后通过热力图生成分支产生预测类别，通过目标宽高及中心偏移生成分支产生位置信息，进而得到检测结果。2.根据权利要求1所述的一种基于centernet改进的多尺度缺陷目标检测方法，其特征在于，所述获取缺陷目标图片，对所述缺陷目标图片进行预处理，得到预处理图片，具体为：对缺陷目标图片尺寸统一缩放到固定尺寸后，对缩放后图片进行归一化处理，进而对归一化处理后图片采用数据增强方法处理；所述数据增强方法包括：随机裁剪、随机拼接、mixup、随机缩放、随机水平翻转、随机平移、色彩增强。3.根据权利要求1所述的一种基于centernet改进的多尺度缺陷目标检测方法，其特征在于，所述改进centernet网络结构，具体为：所述改进centernet网络结构包括：特征提取主干网络、特征图分层网络、分支预测输出头网络。4.根据权利要求3所述的一种基于centernet改进的多尺度缺陷目标检测方法，其特征在于，所述特征提取主干网络采用resnet网络主干，可分别使用resnet18、resnet32、resnet50、resnet101、resnet152作为主干的提取网络，对其剔除头一层卷积层和最后全连接层，保留其剩余的卷积层，用于分层提取特征图；所述特征图分层网络通过resnet的4个layer自下而上提取4层特征图，并通过fpn特征金字塔进行自上而下的信息叠加，后分别接卷积核大小为3的卷积消除混叠效应的影响，每层输出接入分支预测头网络；所述分支预测头网络具体包含了两个分支：热力图生成分支、目标宽高及中心偏移生成分支；所述热力图生成分支输出层数数量为目标的类别数，目标宽高及中心偏移生成分支输出层数设置为4，包含目标的宽高值以及与中心的偏移值；训练数据集图片通过热力图生成分支产生预测类别，通过目标宽高及中心偏移生成分支产生维度信息，且对不同特征层的预测头网络进行多尺度分层训练的同时实现多层预测分支的参数权值共享，而分支的结果是独立的。5.根据权利要求4所述的一种基于centernet改进的多尺度缺陷目标检测方法，其特征在于，所述将所述预处理图片输入到所述改进centernet网络结构，生成若干个第一部分特征图，具体如下：经过resnet网络对原图逐倍下采样4x,8x,16x,32x，分别对应第一部分的四层特征图。6.根据权利要求5所述的一种基于centernet改进的多尺度缺陷目标检测方法，其特征在于，所述将若干个第一特征图进行信息叠加，形成若干个第二部分特征图，具体为：将第一部分特征图的最高层特征图，经下采样32x的特征图逐倍上采样2x,4x,8x,16x，并与第一部分特征图对应的特征层融合，形成第二部分的四层特征图。7.根据权利要求4所述的一种基于centernet改进的多尺度缺陷目标检测方法，其特征
在于，所述通过限定多种目标尺度信息生成多层分支热力图以产生类别标签，具体为：原标签是自制的缺陷数据集提供，根据标签的面积占据原缺陷图的大小比例范围来划分多个尺度获得多尺度标签，生成的多尺度标签的层次是根据目标框面积所占原图面积的比例决定的，相应的目标框映射特征层的公式为：其中flayer表示第几个特征层；w,h表示原始目标框的宽高，w,h表示原始图的宽高分辨率；h_ratio(x)是一个分段函数，具体为：其中l
imin
和l
imax
是该特征层所属的目标比例范围，根据此映射方式替代以往的根据目标框大小或图片分辨率取得更统一且效果更佳的标签特征层映射。8.根据权利要求1所述的一种基于centernet改进的多尺度缺陷目标检测方法，其特征在于，所述经过若干个第二部分特征图后通过热力图生成分支产生预测类别，通过目标宽高及中心偏移生成分支产生位置信息，进而得到检测结果，具体为：将各个第二部分特征图别经过两个分支的四层3x3卷积核组处理，在第一分支的卷积核组后使用sigmoid函数输出预测类别，在第二分支的卷积核组后输出目标宽高及中心偏移。9.一种基于centernet改进的多尺度缺陷目标检测系统，其特征在于，包括：骨干特征提取模块、多尺度融合模块、损失函数模块、生成多尺度标签模块、多尺度训练模块、模型多尺度输出模块、多尺度解码输出模块、图片输入模块；所述骨干特征提取模块，用于深层提取原始图片的特征；所述多尺度融合模块，用于有效融合高层的语义信息和低层的细节信息；所述损失函数模块，用于度量真实值和预测值的关系，指导模型更有效的训练；所述生成多尺度标签模块，用于划分多尺度标签，为后续多尺度训练模块做准备；所述多尺度训练模块，用于有效利用各个尺度标签的信息，使模型充分训练各尺度的目标；所述模型多尺度输出模块，用于输出模型在各个尺度上的抽象预测信息；所述多尺度解码输出模块，用于将模型在各个尺度上的抽象预测信息解码成直观的、具体的预测目标框；所述图片输入模块，用于将图片进行预处理。10.根据权利要求9所述的一种基于centernet改进的多尺度缺陷目标检测系统，其特征在于，所述生成多尺度标签模块具体工作如下：原标签是自制的缺陷数据集提供，根据标签的面积占据原缺陷图的大小比例范围来划分多个尺度获得多尺度标签，生成的多尺度标签的层次是根据目标框面积所占原图面积的比例决定的，相应的目标框映射特征层的公式为：其中flayer表示第几个特征层；w,h表示原始目标框的宽高，w,h表示原始图的宽高分辨率；h_ratio(x)是一个分段函数，具体为：
其中l
imin
和l
imax
是该特征层所属的目标比例范围，根据此映射方式替代以往的根据目标框大小或图片分辨率取得更统一且效果更佳的标签特征层映射。

技术总结
本发明公开了一种基于CenterNet改进的多尺度缺陷目标检测方法，包括以下步骤：获取缺陷目标图片并进行预处理；对CenterNet网络结构进行改进；将预处理图片输入改进CenterNet网络结构，生成若干个第一特征图；将第一特征图进行信息叠加，形成若干个第二特征图；通过限定多种目标尺度信息生成多层分支热力图以产生类别标签，将目标映射到对应的第二特征图；经过第二特征图后通过热力图生成分支产生预测类别，通过目标宽高及中心偏移生成分支产生位置信息，进而得到检测结果；本发明把分支网络调整为基于多尺度特征层的多输出预测，再通过网络输出结果还原原始预测目标框信息，解决了不同尺度目标预测能力受限问题。决了不同尺度目标预测能力受限问题。决了不同尺度目标预测能力受限问题。


技术研发人员：陆璐 杨宇康 冼允廷
受保护的技术使用者：中山市华南理工大学现代产业技术研究院
技术研发日：2022.03.14
技术公布日：2022/7/22