基于图像-点云数据双分支混合模型的三维异常检测方法

本发明涉及工业异常检测，具体为一种基于图像-点云数据双分支混合模型的三维异常检测方法。

背景技术：

1、异常检测是一种用于识别不符合预期行为的异常模式的技术。异常检测是计算机视觉中的一个重要任务，异常检测的目标是识别那些与正常行为显著不同的数据点，这可能是由于错误、异常事件、故障或其他非典型情况引起的。随着我国科技的不断发展，越来越多的工厂已经拥有了自己的无人车间，无人车间的出现显著的提高了产品的生产效率并降低了生产的成本，利用先进的自动化和机器人技术，实现生产线的自主操作和智能化管理。但机械生产出的产品不能完全保证产品的质量，并且在流水线的过程中可能也会损坏一部分的产品，我们把这种不符合要求的产品称为异常产品。在进行产品交付的时候需要从大量的合格产品中挑出少部分的不符合要求的异常产品。使用人工的方式来挑出异常产品成本太大并且效率十分低下。使用计算机辅助的异常检测可以极大的提高效率并减少成本。

2、但是，现有的异常检测方法更多是只关注图像方面，而并没有很好的处理点云模态的数据。点云数据包含了丰富的几何结构信息，现有的方法只是用图像进行异常检测会受到检测视角的影响进而影响检测的精度。在进行图像和点云信息处理的时候，现有的方法更关注单个模态的分别处理，并没有考虑到对点云特征和图像特征的融合处理，同时对点云特征的提取更多的使用的预训练的特征提取器进行提取，这会导致特征存在偏差同时这个特征更多的是一种语义特征，也并没有考虑到对点云数据来说更为重要的结构特征。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种基于图像-点云数据双分支混合模型的三维异常检测方法，结合产品表面的视觉信息、及其对应的包含产品几何特征的点云信息，通过同时关注产品图像和产品点云两个模态的数据，加强对点云数据的利用以及增强两个模态数据之间的融合，构建基于多模态信息处理的深度学习算法用于产品异常的检测。技术方案如下：

2、一种基于图像-点云数据双分支混合模型的三维异常检测方法，包括以下步骤：

3、步骤1：对拍摄的待检测对象的图像数据和点云数据进行预处理，以减少背景干扰；

4、步骤2：多模态数据特征提取

5、对于图像数据，采用在imagenet数据集上预训练的卷积神经网络wideresnet50作为图像特征提取器来提取图像特征cx；对于点云数据，使用在shapanet点云数据集上预训练的神经网络pointmae作为点云特征提取器，提取正常点云数据的点云特征cy；

6、步骤3：多模态特征融合

7、构建能够融合不同语义特征的混合跨模态多头注意力的多语义特征融合模块，对步骤2中提取出的图像特征cx和点云特征cy进行融合，得到融合后的多模态特征cz；

8、步骤4：结果输出

9、将融合后的多模态特征cz输入标准流模型得到每个像素的异常分数值，将其作为图像模态上的异常检测的结果aimage。

10、更进一步的，所述步骤1中具体包括：

11、1)对图像数据进行预处理：

12、拍摄的待检测对象的图像行放大处理并进行中心裁剪至原图像大小；

13、2)对点云数据进行预处理：

14、根据拍摄的待检测对象的点云数据，得到这四个端点处的z坐标的值ztop_right、ztop_left、zbottom_right和zbottom_left；根据这四个端点处的z坐标的位置仿射出整幅图像初步的背景的深度值，根据先验知识来选择前景和背景；通过对z坐标投影出来的图像计算连通域，将小于设定值的连通域直接去除，使背景的点云值全部设置为0。

15、更进一步的，所述步骤2中提取图像特征具体包括：

16、作为图像特征提取器的卷积神经网络wideresnet50包括多个由残差网络组成的层，第7层提取的特征用来避免过大的域偏差；第19层提取的特征包含学习到的各种纹理信息和部分的语义信息，第19层提取的特征包含学习到的各种纹理信息和部分的语义信息，最终得到三个不同的特征图；在进行融合的时候，首先将三个特征图通过双线性插值的方式得到相同大小的特征图feature map1、feature map2和feature map3，然后再将featuremap1、feature map2和feature map3在通道层面上进行连接，得到最终的图像特征cx。

17、更进一步的，所述步骤3具体包括：

18、首先，将图像特征cx通过线性层映射得到图像模态的查询矩阵q1、键值矩阵k1和值项矩阵v1；将点云特征cy通过线性层映射得到点云模态的查询矩阵q2、键值矩阵k2和值项矩阵v2；

19、然后将点云特征cy和图像特征cx之间做注意力，得到注意力值attention1，再将图像特征cx和点云特征cy之间做注意力，得到注意力值attention2，并将最后两个注意力值attention1和attention2相加得到融合后的多模态特征cz；公式表示如下：

20、q1,k1,v1＝linear(cx)

21、q2,k2,v2＝linear(cy)

22、

23、cz＝concat(afr(attention1),afr(attention2))

24、其中，linear表示线性层映射，softmax为归一化指数函数；t为转置符号，dk1和dk2分别为键值矩阵k1和键值矩阵k2的维度；acs为自适应通道选择模块，concat表示将输出的结果相加。

25、更进一步的，所述步骤4中具体为：

26、将多模态特征cz作为输入特征y输入标准流模型，输入特征y经各标准流模块在通道维度进行打乱，然后依据通道数进行均分，得到两个均分特征y1和y2；均分特征y1经过两个卷积层s1和t1得到的卷积特征为ys1和yt1；再将均分特征y2乘以eys1并加上卷积特征yt1，得到中间特征y2’；同时中间特征y2’在输入两个卷积层s2和t2，得到卷积特征ys2和yt2；同时将均分特征y1乘以eys2并加上卷积特征yt2，得到中间特征y1’，最后将中间特征y1’和y2’在通道维度上进行拼接得到最终的映射结果y’；将得到的映射结果y’作为图像模态上的异常检测的结果aimage。

27、更进一步的，定义标准流模型的损失函数为：

28、

29、其中，z为标准流模型最终输出，y为准流模模型的输入特征，也即融合后的多模态特征cz；py(y)为pz(z)为标准正态分布；det为矩阵符号。

30、更进一步的，所述步骤2中提取点云特征还包括：

31、将原始输入的点云数据绕x、y和z轴三个方向旋转不同的角度得到多组点云数据，再将多组点云数据输入pointmae神经网络，得到旋转点云特征cyr；最后将所有的点云特征cy和cyr进行平均得到最终的点云特征cyf，同时将得到的最终的点云特征cyf进行核心子集采样，得到点云特征的核心子集并存入到正常样本的特征库中；

32、步骤4结果输出时，将步骤2中得到的最终的点云特征cyf和点云特征的核心子集进行比较，通过比较得到点云模态在每个像素位置上点云模态上的异常检测结果apoint；

33、最后将两个模态上的异常检测结果通过加权的方式进行相加，并上采样到和原图像一样的大小，得到最后的异常检测结果afinal；表达式如下：

34、afinal＝αaimage+(1-α)apoint

35、其中，α为图像模态上的异常检测的结果的权重。

36、更进一步的，所述核心子集的采样方法用数学表达为：

37、

38、其中，为点云特征的核心子集，mc表示采样的核心子集，m表示存入内存中的所有点云特征，m为所有点云特征的元素，n为核心子集的元素。

39、本发明的有益效果是：本发明提供一种基于计算机深度学习技术，结合产品表面的视觉信息、及其对应的包含产品几何特征的点云信息，用于工业产品的异常检测的方法，解决现有方法检测精度低和无法充分利用点云信息及两个模态相互融合的问题。

40、本发明充分利用了点云数据，通过使用在shapenet数据集上预训练的特征提取器pointmae来提取点云的特征，但是由于提取的特征更多的是一种语义信息而包含的结构信息较少，但是对于点云数据来说更重要的就是点云的结构信息，因此本发明通过多次旋转点云数据并将得到的旋转后的点云数据继续经过pointmae网络来提取特征，通过同一个点云数据的不同视角来丰富点云数据的语义信息和结构信息，进而能更好的利用点云数据。同时本发明提出了一种多模态融合的方式来更好的融合两个模态的特征，融合两个模态的特征能同时利用上图像的视觉信息和点云上的结构信息，达到更准确的异常检测效果。因此本发明通过了一个混合注意力的方式来融合两个模态的特征，最后考虑到两个模态做完注意力操作之后如果直接进行通道维度的叠加会造成部分信息的冗余，因此本发明提出一种自适应通道选择的模块来自适应的选择通道，缓解冗余的问题。