基于多层注意力机制的汽车零件点云多尺度分割方法

本发明涉及一种汽车检测方法，特别涉及一种基于多层注意力机制的汽车零件点云多尺度分割方法。

背景技术：

1、随着三维点云采集与处理技术的飞速发展，三维点云在汽车设计、制造和检测领域得到了较为广泛的应用。通过准确定位和分割汽车零件的点云数据，可以实现对汽车零件的三维重建和缺陷检测，有助于提高汽车检测过程的效率和准确性，保障汽车行驶的安全性。传统的汽车零件点云分割方法，训练时通常局限于固定来源的数据集，提取和学习固定尺度上的特征，而不同的汽车点云数据集具有不同的空间尺度和分布特征，现有方法无法实现将多源点云统一输入到模型中进行统一训练和预测。同时，在采集汽车点云时，由于采集设备、采集环境等问题，可能存在点云缺失等情况，这些问题对汽车零件点云分割精度会产生一定影响。此外，采集的车身点云通常包含非常庞大的点数量，在分割时，会导致计算复杂度高等问题，影响汽车检测效率。为了能在汽车检测过程中，不受点云采集设备的影响，实现多源采集设备下的高精度、高效率检测，需要提供一种解决汽车零件点云分割方法中存在的训练集来源单一、鲁棒性不强、计算效率低等问题的汽车零件点云分割方法，实现对汽车零件点云分割的高适应、强鲁棒性、高效率。

技术实现思路

1、为了解决上述技术问题，本发明提供一种基于多层注意力机制的汽车零件点云多尺度分割方法，采用至少一部激光雷达、两部深度相机、一部彩色相机，将两部深度相机对向放置在检测线两侧的拍摄位置，将激光雷达放置在检测线正前方，彩色相机放置在检测线一侧的拍摄位置。

2、所述的深度相机为一种具有深度测量功能的三维相机。

3、方法包括以下步骤：

4、第一步：采集待检车辆不同来源的完整车身点云构建数据集。

5、彩色相机获取待检车辆的完整车身点云sc(x)，深度相机获取待检车辆的完整车身点云sd(x)，激光雷达获取待检车辆的完整车身点云sl(x)，x是车身点云中的点。

6、作为优选，接受到开始采集信号后，首先将彩色相机环绕待检车辆一周，采集不同视角下的待检车辆的图像；对不同视角下的图像，使用高斯差分高斯金字塔来检测图像的局部特征点，接着对图像上局部特征点的水平和垂直方向上的像素和进行加权求和以获取其区域小波特征，具体地，对每张图像上一个大小为w×w的区域，其区域小波特征 h w,x,y通过下式计算：

7、；其中， gr( x, y)表示每张图像上像素点( x, y)处的灰度值， w表示特征的窗口大小即对应的图像区域的大小， i和 j分别表示窗口内的像素坐标偏移。

8、通过对局部特征点周围的区域应用区域小波特征计算，得到局部特征点的描述子，接着使用最近邻匹配方法对待检车辆相邻帧照片进行局部特征点描述子匹配；根据匹配的局部特征点以及相邻帧之间的空间几何约束，使用pnp算法计算彩色相机在不同时间点的位置和姿态；对于已匹配的特征点对，使用三角化技术来计算出它们的三维坐标，根据每个图像上匹配点的三维坐标，将不同视角的待检车辆的三维点集融合成一个点云模型，以表示出重建的三维车身形状；根据上述步骤即得到彩色相机获取的待检车辆的完整车身点云sc(x)，x是车身点云中的点。

9、接着，驾驶员驾驶待检车辆从检测线起点以3~4km/h的速度，匀速行驶通过检测线，待检车辆通过检测线后，检测系统中的两部深度相机通过icp方法对点云配准得到深度相机获取的待检车辆的完整车身点云sd(x)，激光雷达获取得到的待检车辆的完整车身点云为sl(x)。

10、第二步：对采集得到的完整车身点云进行预处理。

11、对第一步获取得到的完整的待检车辆的车身点云进行降噪处理，得到干净和适合后续处理的激光雷达点云数据、彩色相机点云数据和深度相机点云数据。

12、作为优选，以激光雷达获取的待检车辆的完整车身点云sl(x)为例，对sl(x)中的每个点x i，使用knn算法找到它的邻域点集合m，假设邻域点集合m包括 n个点，计算邻域点的平均位置 μ i和标准差 σ i ：

13、

14、

15、其中，x j是点x i邻域点集中的点。

16、接着使用z-score方法判断点x i是否为噪声点，若，则将x i视为噪声点，其中 k是一个阈值参数，通常取值在1.0到2.0之间。

17、通过上述滤波操作去除待检车辆的完整车身点云中的噪声点，得到更加干净和适合后续处理的点云数据，采用相同方法得到彩色相机与深度相机采集的点云经滤波后的点云数据为、。

18、第三步：对滤波后的车身点云进行多尺度特征提取。

19、将第二步得到的滤波后的车身点云、和输入进特征提取网络内，所述的特征提取网络包含有三个不同尺度的特征提取模块，这三个特征提取模块分别同时接收多源点云、和并进行车身零部件特征提取，在每个特征提取模块中，包括两个关键操作：基于超点算法及重要性采样的车身点云下采样和基于改进注意力机制的特征提取。

20、（1）基于超点算法及重要性采样的车身点云下采样。

21、为了在降低计算复杂度的同时保留关键点信息，在下采样过程中采用超点算法和重要性采样来实现，以滤波后激光雷达获取的车身点云为例，对使用超像素分割算法将这些点分成 m个超点，这些超点代表了车身点云中的局部特征，并作为下采样的初始候选点；对于每个超点p i，根据其重要性对超点进行更新，定义损失函数l(p)为：

22、；其中， n是车身点云中点的数量，x j是第 j个点， ω ij是点x j对超点p i的权重， d(p ix j)表示点x j到超点p i的欧氏距离，使用梯度下降法调整超点位置来使损失函数最小。

23、完成超点的更新后，根据最终的超点位置和它们 k邻域内的点来提取出一个代表性的点集合，这一步确保了在降低车身点云数据规模的同时保留了车身点云中的关键信息，为之后的处理提供了高效的数据表示。

24、（2）基于改进注意力机制的特征提取。

25、为了更好的提取车身零件点云的特征，利用改进的注意力机制提取和学习上一步得到的代表性点集中车身零件点云的局部语义特征和他们之间的全局特征联系；首先，对下采样后的代表性点集使用图卷积神经网络得到当前特征提取模块所有采样点与对应零件分类之间的全局特征向量f global；接着，将代表性点集输入进局部注意力特征提取单元和局部特征提取单元分别学习代表性点集内局部点云在不同尺度下的局部注意力特征和局部特征。

26、车身零件点云局部注意力特征提取单元通过在学习过程中加入注意力机制，在计算车身零件点云特征表示时能够动态地调整对点的关注程度，以便更好地捕获车身零件点云数据中的重要信息，公式如下：

27、

28、

29、其中，是车身点云的代表性点集，f att是注意力函数， a是计算得到的注意力权重， g是特征映射函数， f a-local是由注意力权重加权得到的车身零件点云局部注意力特征表示。

30、车身零件点云局部特征提取单元通过在车身零件点云的局部区域使用非线性卷积操作，捕获车身点云数据中局部区域的特征信息，有助于识别车身零件点云局部形状或纹理等特征，公式如下：

31、

32、其中，、是不同的单层非线性卷积，是多层非线性卷积， f local是车身零件点云局部特征表示。

33、将车身零件点云局部注意力特征表示 f a-local和车身零件点云局部特征表示 f local相加得到车身零件点云局部特征向量f local：

34、

35、其中，表示求和运算。

36、车身零件点云局部特征向量f local与全局特征向量f global在特征维度进行拼接，得到激光雷达采集的车身零件点云联合特征表示ful，同理得深度相机采集的车身零件点云联合特征表示fud以及彩色相机采集的车身零件点云联合特征表示fuc。

37、第四步：对车身零件点云进行多尺度特征融合。

38、将第三步提取到的三个尺度下的车身零件点云联合特征表示分别输出并送入特征融合模块，通过偏移注意力机制计算不同尺度车身零件点云特征之间的语义相似性，实现语义建模，注意力层通过融合多层特征多维信息的特征层来重新分配可信度权重，抑制不同尺度特征中的一些干扰信息，并突出更有效的分层结构特征。

39、对于三种来源的车身零件点云联合特征表示ful、fud、fuc，首先使用一个偏移网络来计算出在特征空间上的位置偏移，以激光雷达采集的车身零件点云为例，位置偏移 ol通过以下公式表示：

40、

41、其中，offsetnet是偏移网络，同理得深度相机采集的车身零件点云位置偏移 od以及彩色相机采集的车身零件点云位置偏移 oc。

42、使用得到的位置偏移 ol、 od、 oc来对特征ful、fud、fuc进行位置调整，得到经过位置偏移网络调整后的联合特征、、，调整过程表示为：

43、

44、

45、

46、接下来，利用调整后的特征之间的相似性来计算不同尺度之间车身零件点云的语义相似性，以特征、为例通过内积操作计算相似性的公式如下：

47、

48、其中， score(ld)表示激光雷达采集尺度下车身零件点云特征与深度相机采集尺度下车身零件点云特征之间的相似性得分，t表示转置运算。

49、通过softmax运算，根据语义相似性计算得到每个尺度特征的权重如下，以雷达采集的车身点云尺度特征对深度相机采集的车身点云尺度特征的权重为例：

50、

51、其中， αld为雷达采集的车身点云尺度特征对深度相机采集的车身点云尺度特征的注意力权重， e是自然常数，score(ld)表示雷达采集尺度下车身零件点云特征与深度相机采集尺度下车身零件点云特征之间的相似性得分，score(lc)表示雷达采集尺度下车身零件点云特征与彩色相机采集尺度下车身零件点云特征之间的相似性得分。

52、通过重新分配权重，将不同尺度的车身零件点云特征进行线性组合，从而得到重新分配后的车身零件点云特征表示：；其中，是激光雷达采集尺度下车身零件点云特征经过重新分配后的表示， αld、 αlc分别为激光雷达采集的车身点云尺度特征对深度相机、彩色相机采集的车身点云尺度特征的注意力权重，、、是经过位置偏移网络调整后的联合特征，同理得深度相机采集尺度下车身零件点云特征经过重新分配后的表示以及深度相机采集尺度下车身零件点云特征经过重新分配后的表示。

53、将重新分配后的三个尺度下的车身零件点云特征表示通过求和得到最终的特征融合表示为：；其中，是车身零件点云的融合后特征表示。

54、第五步：对车身零件点云进行最大池化操作和lbrd层处理。

55、首先将第四步得到的车身零件点云的融合后特征表示输入进池化层进行最大池化操作来提取出代表性的特征；再将最大池化操作提取出的特征输入进lbrd层，该层结合了线性变换、批标准化、relu激活函数和dropout操作，通过线性变换，将最大池化后的车身零件点云特征映射到高维空间，线性变换的权重矩阵为w，线性变换的操作表示为：；其中，是线性变换后的车身零件点云特征，是最大池化操作提取出的车身零件点云特征， b是偏置项。

56、得到线性变换后的车身零件点云特征之后，将其传递给批标准化层，然后应用relu激活函数：

57、

58、

59、其中，batchnorm表示批标准化操作，relu是激活函数，是批标准化后输出的车身零件点云特征，是经过relu激活函数输出的车身零件点云特征。

60、为了减少过拟合风险，使用dropout操作，以 p=0.5的概率随机丢弃部分神经元的输出，得到最终输出特征表示：；其中，dropout表示随机丢弃操作，是最终的车身零件点云的特征表示。

61、使用one-hot编码对每类车身零件点云特征进行编码，得到输入进网络的车身零件点云代表性点集所属的语义标签即零件类别。

62、第六步：以车身零件点云代表性点集为高斯基元建立相应高斯分布。

63、以车身零件点云代表性点集中的点为3d高斯基元，对于每个3d高斯基元，连同其 k邻域内的点表示为一个矩阵m，则矩阵m表示为：

64、，其中，x j、y j和z j分别代表第 j个邻域点的坐标，k是代表性点的k邻域内点的总数，然后，协方差矩阵ω通过以下公式计算得出：，其中，k是代表性点的k邻域内点的总数，t是转置运算。

65、对协方差矩阵ω进行特征值分解，选择特征值最小的特征向量对应的方向作为该点的法向量，并和第五步计算的每个代表性点分配的语义标签对应，从而为每个点赋予几何信息；则每个高斯分布g(p)表示为：，其中，p是车身零件点云代表性点集中的点，ω是协方差矩阵，t是转置运算，e是自然常数。

66、第七步：使用高斯溅射的方法对代表性点集进行上采样。

67、当以代表性点集中的点为3d高斯基元，建立对应3d高斯分布后，使用高斯溅射的方法开始上采样操作，扩充高斯基元领域内的点数量，形成完整的车身点云数据，随着新的数据点的出现，不断更新每个高斯分布的参数。

68、根据高斯基元邻域内新增点与初始高斯分布的距离来进行加权平均，这样可以确保高斯分布的中心位置随着新数据点的引入而适当调整，均值更新如下：

69、

70、其中，是更新后的均值， ω j 是加权平均后得到的权重值，e是自然常数，dis(pi,pj)是点pi和pj之间的距离。

71、在上采样期间使用高斯语义跟踪方法，连续跟踪每个高斯分布，以适应其不断变化的零件类型和点数量；在上采样开始前，模块记录所有高斯基元的类别和位置，在采样过程中更新这些基元，以反映每次上采样过程中高斯基元的当前状态，采用高斯基元初始状态与当前状态之间的mse损失来确保上采样不会偏离各自的基元太大，损失函数φ mse定义如下：

72、

73、其中， n是高斯基元的总数， g init(p)是高斯基元初始状态的表示， g curr(p)是高斯基元当前状态的表示，p是高斯基元中的点。

74、第八步：对车身点云上的所有点进行正确分割并输出结果。

75、在每次上采样操作结束后，使用多层感知机对每个点所属的零件类别进行推理，选择具有最高概率的类别作为每个点的分割结果，由此，得到完整车身点云的分割结果，其上每个点都被正确分割到了相应的零件类别。

76、本发明的有益效果：

77、1.本发明通过将网络模型分层，每个层次处理不同空间尺度的汽车零件点云特征，能更好地捕捉与汽车零件相关的语义特征和它们之间的相对关系。这种层次结构可以使模型更加有效地理解汽车零件点云中的信息，从而提高汽车零件点云分割的准确性和鲁棒性。

78、2.本发明通过引入注意力机制，在处理汽车零件点云数据时能够专注于完整的区域并对局部不完整区域进行填充。这一机制使得本发明能够更加智能地处理汽车点云数据，从而提高了对部分缺失的汽车零件点云处理能力。

79、3.本发明应用超点算法以提取具有显著特征的关键点，并使用重要性评估方法来选择更具代表性的点。这种方法有效地提高了下采样结果的代表性，使得模型能够更好地捕捉关键特征信息。本发明使得汽车行驶安全性得以保证，并对点云技术在汽车检测领域的广泛应用和汽车尺寸参数的精确测量产生了有益效果。