一种大型装配场景的多传感器在线三维检测方法及装置

本发明属于大型工业制造与装配场景中在线三维目标检测，特别是涉及一种大型装配场景的多传感器在线三维检测方法及装置。

背景技术：

1、现有的制造与装配模式主要依赖于大量的人工操作、单机监控和多机器人产线。然而，随着产品复杂度的增加，大型装配场景面临更多复杂部件的装配挑战，如定位、对齐和安装，人工操作与巡检效率低下，多个移动机器人同时段完成多个任务带来严重的协同干涉问题, 其行为上的并行性和突发性、位置上的冲突性等会引起机器人之间的冲突与对抗，复杂的工作环境也会给工作人员带来安全风险。

2、在这种背景下，进行大型装配场景下的复杂部件、工作人员、移动机器人等目标的准确在线检测尤为重要，直接关系到整个制造与装配模式的生产运行效率与产品的质量水平。近年来，深度学习技术在三维目标检测领域逐渐引起了广泛关注，有研究者提出了许多场景下传统的基于单一传感器数据的视觉检测方法。然而，这些方法仍然难以满足大型制造与装配场景中高精度三维在线目标检测的严格工程要求。因此，迫切需要开展一种面向大型装配场景的非重复式扫描多传感器在线检测方法及装置的深入研究。目前具体实现过程有如下几个难点：

3、1．大型制造与装配环境通常复杂多变，尤其是在大型复杂部件的装配场景中，存在空间范围大、障碍物多等问题。机器人在这种环境中进行操作，需要具备极高的适应性和灵活性，传统的固定设备和单一传感器难以胜任。

4、2. 点云数据的稀疏性是基于点的三维目标检测方法面临的一大挑战。在大型制造与装配场景下，尤其是大范围或远距离的扫描中，点云数据可能非常稀疏，导致局部区域的信息不足。这种稀疏性会影响特征的提取和目标的准确检测。

5、3. 在大型制造与装配环境中，多个移动机器人在运行时可能速度快且方向变化频繁，这使得在线实时检测和跟踪更加复杂，检测方法需要具备高实时性和高响应能力。同时机器人可能会部分遮挡其他机器人或被物体遮挡。这种遮挡会使得目标的部分信息丢失，导致检测算法难以准确识别和定位。

技术实现思路

1、针对以上技术问题，本发明提供一种大型装配场景的多传感器在线三维检测方法及装置，其目的是优化大型复杂部件制造与装配场景中在线三维目标检测过程面临的场景覆盖率和检测范围有限、点云数据量大且存在稀疏性、多机器人移动导致的在线实时检测和跟踪复杂、存在遮挡等技术问题。

2、本发明解决其技术问题采用的技术方案是：

3、一种大型装配场景的多传感器在线三维检测方法，所述方法包括以下步骤：

4、s100：基于非重复式扫描激光雷达采集大型装配场景中的三维点云数据；

5、s200：基于嵌入式平台对三维点云数据进行坐标系的转换以及点云拼接融合，再将融合后的点云数据进行标注，完成大型装配场景三维目标检测数据集的制作；

6、s300：构建多传感器三维点云在线目标检测模型，多传感器三维点云在线检测模型包括点云编码模块、质心预测与聚合模块、非参数编码模块、点云记忆模块，其中，点云编码模块用于从点云中提取几何和语义特征；质心预测与聚合模块用于通过预测目标质心，并聚合质心相邻点来改善目标的定位和特征表示；非参数编码模块用于在分类头中灵活地提取输入点云中的全局特征；点云记忆模块用于通过点云的特征进行相似度匹配，输出点云类别的预测，并存储和检索点云特征；分类预测结束后进行边界框的回归生成锚框，经过3d-nms后处理过滤之后得到最终的检测结果；

7、s400：将多传感器大型装配场景点云数据训练集输入模型，根据模型设定损失函数，对模型进行反向传播更新参数，调整参数至模型收敛效果最好，训练完成获得训练好的点云在线目标检测模型，并将训练结果发送至pc端进行离线的可视化，将最终训练好的点云在线目标检测模型部署至平台完成实时的在线检测。

8、优选地，s100包括：

9、s110：将四个livox-avia非重复式扫描激光雷达固定安装于大型装配场景的天花板横梁上，激光雷达编号分别为l0、l1、l2、l3，调整安装位置与角度，确保四个激光雷达扫描到大型装配场景的全貌；

10、s120：使用四个非重复式扫描激光雷达l0、l1、l2、l3对大型制造与装配场景进行非重复式扫描，同时从多个角度和位置捕获装配场景的点云数据，确保每个视角有足够的重叠区域和视野覆盖，分别获得点云数据、、、。

11、优选地，s200包括：

12、s210：修改livox非重复式扫描激光雷达驱动文件中的lidar_rviz.launch文件中的multi_topic参数，让四个激光雷达接受的点云数据分为四份数据流输出，此时的四份点云数据的坐标系是不统一的，选定世界坐标系为标准坐标系，对点云数据进行对齐、拼接；

13、s220：在嵌入式平台中创建工作空间，新建ros节点：首先初始化ros节点，创建ros节点句柄，同时创建发布者和订阅者，订阅者订阅四个激光雷达扫描的点云topic数据，发布者发布对齐、拼接完毕的数据，然后通过回调函数对订阅的点云数据进行旋转、平移的操作，先进行点云数据的对齐，以其中一个激光雷达点云数据为准，将另外三份点云数据进行旋转和平移与主激光雷达的点云数据对齐，对齐之后对四份点云数据进行拼接融合操作，得到融合后的一份点云数据；最后对融合后的点云数据进行旋转、平移转换，实现到标准坐标系的坐标转换，对代码进行编译之后调用ros系统启动ros节点，获得最终需要的四个激光雷达在标准坐标系下的融合后的点云数据；

14、s230：录制rosbag文件，将其转换成单帧的pcd文件或者bin文件，再对其进行采样获得的融合后的点云数据；对采样后的点云数据标注60%数量的样本，标注完成后的数据集记为klabel，点云数据剩下的40%数量样本不进行标注，记为kunlabel；

15、s240：对标注数据集klabel与未标注的数据集kunlabel分别进行划分：在标注数据集klabel中划分出70%的数据作为训练集，将标注数据集klabel中剩下的30%划分为验证集，再将未标注的数据集kunlabel作为测试集。

16、优选地，点云编码模块包括下采样和组合抽象层，组合抽象层包括采样层、分组层和点网层，s300中点云编码模块用于从点云中提取几何和语义特征，点云编码模块包括以下步骤：

17、s311：输入多传感器融合后的点云数据，以世界坐标系为标准坐标系对点云进行数学表示，具体为n×4大小的向量表示，内容为(x,y,z,i)，其中(x,y,z)分别为点云数据的三维位置坐标，i为点云数据反射强度，n为点云数量；

18、s312：采样层对转换了坐标系后的输入点云集合进行迭代最远点采样，分组层将输入的点云集合与采样得到的质心的坐标进行组合，得到输出大小为n‘×k ×(d + c)的点集组，其中每组对应一个局部区域，n‘表示局部区域的数量， k是质心点邻域的点数，k在组之间是不同的；

19、s313：通过点网层将n‘×k×(d+c)的点的n‘个局部区域点进行转换，使其坐标转换为相对于质心点的局部帧，通过使用相对坐标和点特征，捕获局部区域中的点对点关系，输出数据量为n‘×(d +c’)，输出中的每个局部区域都是由其质心和编码质心邻域的局部特征抽象出来的，这些特征表征了点的位置、局部几何信息和语义信息。

20、优选地，s300中质心预测与聚合模块用于通过预测目标质心，并聚合质心相邻点来改善目标的定位和特征表示，包括以下步骤：

21、s321：对经过点云编码模块的点云再进行选择性下采样，先使用两个mlp层附加到编码层以进一步估计每个点的语义类别；

22、s322：将s321输出的语义类别通过一个前景背景分类分支，对每个点进行预测，输出该点属于前景的置信度，保留前k个情景分数的点，并馈送到下一个编码层的质心；

23、s323：利用边界框周围的上下文线索进行质心预测，预测到实例中心的偏移；此外，增加一个正则化项，以最小化质心预测 的不确定性，具体为：

24、；

25、其中，是第i个点的坐标，是第i个点的权重，由前景点的置信度决定，是参与质心预测的点的数量；

26、s324：对于移位的质心点，利用point-net++模块来学习每个实例的潜在表示，将相邻点转换为局部规范坐标系，然后通过共享mlp和对称函数聚合点特征，将聚合的质心点特征馈送到提案生成头中，生成潜在的目标区域候选框。

27、优选地，s300中非参数编码模块用于在分类头中灵活地提取输入点云中的全局特征，包括以下步骤：

28、s331：网络产生三维候选框后，先使用非参数编码模块来获取被检测物体的全局特征；对于输入点云，非参数编码模块用三角函数将点嵌入到一个一维向量中，对其进行位置编码；

29、s332：编码完毕后进行特征扩维：使用fps进行点云数量的下采样，对于下采样后得到的每一个中心点，采用k-nn找到每一个中心点的k个邻域点以及对应的特征；将中心点特征和特征维度进行拼接，实现特征扩维；

30、s333：再使用均值和标准差对的坐标进行归一化，并使用三角函数进行相对位置的编码，通过获取的相对几何权重，进行几何信息提取，利用最大池化和平均池化来进行局部特征聚合；

31、s334：重复s332和s333三次，在完成4次的几何特征聚合后，再次运用最大池化和平均池化来得到点云的全局特征。

32、优选地，s300中点云记忆模块用于通过点云的特征进行相似度匹配，输出点云类别的预测，并存储和检索点云特征，包括以下步骤：

33、s341：使用非参数编码模块来构建点云记忆库，点云记忆库包括特征记忆和标签记忆，通过非参数编码模块得到n个训练集点云的全局特征，同时将对应的分类标签转换为一维向量编码，接着将它们沿着样本维度进行拼接，缓存为两个矩阵；

34、s342：利用构造好的点云记忆库进行两个矩阵乘法来完成分类：通过非参数编码模块计算点云的全局特征，并计算与特征记忆之间的余弦相似度，将标签记忆中的一维向量标签与余弦相似度进行加权，将测试点云得到的全局特征与训练集存储的特征记忆进行相似度匹配对测试点云的目标进行分类；

35、s343：存储点云特征，并依据检索标签检索点云特征，其中，检索标签包括几何位置、特征相似性、点的类别或语义信息。

36、优选地，s400中损失函数包括降采样策略损失ls、质心预测损失lc、分类损失lcls和盒生成损失lb，具体为：

37、；

38、其中，降采样策略损失ls包括类感知采样损失和加权交叉熵损失，具体为：

39、；

40、其中c表示类别的数量，是单热标签，表示预测对数；

41、；

42、 ；

43、式中，表示点到中心点的地真值偏移量，是一个指示函数，用于确定该点是否用于估计实例中心，是用来预测实例中心的点数，利用大上下文中的周围代表性点进行质心预测；

44、；

45、其中，表示样本的总数，表示类别总数，表示第i个样本在第c个类别上的真实标签，表示模型对第i个样本预测为类别c的概率；

46、盒生成损失lb分解为位置、大小、角度-bin、角度-res、角部分，具体为：

47、。

48、优选地，s400中将最终训练好的点云在线目标检测模型部署至平台完成实时的在线检测，具体为：

49、将三维点云目标检测模型部署至jetson agx orin开发者套件上，接收ros系统下四份非重复式扫描激光雷达经过坐标系转换与拼接后的实时点云topic数据并进行数据处理转换为三维检测模型适用的点云数据输入格式，在ros下解析配置文件创建模型并通过训练好的模型权重加载模型各项参数，加载完毕之后输入实时的多激光雷达坐标系转换与拼接后的每一帧数据进行模型推理，模型进行实时响应并打印出每一帧点云数据的目标预测结果；

50、将预测的检测框转换为3d角点，清除marker_array和marker_array_text中的markers，根据预测框创建marker并添加到marker_array和marker_array_text，清理多余的markers，发布marker_array和marker_array_text，实现预测结果在rviz平台中的实时可视化显示，展示非重复式扫描多传感器在线检测效果。

51、一种大型装配场景的多传感器在线三维检测装置，包括非重复式扫描激光雷达、嵌入式平台和pc端，

52、非重复式扫描激光雷达用于采集大型装配场景中的三维点云数据；

53、嵌入式平台用于对三维点云数据进行坐标系的转换以及点云拼接融合，再将融合后的点云数据进行标注，完成大型装配场景三维目标检测数据集的制作；构建多传感器三维点云在线目标检测模型，多传感器三维点云在线检测模型包括点云编码模块、质心预测与聚合模块、非参数编码模块、点云记忆模块，其中，点云编码模块用于从点云中提取几何和语义特征；质心预测与聚合模块用于通过预测目标质心，并聚合质心相邻点来改善目标的定位和特征表示；非参数编码模块用于在分类头中灵活地提取输入点云中的全局特征；点云记忆模块用于通过点云的特征进行相似度匹配，输出点云类别的预测，并存储和检索点云特征；分类预测结束后进行边界框的回归生成锚框，经过3d-nms后处理过滤之后得到最终的检测结果；将多传感器大型装配场景点云数据训练集输入模型，根据模型设定损失函数，对模型进行反向传播更新参数，调整参数至模型收敛效果最好，训练完成获得训练好的点云在线目标检测模型，并将训练结果发送至pc端进行离线的可视化，将最终训练好的点云在线目标检测模型部署至平台完成实时的在线检测。

54、上述一种大型装配场景的多传感器在线三维检测方法及装置，使用多个激光雷达对不同视角的点云数据进行采集，全面捕捉大型装配场景、大型复杂部件和移动机器人等的各个角度与细节信息，输入模型进行训练以及在线推理，实现更加精细和准确的在线检测，解放了人力资源，提升了装配效率。不仅适用于大型装配场景的三维在线检测，并且具有应用于任何大范围工业制造与装配场景的三维在线检测的潜在价值，其在线检测性能具有高精度、快速实时响应、多传感器感知的特点，推动智能制造高质量发展。