一种船舶小组立焊缝识别方法、系统、设备和存储介质与流程

本技术涉及船舶自动化焊接，特别是涉及一种船舶小组立焊缝识别方法、系统、设备和存储介质。

背景技术：

1、焊接是现代造船的关键支撑技术和工艺环节，小组立是船体构成的最小单元，小组立焊接工作量占船舶建造成本的30%~40%。传统船舶建造工艺采用的人工焊接方式存在安全隐患和效率低下的问题，伴随自动化和机器人技术的进步，国内外船厂已逐渐研究并采用自动化机器人焊接代替人工焊接。

2、目前随船舶构型、设计升级，船舶小组立零部件构成形式从简易拼板形式扩充为包含t型钢、球扁钢等非规则型材拼焊成的多格栅、多筋板构型，传统基于在线跟踪或3d相机的焊缝识别方法存在新型小组立构型上存在筋板或预焊点导致数据采集噪声、拍照角度受限导致数据采集不全等问题，只适用于形状规则、相机视野无遮挡场景下的小组立工件识别；另一方面，基于设计模型的离线示教编程自动化焊接方法尽管数据全面，位置准确，但需要人工编辑调整焊缝信息，间接增加了工作量。因此，现有的基于在线跟踪和离线示教自动化焊接方法均无法满足复杂构型小组立部件自动焊接的要求。

技术实现思路

1、本发明的目的在于提供一种船舶小组立焊缝识别方法、系统、设备和存储介质，以解决现有焊缝识别技术中对t型钢、球扁钢、多肋板、多格栅等复杂构型船舶小组立工件焊缝识别原始数据采集遮挡缺失、模板匹配失败的技术问题。

2、为实现上述目的，本发明提供技术方案如下：

3、本技术提供一种船舶小组立焊缝识别方法，包括步骤：

4、将船舶小组立cad数据通过点云离散、虚拟采样、焊缝区半自动交互标注、风格迁移扩展建立点云焊缝识别训练数据集；

5、采用所述点云焊缝识别训练数据集进行数据预处理和训练模型构建，获得点云焊缝识别模型；

6、对所述点云焊缝识别模型进行迭代训练和参数调整，验证平均交并比和平均正确率指标是否满足预设目标，如满足预设目标，则固化所述点云焊缝识别模型的结构及参数，导出为识别模型数据文件；

7、对生产现场中待焊接的船舶小组立工件使用3d点云拍照相机阵列进行3d点云数据采集与传输；

8、对采集的船舶小组立工件3d点云数据进行预处理，结合所述识别模型数据文件获得焊缝标记位置数据并定位焊缝；

9、根据所述焊缝标记位置数据规划焊接机械臂末端轨迹，下发焊接工艺规划及指令控制焊接机械臂及其控制设备完成小组立工件焊接。

10、进一步的，所述将船舶小组立cad数据通过点云离散、虚拟采样、焊缝区半自动交互标注、风格迁移扩展建立点云焊缝识别训练数据集包括：

11、根据虚拟3d采样相机焦距、水平分辨率、垂直分辨率、光心位置参数和透视投影方程建立虚拟3d采样相机；

12、建立所述虚拟3d采样相机后，以船舶小组立cad模型三维包围盒中心为原点，使用斐波那契球面采样算法生成半球面均匀分布的采样位置点；

13、使所述虚拟3d采样相机遍历所述采样位置点，在每个采样位置点处使虚拟3d采样相机光轴方向与采样位置点及工件中心点连线对齐，采集一张工件三维模型的二维虚拟图像；

14、对采集的二维虚拟采样焊件图像，点云焊缝自动标注功能使用canny边缘检测算子进行采样图像边缘像素点识别、背景边缘过滤、hough直线拟合、获得二维虚拟采样焊件图像中候选焊缝交线的2d像素点位置；

15、根据透视投影变换关系，计算多视点图像中提取的候选焊缝交线2d像素点对应的工件模型三维位置点为候选标记焊缝点，根据标记焊缝两侧平面夹角约束过滤非焊缝交线点，获得候选标记焊缝点；

16、将候选标记焊缝点进行着色后使用聚类算法进行区域聚类，获得标记焊缝矩形包围盒坐标及区域，生成代表焊缝区域的焊缝矩形包围盒，在界面视口中与小组立工件cad模型重合，由用户交互选择识别错误的焊缝区域，最终保留正确的标记焊缝区域包围盒；

17、将三维小组立工件cad模型离散为点云数据，将标记焊缝区域包围盒内的点云数据进行特征标记为目标特征点，导出并保存标记点云数据。

18、进一步的，所述建立所述虚拟3d采样相机后，以船舶小组立cad模型三维包围盒中心为原点，使用斐波那契球面采样算法生成半球面均匀分布的采样位置点包括：

19、设置斐波那契球面采样算法的计算公式如下：

20、，；

21、其中，是采样点的方位角，是采样点的索引，是黄金比例。

22、进一步的，所述根据透视投影变换关系，计算多视点图像中提取的候选焊缝交线2d像素点对应的工件模型三维位置点为候选标记焊缝点包括：

23、设置透视投影变换关系的计算公式如下：

24、；

25、其中，(x, y, z)是3d点云位置点，(x, y)是2d像素点位置，是所述虚拟3d采样相机焦距。

26、进一步的，所述对采集的船舶小组立工件3d点云数据进行预处理，结合所述识别模型数据文件获得焊缝标记位置数据并定位焊缝包括：

27、对采集到的标记点云数据进行焊件主体包围盒分割、异常值过滤实现预处理；

28、使用训练好的点云焊缝识别模型对预处理后的标记点云数据及所述识别模型数据文件进行识别，获得焊缝标记位置数据，并根据焊接机械臂位置关系将识别点三维位置坐标与焊接机械臂坐标系进行定位配齐。

29、进一步的，所述采用所述点云焊缝识别训练数据集进行数据预处理和训练模型构建，获得点云焊缝识别模型包括：

30、对所述标记点云数据进行噪声过滤；

31、对过滤后的点云数据进行点云三维hilbert编码序列化，将点云中的每个点的三维坐标映射到hilbert曲线的索引，生成一维序列化后的点云数据；

32、对序列化后的点云数据进行特征镶嵌；

33、将特征镶嵌后的点云数据按平均网格划分法进行分割，并对分割后的网格的点云训练数据进行池化；

34、将池化后的点云训练数据进行多次数据乱序重排；

35、为重排后的点云训练数据添加条件位置编码，根据点云数据及其八方向邻接点云类别标记信息生成位置编码向量，增加训练点云与邻域之间的类别关联；

36、对添加条件位置编码后的点云训练数据构建多层卷积网络，每层卷积网络包含卷积操作、池化操作和非线性激活函数，逐层对点云特征进行卷积处理，得到点云特征的高维特征向量，将高维特征向量输入到分类器或回归器，通过反向传播对焊缝点云识别模型参数进行回归计算，当损失函数值达到预设收敛条件时结束训练并输出点云焊缝识别模型。

37、进一步的，所述对所述标记点云数据进行噪声过滤包括：

38、根据小组立工件尺寸设定过滤半径r和最少邻居点数，移除在所述过滤半径r内邻居点数少于阈值n的点云数据，得到过滤后的点云数据；

39、设置过滤公式为；其中，是原始点云数据，是过滤后的点云数据，是3d点和之间的距离。

40、进一步的，所述对过滤后的点云数据进行点云三维hilbert编码序列化，将点云中的每个点的三维坐标映射到hilbert曲线的索引，生成一维序列化后的点云数据包括：

41、设置hilbert序列化公式如下：；

42、其中，是点的hilbert索引，是计算hilbert索引的函数，p.x是点的横向坐标，p.y是点的纵向坐标，p.z是点的竖向坐标。

43、进一步的，所述对序列化后的点云数据进行特征镶嵌包括：

44、对序列化后的点云数据中每个点的坐标和类别颜色标记（r,g,b）进行嵌入处理，生成高维特征向量；

45、设置线性变换和非线性激活函数公式为：，其中，为激活函数的输出，为输入；

46、使用所述线性变换和非线性激活函数对嵌入后的特征进行处理，特征表示数据。

47、进一步的，所述将特征镶嵌后的点云数据按平均网格划分法进行分割包括：

48、设置平均网格分割公式如下：

49、；

50、其中，是点的网格坐标，、和是网格的大小，p.x是点的横向坐标，p.y是点的纵向坐标，p.z是点的竖向坐标，、和是点云数据在各个方向上的最小值。

51、进一步的，所述通过反向传播对焊缝点云识别模型参数进行回归计算包括：

52、设置反向传播公式为：；

53、其中，δw是权重的更新，η是学习率，l是损失函数，w是权重。

54、进一步的，所述对所述点云焊缝识别模型进行迭代训练和参数调整，验证平均交并比和平均正确率指标是否满足预设目标包括：

55、设置平均交并比的计算公式为：；；

56、其中代表焊缝类型索引，1≤≤j，为第类焊缝类型识别结果的真正例，即待识别三维点被正确预测为第类焊缝点的像素数；为第类焊缝类型识别结果的假正例，即待识别三维点被错误预测为第类焊缝点的像素数；为第类焊缝类型识别结果的假反例，即待识别三维点本应是第类焊缝点，但被错误预测为非第类焊缝点的像素数，为全部j类焊缝类型获取的的均值。

57、本技术还提供一种船舶小组立焊缝识别系统，其包括焊缝识别模型训练设备、焊缝识别及焊接机械臂控制设备、3d点云拍照相机阵列和焊接机械臂及其控制设备；

58、所述焊缝识别模型训练设备用于将船舶小组立cad数据通过点云离散、焊缝区半自动交互标注、风格迁移扩展建立点云焊缝识别训练数据集；采用所述点云焊缝识别训练数据集进行数据预处理和训练模型构建，获得点云焊缝识别模型；对所述点云焊缝识别模型进行迭代训练和参数调整，验证平均交并比和平均正确率指标是否满足预设目标，如满足预设目标，则固化所述点云焊缝识别模型的结构及参数，导出为识别模型数据文件；

59、所述3d点云拍照相机阵列用于采集并传输生产现场的待焊接船舶小组立工件3d点云数据；

60、所述焊缝识别及焊接机械臂控制设备用于对采集的船舶小组立工件3d点云数据进行预处理，结合所述识别模型数据文件获得焊缝标记位置数据并定位焊缝；根据所述焊缝标记位置数据规划焊接机械臂末端轨迹，下发焊接工艺规划及指令；

61、所述焊接机械臂及其控制设备用于根据下发焊接工艺规划及指令完成小组立工件焊接。

62、进一步的，所述焊缝识别模型训练设备包括cad组立模型—点云转换模块、焊缝半自动交互标注模块、基于风格迁移的训练集扩展模块、点云焊缝识别模型训练模块；

63、所述cad组立模型—点云转换模块用于导入船舶小组立样件三维cad设计模型，并将面片模型离散为用于训练的点云格式数据；

64、所述焊缝半自动交互标注模块用于对采样识别焊缝特征标注结果审核、编辑；

65、所述基于风格迁移训练集扩展模块使用风格迁移网络对采样三维模型纹理、光照、粗糙度进行多风格数据融合生成，将所述焊缝半自动交互标注模块标注的焊缝特征数据映射至构型相同、材质、纹理不同的小组立点云数据；

66、所述点云焊缝识别模型训练模块基于深度神经网络构建小组立焊缝点云识别网络模型，用于在扩展标记后的小组立点云数据上训练焊缝识别模型参数，获得点云焊缝识别模型文件。

67、进一步的，所述焊缝识别及焊接机械臂控制设备包括工件3d点云数据采集模块、点云数据预处理模块、焊缝识别及定位模块、焊接工艺规划及指令下发模块；

68、所述3d点云数据采集模块用于控制3d点云拍照相机阵列采集并传输点云数据；

69、所述点云数据预处理模块用于对采集到的点云进行焊件主体包围盒分割、异常值过滤；

70、所述焊缝识别及定位模块使用训练好的焊缝识别模型对预处理后的点云数据进行识别，获得焊缝标记位置数据，并根据焊接机械臂位置关系将识别点三维位置坐标与焊接机械臂坐标系进行定位配齐；

71、所述焊接工艺规划及指令下发模块用于根据识别焊缝位置数据自动规划机械臂末端轨迹，并进行虚拟仿真验证直至生成无碰撞的机械臂末端工艺执行方案汇编指令，将所述方案汇编指令通过控制总线下发至焊接机械臂及其控制设备。

72、再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前文所述的船舶小组立焊缝识别方法的步骤。

73、又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前文所述的船舶小组立焊缝识别方法的步骤。

74、与现有技术相比，本发明的有益效果是：通过将船舶小组立cad数据通过点云离散、虚拟采样、焊缝区半自动交互标注、风格迁移扩展建立点云焊缝识别训练数据集，利用点云焊缝识别模型导出识别模型数据文件，在生产环境中使用3d相机阵列采集待焊接船舶小组立工件3d点云数据，结合所述识别模型数据文件获得焊缝标记位置数据并定位焊缝，从而下发焊接工艺规划及指令控制焊接机械臂及其控制设备完成小组立工件焊接，可为复杂船舶小组立零件焊接提供自动化、智能化的焊缝识别和定位方案，使得焊缝识别模型仅根据焊件cad模型完成自动特征采样、标记和训练，克服传统3d焊缝识别方法因钢材型号和3d相机拍照角度产生的点云缺失与识别失败，大幅提高自动焊缝识别方法的复杂工件适应性。