一种基于真实投影的结构板可视化辅助装配方法与流程

本发明属于三维视觉测量，涉及一种基于真实投影的结构板可视化辅助装配方法。

背景技术：

1、三维视觉测量技术具有非接触、测量速度快、精度高等优点，在智能制造、工业机器人引导、逆向工程等涉及到三维测量与检测的众多领域也都具有非常广阔的应用前景。

2、现有技术中，基于单相机和投影仪的编码结构光的三维测量技术是一种成本低、测量精度适中、稳定可靠的测量技术，得到了智能制造与精密组装等新兴产业的广泛重视。其测量过程是向待测物体表面投影结构光编码条纹，利用标定过的相机采集经过结构光照射后的物体图像，这样便获得了经物体高度变化调制后产生变形的结构光图案。

3、目前其他三维视觉测量技术需要在被测物体表面粘贴特殊标志点，损伤物体表面的同时测量速度较慢，而结构光三维视觉设备操作方便，设备也可以实现小型化，且能够在进行三维扫描时不接触待测目标，测量精度较高，因而在多个领域获得了较快的发展。因此，研究一种基于结构光三维视觉设备的结构板可视化辅助装配方法具有很强的实用价值。

技术实现思路

1、本发明解决的技术问题是：克服现有技术的不足，提出一种基于真实投影的结构板可视化辅助装配方法，解决节约工件装配时间、减少装配错误、缩短装配周期、降低装配成本，提高装配质量和装配效率的问题。

2、本发明解决技术的方案是：一种基于真实投影的结构板可视化辅助装配方法，包括以下步骤：

3、s1、搭建结构板可视化辅助装配系统，包括升降支架、投影仪、工业相机、计算机、工作台，投影仪和工业相机安装在升降支架顶端，工作台位于投影仪投影范围内，用于放置工件，计算机用于运行图像处理相关算法；

4、s2、获取真实工件的高精度实物图像和高分辨率pro/e模型图像，并设置相同位置、数量的标志点；

5、s3、对实物图像和模型图像进行标志点识别，获取标志点的圆心坐标；

6、s4、基于标志点的圆心坐标，进行实物图像和模型图像的标志点配准；

7、s5、根据标志点配准的结果，使用ransac算法计算标志点之间的对应畸变矩阵e，使得实物图像的标志点坐标经过e矩阵变换后转变成模型图像的标志点坐标；

8、s6、用户选择需要投影的图像类型，若选择模型图像，进入步骤s7，若选择轮廓图像，则对模型图像进行轮廓提取处理后进入步骤s7；

9、s7、利用e矩阵对选择图像的所有像素坐标进行反向畸变，使得模型图像或轮廓图像按照实物图像的位置、角度进行显示；

10、s8、通过投影仪投影步骤s7处理的图像至真实工件表面。

11、进一步的，所述结构板可视化辅助装配系统还包括底座，升降支架固定在底座上；底座安装多个万向脚轮，用于在工作场所移动；底座还安装可扩展支撑脚，用于扩大支撑面积。

12、进一步的，所述实物图像通过工业相机的拍摄得到，pro/e模型图像需要获取和实物图像对应的正视图；通过对pro/e软件的二次开发得到截图工具，自动根据识别图层得到要截取的图像，并在固定的像素位置设置标志点。

13、进一步的，所述高精度实物图像的像素不低于1200w，所述高分辨率pro/e模型图像的像素不低于6000w。

14、进一步的，所述标志点顶部由黑白同心圆圈组成，内圈为白色，外圈为黑色，外圈像素的灰度值低于背景灰度值。

15、进一步的，所述标志点识别的方法包括：

16、s301、对实物图像或模型图像经过sobel算子的边缘检测之后计算边缘梯度方向角，之后对整幅图进行搜索，一旦搜索到某个边缘像素点p1立即停止转到步骤s302；

17、s302、进行局部搜索寻找所有属于同一个圆周的点组：根据边缘像素点p1的梯度方向角的大小，在水平方向左右搜索，找到一个边缘像素点p2，该点和边缘像素点p1的梯度方向角之和约为180度，之后在竖直方向上下搜索，找到和边缘像素点p1对应的梯度方向角之和约为180度的边缘像素点p3，将这三个边缘像素点的坐标代进圆的方程中计算得到圆心点坐标和半径的估计；

18、s303、重复执行步骤s301～s302直到整幅图搜索完毕，得到多组圆心点坐标和半径，设置一个累加器数组用于积累每次计算得到的圆心点坐标和半径；

19、s304、统计累加器数组中同一圆心点坐标的出现频次、同一半径的出现频次，选出出现频次最高的预设数量的圆心点坐标作为不同标志点的圆心点坐标，验证所选出的圆心点坐标对应的半径是否与出现频次最高的内圈或外圈半径相同，从而得到标志点包含的全部圆心坐标。

20、进一步的，所述标志点配准包括初始配准和精确配准两步，初始配准使用ransac迭代算法缩小点云间平移误差和旋转误差，提供给精确配准良好的初值，精确配准采用迭代最近点法使点云配准误差达到最小。

21、本发明与现有技术相比的有益效果是：

22、(1)本发明将计算机中三维模型对应的每个孔位信息及对应的紧固件种类及型号直接投射到真实待装配工件表面对应的孔位位置上，从而实际工件上孔位周围都直接叠加了一个装配所需要的提示信息，便于装配工人快速选择合适的埋件；避免了装配过程中相关信息的查询，从而节约时间、减少装配错误、缩短装配周期、降低装配成本，提高装配质量和装配效率。

23、(2)本发明通过相机拍摄标志点位置，实现了自动快速识别待测物体的状态，相比于固定位置的投影技术，在满足投影精度的前提下，简化了操作流程。

24、(3)本发明利用投影仪充当传感器，实现了不需要双目相机系统的空间坐标测量，减少了系统搭建的成本。

技术特征：

1.一种基于真实投影的结构板可视化辅助装配方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于真实投影的结构板可视化辅助装配方法，其特征在于，所述结构板可视化辅助装配系统还包括底座，升降支架固定在底座上；底座安装多个万向脚轮，用于在工作场所移动；底座还安装可扩展支撑脚，用于扩大支撑面积。

3.根据权利要求1所述的一种基于真实投影的结构板可视化辅助装配方法，其特征在于，所述实物图像通过工业相机的拍摄得到，pro/e模型图像需要获取和实物图像对应的正视图；通过对pro/e软件的二次开发得到截图工具，自动根据识别图层得到要截取的图像，并在固定的像素位置设置标志点。

4.根据权利要求1所述的一种基于真实投影的结构板可视化辅助装配方法，其特征在于，所述高精度实物图像的像素不低于1200w，所述高分辨率pro/e模型图像的像素不低于6000w。

5.根据权利要求1所述的一种基于真实投影的结构板可视化辅助装配方法，其特征在于，所述标志点顶部由黑白同心圆圈组成，内圈为白色，外圈为黑色，外圈像素的灰度值低于背景灰度值。

6.根据权利要求5所述的一种基于真实投影的结构板可视化辅助装配方法，其特征在于，所述标志点识别的方法包括：

7.根据权利要求6所述的一种基于真实投影的结构板可视化辅助装配方法，其特征在于，所述标志点配准包括初始配准和精确配准两步，初始配准使用ransac迭代算法缩小点云间平移误差和旋转误差，提供给精确配准良好的初值，精确配准采用迭代最近点法使点云配准误差达到最小。

技术总结本发明涉及一种基于真实投影的结构板可视化辅助装配方法，包括：搭建结构板可视化辅助装配系统；获取真实工件的高精度实物图像和高分辨率Pro/E模型图像，分别设置标志点；对实物图像和模型图像进行标志点识别，获取标志点的圆心坐标；进行实物图像和模型图像的标志点配准；计算标志点之间的对应畸变矩阵E，使得实物图像的标志点坐标经过E矩阵变换后转变成模型图像的标志点坐标；利用E矩阵对选择图像的所有像素坐标进行反向畸变，使得模型图像或轮廓图像按照实物图像的位置、角度进行显示，并通过投影仪投影至真实工件表面。该方法能节约装配时间、减少装配错误、缩短装配周期、降低装配成本，提高装配质量和装配效率。技术研发人员：王彬,洪友勰,刘丽霞,赵婕,周勇,赵长亮,李成娟,张登科受保护的技术使用者：北京卫星制造厂有限公司技术研发日：技术公布日：2024/7/29