一种基于CAD图与深度学习算法的机械臂辅助图像配准技术

本发明涉及图像配准，具体为一种基于cad图与深度学习算法的机械臂辅助图像配准技术。

背景技术：

1、在当今的工业制造和质量检测领域，图像采集是获取产品信息、进行缺陷检测和质量评估的重要环节。采用机械手带动相机或者热像仪到指定地方拍照是工业生产中常用的一种形式；

2、在这一应用场景下，通常通过人为示教的方式对机械臂姿态进行调整，这不仅效率低下，传统的匹配，很难定义出合适的位置，需要机械臂厂商工程师边看边做调整，调整的时候往往需要工程师在现场，在某种特殊环境，例如高温、高压、有害环境等，不大适合示教调整的场景，往往现场调试对人危害极高，而且达不到非常精确的匹配，而且由于人为因素的参与，精度和准确性难以保证。此外，在一些复杂或特殊环境下，如狭窄空间、高温或有毒气体区域等，人工调整相机的姿态和位置可能会遇到诸多困难，甚至存在安全风险，导致图像采集工作变得繁琐且低效；

3、在传统的图像配准过程中，往往需要专业人员通过经验和直觉来选择和调整参数，这个过程不仅耗时耗力，而且由于人为因素的参与，很难保证每次都能选择出最优参数，特别是在面对复杂或特殊的配准任务时；

4、在传统的图像配准评估中，匹配度的评定通常依赖于个别专家的主观判断，容易导致评估结果的不一致性和偏见；

5、为了克服以上困难，提高工业现场图像采集的效率和准确性，本案提出了一种创新的方法：利用cad图和深度学习算法引导机械臂自动调整相机的位置和姿态，以实现高精度的图像配准。

技术实现思路

1、本发明的目的在于提供一种基于cad图与深度学习算法的机械臂辅助图像配准技术，以解决上述背景技术中提出在传统的图像配准过程中，往往需要专业人员通过经验和直觉来选择和调整参数，这个过程不仅耗时耗力，而且由于人为因素的参与，很难保证每次都能选择出最优参数，特别是在面对复杂或特殊的配准任务时；在传统的图像配准评估中，匹配度的评定通常依赖于个别专家的主观判断，容易导致评估结果的不一致性和偏见的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于cad图与深度学习算法的机械臂辅助图像配准技术，包括以下步骤：

3、步骤1：准备第一网络数据

4、根据被拍照的对象，先加载其某期望拍照角度形成的平面cad模型，然后用相机在不同角度、距离和位置下拍摄该模型对应的30张照片，作为第一组数据集，然后更换拍照对象，及其对应的某一期望拍照角度的cad模型，再次进行拍摄，重复此过程，直到收集不低于2000组数据图片；

5、对于每组数据集，进行人工标定匹配度，评定一个0到1之间的匹配度得分，该得分表示cad图与其对应照片之间的匹配程度，0表示完全不匹配，1表示完全匹配；

6、每组数据都由6名专业工程师标记匹配度，去除最大和最小值后，取剩余值的平均值作为标签，对每张照片进行标签确定，形成标签集；

7、步骤2：训练第一神经网络：

8、将cad图与其对应的照片作为输入，以其标签为输出，训练深度学习模型，本案采用7层网络结构的深度学习模型，可采用以下架构：

9、第一层：卷积层，包含30个大小为3的一维卷积核，激活函数为relu；

10、第二层：卷积层，包含60个大小为6的一维卷积核，激活函数为relu；

11、第三层：池化层，采用最大池化，核大小为2，步长为3；

12、第四层：卷积层，包含70个大小为3的一维卷积核，激活函数为relu；

13、第五层：全连接层，输出为10个神经元，激活函数为relu；

14、第六层：全连接层，输出1个神经元，激活函数为sigmoid；

15、根据在测试集上的预测效果，可以尝试调整网络结构、损失函数、优化器以获得更好的性能，完成第一网络的训练；

16、步骤3：使用第一网络构建第二网络的数据

17、设定机械臂的控制参数如下：

18、p＝{θ1，θ2，...，θn，v1，v2，...，vn，a1，a2，...，an，x，y，z，vx，vy，vz}

19、其中，θ1，θ2，...，θn是关节角度，v1，v2，...，vn是关节速度，a1，a2，...，an是关节加速度，x，y，z是末端执行器的位置，vx，vy，vz是末端执行器的速度；

20、首先载入cad图纸，然后在当前相机位置拍摄一张照片，再设定一组控制参数p，机械臂根据设定的控制参数移动到新位置，并在稳定后拍摄第二张照片；

21、将预先载入的cad图纸与这两次拍摄的照片分别输入到第一网络中，网络输出两个得分：s1(移动前)和s2(移动后)；

22、计算得分差值d＝s1-s2，d的值域为[-1，1]，这个差值用于评估机械臂移动的效果，d越小机械臂移动的效果越好；将机械臂移动前拍摄的照片和机械臂的控制参数作为输入数据，将计算出的得分差异d作为输出数据，以此构建第二神经网络的训练数据集；

23、重复上述步骤，构建包含10000组数据的数据集；

24、步骤4：训练第二网络

25、使用步骤3中构建的包含10000组数据的数据集，每组数据包括机械臂移动前的照片、机械臂的控制参数和移动前后的得分差值，将数据集划分为训练集和测试集，按照85％、15％的比例进行划分；

26、以机械臂移动前拍摄的照片、机械臂的控制参数为输入，以得分差值d作为输出，以此训练神经网络，可采用以下架构：

27、第一层：卷积层，包含30个大小为3的一维卷积核，激活函数为relu；

28、第二层：卷积层，包含70个大小为7的一维卷积核，激活函数为relu；

29、第三层：池化层，采用最大池化，核大小为3，步长均为2；

30、第四层：卷积层，包含90个大小为3的一维卷积核，激活函数为relu；

31、第五层：全连接层，输出为20个神经元，激活函数为relu；

32、第六层：全连接层，输出1个神经元，激活函数为sigmoid；

33、最后输出网络预测值，也就是得分差值。

34、进一步的，所述步骤四之后还有步骤五随机生成控制参数，根据第二网络的预测选择最优参数。

35、对于新的拍照对象，载入其期望角度的平面cad图纸，在当前相机位置使用相机拍摄一张照片，然后随机生成10000组控制参数{p1，p2，...，p10000}，将当前照片与每组生成的控制参数作为输入数据，输入到已经训练好的第二神经网络中，对神经网络输出的所有得分进行排序，以找到得分最小的参数组pm。

36、进一步的，所述如果pm得分为负值，则将pm作为最优参数调整相机位置以实现照片与预先载入的cad图高精度配准；

37、进一步的，所述如果pm得分为非负值，则认为当前相机位置已经是最优的位置，无需进一步调整。

38、与现有技术相比，本发明的有益效果是：

39、该基于cad图与深度学习算法的机械臂辅助图像配准技术，解决了人工选择很难选择出最优参数的技术问题；

40、在传统的图像配准过程中，往往需要专业人员通过经验和直觉来选择和调整参数，这个过程不仅耗时耗力，而且由于人为因素的参与，很难保证每次都能选择出最优参数，特别是在面对复杂或特殊的配准任务时，本案通过深度学习算法评估机械臂移动的效果，从而避免了人工选择的局限性；

41、传统的匹配，很难定义出合适的位置，需要机械臂厂商工程师边看边做调整，调整的时候往往需要工程师在现场，在某种特殊环境，例如高温、高压、有害环境等，不大适合示教调整的场景，往往现场调试对人危害极高，而且达不到非常精确的匹配；本项目引入cad图纸作为导引引导机械手到指定位置，匹配精度更高，而且无需现场工程师示教，缩短了现场调试时间。