基于增强现实的零件检验方法、装置、设备和存储介质与流程

本申请涉及零件检验，尤其涉及一种基于增强现实的零件检验方法、装置、设备和存储介质。

背景技术：

1、检验检测是产品生产加工完成后的重要步骤，检验检测的意义在于确保数控加工零件的尺寸符合设计要求。检验计划是指导操作人员自检和检验人员验收产品的依据，是判断产品是否符合设计要求的标准，在产品制造过程的起到验证正确性和防错的作用。

2、当前检验计划的编制，是将产品的由三维模型转换为二维工程图，并且需要将尺寸进行一一标注，编制效率低。此外，检验人员使用检验计划前，需花费时间去消化理解图纸，检验过程中常常需要逐个特性查看图纸和测量零件，操作过程会被迫中断，检验效率低。

技术实现思路

1、本申请的主要目的在于提供一种基于增强现实的零件检验方法、装置、设备和存储介质，旨在解决目前数控加工零件的尺寸检验效率低的问题。

2、为实现上述目的，本申请提供一种基于增强现实的零件检验方法，包括以下步骤：

3、构建待检验零件的三维模型，提取所述三维模型的轮廓线框，并对三维模型标注尺寸参数，生成虚拟零件模型；

4、对获取的所述待检验零件的真实零件图像进行图像识别，获得所述待检验零件的真实零件位姿；

5、基于所述真实零件位姿，对所述虚拟零件模型的位姿进行调整，使虚拟零件模型具有与所述真实零件图像中相同的位姿；

6、基于增强现实技术，将所述虚拟零件模型叠加在所述待检验零件上，生成辅助检验画面。

7、可选地，所述对获取的所述待检验零件的真实零件图像进行图像识别，获得所述待检验零件的真实零件位姿，包括步骤：

8、通过图像采集设备获取所述待检验零件的真实零件图像，所述图像采集设备包括惯性测量单元；

9、基于所述真实零件图像，计算所述待检验零件相对于图像采集设备的初始位姿关系；

10、基于所述初始位姿关系，计算得到所述待检验零件的第一位姿数据，同时基于所述惯性测量单元，得到所述待检验零件的第二位姿数据。

11、可选地，在得到所述第一位姿数据和所述第二位姿数据后，对所述第一位姿数据和第二位姿数据进行融合，得到融合位姿数据。

12、可选地，所述图像采集设备为带摄像头的头戴显示器；所述基于所述真实零件位姿，对所述虚拟零件模型的位姿进行调整，使虚拟零件模型具有和真实零件相同的位姿，包括步骤：

13、建立摄像头坐标系与真实零件坐标系，基于所述真实零件位姿，得到所述真实零件坐标系与所述摄像头坐标系之间的旋转矩阵和平移向量；

14、基于所述三维模型建立虚拟空间坐标系，将所述旋转矩阵和平移向量的值作用于虚拟空间坐标系中，得到三维模型到真实空间的转换关系；

15、基于所述三维模型到真实空间的转换关系，对所述虚拟零件模型的位姿进行调整，使其虚拟零件模型有与所述真实零件图像中相同的位姿。

16、可选地，所述基于增强现实技术，将虚拟零件模型叠加在所述待检验零件上，生成辅助检验画面，包括步骤：

17、创建增强现实的应用程序，将所述三维模型导入到应用程序中；

18、建立头戴式显示器的平面投影坐标系，基于所述旋转矩阵和平移向量，将所述轮廓线框以及尺寸参数投影到所述平面投影坐标系中，使所述轮廓线框以及尺寸参数叠加在所述真实零件上，生成增强现实的辅助检验画面。

19、可选地，采用onepose算法计算真实零件相对于图像采集设备的初始位姿关系。

20、可选地，所述构建待检验零件的三维模型，提取所述三维模型轮廓线框，并对三维模型标注尺寸参数，生成虚拟零件模型，包括步骤：

21、构建待检验零件的三维模型，在catia三维建模软件中提取所述三维模型的轮廓线框，并定义所述轮廓线框的三维坐标系；

22、在所述三维模型上标注需要检验的所有尺寸线；

23、将所述尺寸线和所述轮廓线框合并为整体，生成虚拟零件模型。

24、基于同一发明构思，本申请还提供一种增强现实技术辅助的零件检验装置，所述装置包括：

25、模型构建模块：用于构建待检验零件的三维模型，提取所述三维模型的轮廓线框，并对三维模型标注尺寸参数，生成虚拟零件模型；

26、位姿跟踪模块：对获取的所述待检验零件的真实零件图像进行图像识别，获得所述待检验零件的真实零件位姿；

27、模型匹配模块：基于所述真实零件位姿，对所述虚拟零件模型的位姿进行调整，使虚拟零件模型具有与所述真实零件图像中相同的位姿；

28、虚实融合模块：基于增强现实技术，将所述虚拟零件模型叠加在所述待检验零件上，生成辅助检验画面。

29、基于同一发明构思，本申请还提供一种电子设备，所述电子设备包括：

30、存储器，用于存储计算机可执行指令或者计算机程序；

31、处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现上述的基于增强现实的零件检验方法。

32、基于同一发明构思，本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的基于增强现实的零件检验方法。

33、相较于现有技术，本申请的有益效果为：

34、本申请基于待检验零件的三维模型生成虚拟轮廓线框与尺寸参数，通过位姿跟踪算法对真实零件的位姿进行实时的精确估计，将虚拟轮廓线框与尺寸信息与真实零件精确叠加融合，实现了增强现实技术与航空数控加工零件的检验过程相结合，将虚实融合的画面传递给操作人员，操作人员可同时看到真实场景中的零件以及虚拟的尺寸信息，双手操作和信息获取同时进行，提高检验工作效率。并且通过直观的尺寸提示，有效降低了操作人员的学习负担。

技术特征：

1.一种基于增强现实的零件检验方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于增强现实的零件检验方法，其特征在于，所述对获取的所述待检验零件的真实零件图像进行图像识别，获得所述待检验零件的真实零件位姿，包括步骤：

3.如权利要求2所述的基于增强现实的零件检验方法，其特征在于，在得到所述第一位姿数据和所述第二位姿数据后，对所述第一位姿数据和第二位姿数据进行融合，得到融合位姿数据。

4.如权利要求2所述的基于增强现实的零件检验方法，其特征在于，所述图像采集设备为带摄像头的头戴显示器；

5.如权利要求4所述的基于增强现实的零件检验方法，其特征在于，所述基于增强现实技术，将所述虚拟零件模型叠加在所述待检验零件上，生成辅助检验画面，包括步骤：

6.如权利要求2所述的基于增强现实的零件检验方法，其特征在于，采用onepose算法计算真实零件相对于图像采集设备的初始位姿关系。

7.如权利要求1所述的基于增强现实的零件检验方法，其特征在于，所述构建待检验零件的三维模型，提取所述三维模型轮廓线框，并对所述三维模型标注尺寸参数，生成虚拟零件模型，包括步骤：

8.一种增强现实技术辅助的零件检验装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行时实现权利要求1至6任一项所述的基于增强现实的零件检验方法。

技术总结本申请涉及零件检验技术领域，尤其涉及一种基于增强现实的零件检验方法、装置、设备和存储介质。本申请的方法包括步骤：构建待检验零件的三维模型，提取三维模型的轮廓线框，并对三维模型标注尺寸参数，生成虚拟零件模型；实时获取真实零件的图像，基于图像，实时获取真实零件位姿；基于真实零件位姿，对虚拟零件模型的位姿进行调整，使虚拟零件模型具有和真实零件相同的位姿；基于增强现实技术，将虚拟零件模型叠加在所述真实零件上，生成辅助检验画面。通过将虚拟轮廓线框与尺寸信息与真实零件精确叠加融合，将虚实融合的画面传递给操作人员，双手操作和信息获取同时进行，提高检验工作效率。技术研发人员：陈峥廷,黄崇权,张文权,樊娜娜,刘爱明,唐杨,李哿,邬帆,安建龙受保护的技术使用者：成都飞机工业（集团）有限责任公司技术研发日：技术公布日：2024/8/1