基于增强现实的半实物数控加工实训系统

本发明属于数控加工仿真系统，具体涉及一种基于增强现实的半实物数控加工实训系统。

背景技术：

1、试切法是指操作工人在每个工步或走刀前进行对刀，然后切出一小段，测量其尺寸是否合适，如果不合适，将刀具的位置调整一下，再试切一小段，直至达到尺寸要求后才加工全部表面。

2、半实物数控加工仿真系统的研究主要聚焦于两个方面：一是高效地进行程序的调试和检验，二是提高对数控人员的教育培训效果。

3、调试程序的传统方法是实际加工木质或塑料模型，通过检查加工结果与设计要求之间的差异，再根据差异对程序编辑修改。这种方法费时费工废料，要占用昂贵的机床和加工现场，代价昂贵成本高，增加了产品加工时间和生产周期。后来又采用轨迹显示法，即用计算机控制绘图仪，以笔代替刀具，以纸代替毛坯来仿真刀具的运动轨迹的二维图形。这种方法可以检查出一些大的错误，但其运动轨迹的显示局限于二维，和实际加工的情况相差很大。

4、数控加工半实物仿真在数控技能的教育培训方面也具有重要意义，如今越来越受到人们的重视。因为数控加工要求操作人员既要熟悉数控编程指令、数控系统的功能，又要了解机床的性能。数控加工的这些特点决定了传统的技术培训方式已难于满足当下培训需要。所谓传统的技术培训方式是指操作人员先学习技术理论和操作规程，再到生产现场，以师父带徒弟的方式进行技能培训。这种方式的主要缺点之一是数控机床设备昂贵且使用风险高，不允许学员任意的操作以免发生事故。因此，学员动手机会少，掌握操作技能周期延长。

技术实现思路

1、本发明是基于发明人对以下事实和问题的发现和认识做出的：

2、仿真运行成本低廉，无需占用昂贵的机床进行试验，参数(刀具形状，切削速度，刀具运动等)易于调整，试验的速度可以比实际加工快得多，可以降低生产成本，提高生产效率。

3、为了解决上述背景技术中的问题，本发明的实施例提出一种基于增强现实的半实物数控加工实训系统。

4、本发明的基于增强现实的半实物数控加工实训系统，包括：半实物硬件平台模块，负责硬件的设计与机床控制信号的交互；数控仿真平台模块，负责数控机床导入、刀具模型参数构建、毛坯模型构建、数控程序的纠错及编译、数控仿真加工过程的物理仿真、数控加工结果的检验和加工参数数据包的导出；ar融合显示模块，利用增强现实三维跟踪注册技术，将半实物硬件平台模块的硬件设备与数控仿真平台模块构建的机床设备虚拟模型进行虚实结合，并在真实机床设备控制信号下进行铣削加工物理仿真模拟过程。

5、在一些实施例中，所述半实物硬件平台模块的建立步骤为：

6、(1)将数控车床半实物硬件平台中的零件根据其功能进行分类，分为外观类零件、安装类零件、操作类零件、控制类零件和其他零件；

7、(2)根据设计图纸和规格，将数控车床半实物硬件平台的外观类零件、安装类零件、操作类零件和控制类零件组装在一起；

8、(3)针对操作类零件，设计信号采集系统；

9、(4)将控制类零件连接到硬件信号控制系统；

10、(5)为安装类零件设计和制作机械结构；

11、(6)为数控车床半实物平台设计独立的供电线路，以确保机械结构和控制电路的正常运行。

12、在一些实施例中，所述数控仿真平台模块的加工过程中参数数据包的导出步骤为：

13、(1)导入特定型号的三维数控机床模型到数控仿真平台模块中；

14、(2)根据需求设计不同的加工刀具，并安装于刀塔；

15、(3)导入数控加工的数控代码，利用数控代码编译模块进行错误检查、编译并解析为刀具运动信息；

16、(4)设计毛坯模型；

17、(5)更新加工场景，为加工场景添加已导入的机床模型、加工刀具模型、毛坯模型；

18、(6)开始加工，场景中实时现实加工过程，同时发送刀片位置参数、模型形变参数、机床运动参数数据于数控系统显示模块。

19、在一些实施例中，所述ar融合显示模块的使用步骤为：

20、(1)利用增强现实设备的深度相机与纹理相机，采集数控车床半实物硬件平台深度信息与纹理信息；利用采集到的数据对深度学习模型进行训练实现三维跟踪注册，进一步实现虚实物体的融合；

21、(2)ar辅助指导，根据注册信息指导用户对车床进行操作；

22、(3)培训过程仿真，根据实际操作需要，通过数控仿真平台模块导出的数据包进行模型重建，在三维显示设备中在线实时更新机床运动、刀具运动、毛坯状态；

23、(4)过程评价，根据加工过程中的数据和指标，进行过程评价和反馈。

24、在一些实施例中，所述步骤(1)中三维跟踪注册步骤为：

25、(1)利用点云生成程序将三维数控机床模型导入，生成其三维点云信息、包围盒信息；

26、(2)利用虚拟现实设备的深度相机与纹理相机采集数控机床半实物硬件平台的深度信息与纹理信息；

27、(3)将采集到的深度信息与纹理信息进行预处理，生成模型的彩色点云数据，手动配准由三维数控机床模型生成的点云与深度信息和纹理信息数据生成的彩色点云，获取初始配准位姿矩阵，利用初始配准位姿矩阵进行反投影得到局部坐标；

28、(4)将以上处理好的数据进行两轮训练；

29、(5)对yolov3进行训练，利用以上生成好的数据反推出每个图像的label文件；利用label文件与以上数据对yolov3模型训练；

30、(6)使用增强现实头盔采集一帧数控机床半实物硬件平台场景，放入以上训练好的模型中，获取其空间变换矩阵，将三维数控机床模型根据空间变换矩阵叠加到数控机床半实物硬件平台上；

31、(7)模型自学习，在配准过程中，模型会根据实际场景微调参数，将虚拟模型完整的配准到数控机床半实物硬件平台上。

32、在一些实施例中，所述步骤(2)中ar辅助指导步骤为：

33、(1)根据安装类零件模型特征对安装类零件进行识别、配准；

34、(2)根据安装类零件特征识别安装零件当前的状态，在安装类零件的正前方展示安装类零件的安装方法；

35、(3)通过语音指令控制安装类零件的安装流程；

36、(4)根据零件的安装状态判定安装类零件安装是否正确，如果不正确，给与正确的安装提示；

37、(5)记录整个安装过程中的所有信息，根据安装信息对整个安装过程进行评价。

38、在一些实施例中，所述步骤(3)中培训过程仿真步骤为：

39、(1)设置数控机床半实物硬件平台，确保其连接了传感器和执行器，并与计算机系统进行了有效的通信；

40、(2)设计仿真场景；

41、(3)模型运动和状态获取，获取实时的刀具位置、工件状态和机床运行状态信息；

42、(4)程序解析和仿真，根据数控代码进行程序解析，模拟刀具路径和工件加工过程，在仿真环境中展示刀具和工件的运动，并模拟相应的现象；

43、(5)操作类零件控制，通过操控操作类零件，控制控制类零件模型的运行；

44、(6)毛坯和工件状态仿真，根据指令类型，模拟工件的几何形状和物理特性的变化；

45、(7)增强现实显示，通过增强现实技术，将虚拟的刀具路径、工件状态和机床运行信息叠加到数控机床半实物硬件平台上，使操作员能够同时看到实物和虚拟信息；

46、(8)实时指导和反馈，在增强现实显示中提供实时的指导信息，同时，根据操作员的实际操作表现，提供实时反馈和评估。

47、在一些实施例中，所述步骤(4)中过程评价步骤为：

48、(1)确定评价指标：确定学员操作的评分标准，对于每个操作步骤或技能要求，设定明确的标准和分值；

49、(2)观察和记录操作过程：通过观察学员在增强现实半实物数控机床上的实际操作过程，记录每个操作步骤的执行情况；

50、(3)评估学员操作：根据设定的评分标准，对学员的每个操作步骤进行评估；

51、(4)统计和分析数据：将学员的操作评分进行统计和分析；

52、(5)比较与参考标准：将学员的操作评分与参考标准进行比较；

53、(6)提供反馈和评价：根据评估结果，向学员提供具体的操作反馈和评价。

54、本发明的有益效果是：

55、1、本发明可以快速建立复杂数控机床增强现实半实物培训系统，可以将真实培训过程中真实设备的工作状态及加工过程进行有效、沉浸式的展示，有效的避免了真实数控机床在加工中的诸多限制，具有环境友好、安全性高、效果逼真、价格低廉的特点。

56、2、本发明的半实物数控加工仿真系统可以支持反复练习并可及时修改数控程序，学生可以较快的掌握编程方法；培训用的数控仿真系统一般具有虚拟的机床环境，学生仿真训练时利用hololens2头盔沉浸式操作虚拟的机床，真实感强，能在实际操作真实机床前掌握机床的基本操作要领，且完全避免了失误酿成事故。