面向人机协作装配的投影优化方法、装置、终端及介质

本发明涉及大尺寸复杂零件高精度装配领域，特别涉及面向人机协作装配的投影优化方法、装置、终端及介质。

背景技术：

1、壁板、蒙皮等大尺寸零件广泛应用于航空、航天、船舶等行业的复杂大型产品中，由于复杂产品的零件定制化程度高，对装配人员的作业水平也有更高的要求。空间增强现实技术能够将装配工艺信息直接投影到零件表面，对于帮助装配工人更加便利进行装配作业操作具有重要的工程意义。目前相关学者在装配现场中开展了空间增强现实技术的研究主要采用固定投影布局的方式，主要用于桌面式装配。此方法灵活性差，当投影布局发生改变时，重新配置投影布局耗时较高，且需要人工调整投影仪位置，十分不便。

2、因此，现有技术还有待改进和提高。

技术实现思路

1、针对现有技术的上述缺陷，提供面向人机协作装配的投影优化方法、装置、终端及介质，旨在解决现有技术中在进行人机协作装配时灵活性差，且需要人工调整投影仪位置的问题。

2、本发明的第一方面，提供一种面向人机协作装配的投影优化方法，包括：

3、获取目标初始位姿，所述目标初始位姿包括目标观察者、目标被投影物体和目标投影仪的初始位姿；

4、构建目标投影模型，基于所述初始位姿在所述目标投影模型中进行投影场景的映射；

5、获取目标关键点，基于所述目标关键点获取目标映射关系，所述目标关键点包括所述目标被投影物体的边角点和装配关键点，所述目标映射关系为所述目标被投影物体与被投影图像的关系；

6、基于所述目标映射关系构建投影布局优化模型，基于所述投影布局优化模型计算目标投影位置；

7、基于所述目标投影位置调整所述目标投影仪的位置。

8、所述的面向人机协作装配的投影优化方法，其中，所述获取目标初始位姿，包括：

9、构造现场坐标系，定义初始方向，基于红外标记点方法记录所述目标观察者、所述目标被投影物体和目标投影仪的位置参数和姿态参数作为所述目标初始位姿，所述位置参数表示物体在所述现场坐标系中的位置，所述姿态参数表示物体相对于所述初始方向的偏移角度。

10、所述的面向人机协作装配的投影优化方法，其中，所述构建目标投影模型，包括：

11、获取目标投影仪参数，基于所述目标投影仪参数采用针孔模型对所述目标投影仪进行建模，得到目标投影仪模型；

12、基于目标大小的圆柱体对所述目标观察者进行建模，得到目标观察者模型；

13、获取所述被投影物体的关键点、关键面信息，基于所述关键点、关键面信息构成的多组三角面片格式，对所述被投影物体进行建模，得到目标被投影物体模型；

14、基于所述目标投影仪模型、所述目标观察者模型和所述目标被投影物体模型构建所述目标投影模型。

15、所述的面向人机协作装配的投影优化方法，其中，所述基于所述初始位姿在所述目标投影模型中进行投影场景的映射，包括：

16、构建与所述现场坐标系相同的虚拟坐标系；

17、基于所述位置参数将所述目标投影仪模型、所述目标观察者模型和所述目标被投影物体模型放置至所述虚拟坐标系中与所述位置参数对应的位置；

18、基于所述姿态参数和所述初始方向将所述目标投影仪模型、所述目标观察者模型和所述目标被投影物体模型旋转至与所述姿态参数对应的位置角度。

19、所述的面向人机协作装配的投影优化方法，其中，所述基于所述目标关键点获取目标映射关系，包括：

20、获取所述目标投影仪的目标内参矩阵和目标外参矩阵；

21、基于所述目标内参矩阵和所述目标外参矩阵计算每个所述目标关键点与所述被投影图像上对应的二维像素点的映射关系。

22、所述的面向人机协作装配的投影优化方法，其中，所述基于所述目标映射关系构建投影布局优化模型，包括：

23、基于所述目标关键点、所述目标映射关系和所述目标投影仪的位姿对所述被投影图像的位置和大小的进行逆运算，得到目标被投影图像；

24、获取目标约束，基于所述目标约束，以所述目标被投影图像最大为目标构建所述投影布局优化模型。

25、所述的面向人机协作装配的投影优化方法，其中，所述基于所述目标关键点、所述目标映射关系和所述目标投影仪的位姿对所述被投影图像的位置和大小的进行逆运算，得到目标被投影图像，包括：

26、基于所述目标映射关系获取所述目标关键点对应在所述被投影图像上的目标像素点；

27、基于所述目标像素点对所述被投影图像进行变换，得到满足所述目标像素点的位置的所述目标被投影图像。

28、本发明的第二方面，提供一种面向人机协作装配的投影优化装置，包括：

29、位姿获取模块，用于获取目标初始位姿，所述目标初始位姿包括目标观察者、目标被投影物体和目标投影仪的初始位姿；

30、构建模块，用于构建目标投影模型，基于所述初始位姿在所述目标投影模型中进行投影场景的映射；

31、映射模块，用于获取目标关键点，基于所述目标关键点获取目标映射关系，所述目标关键点包括所述目标被投影物体的边角点和装配关键点，所述目标映射关系为所述目标被投影物体与被投影图像的关系；

32、优化模块，用于基于所述目标映射关系构建投影布局优化模型，基于所述投影布局优化模型计算目标投影位置；

33、调整模块，用于基于所述目标投影位置调整所述目标投影仪的位置。

34、本发明的第三方面，提供一种终端，包括：处理器、与处理器通信连接的存储介质，存储介质适于存储多条指令，处理器适于调用存储介质中的指令，以执行实现上述任一项所述的面向人机协作装配的投影优化方法的步骤。

35、本发明的第四方面，提供一种存储介质，其中，存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的面向人机协作装配的投影优化方法的步骤。

36、有益效果：与现有技术相比，本发明提供了面向人机协作装配的投影优化方法、装置、终端及介质，本发明提供的面向人机协作装配的投影优化方法中，通过获取目标初始位姿，所述目标初始位姿包括目标观察者、目标被投影物体和目标投影仪的初始位姿，然后构建目标投影模型，基于所述初始位姿在所述目标投影模型中进行投影场景的映射，进一步地，获取目标关键点，通过所述目标关键点获取目标映射关系，所述目标关键点包括所述目标被投影物体的边角点和装配关键点，所述目标映射关系为所述目标被投影物体与被投影图像的关系，之后，基于所述目标映射关系构建投影布局优化模型，基于所述投影布局优化模型计算目标投影位置，最后，基于所述目标投影位置调整所述目标投影仪的位置。通过本发明提供的面向人机协作装配的投影优化方法对大型人机协作装配的投影场景进行优化，能有效的提高投影布局的灵活性和适应程度，实现了人机协作环境下的投影布局的自适应生成。

技术特征：

1.一种面向人机协作装配的投影优化方法，其特征在于，包括：

2.根据权利要求1所述的面向人机协作装配的投影优化方法，其特征在于，所述获取目标初始位姿，包括：

3.根据权利要求2所述的面向人机协作装配的投影优化方法，其特征在于，所述构建目标投影模型，包括：

4.根据权利要求3所述的面向人机协作装配的投影优化方法，其特征在于，所述基于所述初始位姿在所述目标投影模型中进行投影场景的映射，包括：

5.根据权利要求1所述的面向人机协作装配的投影优化方法，其特征在于，所述基于所述目标关键点获取目标映射关系，包括：

6.根据权利要求1所述的面向人机协作装配的投影优化方法，其特征在于，所述基于所述目标映射关系构建投影布局优化模型，包括：

7.根据权利要求6所述的面向人机协作装配的投影优化方法，其特征在于，所述基于所述目标关键点、所述目标映射关系和所述目标投影仪的位姿对所述被投影图像的位置和大小的进行逆运算，得到目标被投影图像，包括：

8.一种面向人机协作装配的投影优化装置，其特征在于，所述装置包括：

9.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令，所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-7任一项所述的面向人机协作装配的投影优化方法的步骤。

10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一项所述的面向人机协作装配的投影优化方法的步骤。

技术总结本发明公开了面向人机协作装配的投影优化方法、装置、终端及介质。方法包括：获取目标初始位姿，所述目标初始位姿包括目标观察者、目标被投影物体和目标投影仪的初始位姿；构建目标投影模型，基于所述初始位姿在所述目标投影模型中进行投影场景的映射；获取目标关键点，基于所述目标关键点获取目标映射关系，所述目标映射关系为所述目标被投影物体与被投影图像的关系；基于所述目标映射关系构建投影布局优化模型，基于所述投影布局优化模型计算目标投影位置；基于所述目标投影位置调整所述目标投影仪的位置。本发明提供的面向人机协作装配的投影优化方法能有效的提高投影布局的灵活性，实现了人机协作环境下的投影布局的自适应生成。技术研发人员：郑湃,逄嘉振受保护的技术使用者：香港理工大学深圳研究院技术研发日：技术公布日：2024/8/5