检测AR定位跟踪算法效果的方法、系统以及设备与流程

本发明属于增强现实(augmented reality，ar)，具体涉及检测ar定位跟踪算法效果的方法、系统以及设备。

背景技术：

1、增强现实(augmented reality，ar)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

2、ar技术中使用定位与跟踪两种关键算法实现虚拟内容与现实融合，虚拟内容与真实空间匹配度受两种算法影响，在不同的真实环境中有不同的表现。现有专利如cn201880033203-用于在工业自动化系统和其他系统中以增强虚拟现实记录和重放交互式内容的装置和方法、cn201910844480-增强虚拟现实中交互式内容的记录和重放装置和方法，可以记录用户指令，并回放之前记录的数据以实现回放动作，供他人学习。

3、但在对虚拟内容与真实空间的匹配度进行检测时，如何判断虚拟内容与真实空间匹配度差是由单个或者多个算法导致，仍是需要解决的技术问题。

技术实现思路

1、为了克服现有技术的不足，本发明提供具有检测ar定位跟踪算法效果的方法，以解决如何判断内容与真实空间的匹配度差是由单个或者多个算法导致的问题。

2、本发明其中一方案提供了一种检测ar定位跟踪算法效果的方法，包括：

3、获取测试数据和模型数据；

4、将所述模型数据导入渲染引擎，用于构建虚拟现实空间；

5、将所述测试数据导入所述虚拟现实空间中的模拟设备，生成回放图像；

6、当所述回放图像中的虚拟内容与真实物体模型的匹配度不满足预设条件时，基于判定条件分析影响所述匹配度的影响因素；

7、其中，所述判定条件至少包含：定位跟踪融合算法生成的第一轨迹的坐标分布、定位跟踪融合算法生成的第一轨迹的平滑度、定位跟踪融合算法生成的第一轨迹与定位算法生成的第二轨迹的重合度。

8、在本方案中，通过获取真实空间中记录的测试数据和模型数据，在将模型数据导入渲染引擎后可生成物体位置关系与真实空间一致的虚拟现实空间，并将测试数据导入模拟设备中，以使模拟设备根据测试数据中的轨迹数据还原在真实空间中应用端的移动路径及拍摄到的真实空间的图像数据，在图像数据的基础上结合ar内容进行显示，从而生成回放图像；在此基础上，当回放图像中虚拟内容和真实物体的匹配度不满足预设条件，然后根据判定条件分析影响所述匹配结果的影响因素，可以找出回放图像中出现的异常情况，快速且有效的判断具体是某一个或多个算法导致的异常，有助于协助用户及时对异常的算法进行优化，提高优化效率。

9、在本发明其中一个方案中，所述方法还包括分析所述回放图像中虚拟内容与真实物体模型的匹配度，具体包括：

10、判断虚拟内容与真实物体模型是否有接触；

11、若所述虚拟内容与所述真实物体模型有接触，输出结果为匹配度满足预设条件；

12、若所述虚拟内容与所述真实物体模型无接触，输出结果为匹配度不满足预设条件。

13、在本方案中，分析所述回放图像中虚拟内容与真实物体模型的匹配度包括检测是否满足预设条件，例如，对照着真实空间的桌子，采集完地图会在虚拟空间中生成一个桌子模型，通过在虚拟空间的桌子模型上放一个虚拟内容的方块，方块会与桌子接触接触。在检测中，通过观察判断ar渲染的方块是否接触并紧密贴合在桌子模型上，如果接触说明匹配度满足预设条件，反之匹配度不满足预设条件。在本方案的一应用场景中，还可通过检测虚拟内容所在的定位面与真实物体的基础面之间的间距及状态是否符合贴合状态的判断，从而准确的评估虚拟内容与真实物体的匹配度，避免观察判断时由于观察视角等原因导致的判断不精确，确保得到准确的匹配结果。

14、在本发明其中一个方案中，所述基于判定条件分析影响所述匹配度的影响因素包括：

15、判断所述定位跟踪融合算法生成的第一轨迹的坐标分布是否符合第一坐标分布预期，输出定位算法检测结果；

16、判断所述定位跟踪融合算法生成的第一轨迹的平滑度是否符合第一平滑度预期，输出跟踪算法检测结果；

17、判断所述定位跟踪融合算法生成的第一轨迹与定位算法生成的第二轨迹的重合度是否符合第一重合度预期，输出定位跟踪融合算法检测结果。

18、在本方案中，定位跟踪融合算法生成的第一轨迹的以坐标形式表示时为一片密集或具有明显规律的坐标点，通过判断坐标点的坐标分布是否符合预设的第一坐标分布预期，当零星出现在坐标密集区域外的异常坐标点的数量过多，超出了第一坐标分布预期所限定的数值，则判断定位算法出现异常，输出定位算法检测结果为异常，定位算法可能是导致匹配度不满足预设条件的影响因素；

19、跟踪算法所获取的时空路径与所述定位跟踪融合算法生成的第一轨迹具有关联，通过判断所述定位跟踪融合算法生成的第一轨迹的平滑度是否符合第一平滑度预期，当第一轨迹连续出现了超出预定角度的棱角导致平滑度不符合第一平滑度预期，则证明跟踪算法出现异常，输出跟踪算法的检测结果为异常，跟踪算法可能是导致匹配度不满足预设条件的影响因素；

20、以及，通过判断所述定位跟踪融合算法生成的第一轨迹与定位算法生成的第二轨迹的重合度是否符合第一重合度预期，可以快速的判断所述定位跟踪融合算法，若重合度不符合第一重合度预期，则证明定位跟踪融合算法出现异常，输出定位跟踪融合算法的检测结果为异常，定位跟踪融合算法可能是导致匹配度不满足预设条件的影响因素。

21、因此，本方案的方法可以快速找出导致匹配度差的一个或多个因素，提高优化效率。

22、在本发明其中一个方案中，所述判断所述定位跟踪融合算法生成的第一轨迹与定位算法生成的第二轨迹的重合度是否符合第一重合度预期包括：

23、检测所述第一轨迹与所述第二轨迹在x轴方向坐标面上的位置重合度；

24、检测所述第一轨迹与所述第二轨迹在y轴方向坐标面上的位置重合度；

25、检测所述第一轨迹与所述第二轨迹在z轴方向坐标面上的位置重合度。

26、在本方案中，通过分别检测第一轨迹与第二轨迹在x、y、z轴方向坐标面上的位置重合度，输出不符合第一重合度预期的坐标面，可以判断定位跟踪融合算法生成的第一轨迹出现异常的主要方向坐标面，便于提醒用户及时对定位跟踪融合算法的相应部分进行优化，提高优化效率。

27、在本发明其中一个方案中，所述判断所述定位跟踪融合算法生成的第一轨迹与定位算法生成的第二轨迹的重合度是否符合第一重合度预期包括：

28、记录所述模拟设备沿所述第一轨迹移动时的朝向变化，输出为第一朝向轨迹；

29、记录所述模拟设备沿所述第二轨迹移动时的朝向变化，输出为第二朝向轨迹；

30、检测所述第一朝向轨迹与所述第二朝向轨迹在翻滚角方向的朝向重合度；

31、检测所述第一朝向轨迹与所述第二朝向轨迹在俯仰角方向的朝向重合度；

32、检测所述第一朝向轨迹与所述第二朝向轨迹在偏航角方向的朝向重合度。

33、在本方案中，通过分别检测第一朝向轨迹与第二朝向轨迹在翻滚角、俯仰角、偏航角方向上的位置重合度，输出不符合第一重合度预期的朝向，可以判断定位跟踪融合算法生成第一轨迹对应的第一朝向轨迹出现异常的主要朝向，便于提醒用户及时对定位跟踪融合算法的相应部分进行优化，提高优化效率。

34、在本发明其中一个方案中，所述测试数据至少包括：定位算法产生的定位数据、跟踪算法产生的跟踪数据、定位跟踪融合算法产生的定位跟踪融合数据、相机内参数以及相机纹理；

35、和/或，所述模型数据至少包括地图构建算法生成的模型数据。

36、在本发明其中一个方案中，所述将所述测试数据导入所述虚拟现实空间中的模拟设备，生成回放图像包括：

37、基于定位数据，以第一时间间隔记录定位轨迹数据；

38、基于跟踪数据，以第二时间间隔记录跟踪轨迹数据；

39、基于定位跟踪融合数据，以第三时间间隔记录定位跟踪融合轨迹数据；

40、其中，所述第三时间间隔设置成与第一时间间隔、第二时间间隔中的间隔时间最短的相同。

41、在本方案中，通过将第三时间间隔设置成与第一时间间隔、第二时间间隔中的间隔时间最短的相同，可以使得记录的定位跟踪融合轨迹数据具有较高的记录精度，便于在虚拟现实空间中生成回放图像，并在分析导致匹配结果较差的影响因素时具有较高的可信度。

42、在本发明其中一个方案中，所述将所述测试数据导入所述虚拟现实空间中的模拟设备，生成回放图像还包括：

43、将所述定位轨迹数据、所述跟踪轨迹数据、所述定位跟踪融合轨迹数据基于时间顺序排列在同一时间戳上。

44、在本方案中，通过将测试数据中的各项轨迹数据排列在同一时间戳上，方便后续对各项轨迹数据形成的轨迹进行比对，方便分析导致匹配结果较差的影响因素。

45、在本发明其中一个方案中，所述方法还包括生成离线渲染视频：

46、从服务器的存储空间中获取所述测试数据和所述模型数据；

47、将所述模型数据导入渲染设备的渲染引擎，用于构建虚拟现实空间；

48、由所述渲染设备基于所述测试数据渲染得到预设分辨率的离线渲染图像；

49、通过显示设备对所述离线渲染图像进行可视化显示。

50、在本方案中，通过将测试数据和模型数据上传至服务器的存储空间中保存，在需要对某一时段的ar跟踪定位算法的效果进行检测时，从服务器获取相应的测试数据和模型数据输入渲染设备，在渲染设备上渲染生成预设分辨率的离线渲染图像，最后通过显示设备进行可视化展示。本方案中通过专用的渲染设备渲染获取离线渲染图像，令离线渲染图像可以满足预设分辨率的要求，并且可以实现远程回放。

51、在本发明其中一个方案中还指出了一种检测ar定位跟踪算法效果的系统，可用于上述多个方案中任意一项的检测ar定位跟踪算法效果的方法，

52、所述系统包括：

53、获取模块，用于获取测试数据和模型数据；

54、渲染模块，用于将所述模型数据导入渲染引擎，构建虚拟现实空间；

55、回放模块，用于将所述测试数据导入所述虚拟现实空间中的模拟设备，生成回放图像；

56、分析模块，用于当所述回放图像中虚拟内容与真实物体模型的匹配度差时，基于判定条件分析影响所述匹配结果的影响因素；

57、其中，所述判定条件至少包含：定位跟踪融合算法生成的第一轨迹的坐标分布、定位跟踪融合算法生成的第一轨迹的平滑度、定位跟踪融合算法生成的第一轨迹与定位算法生成的第二轨迹的重合度；

58、和/或，所述回放模块还包括回放控制模块，所述回放控制模块用于控制所述回放图像的回放进度、回放方式。

59、在本方案中，通过获取模块获取真实空间中记录的测试数据和模型数据，渲染模块将模型数据导入渲染引擎后可生成物体位置关系与真实空间一致的虚拟现实空间，并由回放模块将测试数据导入模拟设备中，以使模拟设备根据测试数据中的轨迹数据还原在真实空间中应用端的移动路径及拍摄到的真实空间的图像数据，在图像数据的基础上结合ar内容进行显示，从而生成回放图像；在此基础上，当回放图像中虚拟内容和真实物体的匹配度不满足预设条件，然后由分析模块根据判定条件分析影响所述匹配结果的影响因素，可以找出回放图像中出现的异常情况，快速且有效的判断具体是某一个或多个算法导致的异常，有助于协助用户及时对异常的算法进行优化，提高优化效率。

60、在本发明其中一个方案中还指出了一种检测ar定位跟踪算法效果的设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器上存储有可被至少一个处理器执行的计算机程序，所述处理器和所述存储器通过通讯总线连接，以使所述至少一个处理器在执行时能够实现上述多个方案中任意一项所述的检测ar定位跟踪算法效果的方法。