信息处理装置、信息处理程序和信息处理方法与流程

本公开涉及能够在多个信息处理装置上生成并显示共同ar内容的ar对象的信息处理装置、信息处理程序和信息处理方法。

背景技术：

1、已知一种终端应用程序，多个用户分别持有终端(智能电话等)并且多个终端分别共享位置，使得共同ar内容可分别显示在多个终端上。

2、为了使多个终端在同一地图中共享它们的位置，需要确定在每个终端的自身位置估计处理中生成的地图之间的变换坐标系的处理(地图同步)。因而，能够在ar应用中在终端之间无不适地叠加共同ar内容。

3、通常，终端a与终端b之间的地图同步通过以下处理来实现：(1)从终端a向终端b发送图像数据，(2)在终端b的地图中的具有视场的关键帧中执行图像搜索，视场对于图像是共同的，以及(3)基于特征点对应关系估计地图中的位置并且确定变换坐标系。由于这种算法特性，通常对于终端“捕获共同的场景图像”用于图同步。

4、引用列表

5、专利文献

6、专利文献1：wo 2021/106388

技术实现思路

1、技术问题

2、然而，使用终端的用户不能访问地图，并且不知道地图中保留的图像是什么以及不知道是否可以确定地图同步的对应关系。因此，ar应用仅允许非直观的指令，例如，“将终端引导到类似位置”，这样的操作(对于其需要一些训练)对于用户来说有点困难，并且因此其可能干扰沉浸到ar内容中的感觉。换言之，用户通常地图初始化失败，并且可能不容易理解用户为何使地图初始化失败。

3、专利文献1公开了一种基于地图数据中保存的关键帧与查询图像之间的对应关系整合地图数据的系统。然而，专利文献1从多人相对于xr(ar、vr、mr等)的用户界面的角度来看未提及地图初始化问题。

4、鉴于上述情况，本公开的目的是提供使得能够以对用户更直观的方式来执行地图同步的信息处理装置、信息处理程序和信息处理方法。

5、问题的解决方案

6、根据本公开的实施方式的信息处理装置，包括：

7、地图生成单元，生成第一地图并且估计第一地图中的按照时序的自身位置，由此生成第一三维轨迹；

8、从属轨迹获取单元，获取通过估计在从属装置的地图生成单元中生成的第二地图中的按照时序的自身位置而生成的第二三维轨迹，从属装置是起到从属作用的另一信息处理装置；

9、观察轨迹生成单元，生成观察二维轨迹，观察二维轨迹是指示从属装置在通过对从属装置进行成像的相机而获得的捕获图像中的按照时序的位置的二维轨迹；以及

10、变换参数计算单元，基于第一三维轨迹、第二三维轨迹以及观察二维轨迹，来计算用于生成通过使第一地图与第二地图同步而获得的同步地图的变换参数。

11、在本实施方式中，将希望同步的从属装置成像为直观的同步操作。希望彼此同步的导向装置的操作是显著直观的。因而，用户可以自然地享受ar内容而不失去沉浸感。

12、变换参数计算单元

13、基于变换参数的候选值、第一三维轨迹和第二三维轨迹，估计从属装置的二维轨迹并且生成所估计的二维轨迹，以及

14、优化变换参数的候选值，使得所估计的二维轨迹与观察二维轨迹一致，由此计算变换参数。

15、在本实施方式中，利用该地图同步算法，可以通过对希望同步的从属装置进行成像来实现多个装置的地图同步。

16、变换参数计算单元

17、基于第一三维轨迹和第二三维轨迹，计算从属装置在第一地图中的按照时序的位置，并且

18、基于从属装置在第一地图中的所计算的按照时序的位置优化变换参数的候选值。

19、在本实施方式中，利用该地图同步算法，可以通过对希望同步的从属装置进行成像来实现多个装置的地图同步。

20、地图生成单元基于变换参数变换第一地图，由此生成同步地图。

21、信息处理装置还包括：

22、变换参数提供单元，将变换参数提供给从属装置，其中，

23、从属装置的地图生成单元基于变换参数变换第二地图，由此生成同步地图。

24、因而，每个装置可以基于使用同步坐标系作为参考的同步地图来生成ar对象。

25、信息处理装置还包括：

26、ar执行单元，基于同步地图生成ar对象，并且在显示装置上显示所生成的ar对象。

27、因而，ar对象可以在没有不适的情况下被显示在不同的装置上。

28、起到主要作用的信息处理装置的ar执行单元和从属装置的ar执行单元可以生成并显示共同ar内容的ar对象。

29、因而，当从另一位置观看共同ar内容时ar对象可以在没有不适的情况下被显示在不同的装置上。换言之，在从每个装置的位置观看位于特定地点中的共同ar内容时每个装置可以将ar对象显示为一个可见物，而没有位置矛盾(positional contradiction)。

30、信息处理装置还可以包括：

31、从属轨迹提供单元，当从属轨迹提供单元起到从属作用时，将第二三维轨迹提供给起到主要作用的另一信息处理装置。

32、信息处理装置还可以包括：

33、相机，其中，

34、自身位置可以包括相机的位置和姿态。

35、根据本公开的实施方式的信息处理方法包括：

36、生成第一地图并且估计在第一地图中的按照时序的自身位置，由此生成第一三维轨迹；

37、获取通过估计在从属装置的地图生成单元中生成的第二地图中的按照时序的自身位置而生成的第二三维轨迹，从属装置是起到从属作用的另一信息处理装置；

38、生成观察二维轨迹，观察二维轨迹是指示从属装置在通过对从属装置进行成像的相机而获得的捕获图像中的按照时序的位置的二维轨迹；以及

39、基于第一三维轨迹、第二三维轨迹以及观察二维轨迹，来计算用于生成通过使第一地图与第二地图同步而获得的同步地图的变换参数。

40、根据本公开的实施方式的信息处理程序，使信息处理装置的控制电路操作为：

41、地图生成单元，生成第一地图并且估计第一地图中的按照时序的自身位置，由此生成第一三维轨迹；

42、从属轨迹获取单元，获取通过估计在从属装置的地图生成单元中生成的第二地图中的按照时序的自身位置而生成的第二三维轨迹，从属装置是起到从属作用的另一信息处理装置；

43、观察轨迹生成单元，生成观察二维轨迹，观察二维轨迹是指示从属装置在通过对从属装置进行成像的相机而获得的捕获图像中的按照时序的位置的二维轨迹；以及

44、变换参数计算单元，基于第一三维轨迹、第二三维轨迹以及观察二维轨迹，来计算用于生成通过使第一地图与第二地图同步而获得的同步地图的变换参数。

技术特征：

1.一种信息处理装置，包括：

2.根据权利要求1所述的信息处理装置，其中，

3.根据权利要求2所述的信息处理装置，其中，

4.根据权利要求1所述的信息处理装置，其中，

5.根据权利要求1所述的信息处理装置，还包括：

6.根据权利要求1所述的信息处理装置，还包括：

7.根据权利要求6所述的信息处理装置，其中，

8.根据权利要求1所述的信息处理装置，还包括：

9.根据权利要求1所述的信息处理装置，还包括：

10.一种信息处理方法，包括：

11.一种信息处理程序，使信息处理装置的控制电路操作为：

技术总结[问题]为了以对于用户更直观的方式来执行地图同步。[方案]该信息处理装置具有：地图生成单元，用于生成第一地图并在第一地图上估计按照时序的主机位置，由此生成第一三维轨迹；从属轨迹获取单元，用于获取通过在从属设备的地图生成单元中生成的第二地图上估计按时顺的主机位置而生成的第二三维轨迹，从属设备是起到从属作用的另一信息处理装置；观察轨迹生成单元，用于生成观察二维轨迹，观察二维轨迹指示在通过对从属设备进行成像的相机获得的捕获图像中的从属装置的按时顺的位置；以及转换参数计算单元，用于根据第一三维轨迹、第二三维轨迹和观察二维轨迹来计算生成同步地图的转换参数，其中，第一地图和第二地图同步。技术研发人员：金子真也,柏谷辰起,小野友己受保护的技术使用者：索尼集团公司技术研发日：技术公布日：2024/7/29