用于运行在车辆中具有一个或多个数据眼镜的显示系统的方法和装置与流程

本发明涉及车辆或其他移动机构中的显示系统，其中，借助于或者结合车辆固定地安装的辅助系统运行一个或多个数据眼镜。

背景技术：

1、增强现实数据眼镜——也称为头戴式显示器——是已知的，其借助于显示装置可以在数据眼镜的佩戴者的视野中在一个或两个显示面上显示成像。显示面可以相应于反射面，其将成像指向数据眼镜的佩戴者的眼镜中。数据眼镜的观察孔是透明的，从而通过数据眼镜的显示面也可以通过惯常的方式感知真实的环境。显示面在观察孔中如此设置，使得要显示的信息、例如文字、符号、图形、视频显示和诸如此类可以与环境的感知重叠地被显示。

2、信息通常可以以接触模拟的方式显示给数据眼镜的佩戴者，亦即如此显示，使得要显示的信息作为一个或多个显示对象与在真实的环境中确定的所分配的环境对象重叠或者朝向该环境对象，或者要显示的显示对象沿数据眼镜或其佩戴者的确定的方向/方位被显示。此外，可以如此显示以接触模拟方式要显示的显示对象，使得要显示的显示对象相对于在真实环境中的环境对象透视上正确地显现，亦即产生错觉，即，给真实环境的环境对象实际上已补充视觉显示对象的附加的特征。

3、为了可以相应地以接触模拟方式在数据眼镜的显示面上显示显示对象，然而必要的是，知道环境对象在参考环境中的位置和用户的视向。用户的视向在佩戴数据眼镜的情况下固定分配给其眼镜姿态、亦即数据眼镜的对应于六个自由度(6dof，degrees offreedom)的3d位置以及3d方向。

4、数据眼镜通常具有眼镜运动传感装置和运算机构，例如以微处理器的形式。借助于高频率检测的图像运动信息、特别是3d形式的加速度信息和/或3d角速度信息可以通过对相对运动增量的积分来跟踪数据眼镜在车辆内部空间中的当前眼镜姿态，以便获得眼镜姿态说明。在此，首先相对于世界环境检测当前眼镜姿态。

5、在通过对眼镜运动信息的积分求取眼镜姿态说明的情况下，通常出现积分误差，该积分误差在没有校正的情况下导致如此求取的眼镜姿态说明与实际的当前眼镜姿态的越来越大的偏差。

6、为了求取相对于车辆坐标系的当前眼镜姿态，可以将在车辆中例如通过辅助系统检测的运动信息传送给数据眼镜，从而通过减法可以确定相对于或参照车辆的眼镜运动，该眼镜运动通过上述积分方法以本身已知的方式换算为参照车辆坐标系的绝对眼镜姿态。

7、特别是在数据眼镜在车辆中应用的情况下，为了确定关于数据眼镜的眼镜姿态的眼镜姿态说明可以在数据眼镜中应用辅助系统的姿态识别单元(外向内跟踪方法)。该姿态求取机构通常是基于相机的。为此，在车辆中设有相机，利用相机记录车辆的内部空间且位于其中的由车辆乘客佩戴的数据眼镜可被检测。姿态求取机构那么分析处理所记录的相机图像且可以识别数据眼镜且通过视觉跟踪的本身已知的方法确定所识别的数据眼镜的姿态。在该所谓的外向内跟踪系统中，确定与车辆有关的从眼镜外部求取的绝对眼镜姿态说明、亦即参照车辆固定的车辆坐标系的眼镜姿态说明。

8、通过将已知的从眼镜外部求取的绝对眼镜姿态说明传送给数据眼镜，可以通过传感器融合的方法将数据眼镜的绝对眼镜姿态说明(从眼镜外部求取的眼镜姿态说明)与通过设置在数据眼镜中的惯性传感装置检测到的眼镜运动信息相组合，以便补偿积分误差以及实时获得低误差的当前绝对眼镜姿态说明。这那么能实现显示对象参照车辆固定的坐标系在数据眼镜中的以接触模拟方式的显示。

9、然而困难在于，在多个位于车辆内部空间中的数据眼镜的情况下进行在姿态求取机构中分别对于数据眼镜检测的绝对眼镜姿态分配给与姿态求取机构通过相应的通信信道连接的数据眼镜。亦即，虽然在姿态求取机构中存在多个数据眼镜的绝对的眼镜姿态说明，然而数据眼镜仅仅通过通信信道与姿态求取机构连接，而通信信道无法分配给数据眼镜的确定的位置或确定的数据眼镜。

技术实现思路

1、因此任务在于，在显示系统的运行的开始时进行分配，以此可以将在姿态求取机构中确定的从眼镜外部求取的绝对眼镜姿态说明分别分配给在姿态求取机构与所涉及的数据眼镜之间确定的通信信道。这那么能实现将从眼镜外部求取的绝对眼镜姿态说明有目的地传送给相应的数据眼镜。

2、该任务通过按照权利要求1的用于在车辆中利用辅助系统的姿态求取机构和多个数据眼镜运行显示系统的方法以及按照并列设置的权利要求的显示系统和用于这样的显示系统的辅助系统解决。

3、另外的设计方案在从属权利要求中提出。

4、按照第一方面设有用于将从眼镜外部检测到的绝对眼镜姿态说明分配给车辆中的多个数据眼镜之一的方法，包括如下步骤：

5、-对于多个数据眼镜，分别将参照车辆坐标系的从眼镜外部检测到的眼镜姿态说明的时间曲线的组提供给数据眼镜中的至少一个数据眼镜；

6、-在至少一个数据眼镜中，求取眼镜运动信息，其中，眼镜运动信息说明所述至少一个数据眼镜的眼镜姿态参照车辆坐标系的递增的变化的时间曲线；

7、-在所述至少一个数据眼镜中，实施在从眼镜外部检测到的眼镜姿态说明的曲线的组中的每个组与眼镜运动信息之间的可信度测试，以便分别获得误差度量，其中，误差度量说明：从眼镜外部检测到的眼镜姿态说明的时间曲线的所涉及的组在何种程度上与眼镜运动信息的时间曲线一致；

8、-在至少一个数据眼镜中，根据误差度量在至少一个数据眼镜中选择从眼镜外部检测到的眼镜姿态说明的曲线的组之一；以及

9、-通过至少一个数据眼镜，向眼镜外部的辅助系统用信号表示关于从眼镜外部检测到的眼镜姿态说明的曲线的所选组的说明。

10、数据眼镜具有眼镜运动传感装置(imu：惯性测量单元)，以便求取眼镜运动信息。眼镜运动信息高频率地可供使用且表示在空间中相对于数据眼镜的运动的相对信息，亦即以关于所考虑的一个或多个空间方向的角速度和/或角加速度的形式。通过积分方法，眼镜运动信息可以确定数据眼镜的关于其位置和方位(参照环境坐标系)的运动轨迹、亦即其眼镜姿态的运动轨迹。

11、眼镜运动信息——其说明至少一个数据眼镜的眼镜姿态的递增的变化的时间曲线——的求取可以根据车辆运动信息实施，车辆运动信息说明车辆在环境中的姿态的递增的变化的时间曲线。

12、为此，附加地可以将车辆运动信息从相应的车辆运动传感装置传送给数据眼镜且将其用于消除在环境中车辆运动的影响，从而通过积分方法可以获得参照车辆坐标系的眼镜姿态说明。车辆运动信息高频率地可供使用且表示关于数据眼镜在空间中的运动的相对信息，亦即以相对于一个或多个所考虑的空间方向的角速度和/或角加速度的形式。

13、由于出现的积分误差在正常运行中附加地利用通过外部方法从眼镜外部求取的绝对眼镜姿态说明，以便降低通过适合的传感器融合方法在数据眼镜中通过积分方法求取的眼镜姿态说明的姿态误差且如此总是在数据眼镜中提供经校正的准确的眼镜姿态说明。

14、经常地，为了确定从眼镜外部求取的绝对眼镜姿态说明应用相机，该相机朝向内部空间中且借助于模式识别方法识别在相机图像中描绘的数据眼镜且如此可以(借助于所谓的视觉跟踪方法)确定在车辆内部空间中的其绝对眼镜姿态。

15、相应地可以规定，对于多个数据眼镜提供从眼镜外部检测到的眼镜姿态说明的时间曲线包括：检测车辆内部空间的相机图像；且借助于视觉跟踪方法识别相机图像中的数据眼镜。借助于视频跟踪方法可以分析如此在相机图像中识别的数据眼镜，且可以对于所识别的数据眼镜中的每个确定眼镜姿态说明。通过分析处理时间上连续的相机图像可以确定关于相应的所识别的数据眼镜的眼镜姿态参照车辆坐标系的眼镜姿态说明的时间曲线的组。

16、借助于传感器数据融合的方法，将从眼镜外部求取的绝对眼镜姿态说明——其通过通信信道传送给数据眼镜——与在眼镜内部通过积分方法求取的眼镜姿态说明组合且如此极大地降低积分误差，该积分误差从用于眼镜运动信息的积分方法产生。通信信道例如可以在辅助系统与数据眼镜之间进行wifi连接的情况下通过相应的数据眼镜的ip地址确定，从而通过利用相应的ip地址进行寻址可以与确定的数据眼镜交流。ip地址那么在多个数据眼镜中用于识别确定的数据眼镜。

17、原则上，上述方法基于具有车辆固定的辅助系统的显示系统，其具有朝向车辆内部空间中的相机和姿态求取机构，姿态求取机构分析处理由相机记录的相机图像，以便在其上识别数据眼镜以及求取其参照车辆固定的坐标系的相应的绝对眼镜姿态说明。如果由此识别到数据眼镜，那么参照车辆固定的坐标系的绝对眼镜姿态说明可以设有时间戳且通过通信信道可传送给连接的数据眼镜。

18、在车辆的内部空间中多个数据眼镜的情况下存在的问题在于，在相机图像中识别到多个数据眼镜，且借助于视觉跟踪方法相应地求取多个眼镜外部的绝对的眼镜姿态说明。通过绝对的眼镜姿态说明的位置可将如此所识别的数据眼镜明确分配给车辆中的座位，从而在辅助系统中数据眼镜是明确识别的。然而，数据眼镜仅仅通过通信通道与辅助系统连接，通信通道是与位置无关的且因此仅仅可以与多个数据眼镜建立通信连接，而辅助系统不会已知：通信信道中的哪个通向数据眼镜中的哪个。

19、那么必要的是，在调试的开始时借助于初始化方法确定：从眼镜外部确定的绝对眼镜姿态说明中的哪个应传送给数据眼镜中的哪个，以便在彼处通过传感器融合提供改善的眼镜姿态说明。为此，上述方法提出：在初始化阶段中将所有通过姿态求取机构检测的绝对眼镜姿态说明传送给数据眼镜中的每个。为此，对于数据眼镜中的每个传送多个时间上连续的眼镜姿态说明的时间曲线的所分配的组。

20、在数据眼镜中运行如下方法，其中，将设有时间戳的眼镜外部的绝对眼镜姿态说明的每个接收到的组相对于眼镜内部的存在的从眼镜运动信息导出的眼镜姿态说明的时间曲线进行可信度测试。

21、通过可信度测试可以对于观测时段确定在从眼镜外部检测到的眼镜姿态说明的曲线的相应组与通过积分方法从眼镜运动信息在眼镜内部求取的眼镜姿态说明的时间曲线之间的曲线误差的误差度量。由于对眼镜运动信息应用积分方法，分别基于在确定的时刻已知的从眼镜外部求取的绝对眼镜姿态说明，在求取运动轨迹时对于各组中的每个组产生误差度量。

22、误差度量可以在确定的时段上确定或积累，例如通过积分。从眼镜外部检测到的眼镜姿态说明的曲线的这样的组——对此产生最小的误差、即误差度量的最小的值——将数据眼镜确定为如下这样的数据眼镜，所基于的从眼镜外部检测到的眼镜姿态说明的该组可以分配给所述数据眼镜。

23、现在由数据眼镜中的每个分别通过相应的通信信道向辅助系统告知或用信号表示如下信息(例如分配给数据眼镜的ip地址)，该信息说明：通过相应的通信信道可以与这样的数据眼镜交流，该数据眼镜分配给眼镜外部的绝对眼镜姿态说明的所识别的组。例如通过所涉及的数据眼镜的通信信道告知辅助系统关于如下的说明，即，从眼镜外部确定的眼镜姿态说明的时间曲线的上述所传送的组中的哪个分配给所涉及的数据眼镜。

24、初始化阶段随后被结束，且因此给数据眼镜中的每个仅仅仍传送如下这样的从眼镜外部求取的绝对眼镜姿态说明，其分配给相应的数据眼镜。由此可以在多个所识别的数据眼镜的情况下极大地减少要传输的数据量。

25、为了可信度测试、亦即求取在根据眼镜运动信息在眼镜内部求取的眼镜姿态说明的时间曲线与眼镜外部的绝对眼镜姿态说明的组之间的一致性或误差，例如可以借助于卡尔曼滤波器进行。在校正步骤中的新息(innovation)可用于确定：计算的卡尔曼滤波器对于眼镜外部的绝对眼镜姿态说明的哪组具有最小的误差。分配给绝对眼镜姿态说明的所产生的组的数据眼镜的信息随后传送给辅助系统。新息说明：通过眼镜内部求取的眼镜姿态说明预测的值在确定时刻多接近眼镜外部的绝对眼镜姿态说明。

26、备选地，可以对于每个组从眼镜外部求取的绝对眼镜姿态说明在时间上求导出方位，从而获得角速度的时间曲线。角速度的该时间曲线现在可以与来自特别是通过车辆运动信息校正的眼镜运动信息的角速度的同时检测到的曲线进行比较。对于所考虑的时间间隔，现在可以通过曲线的比较计算误差度量、例如通过曲线的差值的时间上的积分来计算，其中，最小的误差度量说明在从眼镜外部求取的绝对眼镜姿态说明的曲线的组与眼镜运动信息的曲线之间的一致性的程度。

27、按照另一方面设有用于运行具有多个数据眼镜的显示系统的车辆固定的辅助系统的方法，包括如下步骤：

28、-对于多个数据眼镜，分别将参照车辆坐标系的从眼镜外部检测到的眼镜姿态说明的时间曲线的组提供给数据眼镜中的至少一个数据眼镜；

29、-通过确定的通信信道接收关于从眼镜外部检测到的眼镜姿态说明的曲线的所选组的说明；以及

30、-在用信号表示关于从眼镜外部检测到的眼镜姿态说明的曲线的所选组的说明之后，通过确定的通信信道仅仅将分配给由所选组确定的数据眼镜的眼镜姿态说明传送给相应的数据眼镜。

31、按照另一方面设有显示系统，具有一个辅助系统和多个数据眼镜，包括：

32、-辅助系统，其构成为，对于多个数据眼镜，分别将参照车辆坐标系的从眼镜外部检测到的眼镜姿态说明的时间曲线的组分别提供给数据眼镜中的至少一个数据眼镜；以及

33、-数据眼镜中的至少一个数据眼镜，其构成为，

34、o求取眼镜运动信息的时间曲线，其中，眼镜运动信息说明参照车辆坐标系至少一个数据眼镜的眼镜姿态的递增的变化的时间曲线；

35、o实施在从眼镜外部检测到的眼镜姿态说明的曲线的组中的每个组与眼镜运动信息之间的可信度测试，以便分别获得误差度量，其中，误差度量说明：从眼镜外部检测到的眼镜姿态说明的时间曲线的所涉及的组在何种程度上与眼镜运动信息的时间曲线一致；

36、o在至少一个数据眼镜中，根据误差度量选择从眼镜外部检测到的眼镜姿态说明的曲线的组之一；以及

37、o向辅助系统用信号表示关于从眼镜外部检测到的眼镜姿态说明的曲线的所选组的说明。

38、按照另一方面设有辅助系统，其中，辅助系统构成为，

39、-对于多个数据眼镜，将参照车辆坐标系的从眼镜外部检测到的眼镜姿态说明的时间曲线的组提供给数据眼镜中的至少一个数据眼镜；以及

40、-通过确定的通信信道接收关于从眼镜外部检测到的眼镜姿态说明的曲线的所选组的说明；以及

41、-在用信号表示之后，通过确定的通信信道仅将分配给由所选组确定的数据眼镜的眼镜姿态说明传送给相应的数据眼镜。