一种增强现实系统虚实融合标定方法及装置与流程

1.本发明涉及增强现实技术领域，尤其涉及一种基于离线和在线标定的增强现实系统虚实融合标定方法及装置。


背景技术：

2.虚实融合技术是增强现实系统最重要的、具有挑战的关键技术，难点在于虚实融合技术涉及到适应每个人的人眼光学特性，而人眼的光学特性因人而异。必须根据每个用户的眼睛位置、瞳孔间距和不断变化的眼球运动进行校准。
3.目前的标定方法主要是让使用者直接观察特征点的虚实融合效果，通过对记录的虚实融合好的成对的特征点坐标解算建立现实世界和虚拟世界坐标转换关系。
4.然而，这种手动过程本质上有几个主要缺点，包括无法处理头部和头戴式设备相对运动导致的漂移，需要重新校准，以及耗时的初始校准。


技术实现要素：

5.本发明所要解决的技术问题是针对现有技术的不足，提供一种基于离线和在线标定的增强现实系统虚实融合标定方法。
6.本发明解决上述技术问题的技术方案如下：
7.一方面，本发明提供一种增强现实系统虚实融合标定方法，所述方法包括：
8.标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
9.标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
10.利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
11.根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
12.利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。
13.进一步地，所述标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系，具体包括：
14.根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；
15.调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；
16.在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标
坐标系的转换关系；
17.利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。
18.进一步地，所述利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系，具体包括：
19.根据以下公式计算不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：
[0020][0021][0022][0023][0024]
式中，k表示不同姿态，表示姿态k下世界相机和人眼跟踪相机的转换关系，和分别表示姿态k下世界相机坐标系和第二标定靶标坐标系的转换关系旋转矩阵和平移向量，和分别表示姿态k下人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系旋转矩阵和平移向量，r
l
→
r
和t
l
→
r
分别表示第一标定靶标和第二标定靶标的转换关系旋转矩阵和平移向量；
[0025]
将不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系进行平均，得到世界相机和人眼跟踪相机的转换关系，从而得到世界相机和人眼跟踪相机的转换关系旋转矩阵和平移向量。
[0026]
进一步地，所述标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系，具体包括：
[0027]
在所述显示屏上投影第一标定靶标；
[0028]
调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；
[0029]
调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；
[0030]
利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；
[0031]
利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；
[0032]
利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定
算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；
[0033]
根据所述第一坐标系关系和所述第二坐标系关系，获取不同相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；
[0034]
根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。
[0035]
进一步地，所述根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系，具体包括：
[0036]
根据以下公式，计算不同相对位置情况下所述世界相机坐标系和所述显示屏坐标系的转换关系：
[0037][0038][0039][0040]
式中，i为不同相对位置情况，表示相对位置情况i下世界相机和显示屏的转换关系，和分别表示相对位置情况i下第一标定靶标坐标系和世界相机坐标系的第三坐标系关系旋转矩阵和平移向量，和分别表示相对位置情况i下第一标定靶标坐标系和显示屏坐标系的第四坐标系关系旋转矩阵和平移向量；
[0041]
将所述世界相机坐标系和所述显示屏坐标系在不同相对位置得到的转换关系平均，得到所述世界相机坐标系和所述显示屏坐标系的转换关系，从而得到所述世界相机和所述显示屏转换关系旋转矩阵和平移向量。
[0042]
进一步地，所述利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标，具体包括：
[0043]
利用所述显示屏投影第一标定靶标或第二标定靶标，获得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；
[0044]
利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标；
[0045]
利用所述眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，估算所述人眼跟踪相机中眼球球体的中心坐标。
[0046]
进一步地，所述利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，具体包括：
[0047]
利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
[0048]
利用所述第三转换关系，将显示屏坐标系下的特征点坐标转换到人眼跟踪相机坐标系下，得到人眼跟踪相机坐标系下的特征点；
[0049]
利用人眼跟踪相机光学中心、显示屏上的特征点和人眼跟踪相机的特征点在人眼跟踪相机坐标系下的三维坐标，求出三个点所在的平面方程，从而得到所述第二数量n的对应特征点的n个平面方程；
[0050]
利用两对特征点形成的两个平面方程的法矢量的叉积得到交线的方向矢量，n对特征点形成n
‑
1个交线的方向矢量；
[0051]
对所述n
‑
1个交线的方向矢量归一化后取平均值，得到最终交线的方向矢量；
[0052]
基于所述最终交线的方向矢量和所述人眼跟踪相机光学中心的坐标，以n对特征点形成的夹角差的和的目标函数最小，对人眼跟踪相机光学中心和角膜球体中心坐标之间的距离和角膜球体半径进行优化，从而得到角膜球体的中心坐标。
[0053]
进一步地，所述基于所述最终交线的方向矢量和所述人眼跟踪相机光学中心的坐标，以n对特征点形成的夹角差的和的目标函数最小，对人眼跟踪相机光学中心和角膜球体中心坐标之间的距离和角膜球体半径进行优化，具体包括：
[0054]
利用所述最终交线的方向矢量、所述人眼跟踪相机光学中心t的坐标，以及光学中心t和角膜球体中心c之间的距离d
tc
，得到角膜球体中心c的坐标；
[0055]
以所述角膜球体中心c的坐标为圆心，以角膜球体半径r
c
为半径在tp’i
p
i
c平面内作圆，其中，p
i
表示显示屏上的特征点，p’i
表示人眼跟踪相机的特征点；
[0056]
建立n对特征点形成的夹角差δβ
i
的和的目标函数：
[0057][0058][0059]
式中，表示直线cp”i
和直线p”i
p’i
之间的夹角，表示直线cp”i
和直线p”i
p
i
之间的夹角，其中p”i
为圆与直线tp’i
的交点；
[0060]
以error最小为目标，对距离d
tc
和角膜球体半径r
c
进行优化，得到最优d
tc
和r
c
。
[0061]
进一步地，所述根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标，具体包括：
[0062]
利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
[0063]
利用所述第三转换关系，将所述人眼跟踪相机中眼球球体的中心坐标转换到显示屏坐标系下，得到所述显示屏坐标系中眼球球体的中心坐标。
[0064]
进一步地，所述利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系，具体包括：
[0065]
根据所述第二转换关系，获取世界相机坐标系中某个三维坐标点在显示屏坐标系中的坐标点；
[0066]
求取所述三维坐标点在显示屏坐标系中的坐标点和所述显示屏坐标系中眼球球体的中心坐标的连线与所述显示屏的交点坐标，从而得到真实世界三维坐标和显示屏二维坐标的转换关系。
[0067]
另一方面，本发明提供一种增强现实系统虚实融合标定装置，所述装置包括：
[0068]
第一标定模块，用于标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
[0069]
第二标定模块，用于标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
[0070]
第三标定模块，用于利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
[0071]
第一计算模块，用于根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
[0072]
第一转换模块，用于利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。
[0073]
进一步地，所述第一标定模块包括：
[0074]
靶标确定模块，用于根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；
[0075]
第一图像获取模块，用于调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；
[0076]
第四标定模块，用于在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标坐标系的转换关系；
[0077]
第二计算模块，用于利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。
[0078]
进一步地，所述第二标定模块包括：
[0079]
第二图像获取模块，用于在所述显示屏上投影第一标定靶标；调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；
[0080]
第五标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；
[0081]
第六标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；
[0082]
第七标定模块，用于利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；
[0083]
第三计算模块，用于根据所述第一坐标系关系和所述第二坐标系关系，获取不同
相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；
[0084]
第二转换模块，用于根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。
[0085]
进一步地，所述第三标定模块包括：
[0086]
第三图像获取模块，用于利用所述显示屏投影第一标定靶标或第二标定靶标，获得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；
[0087]
第四计算模块，用于利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标；
[0088]
第五计算模块，用于利用所述眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，估算所述人眼跟踪相机中眼球球体的中心坐标。
[0089]
进一步地，所述第一计算模块包括：
[0090]
第三转换模块，用于利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
[0091]
第四转换模块，用于利用所述第三转换关系，将所述人眼跟踪相机中眼球球体的中心坐标转换到显示屏坐标系下，得到所述显示屏坐标系中眼球球体的中心坐标。
[0092]
进一步地，所述第一转换模块包括：
[0093]
第五转换模块，用于根据所述第二转换关系，获取世界相机坐标系中某个三维坐标点在显示屏坐标系中的坐标点；
[0094]
第六计算模块，用于求取所述三维坐标点在显示屏坐标系中的坐标点和所述显示屏坐标系中眼球球体的中心坐标的连线与所述显示屏的交点坐标，从而得到真实世界三维坐标和显示屏二维坐标的转换关系。
[0095]
相比于现有技术，本发明具有以下有益技术效果：
[0096]
本发明通过离线式标定方法确定世界相机和人眼跟踪相机转换关系以及世界相机和显示屏转换关系，通过在线方式标定眼球中心在人眼跟踪相机中位置，该标定方法能够解决不同人、不同佩戴姿态需要再标定的问题，提高了虚实融合精度。
附图说明
[0097]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0098]
图1为本发明实施例所述的一种增强现实系统虚实融合标定方法的流程示意图；
[0099]
图2是本发明实施例所述的一种增强现实系统虚实融合标定方法中光学透射式增强现实眼镜组成示意图；
[0100]
图3是本发明实施例所述的一种增强现实系统虚实融合标定方法中光学透射式增强现实系统各个坐标系示意图；
[0101]
图4是本发明实施例所述的一种增强现实系统虚实融合标定方法中基于3d标定组
件对世界相机和人眼跟踪相机转换关系离线标定方法示意图；
[0102]
图5是本发明实施例所述的一种增强现实系统虚实融合标定方法中利用标定组件和标定相机对世界相机和显示屏转换关系进行离线标定示意图；
[0103]
图6是本发明实施例所述的一种增强现实系统虚实融合标定方法中利用显示屏投影标定图像，人眼跟踪相机通过获取角膜反射图像，实现眼球中心坐标在线标定组成示意图；
[0104]
图7是人眼眼球模型及眼球中心坐标在线标定原理示意图；
[0105]
图8为本发明另一实施例所述的一种增强现实系统虚实融合标定装置的模块示意图。
具体实施方式
[0106]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0107]
如前所述，现有技术的标定方法存在无法处理头部和头戴式设备相对运动导致的漂移，需要重新校准的缺点。
[0108]
为此，本发明实施例提供了一种增强现实系统虚实融合标定方法。如图1所示，该方法包括以下步骤：
[0109]
步骤1，标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
[0110]
如图2光学透射式增强现实眼镜组成示意图所示，增强现实眼镜包括显示屏、世界相机和人眼跟踪相机等部分，其中显示屏用来显示虚拟信息，世界相机捕捉真实世界的图像，人眼跟踪相机用来在线标定人眼和光学透射式增强现实眼镜之间的位置关系，即眼球中心坐标和增强现实眼镜的显示屏之间的位置关系。
[0111]
如图3光学透射式增强现实系统各个坐标系示意图所示，光学透射式增强现实系统包括世界相机坐标系w、人眼跟踪相机坐标系t、显示屏坐标系s和眼球坐标系e，其中世界相机坐标系w、人眼跟踪相机坐标系t以及显示屏坐标系s之间关系保持不变，可以离线标定，眼球坐标系e和光学透射式增强现实眼镜之间的位置关系随不同的人、不同时间而改变，需要在线标定。
[0112]
该步骤具体包括：
[0113]
步骤11：根据光学透射式头戴增强现实装置中世界相机和人眼跟踪相机不同的光轴方向，设计并通过3d打印制作标定组件，包含两个方向不同、三维空间位置关系已知的第一标定靶标和第二标定靶标；
[0114]
如图4所示，3d标定组件包括相互平行、空间位置关系已知的3d打印件以及棋盘格l和棋盘格r，棋盘格l和棋盘格r即第一标定靶标和第二标定靶标，棋盘格l和棋盘格r转换关系已知：r
l
→
r
、t
l
→
r
。
[0115]
步骤12：人眼跟踪相机对标定组件棋盘格l成像，世界相机对标定组件棋盘格r成像，摆放眼镜在3d标定组件中的不同位置，获取不同位置的图像；
[0116]
步骤13：利用matlab工具箱中的标定算法求取世界相机和人眼跟踪相机转换关
系；
[0117]
具体步骤包括：
[0118]
步骤13a：利用人眼跟踪相机获取的多幅不同姿态标定组件棋盘格l的图像，求取人眼跟踪相机的内部参数和外部参数，外部参数为不同姿态下人眼跟踪相机坐标系和标定组件棋盘格l坐标系转换关系旋转矩阵k表示不同姿态；
[0119]
步骤13b：利用世界相机获取的多幅不同姿态标定组件棋盘格r的图像，求取世界相机的内部参数和外部参数，外部参数为不同姿态下世界相机坐标系和标定组件棋盘格r坐标系转换关系旋转矩阵平移向量
[0120]
步骤13c：利用步骤13a和步骤13b的结果以及棋盘格l和棋盘格r转换关系，求取世界相机坐标系和人眼跟踪相机坐标系转换关系旋转矩阵平移向量
[0121]
齐次坐标表达为：
[0122][0123][0124][0125][0126]
转换关系计算公式为：
[0127][0128]
将眼镜在3d标定组件中的不同位置得到的转换关系平均，得到世界相机和人眼跟踪相机转换关系：
[0129][0130]
从而得到世界相机和人眼跟踪相机转换关系旋转矩阵r
t
→
w
、平移向量t
t
→
w
。
[0131]
步骤2，标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系；
[0132]
如图5基于标定组件和标定相机对世界相机和显示屏转换关系进行离线标定示意图所示，标定相机和眼镜没有固定位置关系。
[0133]
该步骤具体包括：
[0134]
步骤21：在光学透射式头戴增强现实装置显示屏上显示包含特征点的图像，如棋盘格图像；
[0135]
步骤22：调节光学透射式头戴增强现实装置和标定组件相对位置，头戴增强现实装置中世界相机对标定组件棋盘格l成像；
[0136]
步骤23：在步骤21和步骤22基础上，调节标定相机与头戴装置、标定组件棋盘格l的相对位置，使标定相机同时获取标定组件棋盘格l和头戴装置中显示屏的棋盘格图像；
[0137]
步骤24：重复步骤22和步骤23，获取标定相机、头戴装置和标定组件棋盘格l在不同相对位置情况下的世界相机中棋盘格l图像以及标定相机中棋盘格l图像和显示屏中的棋盘格图像；
[0138]
步骤25：利用不同相对位置情况下标定相机获取的棋盘格l图像，根据matlab工具箱中的标定算法，求取不同相对位置情况下棋盘格l坐标系和标定相机坐标系关系其中i表示不同相同位置情况，1<i<n，n为自然数；
[0139]
步骤26：利用不同相对位置情况下标定相机获取的显示屏中的棋盘格图像，根据matlab工具箱中的标定算法，求取不同相对位置情况下显示屏坐标系和标定相机坐标系关系
[0140]
步骤27：利用不同相对位置情况下世界相机获取的棋盘格l图像，根据matlab工具箱中标定算法，求取不同相对位置情况下棋盘格l坐标系和世界相机坐标系关系
[0141]
步骤28：利用步骤25
‑
步骤26得到的不同相对位置情况下标定相机坐标系和棋盘格l坐标系相互关系、标定相机坐标系和显示屏坐标系相互关系，获取不同相对位置情况下棋盘格l坐标系和显示屏坐标系相互关系
[0142]
齐次坐标表达为：
[0143][0144][0145][0146]
转换关系计算公式为：
[0147]
步骤29：利用步骤27
‑
步骤28得到的不同相对位置情况下棋盘格l坐标系和世界相机坐标系关系、棋盘格l坐标系和显示屏坐标系相互关系，获取不同相对位置情况下世界相机坐标系和显示屏坐标系相互关系
[0148]
齐次坐标表达为：
[0149][0150][0151][0152]
转换关系计算公式为：
[0153][0154]
将世界相机坐标系、显示屏坐标系在不同位置得到的转换关系平均，得到世界相机和显示屏转换关系：
[0155][0156]
从而得到世界相机和显示屏转换关系旋转矩阵r
w
→
s
、平移向量t
w
→
s
。
[0157]
步骤3，利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
[0158]
如图7所示，人眼眼球模型由眼球球体和角膜球体两个相交球体组成，眼球球体的中心为e点，角膜球体的中心为c点，当人眼旋转时，ec连线的方向(人眼视线方向)发生改变。图7所示为眼球在某一个旋转位置时显示屏特征点和人眼跟踪相机采集角膜反射图像中的特征点对应关系，其中p
i
、p
j
为显示屏上特征点，p’i
、p’j
为人眼跟踪相机图像上特征点，p”i
、p”j
为人眼角膜上反射点。
[0159]
人眼跟踪相机光学中心t、角膜球体中心c和显示屏上特征点p
i
、人眼跟踪相机图像上特征点p’i
、人眼角膜上反射点p”i
为同一个平面上的点，而人眼跟踪相机光学中心t、角膜球体中心c和显示屏上特征点p
j
、人眼跟踪相机图像上特征点p’j
、人眼角膜上反射点p”j
为另一个平面上的点，n个匹配的特征点形成n个平面，n个平面的交线为人眼跟踪相机光学中心t和角膜球体中心c的连线。
[0160]
该步骤具体包括：
[0161]
步骤31：利用显示屏投影标定图像，人眼跟踪相机采集眼球m个不同旋转位置的角膜反射图像；
[0162]
步骤32：利用n个匹配的显示屏特征点和人眼跟踪相机图像特征点对应关系，估算眼球在m个不同旋转位置的角膜球体的中心坐标和半径，具体包括以下步骤：
[0163]
步骤32a：利用公式(2)得到的转换关系r
t
→
w
、t
t
→
w
，公式(5)得到的转换关系r
w
→
s
、t
w
→
s
，求取显示屏坐标系和人眼跟踪相机坐标系转换关系：
[0164]
t
s
→
t
＝[t
t
→
w
t
w
→
s
]
‑1ꢀꢀ
(6)；
[0165]
步骤32b：利用下述公式将显示屏坐标系下的特征点坐标转换到人眼跟踪相机坐标系下：
[0166]
p
t
＝t
s
→
t
p
s
ꢀꢀ
(7)
[0167]
式中，p
t
表示人眼跟踪相机坐标系下的特征点坐标，p
s
表示显示屏坐标系下的特征点坐标；
[0168]
步骤32c：利用人眼跟踪相机光学中心t(0，0，0)、显示屏上特征点p
i
和人眼跟踪相机图像上特征点p’i
在同一个平面上的三个点在人眼跟踪相机坐标系下的三维坐标求出其平面方程a
i
x b
i
y c
i
z d
i
＝0，以此原理求出n个对应特征点的n个平面方程；
[0169]
步骤32d：利用两对特征点形成的两个平面方程a
i
x b
i
y c
i
z d
i
＝0和a
j
x b
j
y c
j
z d
j
＝0的法矢量{a
i
，b
i
，c
i
}和{a
j
，b
j
，c
j
}的叉积得到交线的方向矢量{a1，b1，c1}为：
[0170]
{a1，b1，c1}＝{a
i
，b
i
，c
i
}
×
{a
j
，b
j
，c
j
}
ꢀꢀ
(8)，
[0171]
利用所有n对特征点形成{a1，b1，c1}、{a2，b2，c2}、
…
{a
n
‑1，b
n
‑1，c
n
‑1}n
‑
1个交线的方
向矢量；
[0172]
步骤32e：n
‑
1个直线的方向矢量应该一致，对其归一化后取平均值，归一化公式为：
[0173]
{a1，b1，c1}＝{1，b1/a1，c1/a1}，
[0174]
{a
n
‑1，b
n
‑1，c
n
‑1}
→
{1，b
n
‑1/a
n
‑1，c
n
‑1/a
n
‑1}
ꢀꢀ
(9)，
[0175]
归一化后各个方向矢量取平均值，得到交线的方向矢量：
[0176][0177]
步骤32f：n个面形成的交线为过人眼跟踪相机光学中心t的直线，对人眼跟踪相机光学中心t和角膜球体中心c之间距离d
tc
和角膜球体半径r
c
进行优化。
[0178]
具体通过以下过程实现优化：
[0179]
利用上述得到的交线的方向矢量{a，b，c}、光学中心t的坐标(0，0，0)、tc之间距离d
tc
，得到c点的坐标；
[0180]
以c点坐标为圆心，以角膜球体半径r
c
为半径在tp’i
p
i
c平面内作圆；
[0181]
求圆与直线tp’i
的交点p”i
；
[0182]
求直线cp”i
和直线p”i
p’i
、直线cp”i
和直线p”i
p
i
之间的夹角和的差的差
[0183]
求n对特征点形成的夹角差的和：
[0184][0185]
以目标函数error最小，对距离d
tc
和角膜球体半径r
c
两个变量进行优化，得到最优d
tc
和r
c
。人体角膜半径r
c
的典型值为7.8mm，优化时r
c
的取值范围限定在7.0mm
‑
8.6mm。
[0186]
步骤33：利用眼球在m个(至少4个)不同旋转位置的角膜球体的中心坐标估算人眼眼球球体的中心坐标。
[0187]
具体包括以下步骤：
[0188]
步骤33a：取眼球在4个不同旋转位置的角膜球体的中心坐标
[0189]
则四个点满足方程：
[0190][0191]
两两相减得到方程：
[0192][0193]
其中：
[0194][0195][0196][0197][0198]
对应的系数行列式为：
[0199][0200][0201][0202][0203]
则人眼眼球球体的中心e的坐标为：
[0204][0205]
步骤33b：将眼球在m个不同旋转位置的任意4个角膜球体的中心坐标估算出的人眼眼球球体的中心坐标求平均，得到人眼眼球球体的中心坐标(x
e
，y
e
，z
e
)。
[0206]
步骤4，根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的
中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
[0207]
该步骤具体包括：
[0208]
步骤41：利用公式(2)得到的转换关系r
t
→
w
、t
t
→
w
，公式(5)得到的转换关系r
w
→
s
、t
w
→
s
，求取显示屏坐标系和人眼跟踪相机坐标系转换关系
[0209]
t
t
→
s
＝t
t
→
w
t
w
→
s
[0210]
步骤42：利用步骤41得到的公式，求取显示屏坐标系中人眼眼球中心坐标(x
se
，y
se
，z
se
)：
[0211]
(x
se
，y
se
，z
se
)
t
＝r
t
→
s
(x
e
，y
e
，z
e
)
t
t
t
→
s
[0212]
步骤5，利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。
[0213]
该步骤具体包括：
[0214]
步骤51：利用步骤2得到的世界相机和显示屏转换关系r
w
→
s
、t
w
→
s
，求取世界坐标系中某个点p
w
在显示屏坐标系中坐标p
s
：
[0215]
p
s
＝r
w
→
s
p
w
t
w
→
s
；
[0216]
步骤52：求显示屏坐标系中某个实际空间点p
s
(x
s
，y
s
，z
s
)和人眼眼球中心坐标e点(x
se
，y
se
，z
se
)之间形成的直线方程为：
[0217][0218]
步骤53：由于显示屏平面是显示屏坐标系中z＝0的平面，令上述公式中z＝0，得到与某个实际空间点p
s
重合的虚拟点在显示屏平面上投影的坐标为：
[0219][0220]
基于上述实施例所提出的一种增强现实系统虚实融合标定方法，包括标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系，标定所述世界相机和所述增强现实眼镜装置中显示屏间的第二转换关系，利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，实时跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球中心的坐标，根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标，利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。本发明通过离线式标定方法确定世界相机和人眼跟踪相机转换关系以及世界相机和显示屏转换关系，通过在线方式标定眼球中心在人眼跟踪相机中位置，解决了不同人及不同佩戴姿态需再标定问题，提高虚实融合精度。
[0221]
如图8所示，一种增强现实系统虚实融合标定装置包括：
[0222]
第一标定模块，用于标定增强现实眼镜装置中的世界相机和人眼跟踪相机间的第一转换关系；
[0223]
第二标定模块，用于标定所述世界相机和所述增强现实眼镜装置中显示屏间的第
二转换关系；
[0224]
第三标定模块，用于利用所述显示屏投影标定图像，所述人眼跟踪相机通过获取角膜反射图像，跟踪人眼相对于所述增强现实眼镜装置的位置变化，在线标定所述人眼跟踪相机中眼球球体的中心坐标；
[0225]
第一计算模块，用于根据所述第一转换关系、第二转换关系和所述人眼跟踪相机中眼球球体的中心坐标，得到显示屏坐标系中眼球球体的中心坐标；
[0226]
第一转换模块，用于利用所述第二转换关系以及所述显示屏坐标系中眼球球体的中心坐标，得到真实世界三维坐标和所述显示屏中二维坐标的转换关系。进一步地，第一标定模块，包括：
[0227]
靶标确定模块，用于根据所述人眼跟踪相机和所述世界相机不同的光轴方向，确定包含两个不同方向且具有预设三维空间位置关系的第一标定靶标和第二标定靶标；
[0228]
第一图像获取模块，用于调节所述增强现实眼镜装置在第一标定靶标和第二标定靶标之间的位置，并通过所述人眼跟踪相机获取第一标定靶标图像，通过所述世界相机获取第二标定靶标图像；
[0229]
第四标定模块，用于在不同位置情况下，利用所述人眼跟踪相机获取的第一标定靶标图像，根据标定算法，获取所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系，并利用所述世界相机获取的第二标定靶标图像，根据标定算法，获取所述世界相机坐标系和第二标定靶标坐标系的转换关系；
[0230]
第二计算模块，用于利用不同位置情况下所述人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系、所述世界相机坐标系和第二标定靶标坐标系的转换关系，以及所述预设三维空间位置关系，获取所述世界相机和所述人眼跟踪相机的转换关系。
[0231]
其中，第二计算模块，包括：
[0232]
第七计算模块，用于根据以下公式计算不同位置情况下所述世界相机和所述人眼跟踪相机的转换关系：
[0233][0234][0235][0236][0237]
式中，k表示不同姿态，表示姿态k下世界相机和人眼跟踪相机的转换关系，和分别表示姿态k下世界相机坐标系和第二标定靶标坐标系的转换关系旋转矩阵和平移向量，和分别表示姿态k下人眼跟踪相机坐标系和第一标定靶标坐标系的转换关系旋转矩阵和平移向量，r
l
→
r
和t
l
→
r
分别表示第一标定靶标和第二标定靶标的转换关系旋转矩阵和平移向量；
[0238]
第八计算模块，用于将不同位置情况下所述世界相机和所述人眼跟踪相机的转换
关系进行平均，得到世界相机和人眼跟踪相机的转换关系，从而得到世界相机和人眼跟踪相机的转换关系旋转矩阵和平移向量。
[0239]
进一步地，第二标定模块，包括：
[0240]
第二图像获取模块，用于在所述显示屏上投影第一标定靶标；调节所述增强现实眼镜装置和第一标定靶标的相对位置，通过所述世界相机获取第一标定靶标图像；调节标定相机、所述增强现实眼镜装置和所述第一标定靶标的相对位置，使所述标定相机同时获取第一标定靶标图像和第一标定靶标投影在所述显示屏中的图像；
[0241]
第五标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标图像，根据标定算法，获得不同相对位置情况下第一标定靶标坐标系和标定相机坐标系的第一坐标系关系；
[0242]
第六标定模块，用于利用不同相对位置情况下所述标定相机获取的第一标定靶标投影在所述显示屏中的图像，根据所述标定算法，获得不同相对位置情况下显示屏坐标系和所述标定相机坐标系的第二坐标系关系；
[0243]
第七标定模块，用于利用不同相对位置情况下所述世界相机获取的第一标定靶标图像，根据所述标定算法，获得不同相对位置情况下所述第一标定靶标坐标系和所述世界相机坐标系的第三坐标系关系；
[0244]
第三计算模块，用于根据所述第一坐标系关系和所述第二坐标系关系，获取不同相对位置情况下所述第一标定靶标坐标系和所述显示屏坐标系的第四坐标系关系；
[0245]
第二转换模块，用于根据所述第三坐标系关系和所述第四坐标系关系，获取所述世界相机和所述显示屏的转换关系。
[0246]
其中，第二转换模块，包括：
[0247]
第九计算模块，用于根据以下公式，计算不同相对位置情况下所述世界相机坐标系和所述显示屏坐标系的转换关系：
[0248][0249][0250][0251]
式中，i为不同相对位置情况，表示相对位置情况i下世界相机和显示屏的转换关系，和分别表示相对位置情况i下第一标定靶标坐标系和世界相机坐标系的第三坐标系关系旋转矩阵和平移向量，和分别表示相对位置情况i下第一标定靶标坐标系和显示屏坐标系的第四坐标系关系旋转矩阵和平移向量；
[0252]
第十计算模块，用于将所述世界相机坐标系和所述显示屏坐标系在不同相对位置得到的转换关系平均，得到所述世界相机坐标系和所述显示屏坐标系的转换关系，从而得到所述世界相机和所述显示屏转换关系旋转矩阵和平移向量。
[0253]
进一步地，第三标定模块，包括：
[0254]
第三图像获取模块，用于利用所述显示屏投影第一标定靶标或第二标定靶标，获
得显示屏图像，并通过所述人眼跟踪相机采集眼球第一数量的不同旋转位置的角膜反射图像；
[0255]
第四计算模块，用于利用第二数量的相匹配的所述显示屏图像特征点和所述人眼跟踪相机的角膜反射图像特征点对应关系，估算眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标；
[0256]
第五计算模块，用于利用所述眼球在所述第一数量的不同旋转位置的角膜球体的中心坐标，估算所述人眼跟踪相机中眼球球体的中心坐标。
[0257]
其中，第四计算模块，包括：
[0258]
第六转换模块，用于利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
[0259]
第七转换模块，用于利用所述第三转换关系，将显示屏坐标系下的特征点坐标转换到人眼跟踪相机坐标系下，得到人眼跟踪相机坐标系下的特征点；
[0260]
第十一计算模块，用于利用人眼跟踪相机光学中心、显示屏上的特征点和人眼跟踪相机的特征点在人眼跟踪相机坐标系下的三维坐标，求出三个点所在的平面方程，从而得到所述第二数量n的对应特征点的n个平面方程；
[0261]
第十二计算模块，用于利用两对特征点形成的两个平面方程的法矢量的叉积得到交线的方向矢量，n对特征点形成n
‑
1个交线的方向矢量；
[0262]
第十三计算模块，用于对所述n
‑
1个交线的方向矢量归一化后取平均值，得到最终交线的方向矢量；
[0263]
优化模块，用于基于所述最终交线的方向矢量和所述人眼跟踪相机光学中心的坐标，以n对特征点形成的夹角差的和的目标函数最小，对人眼跟踪相机光学中心和角膜球体中心坐标之间的距离和角膜球体半径进行优化，从而得到角膜球体的中心坐标。
[0264]
进一步地，第一计算模块，包括：
[0265]
第三转换模块，用于利用所述第一转换关系、第二转换关系，获取显示屏坐标系和人眼跟踪相机坐标系的第三转换关系；
[0266]
第四转换模块，用于利用所述第三转换关系，将所述人眼跟踪相机中眼球球体的中心坐标转换到显示屏坐标系下，得到所述显示屏坐标系中眼球球体的中心坐标。
[0267]
进一步地，第一转换模块，包括：
[0268]
第五转换模块，用于根据所述第二转换关系，获取世界相机坐标系中某个三维坐标点在显示屏坐标系中的坐标点；
[0269]
第六计算模块，用于求取所述三维坐标点在显示屏坐标系中的坐标点和所述显示屏坐标系中眼球球体的中心坐标的连线与所述显示屏的交点坐标，从而得到真实世界三维坐标和显示屏二维坐标的转换关系。
[0270]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0271]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0272]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0273]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0274]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。