基于头颅侧位的增强现实显示方法、系统及存储介质与流程

1.本技术涉及图像处理及增强现实显示技术领域，具体地，涉及基于头颅侧位的增强现实显示方法、系统及存储介质。


背景技术：

2.x射线又称伦琴射线，它是肉眼看不见的一种射线，可使某些化合物产生荧光或使照相底片感光，在电场或磁场中不发生偏转，具有穿透物质的本领，但对不同物质它的穿透本领不同，x射线基于人体组织有密度和厚度的差别能使人体在荧屏上或胶片上形成影像。
3.x线片头影测量是对标准化定位的x线片所得的头部软、硬组织结构影像进行定量的测量分析，从而了解牙颌、颅面软、硬组织的结构。x线片头影测量对于口腔医学研究具有重要的意义，它一直是口腔正畸、颌面外科等临床诊断、设计、治疗及研究工作获取信息的重要途径。
4.图1和图2示例性地示出了具体的x线头颅侧位片，口腔正畸用x线头颅侧位片必须在头颅定位仪严格控制下进行拍摄并获取，以便排除头位不正而造成的误差，其为灰度图像，即只有黑白两种，灰度分为0～255共256个级别，图2为图1的翻转图像，使用上无本质差异，其软组织部分视觉辨识度更强，与其他元素的重叠效果有其独有特色和优点，在本说明书的具体实施方式部分，为了更好的展示，均使用图2类型的x线头颅侧位片。
5.现有头影测量方法众多，如传统的手工x线片头影测量需要用纸笔描摩，再利用量角器等进行测量，这种测量方式操作复杂，测量精度差，且对研究人员要求较高，可重复性较低。
6.随着计算机技术的发展，在计算机屏幕上通过专有软件进行人工头影测量是目前常用的手段；近年来也有融入人工智能技术的计算机自动标点进行头影测量的软件。上述现有的计算机头影测量技术虽然大幅度地提高了效率，但仍不够完善，其测量均是基于x线片进行，由于x线片只能反映拍摄对象在拍摄瞬间的状态，无法更进一步地展示拍摄对象的口腔处于运动状态(如进行各种类型的咬合动作)时颅面部软、硬组织结构之间的相对运动变化关系，对于进一步判断错牙合(“牙合”为一个字，属于口腔正畸领域用字，指上、下颌的咬合状态)畸形的类型、严重程度等无法提供更加丰富的信息。
7.伴随着图像处理技术的不断发展，ar(增强现实)显示技术逐渐成熟，将ar显示技术应用在医学中有诸多好处，最直观的如非常方便立体直观的观察各解剖结构，尤其内部结构，且可各个部位分离观察，比如骨骼、肌肉等分离开来，相互没有干扰的情况下进行仔细的观察，大大提高医生的诊断效率，有了ar显示设备的加持，医生如同有了透视眼一般。
8.现有的应用于口腔正畸领域的增强现实显示技术方案往往聚焦于虚拟的3d数字模型的增强显示，如将牙齿、种植体或口腔器械的3d数字模型叠加显示于患者的口腔内，对于如何利用增强现实显示技术以获得颅面部侧位组织结构特征的丰富、直观、动态及互相联动的显示效果，并辅助进行头影测量以获取更多维度的测量结果，目前尚未有理想的解决方案。


技术实现要素：

9.为解决上述现有技术中存在的问题及缺陷，本技术的目的在于提供基于头颅侧位的增强现实显示方法、系统及存储介质，以用于在拍摄对象的真实头部影像上更加明确地叠加显示及测量其头颅特征。
10.本技术的一方面提供一种基于头颅侧位的增强现实显示方法，包括以下步骤：
11.s100：获取由目标人员的多个x线片特征构成的x线片特征集合，所述x线片特征基于目标人员的x线头颅侧位片确定；
12.s200：基于增强现实设备显示的目标人员的真实头部的影像确定侧位面部特征集合，所述侧位面部特征集合包括多个侧位面部特征；
13.s300：对所述x线片特征集合与所述侧位面部特征集合进行配准定位以确定头颅侧位增强影像与目标人员的真实头部的映射关系；
14.s400：基于所述映射关系在增强现实设备中将所述头颅侧位增强影像叠加显示到目标人员的真实头部的影像上。
15.进一步地，所述多个x线片特征处于与x线头颅侧位片的拍摄平面平行的平面。
16.进一步地，所述x线片特征集合包括多个头颅侧位标志点。
17.优选地，所述多个头颅侧位标志点包括至少2个相对位置保持不变的标志点和多个相对位置可变的标志点。
18.优选地，所述头颅侧位标志点包括硬组织标志点和软组织标志点；
19.所述硬组织标志点基于x线头颅侧位片上的硬组织结构图像确定；
20.所述软组织标志点基于x线头颅侧位片上的软组织结构图像确定。
21.优选地，所述x线片特征集合还包括以下特征中的一项或多项：
22.至少一条头颅侧位描迹线以及至少一条头颅侧位特征线；
23.所述头颅侧位描迹线基于x线头颅侧位片确定；
24.所述头颅侧位特征线基于所述头颅侧位标志点确定。
25.优选地，所述多个x线片特征之间的相对位置关系具有与x线头颅侧位片匹配的第一状态和与目标人员的实时侧位面部状态匹配的第二状态。
26.优选地，所述配准定位在目标人员的实时侧位面部状态与x线头颅侧位片匹配时进行。
27.进一步地，所述步骤s300具体包括以下步骤：
28.s310：根据所述x线片特征集合确定n个第一定位特征点，n大于等于2；
29.s320：根据所述侧位面部特征集合确定n个第二定位特征点，每个第二定位特征点与相应的第一定位特征点对应于目标人员真实头部的相同部位；
30.s330：基于所述第一定位特征点和第二定位特征点确定头颅侧位增强影像与目标人员的真实头部的映射关系。
31.优选地，所述步骤s310之前还包括以下步骤：
32.s308：在增强现实设备上显示x线侧位面部轮廓，所述x线侧位面部轮廓基于x线头颅侧位片确定；
33.s309：调整增强现实设备与目标人员的相对位置，使增强现实设备的当前视角与x线头颅侧位片的拍摄角度相同且增强现实设备上显示的目标人员的侧位面部轮廓与所述x
线侧位面部轮廓重合。
34.优选地，至少一个所述第一定位特征点位于目标人员的牙齿上。
35.优选地，所述步骤s310之前还包括以下步骤：
36.在目标人员朝向增强显示设备一侧的面部黏贴标志贴。
37.优选地，所述头颅侧位增强影像包括以下项目中的一项或多项：
38.x线头颅侧位片，x线头颅侧位片上的硬组织结构图像，x线头颅侧位片上的软组织结构图像，x线片特征集合，侧位面部特征集合。
39.优选地，本技术的基于头颅侧位的增强现实显示方法还包括以下步骤：
40.s500：基于目标人员的真实头部的影像和头颅侧位增强影像进行头影测量；
41.s600：在增强现实设备中将头影测量的数据叠加显示到目标人员的真实头部的影像上。
42.优选地，所述头影测量基于至少一个取自真实头部的影像的测量点和至少一个取自头颅侧位增强影像的测量点进行。
43.本技术的另一方面提供一种基于头颅侧位的增强现实显示系统，用于实现上述基于头颅侧位的增强现实显示方法，包括：
44.第一采集模块，获取由目标人员的多个x线片特征构成的x线片特征集合，所述x线片特征基于目标人员的x线头颅侧位片确定；
45.第二采集模块，基于增强现实设备显示的目标人员的真实头部的影像确定侧位面部特征集合，所述侧位面部特征集合包括多个侧位面部特征；
46.配准定位模块，对所述x线片特征集合与所述侧位面部特征集合进行配准定位以确定头颅侧位增强影像与目标人员的真实头部的映射关系；
47.增强显示模块，基于所述映射关系在增强现实设备中将所述头颅侧位增强影像叠加显示到目标人员的真实头部的影像上。
48.本技术的再一方面提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现上述基于头颅侧位的增强现实显示方法。
49.本发明提供的基于头颅侧位的增强现实显示方法、系统及存储介质至少具有以下有益效果：
50.(1)本发明可以实现动态头影测量，可同时观察并实时计算目标人员在不同状态下的，如多个不同颌位时的头影测量数据变化，且可直观观察变化规律。
51.(2)本发明利用增强现实技术实现，将反映头颅侧位结构的增强影像叠加显示于目标人员真实头部影像上，易于观察、测量，并利于向患者进行展示、说明等。
52.(3)本发明的头颅侧位增强影像不仅仅是多个影像的结合，也包括特征信息的结合，且可多重组合，扩大使用范围，可全局多信息不换屏的观察测量，易于宏观分析展示，也可局部特定组织的观察测量，易于聚焦。
53.(4)本发明基于真实颌位及颌位的变化操作，相比于模拟真实颌位的颌架或虚拟颌架具有更高的准确性和可扩展性，并可实现头颅上骨骼、牙齿等肉眼不可见硬组织结构与面部软组织结构的联动测量及显示，较大拓展了x线头颅侧位片的应用。
附图说明
54.图1为一个示例性的x线头颅侧位片图像；
55.图2为图1所示图像的黑白翻转图像；
56.图3为根据本技术实施例的基于头颅侧位的增强现实显示方法的流程图；
57.图4为根据本技术实施例的基于x线头颅侧位片确定x线片特征集合的示意图；
58.图5为根据本技术实施例的单独显示的x线片特征集合的示意图；
59.图6为处于x线头颅侧位片拍摄状态的目标人员的真实头部的影像并在其上叠加显示了在该状态拍摄的x线头颅侧位片的图像；
60.图7为根据图6的x线头颅侧位片确定的多个x线片特征并叠加显示在仍处于x线头颅侧位片拍摄状态的目标人员的真实头部的影像；
61.图8为对处于任意侧位面部状态的目标人员进行实时观察及测量其侧位特征的示意图；
62.图9为根据本技术实施例的增强现实设备所显示的目标人员的真实头部的影像；
63.图10为根据本技术实施例的多个侧位面部特征的示意图；
64.图11为根据本技术实施例的利用第一定位特征点和第二定位特征点进行配准定位的示意图；
65.图12为根据本技术实施例的x线头颅侧位片及依据其绘制的x线侧位面部轮廓的示意图；
66.图13为根据本技术实施例的叠加显示于目标人员的真实头部影像上的头颅侧位增强影像；
67.图14为根据本技术实施例的从增强现实设备的当前视角所看到的影像；
68.图15为根据本技术实施例的叠加显示了头影测量数据的头颅侧位增强影像的示意图；
69.图16为根据本技术实施例的叠加显示了头影测量数据的头颅侧位增强影像的示意图；
70.图17为根据本技术实施例的基于头颅侧位的增强现实显示系统的模块示意图。
具体实施方式
71.以下，基于优选的实施方式并参照附图对本技术进行进一步说明。
72.此外，为了方便理解，放大或者缩小了图纸上的各种构件，但这种做法不是为了限制本技术的保护范围。
73.单数形式的词汇也包括复数含义，反之亦然。
74.在本技术实施例中的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是本技术实施例的产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，本技术的描述中，为了区分不同的单元，本说明书上用了第一、第二等词汇，但这些不会受到制造的顺序限制，也不能理解为指示或暗示相对重要性，其在本技术的详细说明与权利要求书上，其名称可能会不同。
75.本说明书中词汇是为了说明本技术的实施例而使用的，但不是试图要限制本技术。还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，可以是直接相连，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的技术人员而言，可以具体理解上述术语在本技术中的具体含义。
76.本技术实施例的一方面提供一种基于头颅侧位的增强现实显示方法，图3示出了该显示方法的流程图，如图3所示，包括以下步骤：
77.s100：获取由目标人员的多个x线片特征构成的x线片特征集合，所述x线片特征基于目标人员的x线头颅侧位片确定；
78.s200：基于增强现实设备显示的目标人员的真实头部的影像确定侧位面部特征集合，所述侧位面部特征集合包括多个侧位面部特征；
79.s300：对所述x线片特征集合与所述侧位面部特征集合进行配准定位以确定头颅侧位增强影像与目标人员的真实头部的映射关系；
80.s400：基于所述映射关系在增强现实设备中将所述头颅侧位增强影像叠加显示到目标人员的真实头部的影像上。
81.本技术实施例所提供的方法，首先基于目标人员的x线头颅侧位片获取其x线片特征集合，然后利用增强现实设备(包括但不限于ar眼镜、ar头盔等单目或双目的增强现实显示设备)中显示的目标人员真实头部的影像确定其侧位面部特征集合，由于其侧位面部特征集合与前述x线片特征集合存在对应关系，因此接下来利用上述两个特征集合中对应的特征进行配准定位，从而获取将头颅侧位增强影像叠加显示到目标人员真实头部的影像时所应遵循的映射关系，最后按照上述映射关系将头颅侧位增强影像叠加显示到增强现实设备所显示的目标人员的真实头部的影像上。以下结合附图详细说明上述步骤s100至s400的具体实施方式。
82.步骤s100用于获取目标人员的x线片特征集合。基于目标人员的x线头颅侧位片对其头颅软组织结构、硬组织结构进行描绘、标定以得到多种x线片特征的方法已为本领域技术人员所熟知。图4所示出了一个具体的在x线头颅侧位片上确定并显示多种x线片特征的示例，如图4所示，本领域技术人员可以首先对x线头颅侧位片所显示的各种软组织结构(如前额皮肤、鼻部皮肤、上下唇等)、硬组织结构(如颅骨、上下颌骨、牙齿的牙冠和牙根等)或者其轮廓进行描迹，以得到多条头颅侧位描迹线(图4中的曲线)，利用上述多条头颅侧位描迹线进行标定，能够得到多个头颅侧位标志点(下表1列出了图4中各个头颅侧位标志点及其具体含义)，进一步地，根据头影测量的不同需要，连接上述不同的头颅侧位标志点，即可得到多条头颅侧位特征线(图四中的直线，下表2列出了各条头颅侧位描迹线和特征线的具体含义)，上述各条头颅侧位描迹线、各个头颅侧位标志点及各条头颅侧位特征线均为用于表征目标人员颅面部特征的x线片特征，其组合就构成了目标人员的x线片特征集合。上述通过描迹、标定的方式获得x线片特征集合的操作既可以由有经验的操作人员手动进行，也可以通过计算机算法描迹标定结合人工校正的方式交互半自动地进行，还可以采用基于人工智能的计算机算法全自动地进行。
83.表1头颅侧位标志点及其具体含义
[0084][0085]
[0086]
表2头颅侧位描迹线和头颅侧位特征线及其具体含义
[0087]
[0088][0089]
x线片特征集合可以如图4所示的那样叠加显示在x线头颅侧位片的图像上，也可以单独进行显示，图5示出了根据本技术实施例的单独显示的x线片特征集合的示意图，显然，由于上述x线片特征集合基于x线头颅侧位片生成，因此x线片特征集合中的各个x线片
特征均处于同一平面，且该平面与x线头颅侧位片的拍摄平面平行。
[0090]
在本技术的一些优选的实施例中，所述x线片特征集合包括多个头颅侧位标志点，上述多个头颅侧位标志点可以用于后续与目标人员真实头部的影像进行匹配。
[0091]
在本技术的一些优选的实施例中，所述头颅侧位标志点包括硬组织标志点和软组织标志点；所述硬组织标志点基于x线头颅侧位片上的硬组织结构图像确定，可以用于表征颅骨、颌骨、牙齿的牙冠和牙根等颅面部硬组织结构的特征，其中颅骨、颌骨等均为从人脸表面进行观察时肉眼不可见的组织；所述软组织标志点基于x线头颅侧位片上的软组织结构图像确定，可以用于表征前额、鼻部、上下唇等皮肤组织侧面轮廓。具体地，如图4、图5所示，在本技术的一些实施例中，硬组织标志点可以包括以下各头颅侧位标志点：s、n、p、ba、bo、w、or(或o)、ptm、ans、pns、a、ui、uia、li、lia、b、pog、me、gn、go、ar、co、d；软组织标志点可以包括以下各头颅侧位标志点：g、ns、prn、cm、sn、a'、ul'、ll'、ul、ll、b'、pos、gn'、mes。
[0092]
在本技术的一些实施例中，所述x线片特征集合还包括以下特征中的一项或多项：至少一条头颅侧位描迹线以及至少一条头颅侧位特征线，头颅侧位描迹线及头颅侧位特征线的具体确定方式已在前述部分进行了详细的说明，在此不再赘述。
[0093]
通过图5可以看出，x线片特征集合所包含的多个x线片特征是对目标人员的颅面部软、硬组织结构特征进行提取所得到抽象信息，能够为后续口腔正畸操作中的测量、分析、诊断等步骤提供所需信息。
[0094]
需要特别说明的是，通过上述方式所确定的多种x线片特征，其相互之间的位置关系处于一种与静态的x线头颅侧位片图像匹配的状态(在本发明中被定义为第一状态)，即此时的多个x线片特征表征了目标人员在拍摄x线头颅侧位片的时刻其颅面部的各个组织结构所处的位置关系，然而在对目标人员的颅面部组织结构特征进行实际的观察、测量、诊断过程中，在相当多的情况下，出于对动态下颌位置的观察、分析需要，希望能够获取口腔中的不同组织结构(特别是上颌、下颌、髁突)在下颌处于不同位置和不同运动方向时其各个x线片特征实时变化的情况，并在运动状态下进行测量。
[0095]
为实现上述目的，在本技术的一些优选的实施例中，所述多个头颅侧位标志点包括至少2个相对位置保持不变的标志点和多个相对位置可变的标志点。
[0096]
为实现上述目的，在本技术的一些优选的实施例中，所述多个x线片特征之间的相对位置关系具有与x线头颅侧位片匹配的第一状态和与目标人员的实时侧位面部状态匹配的第二状态。
[0097]
以下结合图6至图8，示例性地说明上述相对位置保持不变的标志点，相对位置可变的标志点，多个x线片特征之间的相对位置关系所具有的第一状态和第二状态的具体含义。
[0098]
图6示出了一个处于x线头颅侧位片拍摄状态的目标人员的真实头部的影像并在其上叠加显示了在该状态拍摄的x线头颅侧位片的图像，其中，进行x线头颅侧位片拍摄的角度一般为与目标人员的头部正中矢状面垂直。
[0099]
图7示出了根据图6的x线头颅侧位片确定的多个x线片特征并叠加显示在仍处于x线头颅侧位片拍摄状态的目标人员的真实头部的影像，具体地，如图7所示，x线片特征包括：上下颌描迹线、骨性外耳道描迹线、眶下缘和眶侧缘、部分颅底及颅骨描迹线、额骨描迹线、框耳平面、z线，此时的上述多个x线片特征处于与x线头颅侧位片匹配的第一状态，反映
了在x线头颅侧位片拍摄的瞬间目标人员的颅面部所处的状态。其中，图中所示的z线为对h线进行的改进，倡导从软组织颏部至最突唇部的切线(z线)作为评价前突的参考线，又称侧貌线(profile line),该线与眶耳平面(fh平面)所形成的后下角构成z角，z角具有一定的正常值和理想值范围，理想状态下侧貌线应切过上唇，下唇正切或位于此线稍后位置。
[0100]
在口腔正畸的过程中，很多情况下需要观察、测量目标人员下颌在运动情况下所呈现的咬合状态以确定错牙合畸形的类型、严重程度等。下面以功能性iii类错牙合诊断过程中对z角的测量为例进行说明，功能性iii类错牙合又称假性iii类错牙合，不良习惯如伸舌、吮指、咬下唇及不正确的人工喂养姿势，以及可引起牙合干扰与早接触的牙性因素如单颗或多颗上颌乳磨牙早失或滞留、乳尖牙磨耗不足、单侧多数牙龋坏、替牙期咬合干扰等，容易导致下颌关闭路径方向的改变，导致功能性iii类错牙合的发生。各种因素导致假性关系和假性位置的存在，对只面对静态头影测量的诊断的准确性可以提出更多的质疑，且静态的影像资料往往也具有迷惑性，导致误诊概率的上升。因此，在对功能性iii类错牙合进行诊断的过程中，更加理想的情况是能够对目标人员实时咬合状态下的各测量项进行测量，以下仍以对z角进行测量为例进行说明。
[0101]
图8示出了对处于任意侧位面部状态的目标人员进行实时观察及测量其侧位特征的示意图(需要着重指出的是，图8代表了本领域技术人员所期望实现的理想的观察测量方式，而非现有技术已经实现的观察测量方式)，显然，随着目标人员的侧位面部状态逐渐偏离拍摄x线头颅侧位片时的状态，其多个x线片特征之间的相对位置关系也将发生实时的变化。其中，z角的参照平面眶耳平面(fh)平面由相对位置保持不变的测量点(p点、o点)确定，为相对静态的单位，头颅结构中唯一可以时时运动的硬组织为下颌骨及下颌骨上的牙齿，并且会带动颅面部的部分软组织(如上唇、下唇)发生运动，相应地，上述各相对运动的软组织、硬组织所对应的标志点，如b、po、gn、me、d、b'、pos、gn'、mes、ll、ll'、ul、ul'等各点即为相对位置可变的标志点，显然，其对应的各条描迹线和特征线也将发生相应的位置变化，从而使得上述多个x线片特征之间的相对位置关系处于与目标人员的实时侧位面部状态匹配的状态(本发明中被定义为第二状态)。
[0102]
如图8所示，随着下颌骨的运动，目标人员硬组织的部分描迹线发生了动态变化(图8中以虚线和实线分别描述处于第一状态的描迹线和处于第二状态的描迹线)，对应的软组织如嘴唇轮廓线、z线及z角也会随之改变，此时的z线和z角即反映了处于任意咬合状态的目标人员的颅面特征。
[0103]
要实现上述理想的显示及测量，就需要改变现有技术中对于静止状态的x线片特征进行测量的方式，为此目的，在本技术的实施例中，使用增强现实显示技术，通过步骤s200至s400将从静止的x线头颅侧位片中获取的x线片特征与实时变化的目标人员的颅面特征关联起来并使其相对位置关系实现联动地变化，从而能够更加明确地显示、测量目标人员的实时颅面特征。
[0104]
具体地，步骤s200从增强现实设备所显示的目标人员的真实头部的影像中确定多个侧位面部特征并构成侧位面部特征集合。
[0105]
增强现实(augmented reality，简称ar)技术是一种将虚拟信息与真实世界融合的技术，通过运用三维空间信息重构、实时跟踪、智能交互等多种技术手段，将数字化的文字、图像、视频及三维模型等虚拟信息融合显示于真实世界中，从而实现对真实世界的“增
强”。
[0106]
在本技术的一些可选的实施例中，所述增强现实设备通过摄像头、传感器和陀螺仪等装置实时采集真实空间数据，通过处理器处理上述数据，并进行虚拟模型与三维空间的配准，从而得到虚拟模型与真实三维空间的映射关系，随着摄像头、姿态传感器等装置实时更新佩戴者在真实的三维空间中的位置变化数据，处理器就可以将虚拟模型实时地叠加显示到单目或双目的显示屏所显示的真实场景的图像上。
[0107]
在本技术的一些可选的实施例中，所述增强现实设备还包括交互操作装置，如眼动追踪器、动作捕捉设备等，上述交互操作装置通过捕捉佩戴者的各种动作，传输给处理器进行分析处理，并反馈为相应的指令，从而实现相应的人机交互操作。上述增强现实的相关技术均为现有技术手段，在此不再赘述。
[0108]
在本技术的一些实施例中，在步骤s200通过上述增强现实设备，能够获取目标人员的真实头部的三维信息，并进一步在增强现实设备的显示屏所显示的目标人员真实头部的影像上通过交互操作确定其多个侧位面部特征，从而构成侧位面部特征集合。
[0109]
图9示出了根据本技术实施例的增强现实设备所显示的目标人员的真实头部的影像，图10示出了根据本技术实施例的基于增强现实设备所显示的目标人员的真实头部的影像所确定的多个侧位面部特征的示意图。
[0110]
在本技术的一些优选的实施例中，如图10所示，上述多个侧位面部特征为反映目标人员面部软组织结构的多个标志点，且与x线片特征集合中的多个头颅侧位标志点具有一一对应的关系(其定义同样见于表1)，上述具有对应关系的两组标志点可以用于后续的配准定位操作。
[0111]
在本技术的一些优选的实施例中，与上述x线片特征集合类似，也可以利用增强现实设备的交互操作装置对目标人员的真实头部的影像进行描迹等操作，从而使得侧位面部特征也可以包括多条反映面部组织轮廓的描迹线。
[0112]
在本技术的一些优选的实施例中，为了更加精确且自动地获取侧位面部特征，可以在目标人员朝向增强显示设备一侧的面部黏贴标志贴，标志贴分别黏贴于上述面部各个标志点处，从而可以通过人机交互操作的方式更加精确地或通过图像识别的方式自动地确定上述多个侧位面部特征。
[0113]
步骤s300对x线片特征集合与侧位面部特征集合进行配准，从而得到头颅侧位增强影像与目标人员的真实头部的映射关系。其中，头颅侧位增强影像即为通过本技术的方法叠加显示于目标人员真实头部影像上的反映目标人员颅面特征的影像。
[0114]
与常规增强现实技术中已经为本领域的技术人员所熟知的将虚拟模型与真实场景或物体进行配准的方式不同，本技术的技术方案中进行配准定位至少面临以下困难：
[0115]
(1)x线片特征集合基于平面的x线头颅侧位片确定，x线头颅侧位片的拍摄角度具有严格的要求，其必须在头颅定位仪严格控制下进行拍摄并获取，以便排除头位不正而造成的误差；同时由于其相对于拍摄角度的深度信息已经被压缩到拍摄平面(如目标人员的正中矢状面)上，因此无法采取常规的配准定位方式利用两组三维空间中互相对应的定位点进行配准定位；
[0116]
(2)静态的x线头颅侧位片反映了拍摄瞬间目标人员的侧位颅面特征，而在进行配准定位时，目标人员的实时的颅面部状态有可能与拍摄时的状态已经发生了改变，尤其是
如前述分析的，可能导致部分相对位置可变的侧位面部特征已经与第一状态的x线片特征产生了无法忽略的偏移，从而导致无法进行精确地配准定位。
[0117]
为解决上述配准定位中所面临的挑战，本技术的实施例提出了多种优化措施，以下逐一进行详细说明。
[0118]
在本技术的一些优选的实施例中，所述配准定位在目标人员的实时侧位面部状态与x线头颅侧位片匹配时进行。如前述部分的分析，为了更加精确地进行配准定位，需要使得配准定位时目标人员的多个侧位面部特征之间的相对位置关系与处于第一状态的多个x线片特征的相对位置关系保持一致，要实现上述目标，就应使得配准定位时目标人员的面部状态，尤其是上下颌的咬合状态与拍摄x线头颅侧位片时尽量保持一致。例如，在一些具体的实施方式中，可以通过事先沟通使得目标人员在拍摄x线头颅侧位片和配准定位时尽量保持相同的咬合状；此外，在其他一些具体的实施方式中，还可以使用口腔正畸时获取牙齿印模时所使用的印模材料，获取带有目标人员的特定咬合状态的印模，进而在目标人员拍摄x线头颅侧位片和配准定位时均佩戴上述印模以保证侧位面部状态的一致性。
[0119]
在本技术的一些实施例中，步骤s300进一步通过以下步骤进行配准定位：
[0120]
s310：根据所述x线片特征集合确定n个第一定位特征点，n大于等于2；
[0121]
s320：根据所述侧位面部特征集合确定n个第二定位特征点，每个第二定位特征点与相应的第一定位特征点对应于目标人员真实头部的相同部位；
[0122]
s330：基于所述第一定位特征点和第二定位特征点确定头颅侧位增强影像与目标人员的真实头部的映射关系。
[0123]
具体地，上述第一定位特征点和第二定位特征点为x线片特征集合和侧位面部特征集合中相同部位的特征点，例如，在本技术的一些实施例中，可以分别选取x线片特征集合中的g点、ns点、prn点和pos点共四个点作为第一定位特征点，选取侧位面部特征集合中对应于相同部位的g点、ns点、prn点和pos点共四个点作为第二定位特征点，利用现有的增强现实技术中常规的各种配准定位算法进行配准定位，从而获得头颅侧位增强影像与目标人员的真实头部的映射关系。图11示出了根据本技术实施例的利用第一定位特征点和第二定位特征点进行配准定位的示意图。
[0124]
上述实施方式中用于匹配定位的定位特征点均选取自面部软组织的各个部位，在本技术的另一些优选的实施例中，为了使配准定位更加精确，至少一个所述第一定位特征点位于目标人员的牙齿上，即：用于配准定位的定位特征点至少有一个取自目标人员的硬组织结构。显然，在这些实施例中，目标人员在拍摄x线片和配准定位时其上下唇应张开并保持相同的状态以使得配准定位时用于定位的牙齿能够在目标人员真实头部的影像中显露出来。
[0125]
在本技术的一些优选的实施方式中，为了进一步地提高配准定位的准确度，在所述步骤s310之前还包括以下步骤：
[0126]
s308：在增强现实设备上显示x线侧位面部轮廓，所述x线侧位面部轮廓基于x线头颅侧位片确定；
[0127]
s309：调整增强现实设备与目标人员的相对位置，使增强现实设备的当前视角与x线头颅侧位片的拍摄角度相同且增强现实设备上显示的目标人员的侧位面部轮廓与所述x线侧位面部轮廓重合。
[0128]
具体地，如图12所示的x线头颅侧位片及依据其绘制的x线侧位面部轮廓的示意图，可以基于x线头颅侧位片，通过前述描迹的方式绘制x线侧位面部轮廓，然后在进行配准定位之前，通过调整增强现实设备与目标人员的相对位置，使增强现实设备的当前视角与x线头颅侧位片的拍摄角度相同且增强现实设备上显示的目标人员的侧位面部轮廓与所述x线侧位面部轮廓重合，此时即可以保证目标人员的侧位面部状态以及增强现实设备的当前视角均与拍摄x线头颅侧位片时相同，从而保证了后续配准定位的精度。
[0129]
通过上述步骤s300进行配准定位，从而获取头颅侧位增强影像相对于目标人员的真实头部的映射关系后，即可以按照上述映射关系，在步骤s400中将头颅侧位增强信息叠加显示于增强现实设备所显示的目标人员的真实头部的影像上。
[0130]
具体地，在本技术的一些实施例中，所述头颅侧位增强影像包括以下项目中的一项或多项：x线头颅侧位片，x线头颅侧位片上的硬组织结构图像，x线头颅侧位片上的软组织结构图像，x线片特征集合，侧位面部特征集合。
[0131]
图13示出了根据本技术的一些实施例，叠加显示于目标人员的真实头部影像上的头颅侧位增强影像。需要说明的是，为了更加清楚地进行展示，上述多项头颅侧位增强影像分别沿正中矢状面的法线方向进行了偏移，且通过矩形框以体现其所处的平面，从而形成了互相间隔开的多层平面，但是本领域的技术人员应该知晓，在实际的显示过程中，上述各层可以处于同一平面，并且以半透明的方式进行叠加显示。图13所展示的各层影像自后至前依次为：目标人员的真实头部的影像、侧位面部特征集合、x线头颅侧位片、头颅侧位描迹线、头颅侧位标志点、头颅侧位片特征线，容易知晓，在本技术的具体实施例中，可以根据实际需要，选择对应的头颅侧位增强影像叠加显示于目标人员的真实头部的影像上，例如，图14示出了根据本技术的一些实施例，从增强现实设备的当前视角所看到的影像，分别包括了叠加显示于目标人员真实头部影像上的x线头颅侧位片和头颅侧位描迹线。
[0132]
通过步骤s400，可以实现多种x线片特征在目标人员真实头部影像上的叠加显示，尤其是随着目标人员下颌的运动，那些相对位置可变的x线片特征，如下颌牙齿、颌骨、软组织以及其描迹线、特征线等将随之进行联动地变化，相对于现有的静态的x线头颅侧位片的显示，真正实现了抽象的侧位颅面部特征的时时动态显示，从而满足了口腔正畸过程中对于肉眼不可见的各种组织结构的实时状态进行跟踪和展示的需要。
[0133]
在本技术的一些优选的实施例中，本技术的基于头颅侧位的增强现实显示方法还包括以下步骤：
[0134]
s500：基于目标人员的真实头部的影像和头颅侧位增强影像进行头影测量；
[0135]
s600：在增强现实设备中将头影测量的数据叠加显示到目标人员的真实头部的影像上。
[0136]
具体地，通过增强现实设备的交互操作装置，能够方便地基于目标人员的真实头部的影像和头颅侧位增强影像进行头影测量，并将头影测量数据叠加显示到目标人员的真实头部的影像上。图15、图16分别示出了叠加显示了头影测量数据的头颅侧位增强影像的示意图，其中图16中去除了对x线头颅侧位片的显示，从而使得显示信息更加简洁、清晰。
[0137]
在本技术的一些优选的实施例中，所述头影测量基于至少一个取自真实头部的影像的测量点和至少一个取自头颅侧位增强影像的测量点进行。
[0138]
在口腔正畸领域的头影测量过程中，有相当一部分测量项需要对颅面部的硬组织
标志点和软组织标志点进行联合测量，仍以前面对图8的分析为例，在进行头颅侧位增强影像实时叠加显示的过程中(需要注意的是硬组织的动态变化属于根据软组织的变化模拟的非百分百精确的模拟运动，而软组织即侧面前部轮廓线为真实动态运动的轮廓线)，动态变化时所对应的z线及z线所对应的标记点均取自真实面部轮廓，而测量z角的参照平面即眶耳平面属于相对不动的点，取自x线头颅侧位片,即本实施例测量的实现基于至少一个取自真实头部的影像的测量点和至少一个取自头颅侧位增强影像的测量点进行，以便进行虚实结合，完成基于虚拟现实的动态头影测量，并将测量结果显示于虚拟现实设备中。
[0139]
此外，如前面分析的那样，对于z角的获取，需要同时确定硬组织标志点(p、o点)和软组织标志点(pos、ul、ll点、或者根据嘴唇轮廓形态定位切线点)，虽然基于x线头颅侧位片能够精确地确定部分软组织标志点，但仍有部分软组织标志点由于部分软组织密度相对较低或者辐射剂量问题导致图像模糊，从而影响了对其准确的定位，采用本技术的增强现实显示方法，由于可以利用较为精确的软组织标志点进行配准定位，从而使得在进行头影测量时，对于x线头颅侧位片上那些无法精确定位的与软组织有关的测量点，可以直接利用能够通过真实头部的影像精确定位的测量点进行代替，使用上述方式，能够联合头颅侧位增强图像和真实头部影像中能够精确定位的测量点进行头影测量，从而可以提高头影测量的准确度。
[0140]
本技术实施例的另一方面提供一种基于头颅侧位的增强现实显示系统，用于实现上述基于头颅侧位的增强现实显示方法，如图17所示，包括：
[0141]
第一采集模块，获取由目标人员的多个x线片特征构成的x线片特征集合，所述x线片特征基于目标人员的x线头颅侧位片确定；
[0142]
第二采集模块，基于增强现实设备显示的目标人员的真实头部的影像确定侧位面部特征集合，所述侧位面部特征集合包括多个侧位面部特征；
[0143]
配准定位模块，对所述x线片特征集合与所述侧位面部特征集合进行配准定位以确定头颅侧位增强影像与目标人员的真实头部的映射关系；
[0144]
增强显示模块，基于所述映射关系在增强现实设备中将所述头颅侧位增强影像叠加显示到目标人员的真实头部的影像上。
[0145]
在本技术的一些具体的实施方式中，上述各个模块可以通过能够实现其对应功能的固件、代码等软件的方式，或能够实现其对应功能的芯片等硬件的方式，集成于前文所述的增强现实设备中。上述各个模块的工作原理、所实现的功能以及具体的实施方式已在前述对基于头颅侧位的增强现实显示方法的说明部分进行了详尽的介绍，在此不再赘述。
[0146]
本技术的再一方面提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现上述基于头颅侧位的增强现实显示方法。
[0147]
以上对本技术的具体实施方式作了详细介绍，对于本技术领域的技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也属于本技术权利要求的保护范围。