一种结构化的三维人脸数字模板及制作方法

1.本发明涉及三维人脸模板；具体涉及一种结构化的三维人脸数字模板制作方法。


背景技术：

2.1背景
3.颜面部的三维形态特征是口腔医学临床诊疗关注的重点问题，口腔正颌外科、口腔正畸科、口腔修复科等会根据患者术前术后的颜面形态进行相应的疾病诊断、治疗方案设计和治疗效果评价。传统上，口腔临床医生主要对患者的二维影像数据进行诊断分析，但是二维影像数据并不能全面真实地反映出患者颜面部的三维形态特征。随着数字化技术的发展，包含颜面部三维信息的三维颜面数据的获取越来越便捷，也越来越受到口腔临床医生的关注，对三维颜面数据进行诊断分析是目前口腔医学的发展趋势。
4.在获取三维颜面数据时，得到的原始点云数据是杂乱的，同一患者多次获取的三维颜面数据间或不同患者的三面颜面数据间没有对应关系，对三维颜面数据进行处理分析时，不能充分利用三维颜面数据的有效信息。目前对三维颜面数据处理分析的方法主要为标志点法和表面配准法，但根据相应的研究结果显示，前者的局限性在于：仅靠人为选取的少数颜面解剖标志点并不能代表颜面部软组织表面的连续变化，并且人为选取颜面解剖标志点的有效性和可重复性也存在问题；后者的局限性在于：虽然表面配准法能将两个不同的三维颜面数据的杂乱点云配准在一起，并计算出一定的对应关系，但这种对应关系并不具有解剖学意义。针对既往研究的不足，如能在不同的三维颜面点云数据间建立密集的对应点关系，可有效提高三维颜面数据诊断分析的效果和效率，并可获得具有解剖学意义的统计学分析结果，将具有较好的应用前景。本发明即针对这一需求构建了具有国人三维颜面部形态特征的“人脸模板”，可用于国人三维颜面数据的分析。
5.2国内外研究发展动态及现状
6.在过去的几十年里，颜面部的三维测量分析经历了许多发展阶段，主要的分析方法包括标志点法和表面配准法，相关研究如下：
7.标志点法：
8.2001年，virgilio f.ferrario
1.等人在研究健康受试者的性别和年龄对面部不对称的影响时，基于标志点法分析受试者的三维颜面数据，通过计算左右侧的颜面解剖标志点到正中矢状面的距离，来分析评价受试者颜面部的不对称性。
9.2007年，hyoung-seon baik和soo-yeon kim
2.在其研究中分析骨性iii类正颌手术患者的颜面部软组织变化时，使用标志点法测量患者术前、术后三维颜面数据相应标志点的三维坐标变化及三维线段、角度、比例变化，并进行比较，他们指出标志点法可以用于骨性iii类正颌手术患者颜面部软组织变化的评估。
10.2010年，hyoung-seon baik
3.等人使用标志点法分析采用不同术式的正颌手术患者术前术后的三维颜面数据，计算了标志点间的距离、角度，根据其研究结果显示，标志点法可用于估计正颌术后患者颜面部的软组织改变。
11.表面配准法：
12.2007年，lucymiller
4.等人在正颌外科术后面部软组织三维变化的可视化研究中，基于表面配准的方法将正颌患者术前术后的三维颜面数据配准叠加在一起，计算并分析了术前术后患者颜面部软组织的三维变化。
13.2012年，primozicj.
4.等人在其研究中评价发育期人群的面部不对称性时，将受试者的三维颜面数据与其镜像数据基于表面配准法配准叠加，对受试者颜面部的不对称区域进行分析评价。
14.2013年，timj.verhoeven
6.等人使用表面配准法，分析单侧髁突增生患者的三维颜面数据和其镜像数据间的三维偏差，以此量化患者颜面部软组织的不对称性。
15.虽然目前三维颜面数据的分析方法主要为标志点法和表面配准法，但是两者各有其局限性
[7,8]
。颜面部表面的复杂特征并不能由少数的颜面解剖标志点来表示，而密集杂乱的点云虽能表达出颜面部表面的连续变化，但不同数据间缺乏具有解剖学意义的对应关系。
[0016]
3回顾总结
[0017]
通过上述对以往研究的回顾，可以看出目前三维颜面数据的主要分析方法具有明显的局限性，如何在不同的三维颜面数据间建立密集的点云对应关系对于三维颜面数据的处理分析具有重要意义。本发明通过采集筛选中国人的三维颜面数据，基于普氏分析算法(procrustesanalysis，pa)构建国人的平均三维人脸模型，从而进一步构建出具有国人人脸平均特征的“三维人脸模板”。该模板配合非刚性配准算法使用，可实现模板的个性化变形匹配，用于三维颜面数据的对比、分析之用。
[0018]
参考文献
[0019]
[1]ferrariovf,sforzac,ciusav,etal.theeffectofsexandageonfacialasymmetryinhealthysubjects:across-sectionalstudyfromadolescencetomid-adulthood[j].journaloforalandmaxillofacialsurgery,2001,59(4):382-388.
[0020]
[2]baikh,jeonj,leeh.facialsoft-tissueanalysisofkoreanadultswithnormalocclusionusinga3-dimensionallaserscanner[j].americanjournaloforthodonticsanddentofacialorthopedics,2007,131(6):759-766.
[0021]
[3]baikhs,kimsy.facialsoft-tissuechangesinskeletalclassiiiorthognathicsurgerypatientsanalyzedwith3-dimensionallaserscanning[j].amjorthoddentofacialorthop,2010,138(2):167-178.
[0022]
[4]millerl,morrisdo,berrye.visualizingthree-dimensionalfacialsofttissuechangesfollowingorthognathicsurgery[j].eurjorthod,2007,29(1):14-20.
[0023]
[5]primozicj,perinettig,zhurova,etal.assessmentoffacialasymmetryingrowingsubjectswithathree-dimensionallaserscanningsystem[j].orthodontics&craniofacialresearch,2012,15(4):237-244.
[0024]
[6]verhoeventj,noltejw,maaltj,etal.unilateralcondylarhyperplasia:a3-dimensionalquantificationofasymmetry[j].plosone,2013,8
(3):e59391.
[0025]
[7]alqattanm,djordjevicj,zhurovai,etal.comparisonbetweenlandmarkandsurface-basedthree-dimensionalanalysesoffacialasymmetryinadults[j].theeuropeanjournaloforthodontics,2015,37(1):1-12.
[0026]
[8]verhoevent,xit,schreursr,etal.quantificationoffacialasymmetry:acomparativestudyoflandmark-basedandsurface-basedregistrations[j].jcraniomaxillofacsurg,2016,44(9):1131-1136.
[0027]
[9]rossa.procrustesanalysis[j].coursereport,departmentofcomputerscienceandengineering,universityofsouthcarolina,2004,26.


技术实现要素：

[0028]
(一)要解决的技术问题
[0029]
本发明的目的是提供一种结构化的三维人脸数字模板制作方法，提出了基于pa归一化算法构建具有国人人脸形态特征的平均人脸模型；基于国人平均人脸模型构建了具有国人人脸形态特征的结构化三维人脸模板，其三角面片数量为19534、总点数为9856、中线点数为216、双侧点数为9640；且提供了构建三维人脸模板的流程，提供了应用三维人脸模板能达到修补颜面缺损数据的效果。
[0030]
(二)技术方案
[0031]
本发明的一种结构化的三维人脸数字模板，包括：
①
为国人成年男性三维颜面数据的平均三维人脸数字模型；
②
具有19534个三角面片和9856个顶点；
③
具有216个颜面中线点和左右两侧各有4820个双侧点，双侧点基于颜面中线对称并具有一一对应关系。
[0032]
本发明的一种结构化的三维人脸数字模板制作方法，包括以下步骤：
①
通过批量采集的中国成年男性的三维颜面数据，基于普氏分析算法进行尺寸归一化和重叠对齐；
②
对尺寸归一化和重叠对齐的国人成年男性三维颜面数据计算其平均形态三维人脸模型；
③
对平均人脸模型进行参数化处理，构建出结构化的三维人脸模板，其具有19534个三角面片、9856个顶点，其中包括216个颜面中线点和左右各4820个双侧点。
[0033]
(三)有益效果
[0034]
本发明的优点在于：
[0035]
提出了基于pa归一化算法构建具有国人人脸形态特征的平均人脸模型；基于国人平均人脸模型构建了具有国人人脸形态特征的结构化三维人脸模板，其三角面片数量为19534、总点数为9856、中线点数为216、双侧点数为9640；且提供了构建三维人脸模板的流程，提供了应用三维人脸模板能达到修补颜面缺损数据的效果。
附图说明
[0036]
图1是本发明建立三维人脸模板的流程图；
[0037]
图1中，d:构建三维人脸模板的部分样本数据及人工标记本发明使用pa算法所需的32个颜面解剖标志点；e:受试者的三维颜面数据；f:变形后模板数据自动确定的三维颜面解剖标志点；
[0038]
图2是本发明三维人脸模板的示意图；
[0039]
图2中，a：右视图；b：正视图；c：左视图。
具体实施方式
[0040]
以下实施例用于说明本发明，但不用来限制本发明的范围。
[0041]
本发明的一种结构化的三维人脸数字模板，包括以下步骤：
[0042]
通过采集30名颜面部对称性良好的中国成年男性的三维颜面数据，基于普氏分析算法进行尺寸归一化和重叠对齐，构建国人成年男性三维颜面数据的平均三维人脸数字模型；再通过参数化处理，构建出具有19534个三角面片和9856 个顶点的结构化三维人脸模板。
[0043]
本发明的一种结构化的三维人脸数字模板制作方法，包括以下步骤：
[0044]
(1)三维颜面数据的采集和筛选：
[0045]
三维扫描受试者对象听从拍摄者指导，扫描过程中保持自然头位，双眼平视前方，表情自然，确保面部轮廓区域无遮挡；数据采集范围上至发迹线，下至脖颈，左右至耳廓，数据以obj文件格式保存导出；
[0046]
将上述obj文件导入geomagic studio 2013软件中，调整三维颜面数据的空间姿态，使自然头位状态下受试者三维颜面数据的正中矢状平面与软件中的 yz平面保持一致；参考中国健康成人颜面不对称指数，使用公式
①
计算受试者组每个三维颜面数据双侧解剖标志点的不对称指数，中线解剖标志点ai值为中线解剖标志点到yz平面的距离，即中线解剖标志点的x坐标值；得到内眦点、外眦点的双侧解剖标志点ai值4个和眉间点、鼻尖点中线解剖标志点ai值7 个，计算上述11个解剖标志点ai值的平均值作为该受试者三维颜面数据的整体 ai值；根据中国健康成人颜面不对称指数得出的数据结果,其上述11个解剖标志点ai值的均值为2.15，筛选出三维颜面数据中整体ai值小于2.15的数据，定义为面部对称性良好的三维颜面数据，作为青年男性三维人脸模板构建的样本数据；对筛选后的三维颜面数据进行适当修剪，保留数据范围统一为：上至发际线，左右两侧至耳屏和下颌角，下至颏部下方。
[0047][0048]
其中，r代表患者颜面部右侧的解剖标志点，l代表患者颜面部左侧的解剖标志点，dx、dy、dz分别代表相应解剖标志点到yz平面、xz平面和xy平面的距离；asymmetry index，ai：不对称指数；
[0049]
不对称指数：用于描述三维颜面解剖标志点的不对称程度。对于双侧同名的三维颜面解剖标志点，基于其三维坐标计算其三维上的不对称程度；对于面部中线上单一的三维颜面解剖标志点，基于其到正中矢状面的距离评价其不对称程度。
[0050]
(2)三维人脸模板的建立：
[0051]
a、三维颜面数据的尺寸归一化与对齐：
[0052]
使用geomagic studio 2013软件中的“点特征”功能，为步骤(1)筛选修整后的三维颜面数据分别标记本方法尺寸归一化所需的32个颜面部解剖标志点；
[0053]
具体如表1所示：
[0054]
表1尺寸归一化所需的32个颜面解剖标志点
[0055][0056]
根据gb t 2428-1998中国成年人头面部尺寸数据：11150余名成年男性形态面长：鼻根点与颏下点之间的距离的平均值为119mm，面宽：左右耳屏点之间的距离的平均值为143mm；以上述统计学数据作为三维颜面数据尺寸归一化的参考，选取上述三维颜面数据中面长、面宽特征尺寸与国标平均值最为接近的1 例样本数据：形态面长116mm、面宽145mm，作为其他样本数据尺寸归一化的参考数据；将参考数据的32个解剖标志点集文件csv格式分别与其余样本数据的解剖标志点坐标集文件两两一组导入matlab r2019b软件中，使用普氏分析算法，基于参考数据和其余样本数据32个解剖标志点的三维坐标分别计算出其余样本数据相对参考数据的尺寸缩放系数和旋转矩阵；从而获得三维颜面样本数据相对参考数据的尺寸缩放系数和旋转变换矩阵，实现上述受试者三维颜面数据的尺寸归一化和重叠对齐；
[0057]
matlab r2019b中的pa算法是一种可对具有一一对应关系的点集数据进行最优匹配重叠的算法。本方法借助pa算法，实现对样本数据标志点集与参考数据标志点集的最优匹配，从而获得三维颜面样本数据相对参考数据的尺寸缩放系数和旋转变换矩阵，实现上述志愿者三维颜面数据的尺寸归一化和重叠对齐。
[0058]
b、“三维人脸模板”的构建：
[0059]
在geomagic studio 2013软件中，使用对多个三维颜面数据求“平均值”的功能，计算上述尺寸归一和重叠对齐后的中国青年男性三维颜面数据的平均形状模型，即获得“平均三维人脸模型”，数据点数为11699；
[0060]
为了构建具有左、右完全对称点数且具有与面中线完全重合的中线标志点人脸模板，在geomagic studio 2013软件中需对上述平均三维人脸模型做以下处理步骤：
[0061]
①
使用“特征平面”功能构建平均人脸模型的正中矢状平面，并删除半侧人脸数据；
[0062]
②
将保留的半侧人脸点云数据进行基于曲率的降采样，并将半侧人脸数据中最靠
近正中矢状平面的“近中线点”坐标调整到与正中矢状平面完全重合，定义为“中线点”，数量为216个，其余数据点定义为“单侧点”，数量为4820个；
[0063]
③
基于正中矢状平面使用“镜像”功能，创建镜像侧人脸数据，“联合”左右人脸点云数据并重新进行三角网格剖分，最终获得点数为9856的“三维人脸模板”；
[0064]
(3)三维人脸模板的应用:
[0065]
①
获取结构化的三维颜面数据：使用上述三维人脸模板，结合非刚性配准程序将三维人脸模板变形配准到三维颜面数据上，得到变形后的三维人脸模板，即能获取与三维颜面数据形态一致，总三角面片数为19534，总点数为9856，左右两侧点具有一一对应关系的结构化三维颜面数据；
[0066]
②
实现三维颜面数据颜面解剖标志点的自动确定：在三维人脸模板的点云中，标记出能代表颜面解剖标志点的顶点，确定其在三维人脸模板点云中的序号信息，结合非刚性配准算法实现三维人脸模板与患者三维颜面数据的变形匹配，进而基于三维人脸模板上解剖标志点的顶点序号信息快速、批量的确定患者三维颜面数据颜面解剖标志点的三维坐标。
[0067]
③
修补颜面缺损数据：使用上述三维人脸模板，结合非刚性配准程序将三维人脸模板变形配准到形态缺损的三维颜面数据上，变形后的三维人脸模板具有完整的颜面部形态，能达到修补颜面缺损数据的效果。
[0068]
普氏分析算法运行软件：matlab r2019b，但不限于该软件；
[0069]
普氏分析算法：procrustes分析，作者：ross a。2004年，课程报告，南卡罗来纳大学计算机科学与工程系。
[0070]
中国健康成人颜面不对称指数：是根据huang c.s.等人对60例中国健康成人颜面不对称指数研究的数据结果；
[0071]
gb t 2428-1998：成年人头面部尺寸，本标准提供了成年人头面部尺寸的基础数据和主要尺寸的二维分布表。
[0072]
如上所述，便可较为充分的实现本发明。以上所述仅为本发明的较为合理的实施实例，本发明的保护范围包括但并不局限于此，本领域的技术人员任何基于本发明技术方案上非实质性变性变更均包括在本发明包括范围之内。