一种基于transformer编码器的牙体点云补全方法及系统与流程

技术特征：
1.一种基于transformer编码器的牙体点云补全方法，其特征在于，包括以下步骤：s1、使用动态图卷积神经网络dgcnn对统一尺度后的牙体点云数据集处理，得到聚类中心并提取出中关键点的局部特征并根据聚类中心和局部特征得到特征矩阵s2、利用transformer编码器对聚类中心和围绕各关键点的局部特征进行编码，挖掘出用于描述缺失部位牙齿的潜在向量使用一个多层感知机mlp从潜在向量预测出缺失牙齿的低分辨率点云y
c
；s3、将低分辨率点云y
c
和潜在向量结合构成重构特征使用多尺度点云生成器从和y
c
恢复出高分辨率点云y
f
，组合y
c
和y
f
得到最终牙体点云y
pred
；s4、通过最小化y
pred
和对应真实缺失牙齿金标准y
gt
之间的切夫距离，完成牙体补全模型的训练；s5、使用训练好的牙体补全模型对测试数据进行补全，得到完整牙体点云，并使用指标进行评价。2.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法，其特征在于，步骤s1包括以下步骤：s11、设牙体点云数据集为s＝{(x1,y1),(x2,y2),...,(x
l
,y
l
)}，其中，x
i
表示不完整牙体点云，y
i
表示对应缺失牙齿金标准，i＝1,
…
,l，l表示数据集中样本数量；使用最远点采样fps将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化得到尺度相同的牙体点云数据集；s12、使用动态图卷积神经网络dgcnn对步骤s11最终得到的统一尺度后的牙齿点云数据集进行聚类，得到聚类中心该聚类中心包含若干关键点坐标，同时提取出围绕各关键点的局部特征s13、使用两个不同的多层感知机mlp分别对和处理，并将处理结果相加在一起作为不完整牙体点云的特征；不完整牙体点云的特征矩阵为：其中，其中和分别是处理和的第一多层感知机和第二多层感知机，表示不完整牙体点云的特征矩阵。3.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法及系统，其特征在于，步骤s2具体为：transformer编码器根据步骤s1中获取的特征矩阵按照聚类中心中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构；聚类中心提供语义特征信息和编码器学习结构特征信息，把语义特征信息和编码器学习结构特征信息结合起来，将transformer编码器的结果作为潜在向量该潜在向量描述了缺失部位的几何结构和数值范围；接着使用一个多层感知机从潜在向量中预测出低分辨率点云y
c
；潜在向量和低分辨率点云y
c
的表达式为：
其中，是特征矩阵，是用于预测低分辨率点云y
c
的第三多层感知机。4.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法，其特征在于，步骤s3具体为：多尺度点云生成器包括第四多层感知机和第五多层感知机，首先，将步骤s2得到的潜在向量和低分辨率点云从第一维度连接在一起作为重建特征第四多层感知机从预测出分辨率较高的中间点云，然后将中间点云与进一步按第一维度连接在一起，作为第五多层感知机的输入，第五多层感知机预测出高分辨率点云y
f
，最后将y
f
和y
c
按第一维度拼接在一起作为最终的预测点云y
pred
；重建特征和最终的预测点云y
pred
的公式表示为：的公式表示为：其中，表示重建特征，和分别表示第四多层感知机和第五多层感知机，表示矩阵连接操作。5.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法，其特征在于，步骤s4具体为：使用切夫距离来描述两个牙体点云之间的距离，切夫距离计算公式如下：其中，s1和s2表示两个牙体点云，cd(s1,s2)表示牙体点云s1和s2的切夫距离，x和y分别表示隶属于点云s1和s2的点坐标，切夫距离的计算复杂度是用损失函数表示牙体点云补全网络的目标函数，并完成牙体补全模型的训练；通过切夫距离计算损失函数为：其中，α是用于平衡两项的权重参数，cd(y
c
,y
gt
)表示低分辨率点云与金标准之间的距离，αcd(y
pred
,y
gt
)表示最终预测牙体点云与金标准之间的距离；低分辨率点云表征了全局特征信息，高分辨率点云保证了补全牙体的细节。6.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法，其特征在于，步骤s5具体为：使用步骤s4训练好的牙体补全模型，对测试样本进行预测，补全缺失部位的牙齿，为了评估牙齿补全结果的表现，使用选择切夫距离、推土机距离和f-score作为评价指标对牙齿补全结果进行评价；其中切夫距离包括两种形式：cd-l1和cd-l2，cd-l1使用l1范数来计算两个点之间的切夫距离，cd-l2使用l2范数来计算两个点之间的切夫距离，推土机距离的计算公式如下：其中，s1和s2表示两个牙体点云，emd(s1,s2)表示牙体点云s1和s2的推土机距离，φ表示
从s1和s2之间的双向映射，用于最小化对应点之间的距离。f-score被定义为预测结果的精度和召回率之间的调和平均值。7.一种基于transformer编码器的牙体点云补全系统，其特征在于，包括数据处理模块、编码模块、多尺度点云生成器、牙体补全模型训练模块和测试评估模块，其中，数据处理模块将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化以统一不同尺度牙体点云，并将尺度统一后的不完整牙体点云进行聚类，得到聚类中心同时提取出围绕聚类中心中的关键点的局部特征然后将和分别处理并相加得到不完整牙体点云的特征矩阵编码模块根据获取的特征矩阵按照中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构，提供语义特征信息和编码器学习结构特征信息，并把两种信息结合起来，将编码器的结果作为潜在向量然后从中预测出低分辨率点云y
c
；多尺度点云生成器通过潜在向量和低分辨率点云y
c
预测出高分辨率点云y
f
，将y
f
和y
c
组合在一起作为最终的预测牙体点云y
pred
；牙体补全模型训练模块通过最小化y
pred
和对应真实缺失牙齿金标准y
gt
之间的切夫距离，完成牙体补全网络的训练；测试评估模块根据测试样本的预测结果补全缺失部位的牙齿，并评估牙齿补全结果。8.根据权利要求7所述的一种基于transformer编码器的牙体点云补全系统，其特征在于，编码模块包括transformer编码器和多层感知机，多层感知机用于对transformer编码器输出的结果进行预测得到低分辨率点云y
c
。9.一种基于transformer编码器的牙体点云补全装置，其特征在于，包括存储器和处理器，其中：存储器，用于存储能够在处理器上运行的计算机程序；处理器，用于在运行所述计算机程序时，执行如权利要求1-6任一项所述一种基于transformer编码器的牙体点云补全方法的步骤。10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求1-6任一项所述一种基于transformer编码器的牙体点云补全方法的步骤。

技术总结
本发明公开了一种基于transformer编码器的牙体点云补全方法及系统，包括：S1、对不完整牙体点云进行处理，并根据得到的聚类中心和局部特征得到特征矩阵S2、对聚类中心和围绕各关键点的局部特征进行编码，挖掘出用于描述缺失部位牙齿的潜在向量并从潜在向量预测出缺失牙齿的低分辨率点云Y


技术研发人员：贾修一 朱浩宇 廖文和 张长东 刘婷婷
受保护的技术使用者：南京理工大学
技术研发日：2021.11.26
技术公布日：2022/2/18