一种基于transformer编码器的牙体点云补全方法及系统与流程

1.本发明涉及医学图像处理技术，具体地，涉及一种基于transformer编码器的牙体点云补全方法及系统。


背景技术：

2.口腔健康越来越受到关注，同时人们对于专业、高质量的牙科护理的需求也越来越高，在这一需求下，口腔内扫描仪(ios)获取的高精度3d牙科模型在cad口腔诊断中发挥着重要作用。此外，使用以深度神经网络为代表的人工智能技术对牙科模型进行处理、解决牙科问题逐渐成为了数字医疗诊断的主流方法。在口腔医学领域，缺牙补全是一个重要问题，我们需要预测出病人缺失的牙齿，补全牙体以便于后续临床应用，本文所述方法借助深度神经网络的强大学习能力来解决上述问题。
3.3d模型有多种表现形式，其中点云是最简单的表征。但是点云的无序性、关联性、置换不变性这些性质给神经网络的困难带来了困难，在pointnet和pointnet 使用深度神经网络实现了点云分割和点云分类之后，点云深度学习逐渐成为了一个热门研究领域，同时在数字医疗领域的应用也越来越广泛。点云补全(point cloud completion)技术应运而生，它从不完整牙体点云数据出发估计完整点云，达到补全的目的。
4.传统的点云补全方法往往基于点云中可以提取出的结构先验信息，如对称性信息或者语义信息，通过此先验信息设计算法对不完整牙体点云进行补全。但是这样的方法只能处理缺失率很低并且结构特征显著的不完整牙体点云。随着研究人员的深入，用于点云分析和生成的深度学习方法也逐渐涌现，已经有诸如pcn、grnet、pf-net等一系列优秀框架。这些点云补全方法以不完整牙体点云作为输入，基于深度神经网络学习点云中的结构信息，得到完整的点云作为输出，可以有效解决由于离散化表示导致的内存占用高和点云伪影问题。同时，由于点云的无序性和置换不变性，传统的卷积操作无法直接在点云上应用，深度神经网络的设计仍然面临很大挑战。比如，现有的点云补全框架太过于关注点云的整体特征而忽视了点云内部的局部几何信息，导致这些框架补全后的完整点云偏向于某个相似形状，无法体现个体的特征，直接应用在牙体点云数据集上会丢失很多牙齿细节，从而不具备临床意义。


技术实现要素：

5.发明目的：本发明的一个目的是提供一种基于transformer编码器的牙体点云补全方法，在关注点云全局特征的同时最大程度地确保补全牙齿的细节。
6.本发明的另一个目的是提供一种基于transformer编码器的牙体点云补全系统。
7.技术方案：本发明的一种基于transformer编码器的牙体点云补全方法，包括以下步骤：
8.s1、使用动态图卷积神经网络dgcnn对统一尺度后的牙体点云数据集处理，得到聚类中心并提取出中关键点的局部特征并根据聚类中心和局部特征得到特征
矩阵
9.s2、利用transformer编码器对聚类中心和围绕各关键点的局部特征进行编码，挖掘出用于描述缺失部位牙齿的潜在向量，使用一个多层感知机mlp从潜在向量预测出缺失牙齿的低分辨率点云yc；
10.s3、将低分辨率点云yc和潜在向量结合构成重构特征使用多尺度点云生成器从和yc恢复出高分辨率点云yf，组合yc和yf得到最终牙体点云y
pred
；
11.s4、通过最小化y
pred
和对应真实缺失牙齿金标准y
gt
之间的切夫距离，完成牙体补全模型的训练；
12.s5、使用训练好的牙体补全模型对测试数据进行补全，得到完整牙体点云，并使用指标进行评价。
13.进一步的，步骤s1包括以下步骤：
14.s11、设牙体点云数据集为s＝{(x1,y1),(x2,y2),...,(x
l
,y
l
)}，其中，xi表示不完整牙体点云，yi表示对应缺失牙齿金标准，i＝1,
…
,l，l表示数据集中样本数量；使用最远点采样fps将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化得到尺度相同的牙体点云数据集；
15.s12、使用动态图卷积神经网络dgcnn对步骤s11最终得到的统一尺度后的牙齿点云数据集进行聚类，得到聚类中心，该聚类中心包含若干关键点坐标，同时提取出围绕各关键点的局部特征
16.s13、使用两个不同的多层感知机mlp分别对和处理，并将处理结果相加在一起作为不完整牙体点云的特征；不完整牙体点云的特征矩阵为：
[0017][0018]
其中，其中和分别是处理和的第一多层感知机和第二多层感知机，表示不完整牙体点云的特征矩阵。
[0019]
进一步的，步骤s2具体为：
[0020]
transformer编码器根据步骤s1中获取的特征矩阵按照聚类中心中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构；聚类中心提供语义特征信息和编码器学习结构特征信息，把语义特征信息和编码器学习结构特征信息结合起来，将transformer编码器的结果作为潜在向量该潜在向量描述了缺失部位的几何结构和数值范围；接着使用一个多层感知机从潜在向量中预测出低分辨率点云yc；潜在向量和低分辨率点云yc的表达式为：
[0021][0022][0023]
其中，是特征矩阵，是用于预测低分辨率点云yc的第三多层感知机。
[0024]
进一步的，步骤s3具体为：
[0025]
多尺度点云生成器包括第四多层感知机和第五多层感知机，首先，将步骤s2得到的潜在向量和低分辨率点云从第一维度连接在一起作为重建特征第四多层感知机从预测出分辨率较高的中间点云，然后将中间点云与进一步按第一维度连接在一起，作
为第五多层感知机的输入，第五多层感知机预测出高分辨率点云yf，最后将yf和yc按第一维度拼接在一起作为最终的预测点云y
pred
；重建特征和最终的预测点云y
pred
的公式表示为：
[0026][0027][0028]
其中，表示重建特征，和分别表示第四多层感知机和第五多层感知机，表示矩阵连接操作。
[0029]
进一步的，步骤s4具体为：
[0030]
使用切夫距离来描述两个牙体点云之间的距离，切夫距离计算公式如下：
[0031][0032]
其中，s1和s2表示两个牙体点云，cd(s1,s2)表示牙体点云s1和s2的切夫距离，x和y分别表示隶属于点云s1和s2的点坐标，切夫距离的计算复杂度是
[0033]
用损失函数表示牙体点云补全模型的目标函数，并完成牙体补全模型的训练；
[0034]
通过切夫距离计算损失函数为：
[0035][0036]
其中，α是用于平衡两项的权重参数，cd(yc,y
gt
)表示低分辨率点云与金标准之间的距离，αcd(y
pred
,y
gt
)表示最终预测牙体点云与金标准之间的距离；低分辨率点云表征了全局特征信息，高分辨率点云保证了补全牙体的细节。
[0037]
进一步的，步骤s5具体为：
[0038]
使用步骤s4训练好的牙体补全模型，对测试样本进行预测，补全缺失部位的牙齿，为了评估牙齿补全结果的表现，使用选择切夫距离、推土机距离和f-score作为评价指标对牙齿补全结果进行评价；其中切夫距离包括两种形式：cd-l1和cd-l2，cd-l1使用l1范数来计算两个点之间的切夫距离，cd-l2使用l2范数来计算两个点之间的切夫距离，推土机距离的计算公式如下：
[0039][0040]
其中，s1和s2表示两个牙体点云，emd(s1,s2)表示牙体点云s1和s2的推土机距离，φ表示从s1和s2之间的双向映射，用于最小化对应点之间的距离。
[0041]
f-score被定义为预测结果的精度和召回率之间的调和平均值。
[0042]
本发明的一种基于transformer编码器的牙体点云补全系统，包括数据处理模块、编码模块、多尺度点云生成器、牙体补全模型训练模块和测试评估模块，其中，数据处理模块将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化以统一不同尺度牙体点云，并将尺度统一后的不完整牙体点云进行聚类，得到聚类中心，同时提取出围绕聚类中心中的关键点的局部特征，然后将和分别处理并相加得到不完整牙体点云的特征矩阵；编码模块根据获取的特征矩阵按照中的关键点坐标进行查询，然后通过线
性层的特征聚合和最大池化来进一步学习局部几何结构，提供语义特征信息和编码器学习结构特征信息，并把两种信息结合起来，将编码器的结果作为潜在向量，然后从中预测出低分辨率点云yc；多尺度点云生成器通过潜在向量和低分辨率点云yc预测出高分辨率点云yf，将yf和yc组合在一起作为最终的预测牙体点云y
pred
；牙体补全模型训练模块通过最小化y
pred
和对应真实缺失牙齿金标准y
gt
之间的切夫距离，完成牙体补全网络的训练；测试评估模块根据测试样本的预测结果补全缺失部位的牙齿，并评估牙齿补全结果。
[0043]
优选的，编码模块包括transformer编码器和多层感知机，多层感知机用于对transformer编码器输出的结果进行预测得到低分辨率点云yc。
[0044]
本发明的一种基于transformer编码器的牙体点云补全装置，包括存储器和处理器，其中：
[0045]
存储器，用于存储能够在处理器上运行的计算机程序；
[0046]
处理器，用于在运行所述计算机程序时，执行上述一种基于transformer编码器的牙体点云补全方法的步骤。
[0047]
本发明的一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述一种基于transformer编码器的牙体点云补全方法的步骤。
[0048]
有益效果：与现有技术相比，本发明将transformer编码器应用到牙齿点云补全中，使用transformer中的自注意力机制来平衡点云中三维几何关系带来的归纳偏置，通过挖掘缺失牙齿的潜在特征向量来建模局部关系，并且使用一种从粗糙到精细的方式来生成最终点云。除此之外，本发明设计的损失函数强调了低分辨率点云中的关键点所表示的全局特征，可以在关注点云全局特征的同时最大程度地确保补全牙齿的细节。通过广泛的实验证明了本方法的有效性，并应用在了不完整牙体的点云补全上。且在真实的缺牙数据集上进行实验，可以得出本发明提出的方法具有较好性能的结论。
附图说明
[0049]
图1是本发明方法流程图；
[0050]
图2是本发明点云补全网络框架图。
[0051]
图3是本发明点云补全方法的效果对比图。
具体实施方式
[0052]
下面结合附图和具体实施例对本发明进行详细说明。
[0053]
如图1和图2所示，一种基于transformer编码器的牙体点云补全方法，包括以下步骤：
[0054]
s1、使用动态图卷积神经网络dgcnn对不完整牙体点云进行处理，得到聚类中心并提取出中关键点的局部特征；并根据聚类中心和局部特征得到特征矩阵
[0055]
具体过程如下：
[0056]
设牙体点云数据集为s＝{(x1,y1),(x2,y2),...,(x
l
,y
l
)}，其中，xi表示不完整牙体点云，yi表示对应缺失牙齿金标准，i＝1,
…
,l，l表示数据集中样本数量。首先使用最远
点采样fps将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化以统一不同尺度点云，得到尺度相同的牙体点云数据集。然后使用动态图卷积神经网络dgcnn对不完整牙体点云进行聚类，得到聚类中心该聚类中心包含若干关键点坐标，同时提取出围绕各关键点的局部特征最后使用两个不同的多层感知机mlp对和分别处理，并将处理结果相加在一起作为不完整牙体点云的特征。不完整牙体点云的特征矩阵为：
[0057][0058]
其中，其中和分别是处理和的第一多层感知机和第二多层感知机，表示将其处理结果相加的得到的特征矩阵，即不完整牙体点云的特征矩阵。
[0059]
s2、利用几何结构敏感的transformer编码器对聚类中心和围绕各关键点的局部特征进行编码，挖掘出可以描述缺失部位牙齿的潜在向量，使用一个多层感知机mlp从潜在向量v预测出缺失牙齿的低分辨率点云yc；
[0060]
具体过程如下：
[0061]
transformer中的自注意力用于解决训练不完整牙体点云数据时候存在的归纳偏置问题，同时本发明设计了几何敏感模块，可以更好地建模点云中的几何结构。几何结构敏感transformer编码器由六个连续的模块构成，编码器根据步骤s1中获取的特征矩阵按照聚类中心中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构。聚类中心提供语义特征信息和编码器学习结构特征信息，本发明把两种信息结合起来，将编码器的结果作为潜在向量该潜在向量描述了缺失部位的几何结构和数值范围。接着使用一个多层感知机从潜在向量中预测出低分辨率点云yc。潜在向量和低分辨率点云yc的表达式为：
[0062][0063][0064]
其中，是步骤s1得到的特征矩阵，是用于预测低分辨率点云yc的第三多层感知机。
[0065]
s3、将低分辨率点云yc和潜在向量结合构成重构特征使用多尺度点云生成器从和yc恢复出高分辨率点云yf，组合yc和yf得到最终牙体点云y
pred
；
[0066]
具体过程如下：
[0067]
多尺度点云生成器由两个相似的第四多层感知机和第五多层感知机组成，该生成器用一种从粗糙到精细的方式来恢复最终的高分辨率点云。首先，将步骤s2得到的潜在向量和低分辨率点云yc从第一维度连接在一起作为重建特征，第四多层感知机从预测出分辨率较高的中间点云，然后将中间点云与进一步从第一维度连接在一起，作为第五多层感知机的输入，第五多层感知机预测出高分辨率点云yf，最后将yf和yc从第一维度连接在一起作为最终的预测牙体点云y
pred
。重建特征和最终的预测点云y
pred
的公式表示为：
[0068][0069][0070]
其中，表示重建特征，和分别表示多尺度点云生成器中的第四多层感知机
和第五多层感知机，表示矩阵连接操作。
[0071]
s4、通过最小化y
pred
和对应真实缺失牙齿金标准y
gt
之间的切夫距离，完成牙体补全模型的训练；
[0072]
具体过程如下：
[0073]
本方法使用切夫距离(chamfer distance)来描述两个牙体点云之间的距离，切夫距离计算公式如下：
[0074][0075]
其中，s1和s2表示两个牙体点云，cd(s1,s2)表示牙体点云s1和s2的切夫距离，x和y分别表示隶属于点云s1和s2的点坐标。切夫距离的计算复杂度是，可以极大缩短本方法的训练时间。如步骤s3所述，用一种从粗糙到精细的方式得到最终的点云，用点云补全网络的损失函数表示牙体点云补全模型的目标函数，并完成牙体补全模型的训练；
[0076]
本发明点云补全网络的损失函数包含以下两个部分：
[0077][0078]
其中，α是用于平衡两项的权重参数。第一项计算低分辨率点云与金标准之间的距离，即cd(yc,y
gt
)表示低分辨率点云与金标准之间的距离；第二项计算最终预测点云与金标准之间的距离，即αcd(y
pred
,y
gt
)表示最终预测牙体点云与金标准之间的距离；低分辨率点云表征了全局特征信息，高分辨率点云保证了补全牙体的细节，这样设计损失函数增加了特征点的比重，使得最终模型可以在关注点云全局特征的同时最大程度地确保补全牙齿的细节。
[0079]
在本实施例牙体补全模型的训练中，我们使用5469个示例作为训练集，640个示例作为测试集，所有的代码均用pytorch实现，网络中所有的模块使用adam优化器，初始的学习率设置为0.0001，每经过40个回合学习率衰减70％，设置批次大小为64，总训练回合为500回合，通过最小化目标函数，在两块nvidia rtx3090上完成模型的训练。
[0080]
s5、使用训练好的牙体补全模型对测试数据进行补全，得到完整牙体点云，并使用指标进行评价。
[0081]
具体过程如下：
[0082]
使用步骤s4训练好的牙体补全模型，对测试样本进行预测，补全缺失部位的牙齿，为了评估牙齿补全结果的表现，本方法选择切夫距离、推土机距离(earth mover distance)和f-score作为评价指标，其中使用切夫距离的两种形式：cd-l1和cd-l2。cd-l1使用l1范数来计算两个点之间的距离，cd-l2使用l2范数来计算两个点之间的距离。推土机距离的计算公式如下：
[0083][0084]
其中，s1和s2表示两个牙体点云，emd(s1,s2)表示牙体点云s1和s2的推土机距离，φ表示从s1和s2之间的双向映射，用于最小化对应点之间的距离。
[0085]
f-score被定义为预测结果的精度和召回率之间的调和平均值；精度是指与金标准相比预测对的点除以金标准所有的点，召回率是指与输入相比预测对的点除以输入中所
有的点。
[0086]
本方法使用以上四个指标对补全结果进行评价，选取四个点云补全领域比较有代表性的算法：point completion network(pcn)、point fractal network(pf-net)、variational relational point completion network(vrcnet)、geometry-aware transformers(pointr)，指标结果如表1所示，本发明方法在cd-l1、cd-l2、emd和f-score四个指标上均取得了最佳结果，表明本发明的补全结果与真实结果更为接近。图3所示为与四个算法的视觉对比结果，可以看出来，本发明补全结果可以较为精细地恢复牙体形状，避免了一定程度上的噪音，与金标准更为接近。
[0087]
表1牙体点云补全指标结果
[0088][0089]
本发明的一种基于transformer编码器的牙体点云补全系统，包括数据处理模块、编码模块、多尺度点云生成器、牙体补全模型训练模块和测试评估模块，其中，数据处理模块将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化以统一不同尺度点云，并将尺度统一后的不完整牙体点云使用动态图卷积神经网络dgcnn进行聚类，得到聚类中心，同时提取出围绕聚类中心中的关键点的局部特征，然后将和分别处理并相加得到不完整牙体点云的特征；编码模块包括transformer编码器和多层感知机，transformer编码器根据获取的特征按照中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构，提供语义特征信息和编码器学习结构特征信息，并把两种信息结合起来，将transformer编码器的结果作为潜在向量，多层感知机从中预测出低分辨率点云yc；多尺度点云生成器通过潜在向量和低分辨率点云yc预测出高分辨率点云yf，将yf和yc组合在一起作为最终的预测点云y
pred
；牙体补全模型训练模块通过最小化y
pred
和对应真实缺失牙齿金标准y
gt
之间的切夫距离，完成牙体补全网络的训练；测试评估模块根据测试样本的预测结果补全缺失部位的牙齿，并评估补全结果。
[0090]
一种基于transformer编码器的牙体点云补全装置，包括存储器和处理器，其中：
[0091]
存储器，用于存储能够在处理器上运行的计算机程序；
[0092]
处理器，用于在运行所述计算机程序时，执行上述一种基于transformer编码器的牙体点云补全方法的步骤。
[0093]
一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述一种基于transformer编码器的牙体点云补全方法的步骤。