一种回归式头影地标检测方法

本发明实施例涉及人工智能，尤其涉及一种回归式头影地标检测方法。

背景技术：

1、x线头影测量可用于：1.研究颅面生长发育、2.牙颌、颅面畸形的诊断分析、3.确定错畸形的矫治设计、4.研究矫治过程中及矫治后的牙颌、颅面形态结构变化、5.外科正畸的诊断和矫治设计、6.下颌功能分析等等。其，中x线头影测量标志点(cephalometriclandmarks)可以用于构建正畸治疗分析指标，对于制定正畸治疗方案和手术前后精准对比分析有重要意义。但常用的头影测量标志点有19个，对这19个常用的标志点手动进行标注耗时较多。

2、因此，目前亟需一种可以自动检测头影测量标志点的技术方案。

技术实现思路

1、本发明实施例提供了一种回归式头影地标检测方法，以自动检测头影测量标志点。

2、本发明实施例第一方面提供了一种回归式头影地标检测方法，所述方法应用于回归式头影地标检测模型，所述回归式头影地标检测模型包括：特征提取器、参考编码器和调优编码器，所述方法包括：

3、通过所述特征提取器对输入的待检测图像进行特征提取，得到多层特征图；

4、将特征提取器输出的最后一层特征图输入至参考编码器；

5、通过特征提取器对前k层特征图分别进行下采样操作，将前k层的下采样结果以及最后一层特征图分别和对应层特征图的图像位置编码相加，得到多个加和结果，再对多个加和结果进行融合得到带图像位置编码的多尺度特征，将所述带图像位置编码的多尺度特征输入至调优编码器；

6、通过参考编码器对所述最后一层特征图进行处理，得到参考预测地标，将所述参考预测地标输入至调优编码器，所述参考预测地标包括至少一个参考点；

7、通过所述调优编码器依据所述参考预测地标，对所述带图像位置编码的多尺度特征的所述参考点对应位置进行采样，对采样结果进行融合，得到融合采样结果，对所述融合采样结果和所述带图像位置编码的多尺度特征进行处理，得到调优预测地标。

8、可选地，所述回归式头影地标检测模型的训练过程包括：

9、收集带有头影测量地标点标注的样本图像；

10、所述特征提取模型对所述样本图像进行特征提取；

11、将特征提取模型输出的最后一层样本特征图和头影测量地标点位置编码输入至第一编码器；

12、对特征提取器输出的前k层样本特征图分别进行下采样操作，将每一层的采样结果分别和对应层样本特征图的图像位置编码相加，得到k个样本加和结果，再对k个样本加和结果进行融合得到带图像位置编码的样本多尺度特征，将所述带图像位置编码的样本多尺度特征输入至第二编码器；

13、所述第一编码器基于所述最后一层样本特征图和所述头影测量地标点位置编码进行自注意学习，输出样本参考预测地标，将所述样本参考预测地标输入至所述第二编码器，所述样本参考预测地标包括至少一个样本参考点；

14、所述第二编码器依据所述样本参考预测地标，对所述带图像位置编码的样本多尺度特征的所述样本参考点对应位置进行采样，对采样结果进行融合，得到样本融合采样结果，将所述样本融合采样结果和所述头影测量地标点位置编码进行拼接，得到拼接结果，对所述拼接结果和所述带图像位置编码的样本多尺度特征进行自注意学习，得到样本调优预测地标；

15、基于所述最后一层样本特征图的热图和所述头影测量地标点标注对应的热图之间的损失、所述样本参考预测地标和所述头影测量地标点标注之间的损失、以及所述样本调优预测地标和所述头影测量地标点标注之间的损失，对所述特征提取模型、第一编码器和第二编码器的参数进行更新，得到特征提取器、参考编码器和调优编码器。

16、可选地，所述第一编码器基于所述最后一层样本特征图和所述头影测量地标点位置编码进行自注意学习，输出样本参考预测地标，包括：

17、将所述最后一层样本特征图转换为样本图像特征序列，与所述头影测量地标点位置编码进行拼接，得到输入序列，将所述输入序列输入第一编码器进行自注意学习，在自注意学习的过程中，样本图像特征序列学习全局图像信息和头影测量地标点位置信息，头影测量地标点位置信息学习全局图像信息，头影测量地标点位置信息之间相互学习信息，最终输出样本参考预测地标。

18、可选地，所述方法还包括：

19、基于第一损失函数和第二损失函数计算所述最后一层样本特征图的热图和所述头影测量地标点标注对应的热图之间的损失；

20、基于第三损失函数计算所述样本参考预测地标和所述头影测量地标点标注之间的损失；

21、基于第三损失函数计算所述样本调优预测地标和所述头影测量地标点标注之间的损失。

22、可选地，所述特征提取器为4层特征提取网络结构，所述通过特征提取器对前k层特征图分别进行下采样操作，包括：

23、通过特征提取器对第一层特征图进行1/8采样；

24、通过特征提取器对第二层特征图进行1/4采样；

25、通过特征提取器对第三层特征图进行1/2采样。

26、可选地，所述第一编码器包括n层自注意学习层，所述第二编码器包括m层自注意学习层。

27、本发明实施例第二方面提供了一种回归式头影地标检测装置，所述装置应用于回归式头影地标检测模型，所述回归式头影地标检测模型包括：特征提取器、参考编码器和调优编码器，所述装置包括：

28、特征提取模块，用于通过所述特征提取器对输入的待检测图像进行特征提取，得到多层特征图；

29、第一输入模块，用于将特征提取器输出的最后一层特征图输入至参考编码器；

30、下采样模块，用于通过特征提取器对前k层特征图分别进行下采样操作，将前k层的下采样结果以及最后一层特征图分别和对应层特征图的图像位置编码相加，得到多个加和结果，再对多个加和结果进行融合得到带图像位置编码的多尺度特征，将所述带图像位置编码的多尺度特征输入至调优编码器；

31、第一处理模块，用于通过参考编码器对所述最后一层特征图进行处理，得到参考预测地标，将所述参考预测地标输入至调优编码器，所述参考预测地标包括至少一个参考点；

32、第二处理模块，用于通过所述调优编码器依据所述参考预测地标，对所述带图像位置编码的多尺度特征的所述参考点对应位置进行采样，对采样结果进行融合，得到融合采样结果，对所述融合采样结果和所述带图像位置编码的多尺度特征进行处理，得到调优预测地标。

33、可选地，所述回归式头影地标检测模型的训练过程包括：

34、收集带有头影测量地标点标注的样本图像；

35、所述特征提取模型对所述样本图像进行特征提取；

36、将特征提取模型输出的最后一层样本特征图和头影测量地标点位置编码输入至第一编码器；

37、对特征提取器输出的前k层样本特征图分别进行下采样操作，将每一层的采样结果分别和对应层样本特征图的图像位置编码相加，得到k个样本加和结果，再对k个样本加和结果进行融合得到带图像位置编码的样本多尺度特征，将所述带图像位置编码的样本多尺度特征输入至第二编码器；

38、所述第一编码器基于所述最后一层样本特征图和所述头影测量地标点位置编码进行自注意学习，输出样本参考预测地标，将所述样本参考预测地标输入至所述第二编码器，所述样本参考预测地标包括至少一个样本参考点；

39、所述第二编码器依据所述样本参考预测地标，对所述带图像位置编码的样本多尺度特征的所述样本参考点对应位置进行采样，对采样结果进行融合，得到样本融合采样结果，将所述样本融合采样结果和所述头影测量地标点位置编码进行拼接，得到拼接结果，对所述拼接结果和所述带图像位置编码的样本多尺度特征进行自注意学习，得到样本调优预测地标；

40、基于所述最后一层样本特征图的热图和所述头影测量地标点标注对应的热图之间的损失、所述样本参考预测地标和所述头影测量地标点标注之间的损失、以及所述样本调优预测地标和所述头影测量地标点标注之间的损失，对所述特征提取模型、第一编码器和第二编码器的参数进行更新，得到特征提取器、参考编码器和调优编码器。

41、可选地，所述第一编码器基于所述最后一层样本特征图和所述头影测量地标点位置编码进行自注意学习，输出样本参考预测地标，包括：

42、将所述最后一层样本特征图转换为样本图像特征序列，与所述头影测量地标点位置编码进行拼接，得到输入序列，将所述输入序列输入第一编码器进行自注意学习，在自注意学习的过程中，样本图像特征序列学习全局图像信息和头影测量地标点位置信息，头影测量地标点位置信息学习全局图像信息，头影测量地标点位置信息之间相互学习信息，最终输出样本参考预测地标。

43、可选地，所述装置还包括：

44、第一损失计算模块，用于基于第一损失函数和第二损失函数计算所述最后一层样本特征图的热图和所述头影测量地标点标注对应的热图之间的损失；

45、第二损失计算模块，用于基于第三损失函数计算所述样本参考预测地标和所述头影测量地标点标注之间的损失；

46、第三损失计算模块，用于基于第三损失函数计算所述样本调优预测地标和所述头影测量地标点标注之间的损失。

47、可选地，所述特征提取器为4层特征提取网络结构，所述下采样模块，具体用于：

48、通过特征提取器对第一层特征图进行1/8采样；

49、通过特征提取器对第二层特征图进行1/4采样；

50、通过特征提取器对第三层特征图进行1/2采样。

51、可选地，所述第一编码器包括n层自注意学习层，所述第二编码器包括m层自注意学习层。

52、本发明实施例第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如本发明第一方面所述的回归式头影地标检测方法中的步骤。

53、本发明实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面所述的回归式头影地标检测方法中的步骤。

54、本发明实施例中，通过回归式头影地标检测模型可以针对待检测图像智能预测得到头影地标，在预测过程中，使用下采样策略对多尺度特征进行采样得到带图像位置编码的多尺度特征，后续由调优编码器基于参考编码器得到的参考预测地标和该带图像位置编码的多尺度特征对预测地标进行进一步调整，在增加了模型多尺度特征和位置感知的同时还可以降低显存消耗。