一种自适应特征学习的髋关节关键点检测系统和方法

本发明涉及影像医学，具体而言，涉及一种自适应特征学习的髋关节关键点检测系统和方法。

背景技术：

1、在髋关节影像中，髋关节边缘轮廓较宽广，关键点分布分散且目标较小。同时，髋关节结构形态也因个体年龄、性别、病理畸变等因素而呈现出复杂性和多变性。传统的医学影像关键点检测方法通常依赖于手工设计的特征和机器学习算法，然基于手工特征提取的方法依赖于特定的形状和结构特征，无法适应不同个体之间的形态结构差异性，在准确性和鲁棒性方面存在很大的局限性。

2、深度学习方法能够学习到反映影像特点的深层次特征表示，通过利用所提取到的高级语义信息实现更好的检测效果。目前，基于深度学习的髋关节关键点检测方法主要分为两类：两阶段检测方法和单阶段检测方法。两阶段检测方法最终的检测精度依赖于第一阶段中关键点的候选区域的选择或其所在邻域的分割结果。而在单阶段检测方法中，unet网络因为强大的语义特征提取能力而被广泛应用，取得了重大的突破。

3、unet主要包括编码器、解码器和跳跃连接三个部分，在该网络中，编码器用于提取不同感受野下的特征信息，解码器逐步恢复特征图大小，每一层的跳跃连接向解码器中引入相同尺度的浅层编码器特征，补偿解码阶段的信息损失。

4、然而，尽管unet及其增强网络在一定程度上提高了特征的利用率，但网络中的跳跃连接只向解码器中引入相同尺度的编码特征，忽略了不同感受野的多尺度特征之间的互补信息。

技术实现思路

1、本发明要解决的技术问题是如何弥补在单阶段检测方法中忽略不同感受野下多尺度特征之间的互补信息的不足，为克服以上现有技术的缺陷，本发明提供一种自适应特征学习的髋关节关键点检测系统和方法，包含一种自适应特征学习的髋关节关键点检测系统和一种自适应特征学习的髋关节关键点检测方法。

2、本发明提供一种自适应特征学习的髋关节关键点检测系统，所述髋关节关键点检测系统包括：

3、编码器，以卷积和下采样操作方式，将待测髋关节的髋关节图像进行n次特征编码，并将每次特征编码后形成的髋关节特征信息进行输出，以输出n个具有不同尺度的髋关节特征信息；

4、解码器，从所述编码器输出的第n次特征编码形成的特征信息开始进行n次解码，在除第n次解码外的每次解码时发出通道拼接需求信息，将所述通道拼接需求信息对应的融合特征信息转化为相应的特征图以供下一次解码，而在第n次解码时则基于上一次解码得到的特征图获得所述待测髋关节的关键点预测结果；

5、多尺度特征融合模组,分别接收由所述解码器发出的各所述通道拼接需求信息，根据各所述通道拼接需求信息分别将所述编码器输出的若干个所述髋关节特征信息进行尺度和通道数调节，并拼接成各自对应的融合特征信息，且传回所述解码器；

6、其中，

7、所述编码器与所述解码器通信连接，所述多尺度特征融合模组分别与所述编码器、所述解码器通信连接。

8、本技术的自适应特征学习的髋关节关键点检测系统与现有技术相比，具有以下优点：通过设置编码器、解码器和多尺度特征融合模组，由编码器通过一系列的卷积和下采样操作，对输入的整体图像进行特征编码，提取不同尺度的髋关节的特征信息；在此基础上，将解码器与多尺度特征融合模组进行配合，由于多尺度特征融合模组可根据解码器的需求，将编码器中得到的不同尺度的髋关节特征信息进行融合，从而弥补了传统unet中跳跃连接只能将相同尺度的特征按通道进行拼接而忽略不同感受野下多尺度特征之间的互补信息的不足，不仅适应不同个体之间的形态结构差异性，而且在准确性和鲁棒性方面具有先进性和完备性。

9、在一种可能的实施方式中，所述编码器由n个子编码器串联构成，以由诸所述子编码器按从首到尾的先后顺序对所述髋关节图像进行逐次特征编码，除位于末尾的所述子编码器外的所有所述子编码器均与所述多尺度特征融合模组通信连接，位于末尾的所述子编码器与所述解码器通信连接

10、与现有技术相比，采用上述技术方案能够以不同的子编码器对应n次编码中的诸次编码，实现将髋关节图像进行n次特征编码，并将每次特征编码后形成的髋关节特征信息输送多尺度特征融合模组和解码器，以实现精确编码-解码。

11、在一种可能的实施方式中，位于首位的所述子编码器包括第一basic模块，其余的所述子编码器均包括下采样模块和第二basic模块，所述第一basic模块与所述多尺度特征融合模组、下一个所述子编码器中所述下采样模块通信连接；

12、末尾的所述子编码器中：所述第二basic模块与本所述子编码器中所述下采样模块、所述解码器通信连接；

13、其余的各所述子编码器中：所述下采样模块与本子编码器中所述第二basic模块通信连接，所述第二basic模块与所述多尺度特征融合模组、下一个所述子编码器中所述下采样模块通信连接；

14、进而可以实现以第一basic模块、第二basic模块作为卷积操作执行器、以下采样模块作为最大池化下采样执行器，最终实现对待测髋关节的髋关节图像进行逐次编码，提取不同尺度的特征信息。

15、在一种可能的实施方式中，所述解码器由n个子解码器串联构成，末尾的所述子解码器与末尾的所述子编码器中所述第二basic模块通信连接，除位于首位的所述子解码器外的所有所述子解码器均与所述多尺度特征融合模组通信连接；

16、末尾的所述子解码器用于将末尾的所述子编码器输出的特征信息进行上采样和卷积操作，以转化为相应的通道拼接需求信息并输送所述多尺度特征融合模组，并将由所述多尺度特征融合模组因此传回的融合特征信息转化为相应的特征图且传至前一个所述子解码器，位于首位的所述子解码器用于将后一个所述子解码器输出的特征图进行卷积和sigmoid激活以获得所述髋关节图像的关键点预测结果，其余的所述子解码器用于将后一个所述子解码器输出的特征图进行上采样和卷积操作，以转化为相应的通道拼接需求信息并输送所述多尺度特征融合模组，并将由所述多尺度特征融合模组因此传回的融合特征信息转化为相应的特征图且传至前一个所述子解码器，所有的所述特征图均包含髋关节的位形特征；

17、进而可以实现对于编码所形成的特征信息逐步解码，以恢复特征图大小至网络输入图像的原始分辨率大小，并在解码器结尾进行最终髋关节的关键点预测结果，确保检测结果可靠。

18、在一种可能的实施方式中，位于首位的所述子解码器包括第三basic模块，其余的所述子解码器均包括上采样模块、第四basic模块和用于从各所述髋关节特征信息中自适应提取关键特征信息的多尺度特征通道注意力模块；

19、末尾的所述子解码器中：所述上采样模块与末尾的所述子编码器中所述第二basic模块、本子解码器中所述第四basic模块通信连接，本子解码器中所述第四basic模块与本子解码器中所述多尺度特征通道注意力模块通信连接，本子解码器中所述多尺度特征通道注意力模块与所述多尺度特征融合模组、前一个所述子解码器中所述上采样模块通信连接；

20、位于首位的所述子解码器中：所述第三basic模块与后一个所述子解码器中所述多尺度特征通道注意力模块通信连接；

21、其余的所述子解码器中：所述上采样模块与后一个所述子解码器中所述多尺度特征通道注意力模块、本子解码器中所述第四basic模块通信连接，本子解码器中所述第四basic模块与本子解码器中所述多尺度特征通道注意力模块通信连接；

22、相比较现有技术，将多尺度特征通道注意力模块部署在系统的解码器中，能够实现在每个子解码器代表执行的解码运算层，都将经过多尺度特征融合模块后的特征与前一个子解码器代表执行的解码运算层得到的高级语义特征相结合，得到一个包含更丰富信息的特征，多尺度特征通道注意力模块指导网络自适应地学习具有判别性的重要特征信息。通过解码器中逐步采用卷积并插值的上采样操作，恢复特征图大小并输出网络的预测结果。

23、在一种可能的实施方式中，所述第三basic模块包含沿运行方向依次设置的第一卷积单元和sigmoid激活单元；

24、进而能够实现在系统网络结构的最后，使用可预设卷积核卷积单元对解码器的最后一层输出特征进行卷积并进行sigmoid激活，以达到将解码器模块的输出特征映射到期望的关键点检测结果。

25、在一种可能的实施方式中，各所述多尺度特征通道注意力模块均包括第一拼接单元、最大池化单元、第一全连接单元、平均池化单元、第二全连接单元、权值生成单元、点乘单元、第二拼接单元和basic子模块；

26、所有的所述第一拼接单元均与所述多尺度特征融合模组通信连接，各所述第一拼接单元还与其所在子解码器中所述第四basic模块通信连接；

27、各所述多尺度特征通道注意力模块中：

28、所述第一拼接单元、所述最大池化单元、所述第一全连接单元和所述权值生成单元经通信连接形成一条网支路，所述第一拼接单元、所述平均池化单元、所述第二全连接单元和所述权值生成单元经通信连接形成另一条网支路，所述点乘单元与所述权值生成单元通信连接，所述第二拼接单元与所述点乘单元通信连接，所述basic子模块与所述第二拼接单元、本basic子模块所在子解码器(21)的下一个所述子解码器的上采样模块通信连接；

29、所述第一全连接单元与所述第二全连接单元的运算参数相同；

30、所述第一拼接单元用于接收与其相连的所述第四basic模块的输出，并以此为所述通道拼接需求信息，而后调用所述多尺度特征融合模组输出对应的融合特征信息，将该所述融合特征信息与所述通道拼接需求信息进行通道拼接，获得第一拼接结果；

31、所述权值生成单元用于将所述第一全连接单元与所述第二全连接单元的输出进行融合，并以sigmoid激活生成权值；

32、所述点乘单元用于执行将所述权值生成单元所生成权值与该所述融合特征信息的点乘运算，获得点乘结果；

33、所述第二拼接单元用于将所述点乘单元输出的点乘结果与所述通道拼接需求信息进行通道拼接，获得第二拼接结果；

34、所述basic子模块用于对所述第二拼接结果进行卷积、归一化和relu激活，获得所述特征图；

35、在解码器中设置具备上述结构的多尺度特征通道注意力模块，通过一系列融合、拼接运行，最终获得相应的特征图，提高了网络的检测性能和鲁棒性。

36、在一种可能的实施方式中，所述多尺度特征融合模组由(n-1)个第五basic模块并联构成，所述第一basic模块、除属于末尾的所述子编码器中所述第二basic模块外的所有所述第二basic模块分别与一个所述第五basic模块通信连接，各所述第一拼接单元均与所有的所述第五basic模块通信连接；

37、进而能够实现根据各子解码器对应的拼接需求完成不同尺度特征的融合，提高特征利用率，确保关键点特征预测精确可靠。

38、在一种可能的实施方式中，所有的所述第五basic模块均包含沿运行方向依次设置的第二卷积单元、归一化单元和relu激活单元；

39、进而可以适应解码器每一层级特征的图像分辨率大小不一致，对应每个层级的特征融合都需要的不同操作方式要求，以进行卷积、归一化和激活处理。

40、本发明的另一技术解决方案是，提供一种自适应特征学习的髋关节关键点检测方法，基于本发明中的自适应特征学习的髋关节关键点检测系统，包括如下步骤：

41、s1：通过编码器将待测髋关节的髋关节图像进行n次特征编码，并于每次特征编码后形成的髋关节特征信息进行输出，以输出n个具有不同尺度的髋关节特征信息；

42、s2：通过多尺度特征融合模组接收由所述步骤s1所获n个具有不同尺度的髋关节特征信息的若干个所述髋关节特征信息；

43、s3；基于所述步骤s1所获髋关节特征信息，通过解码器从第n次特征编码形成的特征信息开始进行依次解码到第n次，其中，在除第n次解码外的每次解码时，由所述解码器发出本次解码的通道拼接需求信息，通过多尺度特征融合模组接收本次解码的通道拼接需求信息，并据此将所述步骤s2接收的若干个所述髋关节特征信息进行尺度和通道数调节，随后拼接成本次解码的融合特征信息，且传回所述解码器，由所述解码器转化为本次解码的特征图以供下一次解码，而在第n次解码时则基于上一次解码得到的特征图获得所述待测髋关节的关键点预测结果。

44、本发明的一种自适应特征学习的髋关节关键点检测方法，通过引入多尺度特征融合模块，将编码器中包含不同层次信息的特征进行融合，生成的融合特征包含髋关节中浅层的细节特征信息和深层的全局高级语义特征信息，能够有效指导后续每一层的解码过程。进而在获取髋关节特征信息的基础上，有效地检测出相应的解剖关键点，具备方法优秀的检测性能，可以有效地应用于临床辅助诊断中。