一种基于改进SwinTransformer的胎儿心脏超声标准切面检测方法及系统

本发明涉及图像检测，具体涉及一种基于改进swin transformer的胎儿心脏超声标准切面检测方法及系统。

背景技术：

1、产前超声检查因其低成本、安全和方便等优点已成为评估胎儿健康和预防新生儿出生缺陷的有效手段，在一般产前检查中得到了广泛而有效的应用。传统的产前超声检查主要依赖专业医生从超声图像中手动选择标准切面，这不仅耗费时间，还可能因为医生个体之间的经验差异而引入主观性和不一致性，因此寻求自动化和效率化的替代方案成为提升产前超声检查流程效率的迫切需求。

2、随着大规模数据集和计算资源的出现，卷积神经网络(cnns)成为许多计算机视觉应用的骨干网络，深度学习在图像处理和医学图像分析领域取得了巨大成功。cnns在处理图像时善于捕捉局部特征，这使得cnns在许多视觉任务中表现出色。

3、对胎儿心脏超声图像进行标准切面检测时，为了得到准确的检测结果，需要处理全局信息，然而，cnns由于卷积操作的性能不会随着感受野的增大而进行良好的缩放，因此当涉及处理全局信息时，cnns会存在不足，从而导致检测结果不准确。

4、因此，急需针对胎儿心脏超声标准切面提出一种有利于建立全局关系的检测方法。

技术实现思路

1、为了克服现有技术的不足，本发明提供一种基于改进swin transformer的胎儿心脏超声标准切面检测方法及系统，用于解决现有的检测方法在针对胎儿心脏超声标准切面检测时，由于在处理全局信息上存在不足，导致检测结果不准确的技术问题，从而达到能够更好地捕获胎儿心脏超声切面的全局信息，极大减少了信息的丢失，提高检测结果准确性的目的。

2、为解决上述问题，本发明所采用的技术方案如下：

3、一种基于改进swin transformer的胎儿心脏超声标准切面检测方法，包括以下步骤：

4、获取原始胎儿心脏超声切面，并进行初步处理，得到适应网络输入的胎儿心脏超声切面；

5、基于所述适应网络输入的胎儿心脏超声切面，构建初始的胎儿心脏超声影像数据集，并进行预处理操作，得到最终的胎儿心脏超声影像数据集；

6、搭建高效的纯自注意力机制胎儿心脏超声切面多任务模型，并利用迁移学习进行交叉训练和联合优化，得到改进后的纯自注意力机制胎儿心脏超声切面多任务模型；

7、利用所述最终的胎儿心脏超声影像数据集评估所述改进后的纯自注意力机制胎儿心脏超声切面多任务模型，检验模型的鲁棒性以及是否具有良好的泛化能力，确定最终的纯自注意力机制胎儿心脏超声切面多任务模型；

8、通过所述最终的纯自注意力机制胎儿心脏超声切面多任务模型进行胎儿心脏超声标准切面检测。

9、作为本发明优选的实施方式，在进行初步处理时，包括：

10、在获取到的胎儿心脏超声影像视频中随机截取获得原始胎儿心脏超声切面；

11、对所述原始胎儿心脏超声切面进行标注，分别用标注框标注出所述原始胎儿心脏超声切面所包含的关键组织结构以及标注出所述原始胎儿心脏超声切面的类别，得到带有标注的胎儿心脏超声切面；

12、使用最小调补法将所述带有标注的胎儿心脏超声切面的尺寸统一调整为640×640大小以适应网络的输入，得到所述适应网络输入的胎儿心脏超声切面，形成相应的json文件。

13、作为本发明优选的实施方式，在构建初始的胎儿心脏超声影像数据集时，包括：

14、通过编写python脚本将每张所述适应网络输入的胎儿心脏超声切面的类别、名称、组织结构的锚框信息以及组织结构的名称，从经过数据标注后获得的json文件中提取出来并存入txt文件中；

15、将每张所述适应网络输入的胎儿心脏超声切面的信息放置为一行并按照以下顺序排列：切面类别、切面名称、切面所包含组织结构的锚框信息、切面所包含组织结构的名称，从而获得适应网络的数据文件；

16、并按照7：2：1将所述初始的胎儿心脏超声影像数据集划分为训练集、验证集和测试集；

17、其中，所述初始的胎儿心脏超声影像数据集为小规模数据集。

18、作为本发明优选的实施方式，在进行预处理操作时，包括：

19、对所述初始的胎儿心脏超声影像数据集中每张胎儿心脏超声切面的像素进行归一化处理；

20、在模型训练阶段的前70％的epoch中使用马赛克数据增强和混合增强；

21、其中，在进行归一化处理时，包括：

22、将每张胎儿心脏超声切面的像素值除以255，把像素值缩放到0-1之间；

23、在使用马赛克数据增强和混合增强时，包括：

24、在每个训练阶段有50％的概率使用马赛克增强，所述马赛克增强为：打开胎儿心脏超声切面后，通过随机左右翻转、缩放、长宽比扭曲以及控制图像的放置位置对胎儿心脏超声切面进行处理；对每个胎儿心脏超声切面进行相应的边界框处理，包括：翻转、调整坐标以及处理越界；将四张处理后的胎儿心脏超声切面放在一起，形成一张马赛克增强后的胎儿心脏超声切面；

25、使用了马赛克增强后的胎儿心脏超声切面有50％的概率使用混合增强，所述混合增强为：接收两对胎儿心脏超声切面和边界框信息，并对其进行混合；

26、其中，混合后的胎儿心脏超声切面是两个输入的胎儿心脏超声切面的加权平均，混合后的边界框信息是两对输入框的简单拼接。

27、作为本发明优选的实施方式，在搭建高效的纯自注意力机制胎儿心脏超声切面多任务模型时，包括：

28、搭建一个轻量化设计的主干网络，所述主干网络包括：stage1阶段、stage2阶段、stage3阶段以及stage4阶段；

29、基于所述主干网络构建目标检测分支模块和分类分支模块；

30、其中，除了所述stage1阶段以外，所述stage2阶段、所述stage3阶段以及所述stage4阶段都由patch merging层和raast块组成。

31、作为本发明优选的实施方式，在搭建所述stage1阶段时，包括：

32、将维度为640×640×3的输入图像经过patch partition层和linear embeddi ng层中下采样4倍，以使通道数由3增加到96；

33、将下采样后的特征层经过基于窗口自注意力机制和残差轴向注意力机制的全注意力机制raast块进行特征提取，实现了stage1的特征处理；

34、其中，640表示输入图像的高度和宽度都为640，3代表rgb三个通道；

35、在搭建所述stage2阶段、所述stage3阶段以及所述stage4阶段时，包括：

36、通过patch merging调整特征层的维度，即将特征层的高和宽减半，深度翻倍；

37、经过raast块的窗口自注意力计算、轴向残差自注意力计算、层归一化、多层感知机处理后输出当前阶段的特征层，输出的特征层维度保持不变，然后输入到下一个阶段；

38、重复上述过程三次，即可实现所述stage2阶段、所述stage3阶段以及所述stage4阶段的特征提取过程。

39、作为本发明优选的实施方式，在构建目标检测分支模块时，包括：

40、将所述主干网络中的stage2阶段、stage3阶段以及stage4阶段的输出特征层传入特征金字塔网络中进行特征增强，以实现多尺度的特征层信息融合；

41、其中，所述特征金字塔网络输出三个多尺度的特征图，分别对应下采样比例为32倍、16倍和8倍；所述三个多尺度的特征图都定义了3个不同尺寸的先验框，共设计了9个先验框。

42、作为本发明优选的实施方式，在构建分类分支模块时，包括：

43、构建layer1层和layer2层；

44、其中，所述layer1层由1个conv block和5个identity block堆叠而成；所述layer2层由1个conv block和2个identityblock堆叠而成；

45、其中，每个conv block和identity block都是通过多层卷积层和批量归一化层实现深度网络的构建；

46、将所述stage4阶段的输出特征层传入所述分类分支模块的layer1层和layer2层，以及进行平均全局池化操作；

47、将平均全局池化的输出传入全连接层，并通过所述全连接层实现最终的分类输出。

48、作为本发明优选的实施方式，在进行交叉训练和联合优化时，包括：

49、冻结分类网络，使用训练集单独训练主干网络和目标检测网络，得到第一训练结果；

50、单独对所述分类网络进行训练，包括：冻结主干网络和目标检测网络，将所述第一训练结果迁移到所述分类网络的训练中，对所述分类网络进行单独训练，得到第二训练结果；

51、使用所述第二训练结果和测试集进行模型的评估。

52、一种基于改进swin transformer的胎儿心脏超声标准切面检测系统，包括：

53、图像获取及处理单元：用于获取原始胎儿心脏超声切面，并进行初步处理，得到适应网络输入的胎儿心脏超声切面；

54、数据集构建单元：基于所述适应网络输入的胎儿心脏超声切面，构建初始的胎儿心脏超声影像数据集，并进行预处理操作，得到最终的胎儿心脏超声影像数据集；

55、模型搭建单元：用于搭建高效的纯自注意力机制胎儿心脏超声切面多任务模型，并利用迁移学习进行交叉训练和联合优化，得到改进后的纯自注意力机制胎儿心脏超声切面多任务模型；利用所述最终的胎儿心脏超声影像数据集评估所述改进后的纯自注意力机制胎儿心脏超声切面多任务模型，检验模型的鲁棒性以及是否具有良好的泛化能力，确定最终的纯自注意力机制胎儿心脏超声切面多任务模型；

56、检测单元：用于通过所述最终的纯自注意力机制胎儿心脏超声切面多任务模型进行胎儿心脏超声标准切面检测。

57、相比现有技术，本发明的有益效果在于：

58、(1)本发明针对现有技术中基于cnns架构的超声切面检测模型存在全局信息利用不充分、大规模数据处理困难等问题，通过借助swin transformer和resnet50的思想，提出了一种集成分类与检测功能的多任务模型。该模型的主干网络采用了独立的注意力层，以构建一个不受卷积核大小限制的纯自注意力机制超声切面检测模型，在一定程度上能够更好地捕获胎儿心脏超声切面的全局信息，极大减少了信息的丢失。

59、(2)本发明为了提高胎儿心脏超声标准切面的判断效率，提出了一种由分类任务和检测任务构成的多任务网络模型，能够自动检测关键组织结构和判断该超声切面是否为标准切面。该网络模型包括了主干特征提取网络、分类分支网络和目标检测分支网络，分类分支网络和目标检测分支网络能够共享底层特征层，并利用迁移学习对多任务网络进行交叉训练和联合优化。

60、(3)本发明为了减少swin transformer的计算量以及提高模型的建模能力，提出了轻量级的主干网络，主干网络包含了四个阶段，第一个阶段由linear embedding和自主设计的raast块(residualaxial attention swin transformer blocks)组成，其余三个阶段由patchmerging块和raast块组成。

61、(4)本发明为了实现全局-局部信息的高效融合，提高模型对不同尺度和场景的适应性，加强模型对噪声和干扰的抵抗力，进一步增强模型的泛化性能，自主设计了一种能够高效关注特征层的通道信息和空间信息的多尺度混合注意力机制，并将其引入到模型的主干网络和检测端。

62、下面结合附图和具体实施方式对本发明作进一步详细说明。