基于可变形卷积的图像分割方法

本发明涉及深度学习图像分割领域，尤其是一种基于可变形卷积的图像分割方法。

背景技术：

1、传统的图像分割算法都有较大的弊端，例如传统的阈值分割、区域分割、边缘分割或基于聚类等传统方法，往往都需要人为设计，更加适合较为简单的分割场景，然而对于更加精细复杂的分割场景，例如存在高噪声、低分辨率问题的医学图像，往往无法得到理想的效果。

2、基于深度学习的图像分割算法可以较好地解决传统图像分割算法的问题，通过编码器解码器结构，可以实现将图像中包含的判别性特征语义逐步投影至与原始空间分辨率一致的像素空间以进行密集预测分类，从而实现对更加复杂精细图像分割场景的要求。但传统的编码器内使用的卷积核往往大小固定，其参数也需要人为设计。针对不同的任务，往往需要人为设计卷积核大小，感受野太小，不足以建模远距离依赖捕获大尺寸对象；感受野太大，则容易引入过多噪声和无效信息，这些最终都会影响到整体的分割性能。

技术实现思路

1、发明目的在于：提供一种基于可变形卷积的图像分割方法，通过特征提取网络中的可变形卷积核可以根据不同的分割场景调整卷积核的大小和形状，从而适应不同的分割场景提供解决方案。

2、技术方案：本发明所述的基于可变形卷积的图像分割方法，包括如下步骤：

3、步骤1，利用图像采集设备获取原始图像，并对原始图像进行预处理获得输入图像；

4、步骤2，将图像预处理后获得的输入图像作为特征提取网络的输入，由特征提取网络对输入图像进行逐层特征提取，再将各层提取到的图像特征和语义信息通过跨越连接输出到上采样网络的对应层；

5、步骤3，由上采样网络通过结合各层的图像特征和语义信息来逐层恢复图像尺寸，得到网络预测分割结果；

6、步骤4，根据网络预测分割结果与对应的真实分割结果的对比结果来对图像分割网络进行训练，图像分割网络包括特征提取网络以及上采样网络；

7、步骤5，根据最终的分割结果，对图像分割网络的分割效果进行评估，并对评估结果进行可视化展示。

8、进一步的，步骤1中，利用图像采集设备获取原始图像的具体步骤为：

9、利用肌骨超声采集设备获取原始文件数据流；

10、再对原始文件数据流进行数据预处理，将原始文件数据流转化为计算机可处理的图像格式的原始图像；

11、对原始图像进行预处理获得输入图像的具体步骤为：

12、利用两阶段目标检测算法对原始图像感兴趣区域进行检测并裁剪，去除其余无效信息，并通过混合池化进行降采样操作提取出针对分割任务的有效信息，得到输入图像。

13、进一步的，步骤2中，特征提取网络对输入图像进行逐层特征提取的具体步骤为：

14、步骤2.1，利用包含多个可变形卷积块的特征提取网络对输入图像进行逐层特征提取，将输入图像映射为高维特征向量；

15、步骤2.2，利用重复多次特征提取及映射操作，来丰富提取出的高维特征向量所包含的语义信息；

16、步骤2.3，将特征提取网络学习到的高维特征向量投影至与原始图像分辨率一致的像素空间以进行密集预测分类。

17、进一步的，步骤2.1中，可变形卷积块包含有可变形卷积核，可变形卷积核设置有可学习参数，用于针对不同的数据集调整其内部的参数，来动态调整可变形卷积核的大小和形状。

18、进一步的，步骤2.1中，可变形卷积层进行特征提取的表达式为：

19、o＝conv(ln(gelu(dconv(ln(gelu(conv(i)))))))

20、式中，i表示为输入图像，conv为普通卷积操作，dconv为可变形卷积操作，gelu为激活函数，ln表示层归一化，o表示提取出的特征。

21、进一步的，步骤3中，由上采样网络通过结合各层的图像特征和语义信息来逐层恢复图像尺寸的具体步骤为：

22、步骤3.1，将特征提取网络映射获得的不同层次的高维特征向量通过跨越连接与上采样网络对应层次的生成信息经过裁剪和拼接操作实现特征融合；

23、步骤3.2，使用上采样的方法逐步恢复图像尺寸，得到上采样特征；

24、步骤3.3，利用特征提取网络提取出的特征向量上采样至固定分辨率以实现端到端的训练，从而完成像素级的密集预测分类，生成对应图像的分割掩码。

25、进一步的，步骤3.2中，使用上采样的方法逐步恢复图像尺寸的具体步骤为：

26、步骤3.2.1，利用裁剪和拼接操作对特征提取网络提取出的高维特征向量以及上采样网络提取出的上采样特征进行特征融合；

27、步骤3.2.2，利用反卷积操作恢复图像尺寸，重复多次步骤3.2.1中的特征融合操作，直至获得与输入图像尺寸大小相同的分割结果，表达式为：

28、p＝deconv(concat(i，o))

29、式中，deconv表示反卷积操作，concat表示拼接操作，o表示当前层的生成信息，i表示当前层所利用的高维特征向量，p为当前层次的输出结果。

30、进一步的，步骤4中，对图像分割网络进行训练的具体步骤为：

31、步骤4.1，将实际分割结果与网络预测分割结果进行比对，利用损失函数定量描述网络预测分割结果与实际分割结果的差距；

32、步骤4.2，根据损失函数利用反向传播算法调整图像分割网络参数来优化网络分割性能。

33、进一步的，步骤5中，对图像分割网络的分割效果进行评估的具体步骤为：

34、步骤5.1，将测试集图像输入训练好的图像分割网络中，输出得到每张图像对应的网络预测分割结果；

35、步骤5.2，根据实际的分割结果与网络预测分割结果进行比对，利用accuracy和iou评估指标对预测分割结果进行评估。

36、进一步的，步骤5中，对评估结果进行可视化展示的具体步骤为：

37、在原始图像上绘制预测的分割掩膜，并设置分割掩膜的透明度为50％，生成最终的可视化结果，实现可视化展示。

38、本发明与现有技术相比，其有益效果是：本发明提供的基于可变形卷积的图像分割方法中，图像分割网络设置有可变形卷积核，能够根据不同的分割场景通过可学习参数动态调整卷积核的大小和形状，从而有效改善当前图像分割算法出现的问题，为适应不同的分割场景提供解决方案。

技术特征：

1.一种基于可变形卷积的图像分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于可变形卷积的图像分割方法，其特征在于，步骤1中，利用图像采集设备获取原始图像的具体步骤为：

3.根据权利要求1所述的基于可变形卷积的图像分割方法，其特征在于，步骤2中，特征提取网络对输入图像进行逐层特征提取的具体步骤为：

4.根据权利要求3所述的基于可变形卷积的图像分割方法，其特征在于，步骤2.1中，可变形卷积块包含有可变形卷积核，可变形卷积核设置有可学习参数，用于针对不同的数据集调整其内部的参数，来动态调整可变形卷积核的大小和形状。

5.根据权利要求3所述的基于可变形卷积的图像分割方法，其特征在于，步骤2.1中，可变形卷积层进行特征提取的表达式为：

6.根据权利要求3所述的基于可变形卷积的图像分割方法，其特征在于，步骤3中，由上采样网络通过结合各层的图像特征和语义信息来逐层恢复图像尺寸的具体步骤为：

7.根据权利要求6所述的基于可变形卷积的图像分割方法，其特征在于，步骤3.2中，使用上采样的方法逐步恢复图像尺寸的具体步骤为：

8.根据权利要求1所述的基于可变形卷积的图像分割方法，其特征在于，步骤4中，对图像分割网络进行训练的具体步骤为：

9.根据权利要求1所述的基于可变形卷积的图像分割方法，其特征在于，步骤5中，对图像分割网络的分割效果进行评估的具体步骤为：

10.根据权利要求1所述的基于可变形卷积的图像分割方法，其特征在于，步骤5中，对评估结果进行可视化展示的具体步骤为：

技术总结本发明公开了一种基于可变形卷积的图像分割方法，方法步骤包括：对原始图像进行预处理获得输入图像、由特征提取网络对输入图像进行逐层特征提取、由上采样网络通过结合各层的图像特征和语义信息来逐层恢复图像尺寸得到网络预测分割结果、根据网络预测分割结果与对应的真实分割结果的对比结果来对图像分割网络进行训练、对图像分割网络的分割效果进行评估和可视化展示。该图像分割方法设置有可变形的卷积核结构，可避免固定尺寸卷积核的感受野太小无法捕获大尺寸对象特征或感受野太大引入过多噪声和无效信息的问题，提高网络对于有效信息的提取能力，解决不同类型的图像对于网络分割效果产生影响的问题，从而提高分割性能。技术研发人员：丁建睿,郑宇力,丁卓,苏允良受保护的技术使用者：哈尔滨工业大学（威海）技术研发日：技术公布日：2024/7/29