一种图像分割方法、装置、移动终端及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种图像分割方法、装置、移动终端及存储介质。


背景技术：

2.现有技术中，图像分割网络预测的标签图应当是基本平滑的，即邻近的像素一般使用同一个标签，因为图像的高频区域往往被限制在不同对象之间的稀疏边界。规则网格会对平滑区域(低频区域)过采样，而同时对对象边界区域(高频区域)欠采样。这样会导致在平滑区域进行过度计算，使得预测结果的轮廓变得模糊。图像分割方法通常基于低分辨率规则网格来预测标签。模型最后的输出结果往往在物体边缘的区域分割不够精细。
3.综上所述，现有的图像分割方法由于对平滑区域过采样，而同时对对象边界欠采样，存在精度不高的问题。


技术实现要素：

4.本发明实施例提供一种图像分割方法、装置、移动终端及存储介质，提高了图像分割的精度。
5.本技术实施例的第一方面提供了一种图像分割方法，包括：
6.获取待分割图像的多个roi区域，并计算多个roi区域的第一分数；
7.当第一分数满足预设条件时，判定roi区域为高频区域；
8.根据第一上采样方法对高频区域进行采样后，完成对待分割图像的分割。
9.在第一方面的一种可能的实现方式中，获取待分割图像的多个roi区域，具体为：
10.将待分割图像输入至网络模型中，以使网络模型提取待分割图像的图像特征；
11.将图像特征输入至候选区域生成网络中，以使候选区域生成网络根据图像特征获取候选框；
12.对图像特征进行特征提取操作后，得到第一操作结果，结合第一操作结果和候选框生成多个roi区域并获取。
13.在第一方面的一种可能的实现方式中，计算多个roi区域的第一分数，具体为：
14.计算多个roi区域的分类分数后，将分类分数作为第一分数。
15.在第一方面的一种可能的实现方式中，当第一分数满足预设条件，具体为：
16.当第一分数属于第一预设区间时，判定第一分数满足预设条件。
17.在第一方面的一种可能的实现方式中，还包括：
18.计算高频区域的边框回归分数，结合分类分数对多个高频区域的边框进行调整。
19.在第一方面的一种可能的实现方式中，根据第一上采样方法对高频区域进行采样，完成对待分割图像的分割，具体为：
20.根据高频区域计算待分割图像的第一掩膜；
21.根据第一上采样方法将第一掩膜扩大为第一尺寸，完成待分割图像的分割；其中，
第一尺寸即为待分割图像的尺寸。
22.在第一方面的一种可能的实现方式中，当第一掩膜的分辨率小于待分割图像的分辨率时，还包括：
23.根据第一上采样方法对第一掩膜进行上采样处理，得到粗预测结果；
24.根据粗预测结果，获取高频预测点；其中，高频预测点的分类分数属于第一预设区间；
25.获取高频预测点的表征向量，根据表征向量进行新一轮的预测，并根据新预测结果更新第一掩膜的分辨率，直至第一掩膜的分辨率等于待分割图像的分辨率。
26.本技术实施例的第二方面提供了一种图像分割装置包括：获取模块、判定模块和分割模块；
27.其中，获取模块用于获取待分割图像的多个roi区域，并计算多个roi区域的第一分数；
28.判定模块用于当第一分数满足预设条件时，判定roi区域为高频区域；
29.分割模块用于根据第一上采样方法对高频区域进行采样后，完成对待分割图像的分割。
30.本技术实施例的第三方面提供了一种移动终端，包括处理器和存储器，存储器存储有计算机可读程序代码，处理器执行计算机可读程序代码时实现上述的一种图像分割方法的步骤。
31.本技术实施例的第四方面提供了一种存储介质，存储介质存储计算机可读程序代码，当计算机可读程序代码被执行时实现上述的一种图像分割方法的步骤。
32.相比于现有技术，本发明实施例提供了一种图像分割方法、装置、移动终端及存储介质，所述方法包括：获取待分割图像的多个roi区域，并计算多个roi区域的第一分数；当第一分数满足预设条件时，判定roi区域为高频区域；根据第一上采样方法对高频区域进行采样后，完成对待分割图像的分割。
33.其有益效果在于：本发明实施例通过计算待分割图像的多个roi区域的第一分数，再通过第一分数从多个roi区域中判定并获取高频区域，最后根据第一上采样方法对高频区域进行采样后，完成对待分割图像的分割。本发明实施例能够提高对高频区域的采样频率，避免分割结果的物体边界过于平滑、不真实的问题，同时避免了对于低频区域过采样而导致的分割结果轮廓模糊的问题，从而有效提高了图像分割的精度。
附图说明
34.图1是本发明一实施例提供的一种图像分割方法的流程示意图；
35.图2是本发明一实施例提供的是本发明一实施例提供的网络模型的结构示意图；
36.图3是本发明一实施例提供的一种图像分割装置的结构示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
38.参照图1，是本发明一实施例提供的一种图像分割方法的流程示意图，包括s101-s103：
39.s101：获取待分割图像的多个roi区域，并计算多个roi区域的第一分数。
40.在本实施例中，所述获取待分割图像的多个roi区域，具体为：
41.将所述待分割图像输入至网络模型中，以使所述网络模型提取所述待分割图像的图像特征；
42.将所述图像特征输入至候选区域生成网络中，以使所述候选区域生成网络根据所述图像特征获取候选框；
43.对所述图像特征进行特征提取操作后，得到第一操作结果，结合所述第一操作结果和所述候选框生成多个所述roi区域并获取。
44.在本实施例中，所述计算多个所述roi区域的第一分数，具体为：
45.计算多个所述roi区域的分类分数后，将所述分类分数作为所述第一分数。
46.s102：当第一分数满足预设条件时，判定roi区域为高频区域。
47.在本实施例中，所述当所述第一分数满足预设条件，具体为：
48.当所述第一分数属于第一预设区间时，判定所述第一分数满足所述预设条件。
49.进一步地，所述高频区域即为图片中颜色变化较明显的区域，比如物体的边缘区域；相应地，低频区域即为图片中相对平滑、颜色变化较小的区域。
50.优选地，所述第一预设区间以0.5为中间值而设立，以保证在所述第一分数属于第一预设区间，相当于所述roi区域的第一分数接近0.5，判定所述roi区域为高频区域。其中，以0.5为中间值是因为，在高频区域进行粗略检测的时候，分类分数普遍接近0.5；在低频区域进行粗略检测的时候，分类分数普遍大于0.5，接近0.5的分类分数较少。所以通过分类分数(即第一分数)对roi区域进行筛选，便可得到高频区域，再根据第一上采样方法对高频区域进行采样后再进行分割，便能够提高对高频区域的采样频率，避免分割结果的物体边界过于平滑、不真实的问题，同时避免了对于低频区域过采样而导致的分割结果轮廓模糊的问题，从而有效提高了图像分割的精度。
51.在一具体实施例中，还包括：
52.计算所述高频区域的边框回归分数，结合所述分类分数对多个所述高频区域的边框进行调整。
53.s103：根据第一上采样方法对高频区域进行采样后，完成对所述待分割图像的分割。
54.其中，所述第一上采样方法为双倍双线性插值上采样方法。
55.在本实施例中，所述根据第一上采样方法对所述高频区域进行采样，完成对所述待分割图像的分割，具体为：
56.根据所述高频区域计算所述待分割图像的第一掩膜；
57.根据所述第一上采样方法将所述第一掩膜扩大为第一尺寸，完成所述待分割图像的分割；其中，所述第一尺寸即为所述待分割图像的尺寸。
58.在一具体实施例中，当所述第一掩膜的分辨率小于所述待分割图像的分辨率时，还包括：
59.根据所述第一上采样方法对所述第一掩膜进行上采样处理，得到粗预测结果；
60.根据所述粗预测结果，获取高频预测点；其中，所述高频预测点的分类分数属于所述第一预设区间；
61.获取所述高频预测点的表征向量，根据所述表征向量进行新一轮的预测，并根据新预测结果更新所述第一掩膜的分辨率，直至所述第一掩膜的分辨率等于所述待分割图像的分辨率。
62.为了进一步说明网络模型的结构，请参照图2，图2是本发明一实施例提供的网络模型的结构示意图。
63.由图2可得，网络模型包括：输入层201、骨干网络(backbone)202、卷积神经网络(cnn)203、候选区域生成网络(rpn)204、roi pooling层205、roialign层206、fc层207、边框回归层(box regression)208、分类层(classification)209、point align层210和pointrend层211。
64.将待分割图像通过输入层201输入至网络模型中，首先经过骨干网络202，以使骨干网络202提取图像特征(feature map)；图像特征经过卷积神经网络203，以使卷积神经网络203进行特征提取操作后，得到第一操作结果；同时图像特征经过候选区域生成网络204，生成候选框；结合第一操作结果和候选框，生成多个roi区域；将多个roi区域输入至分类层209中，得到roi区域的分类分数，根据分类分数从多个roi区域中选出高频区域；将高频区域输入至边框回归层208中，得到高频区域的边框回归分数，并根据分类分数、边框回归分数对高频区域的边框进行调整，得到第一调整结果；将第一调整结果输入至point align层210中，以使point align层210提取第一调整结果的特征后根据第一调整结果的特征计算得到第一掩膜；然后第一掩膜输入至pointrend层211中，以使pointrend层211将第一掩膜扩大为原图尺寸，完成待分割图像的分割。
65.其中，卷积神经网络203进行特征提取操作具体为：
66.通过roi pooling层205提取特征后，将特征输入至fc层207中，以使fc层207预测框内物体的类别以及做bounding box微调，并输出第一操作结果。
67.其中，pointrend层主要实现了一个迭代上采样的过程，当输出的分辨率小于图片分辨率时，进行以下操作：
68.1.对通过roi align层提取roi的特征，计算出的mask结果进行双倍双线性插值上采样得到粗预测结果(coarse prediction_i)。
69.2.从粗预测结果中挑选出n个“难点”，“难点”即为结果很有可能和周围点不一样的点(例如物体边缘)。
70.3.对于每个难点，获取其“表征向量”，“表征向量”由两个部分组成，其一是低层特征，通过使用点的坐标，在低层的特征图上进行双线性插值获得(roialign)，其二是高层特征。
71.4.使用mlp对“表征向量”计算得到新的预测，更新coarseprediction_i得到coarseprediction_i 1。这个mlp其实可以看做一个只对“难点”的“表征向量”进行运算的由多个conv1x1组成的小网络。
72.5.重复上述操作直到输出的分辨率等于图片分辨率。
73.进一步地，网络模型的训练过程包括：
74.step1:初始化特征提取网络backbone；
75.step2:将图像输入到backbone网络进行特征提取，通过rpn网络，提取候选框；
76.step3:通过cnn进一步对该feature map进行特征提取,结合候选框得到很多roi区域；
77.step4:每个roi区域内用roi pooling提取特征，之后接上fc层别预测框内物体的类别以及做bounding box微调。选出得分最高的roi，用roi align层提取计算mask，后通过pointrend模块，得到分割的mask。
78.step5:通过预测值与标签值，计算损失函数，通过反向传递loss值,利用加权损失值更新网络权重；
79.step6:重复step2、step3、step4、step5，直到模型收敛。
80.为了进一步说明图像分割装置，请参照图3，图3是本发明一实施例提供的一种图像分割装置，其特征在于，包括：获取模块301、判定模块302和分割模块303；
81.其中，所述获取模块301用于获取待分割图像的多个roi区域，并计算多个所述roi区域的第一分数；
82.所述判定模块302用于当所述第一分数满足预设条件时，判定所述roi区域为高频区域；
83.所述分割模块303用于根据第一上采样方法对所述高频区域进行采样后，完成对所述待分割图像的分割。
84.本发明实施例提供了一种移动终端，包括处理器和存储器，所述存储器存储有计算机可读程序代码，所述处理器执行所述计算机可读程序代码时实现上述的一种图像分割方法的步骤。
85.本发明实施例提供了一种存储介质，所述存储介质存储计算机可读程序代码，当所述计算机可读程序代码被执行时实现上述的一种图像分割方法的步骤。
86.本发明实施例先通过获取模块301获取待分割图像的多个roi区域，并计算多个roi区域的第一分数；再通过判定模块302当第一分数满足预设条件时，判定roi区域为高频区域；最后通过分割模块303根据第一上采样方法对高频区域进行采样后，完成对待分割图像的分割。
87.本发明实施例通过计算待分割图像的多个roi区域的第一分数，再通过第一分数从多个roi区域中判定并获取高频区域，最后根据第一上采样方法对高频区域进行采样后，完成对待分割图像的分割。本发明实施例能够提高对高频区域的采样频率，避免分割结果的物体边界过于平滑、不真实的问题，同时避免了对于低频区域过采样而导致的分割结果轮廓模糊的问题，从而有效提高了图像分割的精度。
88.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。