一种图像分割方法、系统、设备及存储介质与流程

技术特征：
1.一种图像分割方法，其特征在于，所述图像分割方法包括：将待分割图像输入到特征提取网络中，得到所述特征提取网络输出的用于反映所述待分割图像特征的图像特征向量；将所述图像特征向量输入到像素编码器，得到所述像素编码器输出的多个尺寸的像素特征图；将所述图像特征向量输入到已训练的转换解码器，所述已训练的转换解码器包括匹配部分，具有交叉注意力机制、自注意力机制；将所述图像特征向量作为所述匹配部分的查询向量，并作为转换解码器交叉注意力机制中的输入值和权重系数，在所述多个尺寸的像素特征图中查找用于反映目标物体的目标物体特征向量和预测类别；依据所述目标物体特征向量与最大尺寸的像素特征图进行点乘，计算目标物体的分割掩码。2.如权利要求1所述的图像分割方法，其特征在于，转换解码器包括多层解码器，分别为从第一层的解码器至最后一层的解码器，所述依据所述目标物体特征向量与最大尺寸的像素特征图进行点乘，计算目标物体的分割掩码，包括：从最小尺寸的像素特征图中开始查找，依据最后一层的解码器输出的目标物体特征向量与最大尺寸的像素特征图进行点乘，得到所述目标物体的分割掩码。3.如权利要求2所述的图像分割方法，其特征在于，所述从最小尺寸的像素特征图中开始查找，依据最后一层的解码器输出的目标物体特征向量与最大尺寸的像素特征图进行点乘，得到所述目标物体的分割掩码，包括：以最小尺寸的像素特征图和所述图像特征向量作为所述第一层的解码器的输入，将所述图像特征向量作为查询向量，在所述最小尺寸的像素特征图中查找得到所述第一层的解码器输出的预测物体特征向量；所述第一层的解码器输出的预测物体特征向量与所述最小尺寸的像素特征图进行点乘，获得所述第一层的解码器输出的预测分割掩码；将比最小尺寸的像素特征图大设定尺寸的像素特征图和所述第一层的解码器输出的预测物体特征向量作为下一中间层的解码器的输入，以所述第一层的解码器输出的预测分割掩码作为下一中间层的交叉注意力掩码，直至最后一层的解码器输出目标物体特征向量；依据最大尺寸的像素特征图与所述目标物体特征向量进行点乘，得到所述目标物体的分割掩码。4.如权利要求3所述的图像分割方法，其特征在于，转换解码器包括每一层的解码器，所述图像分割方法还包括：每一层的解码器输出的预测类别通过转换解码器的线性层和比较器得到每种类别的概率；将最大概率对应的类别作为每一层的解码器输出的预测类别，每一层的解码器输出的预测类别用于最后一层的解码器输出所述目标物体的类别。5.如权利要求4所述的图像分割方法，其特征在于，所述已训练的转换解码器还包括引导部分，具有交叉注意力机制、自注意力机制，所述图像分割方法还包括：
所述已训练的转换解码器包括自注意力掩膜矩阵，在训练转换解码器的过程中，使用所述自注意力掩膜矩阵阻碍转换解码器中匹配部分与引导部分的自注意力机制的传递。6.如权利要求5所述的图像分割方法，其特征在于，已训练的转换解码器的训练方式包括：生成样本分割图像的样本特征向量和多尺寸的样本像素特征图；将所述样本特征向量、所述多尺寸的样本像素特征图输入所述转换解码器的匹配部分，将样本目标物体所对应的真实分割掩码和噪声分割掩码、样本目标物体所对应的真实类别输入所述转换解码器的引导部分，分别得到所述转换解码器匹配部分和引导部分输出的训练目标掩码和训练目标类别；分别计算所述转换解码器的匹配部分和引导部分的所述训练目标掩码所对应的掩码损失函数、所述训练目标类别所对应的类别损失函数；依据所述掩码损失函数和所述类别损失函数，调整转换解码器的参数，直至所述掩码损失函数和所述类别损失函数满足设定条件，得到已训练的转换解码器。7.如权利要求6所述的图像分割方法，其特征在于，所述将样本目标物体所对应的真实分割掩码和噪声分割掩码、样本目标物体所对应的真实类别输入所述转换解码器的引导部分，包括：所述真实分割掩码是一个矩阵，矩阵的每个元素为0或1，1代表像素属于与所述目标物体对应的预测类别，0代表像素不属于与所述目标物体对应的预测类别；所述噪声分割掩码在所述真实分割掩码随机采样一些点，被采样到的点如果是0就变成1，若是1就变成0。8.如权利要求7所述的图像分割方法，其特征在于，将所述样本特征向量、所述多尺寸的样本像素特征图输入所述转换解码器的匹配部分，将所述样本目标物体所对应的真实分割掩码和噪声分割掩码、所述样本目标物体所对应的真实类别输入所述转换解码器的引导部分，分别得到所述转换解码器匹配部分和引导部分输出的训练目标掩码和训练目标类别，包括：将所述样本特征向量输入至第一层的匹配部分，得到所述第一层的匹配部分输出的训练匹配预测类别和训练匹配预测特征向量，所述第一层为所述转换解码器的第一层；将所述训练匹配预测特征向量与所述多尺寸的样本像素特征图中的最小尺寸样本像素特征图进行点乘，得到所述第一层的匹配部分所对应的训练匹配预测掩码，以所述第一层的匹配部分所对应的训练匹配预测掩码作为所述第一层的匹配部分所对应的训练匹配交叉注意力掩码；将所述第一层的匹配部分输出的训练匹配预测类别、所述训练匹配预测特征向量、所述训练匹配交叉注意力掩码输入到下一中间层解码器的匹配部分，以此类推，直至最后一层的匹配部分输出训练匹配目标特征向量和训练目标类别中的训练匹配目标类别，所述最后一层为所述转换解码器的最后一层；将所述训练匹配目标特征向量与所述样本像素特征图进行点乘，得到所述训练目标掩码中的训练匹配目标掩码；将所述真实分割掩码和噪声分割掩码、所述真实类别输入到所述第一层的引导部分，得到所述第一层的引导部分输出的训练引导预测类别和训练引导预测特征向量；
将所述训练引导预测特征向量与所述样本像素特征图进行点乘，得到所述第一层的引导部分所对应的训练引导预测掩码；将所述训练引导预测掩码加上带噪声的分割掩码，得到训练引导交叉注意力掩码；将所述第一层的引导部分输出的所述训练引导预测类别、所述训练引导预测特征向量和所述训练引导交叉注意力掩码输入到所述下一中间层的引导部分，以此类推，直至所述最后一层的引导部分输出训练引导目标特征向量以及训练目标类别中的训练引导目标类别；将所述训练引导目标特征向量与所述样本像素特征图进行点乘，得到所述训练目标掩码中的训练引导目标掩码。9.如权利要求8所述的图像分割方法，其特征在于，所述引导部分和所述匹配部分的掩码损失函数相同，所述引导部分和所述匹配部分的类别损失函数相同，用于计算掩码损失函数的所述训练匹配预测掩码为所述匹配部分的训练匹配预测掩码经过二分图匹配得到的预测掩码，所述依据所述掩码损失函数和所述类别损失函数，调整转换解码器的参数，直至所述掩码损失函数和所述类别损失函数满足设定条件，得到已训练的转换解码器，包括：依据所述第一层的训练匹配预测掩码所对应的掩码损失函数、所述第一层输出的训练匹配预测类别所对应的类别损失函数、所述第一层的训练引导预测掩码所对应的掩码损失函数、所述第一层输出的训练引导预测类别所对应的类别损失函数，调整转换解码器的第一层的参数；依据所述中间层的所述训练匹配预测掩码所对应的掩码损失函数、所述中间层输出的所述训练匹配预测类别所对应的类别损失函数、所述中间层的所述训练引导预测掩码所对应的掩码损失函数、所述中间层输出的所述训练引导预测类别所对应的类别损失函数，调整转换解码器的中间层的参数；依据所述最后一层的训练引导目标掩码所对应的掩码损失函数、所述最后一层的训练匹配目标掩码所对应的掩码损失函数、所述最后一层输出的训练引导目标类别所对应的类别损失函数、所述最后一层输出的训练匹配目标类别所对应的类别损失函数，调整转换解码器的最后一层的参数；依据调整参数之后的所述第一层、所述中间层、所述最后一层，得到已训练的转换解码器。10.一种图像分割系统，其特征在于，所述系统包括如下组成部分：特征提取网络，用于提取待分割图像中用于反映所述待分割图像特征的图像特征向量；像素编码器，用于根据所述特征提取网络提取的所述图像特征向量，得到像素特征图；转换解码器，内部设置有注意力掩膜矩阵，用于根据所述图像特征向量和所述像素特征图，得到掩码。11.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的图像分割程序，所述处理器执行所述图像分割程序时，实现如权利要求1-9任一项所述的图像分割方法的步骤。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像分割程序，所述图像分割程序被处理器执行时，实现如权利要求1-9任一项所述的图像分割方
法的步骤。

技术总结
本发明涉及图像分割技术领域，具体是涉及一种图像分割方法、系统、设备及存储介质。本发明首先提取出待分割图像中的图像特征向量，以及对待分割图像进行像素编码而得到像素特征图。然后将图像特征向量作为查询向量和像素特征图输入到转换解码器，转换解码器利用图像特征向量在像素特征图中查找与目标物体所对应的目标物体特征向量，目标物体特征向量与像素特征图进行点乘后输出与目标物体所对应的分割掩码，目标物体所对应的分割掩码就可以用于构建需要分割出来的目标物体图像。从上述分析可知，由于本申请将图像特征向量和像素特征图输入到转换解码器中能够准确得到需要分割出来的目标物体的图像。来的目标物体的图像。来的目标物体的图像。


技术研发人员：张浩 李峰 徐怀哲 黄仕嘉 刘世隆 张磊
受保护的技术使用者：粤港澳大湾区数字经济研究院（福田）
技术研发日：2022.09.05
技术公布日：2022/10/11