视频的目标分割方法、装置、设备及计算机可读存储介质与流程

技术特征：
1.一种视频的目标分割方法，其特征在于，包括：从视频帧序列中获取第一视频帧，所述第一视频帧为所述视频帧序列中除最后一个视频帧之外的任一视频帧；通过曲线摆置分割网络模型对所述第一视频帧进行处理，生成所述第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘；对所述第一目标边缘的位置进行调整，确定位于所述第一视频帧之后的视频帧中的目标边缘，以对位于所述第一视频帧之后的视频帧进行目标跟踪。2.如权利要求1所述的方法，其特征在于，所述通过曲线摆置分割网络模型对所述第一视频帧进行处理，生成所述第一视频帧中目标边缘的闭合曲线，包括：通过所述曲线摆置分割网络模型对所述第一视频帧进行处理，依次预测所述第一视频帧中目标边缘上的锚点和曲率；基于预测的锚点和曲率，生成所述第一视频帧中目标边缘的闭合曲线。3.如权利要求1所述的方法，其特征在于，所述对所述第一目标边缘的位置进行调整，确定位于所述第一视频帧之后的视频帧中的目标边缘，包括：对于第二视频帧，在所述第二视频帧中对所述第一目标边缘的位置进行调整，得到第二目标边缘，所述第二视频帧为所述第一视频帧的下一个视频帧；将所述第二目标边缘确定为所述第二视频帧的目标边缘。4.如权利要求1所述的方法，其特征在于，所述对所述第一目标边缘的位置进行调整，确定位于所述第一视频帧之后的视频帧中的目标边缘，包括：对于第三视频帧，在所述第三视频帧中对指定目标边缘的位置进行调整，得到第四目标边缘，所述第三视频帧为位于所述第二视频帧之后的任一视频帧，所述指定目标边缘为所述第三视频帧的上一个视频帧的目标边缘；将所述第四目标边缘确定为所述第三视频帧的目标边缘。5.如权利要求3所述的方法，其特征在于，所述在所述第二视频帧中对所述第一目标边缘的位置进行调整，得到第二目标边缘，包括：在所述第二视频帧中，按照预设规则对所述第一目标边缘的位置进行调整；将所述第二视频帧和调整后的第一目标边缘输入至目标边缘匹配模型中，通过所述边缘匹配模型，确定调整后的第一目标边缘与所述第二视频帧中的目标之间的匹配信息，根据所述匹配信息确定所述第二目标边缘。6.如权利要求5所述的方法，其特征在于，所述在所述第二视频帧中，按照预设规则对所述第一目标边缘的位置进行调整，包括：基于所述第一视频帧和所述第二视频帧中像素在时域上的变化，以及所述第一视频帧和所述第二视频帧之间的相关性，计算所述第一视频帧和所述第二视频帧之间光流的运动矢量；基于所述运动矢量对所述第一目标边缘的位置进行调整。7.如权利要求5所述的方法，其特征在于，所述在所述第二视频帧中，按照预设规则对所述第一目标边缘的位置进行调整，包括：在所述第二视频帧中，按照随机调整机制对所述第一目标边缘的位置进行调整。8.如权利要求5所述的方法，其特征在于，所述根据所述匹配信息确定所述第二目标边缘，包括：
若根据所述匹配信息确定调整后的第一目标边缘与所述第二视频帧中的目标匹配，则将调整后的第一目标边缘确定为所述第二目标边缘；若根据所述匹配信息确定调整后的第一目标边缘与所述第二视频帧中的目标不匹配，则按照所述预设规则对调整后的第一目标边缘的位置继续进行调整，直至确定调整后的第一目标边缘与所述第二视频帧中的目标匹配，将调整后的第一目标边缘确定为所述第二目标边缘。9.如权利要求5所述的方法，其特征在于，所述将所述第二视频帧和调整后的第一目标边缘输入至目标边缘匹配模型中之前，还包括：获取样本数据，所述样本数据包括多个正样本数据，每个正样本数据包括正样本图像和对应的目标边缘，且所述正样本图像对应的目标边缘与所述正样本图像中的目标匹配；基于所述样本数据，对待训练的目标边缘匹配模型进行训练，得到训练好的所述目标边缘匹配模型。10.如权利要求9所述的方法，其特征在于，所述样本数据还包括多个负样本数据，每个负样本数据包括负样本图像和对应的目标边缘，且所述负样本图像对应的目标边缘与所述负样本图像中的目标不匹配。11.如权利要求3所述的方法，其特征在于，所述将所述第二目标边缘确定为所述第二视频帧的目标边缘之后，还包括：通过所述曲线摆置分割网络模型，对所述第二视频帧中的所述第二目标边缘之外的区域进行目标分割，得到第三目标边缘；基于所述第二目标边缘和所述第三目标边缘，对位于所述第二视频帧之后的视频帧进行目标跟踪；若根据目标跟踪结果确定所述第二目标边缘与所述第三目标边缘是相对静止的，则将所述第二目标边缘与所述第三目标边缘进行合并。12.如权利要求1-11任一所述的方法，其特征在于，所述将生成的闭合曲线作为第一目标边缘之后，还包括：通过所述曲线摆置分割网络模型对所述第一视频帧进行处理，生成所述第一目标边缘中子目标边缘的闭合曲线，将生成的闭合曲线作为子目标边缘，得到多个子目标边缘；基于所述多个子目标边缘，对位于所述第一视频帧之后的视频帧进行目标跟踪；若根据目标跟踪结果确定所述多个子目标边缘中的第一子目标边缘相对于其他子目标边缘是运动的，则将所述第一子目标边缘从所述第一目标边缘中分离，所述第一子目标边缘为所述多个子目标边缘中的任一个。13.如权利要求1-11任一所述的方法，其特征在于，所述通过曲线摆置分割网络模型对所述第一视频帧进行处理之前，还包括：对多张样本图像分别进行边缘提取，得到每张样本的边缘曲线；基于所述多张样本图像以及对应的边缘图像，对待训练的曲线摆置分割网络模型进行训练，得到训练好的所述曲线摆置分割网络模型。14.一种视频的目标分割装置，其特征在于，包括：第一获取模块，用于从视频帧序列中获取第一视频帧，所述第一视频帧为所述视频帧序列中除最后一个视频帧之外的任一视频帧；
模型处理模块，用于通过曲线摆置分割网络模型对所述第一视频帧进行处理，生成所述第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘；目标跟踪模块，用于对所述第一目标边缘的位置进行调整，确定位于所述第一视频帧之后的视频帧中的目标边缘，以对位于所述第一视频帧之后的视频帧进行目标跟踪。15.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至13任一项所述的方法的步骤。16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至13任一项所述的方法的步骤。

技术总结
本申请公开了一种视频的目标分割方法、装置、设备及计算机可读存储介质，属于图像处理领域。该方法包括：从视频帧序列中获取第一视频帧；通过曲线摆置分割网络模型对第一视频帧进行处理，生成第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘；对第一目标边缘的位置进行调整，确定第一视频帧之后的视频帧中的目标边缘，以对之后视频帧进行目标跟踪。本申请能够通过曲线摆置分割网络模型从视频帧中准确地提取出目标边缘，提高了分割目标的完整性和清晰度。另外，通过对已提取的目标边缘的位置进行调整，来确定之后视频帧的目标边缘，提高了分割目标的边缘稳定性，跟踪效果更加稳定。踪效果更加稳定。踪效果更加稳定。


技术研发人员：邹梦超 刘阳兴 林染染 党晚婷 张传昊
受保护的技术使用者：武汉TCL集团工业研究院有限公司
技术研发日：2020.12.07
技术公布日：2022/6/7