视频的目标分割方法、装置、设备及计算机可读存储介质与流程

1.本技术涉及图像处理领域，特别涉及一种视频的目标分割方法、装置、设备及计算机可读存储介质。


背景技术：

2.视频的目标分割是指将视频帧分割成若干个特定的、具有独特性质的区域，并从中提取出感兴趣目标的技术和过程，它是目标检测中的重要步骤。
3.相关技术中，通常采用语义分割技术对视频进行目标分割，且对于视频帧序列中的每个视频帧，均采用语义分割技术单独进行分割处理。在采用语义分割技术对每个视频帧单独进行分割处理的过程中，先对视频帧中的每个像素进行分类，得到每个像素的类别，再根据每个像素的类别，从视频帧的所有像素中确定出属于目标的像素集合，将确定的像素集合作为待分割的目标。
4.但是语义分割技术只能确定出一个像素集合，像素集合中像素之间可能没有关联，导致像素集合的边界没有整体性，无法分割出完整清晰的目标。而且，采用语义分割技术对各个视频帧单独进行分割处理，可能会导致从各个视频帧中分割出的同一目标的变化较大，帧间信息的融合也比较困难，稳定性较低。


技术实现要素：

5.本技术实施例提供了一种视频的目标分割方法、装置、设备及计算机可读存储介质，可以用于解决相关技术中存在的无法分割出完整清晰的目标，以及视频分割稳定性较低的问题。技术方案如下：
6.一方面，提供了一种视频的目标分割方法，包括：
7.从视频帧序列中获取第一视频帧，该第一视频帧为该视频帧序列中除最后一个视频帧之外的任一视频帧；
8.通过曲线摆置分割网络模型对该第一视频帧进行处理，生成第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘；
9.对该第一目标边缘的位置进行调整，确定位于该第一视频帧之后的视频帧中的目标边缘，以对位于该第一视频帧之后的视频帧进行目标跟踪。
10.另一方面，提供了一种视频的目标分割装置，包括：
11.第一获取模块，用于从视频帧序列中获取第一视频帧，该第一视频帧为该视频帧序列中除最后一个视频帧之外的任一视频帧；
12.模型处理模块，用于通过曲线摆置分割网络模型对该第一视频帧进行处理，生成第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘；
13.目标跟踪模块，用于对该第一目标边缘的位置进行调整，确定位于该第一视频帧之后的视频帧中的目标边缘，以对位于该第一视频帧之后的视频帧进行目标跟踪。
14.又一方面，提供了一种计算机设备，该计算机设备包括存储器、处理器以及存储在
该存储器中并可在该处理器上运行的计算机程序，该计算机程序被该处理器执行时实现上述任一种视频的目标分割方法。
15.又一方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述任一种视频的目标分割方法。
16.又一方面，还提供了一种计算机程序产品，当该计算机程序产品被执行时，用于实现上述任一种视频的目标分割方法。
17.本技术实施例提供的技术方案带来的有益效果是：
18.本技术实施例中，通过曲线摆置分割网络模型对视频帧序列中的第一视频帧进行处理，生成第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘。通过曲线摆置分割网络模型从第一视频帧中准确地提取出目标的边缘，能够准确地提取出目标的边界，从而提高了分割目标的完整性和清晰度。另外，在提取出第一视频帧的第一目标边缘之后，通过对第一目标边缘的位置进行调整，来确定位于第一视频帧之后的视频帧中的目标边缘，不仅对帧间的信息进行了融合，而且提高了分割目标的边缘稳定性，使得跟踪效果更加稳定。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本技术实施例提供的一种基于曲线摆置分割网络模型的目标分割系统示意图；
21.图2是本技术实施例提供的一种视频的目标分割方法流程图；
22.图3是本技术实施例提供的一种视频分割示意图；
23.图4是本技术实施例提供的一种边缘匹配模型的处理过程示意图；
24.图5是本技术实施例提供的一种视频的目标分割装置的框图；
25.图6是本技术实施例提供的一种计算机设备的结构框图。
具体实施方式
26.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
27.在对本技术实施例进行详细地解释说明之前，先对本技术实施例的应用场景予以说明。
28.本技术实施例提供的视频的目标分割方法用于从视频的视频帧中分割出特定的目标，以及对目标进行跟踪。其中，待分割的目标可以根据需要进行配置，比如可以配置为人、车辆或道路等。示例的，本技术实施例提供的方法可以应用于自动驾驶领域、交通监管领域、视频监控领域或人脸跟踪领域等，当然也可以应用于其他相关领域，本技术实施例对此不作限定。
29.本技术实施例提供的方法可以应用于终端设备或服务器等计算机设备上，终端设
备可以为手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)等，本技术实施例对终端设备的具体类型不作任何限制。
30.需要说明的是，本技术实施例提供的视频的目标分割方法是采用基于曲线摆置分割网络模型的目标分割系统实现的，为了便于理解，接下来先对该目标分割系统进行介绍。
31.图1是本技术实施例提供的一种基于曲线摆置分割网络模型的目标分割系统示意图，如图1所示，该系统包括待分割图像11、边缘曲线图12、拼接13和曲线摆置分割网络模型14。
32.其中，曲线摆置分割网络模型14用于提取待分割图像11中的目标边缘，即生成待分割图像11中目标边缘的闭合曲线，将生成的闭合曲线作为目标边缘。
33.比如，通过曲线摆置分割网络模型14依次预测待分割图像11中目标边缘上的锚点和曲率，基于依次预测的锚点和曲率生成目标边缘。曲线摆置分割网络模型14的输入为待分割图像11，以及初始的或者当前生成的边缘曲线图12，输出为已生成的部分目标边缘的下一个锚点的位置和相应的曲率。
34.在对待分割图像11进行目标分割之前，边缘曲线图12可以具有待分割图像11中目标边缘的初始锚点，以便曲线摆置分割网络模型14基于初始锚点来预测下一个锚点的位置和相应的曲率。
35.其中，待分割图像11上的初始锚点可以预先设置，比如人为设置或随机设置等，也可以使用初始值通过曲线摆置分割网络模型14进行预测得到，本技术实施例对此不作限定。
36.拼接13用于将待分割图像11与边缘曲线图12进行拼接。每次预测时，需要先将待分割图像11与边缘曲线图12进行拼接，再输入至曲线摆置分割网络模型14进行处理。
37.在根据待分割图像11和边缘曲线图12，通过曲线摆置分割网络模型14预测到边缘曲线图12上已生成的部分边缘曲线的下一个锚点的位置和相应的曲率后，即可基于下一个锚点的位置和相应的曲率，将下一个锚点摆置到边缘曲线图12中已生成的部分边缘曲线，以对边缘曲线图12中已生成的边缘曲线进行延伸。之后，再根据边缘曲线图12中最新生成的边缘曲线以及待分割图像11，继续通过曲线摆置分割网络模型14预测下一个锚点的位置和相应的曲率。如此，循环往复，直至基于依次预测的锚点和曲率生成闭合曲线为止，将生成的闭合曲线作为待分割图像11的目标边缘。
38.图2是本技术实施例提供的一种视频的目标分割方法流程图，该方法应用于计算机设备中，如图2所示，该方法包括如下步骤：
39.步骤201：从视频帧序列中获取第一视频帧，第一视频帧为视频帧序列中除最后一个视频帧之外的任一视频帧。
40.其中，该视频帧序列包括多个视频帧，该视频帧序列可以为待分割的目标视频中的视频帧序列。第一视频帧可以为视频帧序列中的第一个视频帧或中间视频帧等。
41.其中，目标视频可以通过摄像组件拍摄得到，从存储空间中获取得到，从网络中下载得到，或者从其他设备发送得到，本技术实施例对此不作限定。该目标视频可以为自动驾驶视频、交通监控视频或其他视频等。
42.步骤202：通过曲线摆置分割网络模型对第一视频帧进行处理，生成第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘。
43.其中，第一视频帧中的目标边缘是指第一视频帧中待分割的目标的边缘。第一目标边缘是指通过曲线摆置分割网络模型从第一视频帧中提取出的目标边缘处的闭合曲线，用于指示分割出的目标。
44.作为一个示例，通过曲线摆置分割网络模型对第一视频帧进行处理，生成第一视频帧中目标边缘的闭合曲线包括：通过曲线摆置分割网络模型对第一视频帧进行处理，依次预测第一视频帧中目标边缘上的锚点和曲率，基于依次预测的锚点和曲率生成闭合曲线，将生成的闭合曲线作为第一目标边缘。
45.作为一个示例，可以先确定第一视频帧中目标边缘上的初始锚点，然后基于初始锚点和第一视频帧，通过曲线摆置分割网络模预测初始锚点的下一个锚点和相应的曲率，再基于预测的锚点和曲率与初始锚点进行组合，生成部分边缘曲线。之后，再基于最新生成的边缘曲线和第一视频帧，通过曲线摆置分割网络模预测初始锚点继续预测下一个锚点和相应的曲率，再将预测的锚点和曲率与已生成的边缘曲线进行组合，以对已生成的边缘曲线进行延伸。如此，循环往复，直至基于依次预测的锚点和曲率生成闭合曲线为止，将生成的闭合曲线作为第一视频帧的目标边缘，得到第一目标边缘。
46.通过曲线摆置分割网络模型对第一视频帧进行处理，可以提取第一视频帧中的目标边缘，通过提取的目标边缘就可以将待分割的目标圈出，便于分割出完整清晰的目标。
47.需要说明的是，本技术实施例中，为了能够预测边缘曲线的下一个锚点和曲率的曲线摆置分割网络模型，需要预先根据样本数据进行训练。比如，可以先对多张样本图像分别进行边缘提取，得到每张样本的边缘曲线。然后，基于多张样本图像以及对应的边缘图像，对待训练的曲线摆置分割网络模型进行训练，得到训练好的曲线摆置分割网络模型。
48.步骤203：对第一目标边缘的位置进行调整，确定位于第一视频帧之后的视频帧中的目标边缘，以对位于第一视频帧之后的视频帧进行目标跟踪。
49.也即是，得到第一视频帧的第一目标边缘之后，可以在之后的视频帧中对第一目标边缘进行微调，来确定之后的每个视频帧的目标边缘，从而完成视频分割。如此，既可以提高分割的稳定性，也可以对分割区域进行很好的跟踪。
50.其中，位于第一视频帧之后的视频帧包括位于第一视频帧之后的n个视频帧，n为正整数。其中，n可以预先设置的指定数值，如n可以为1、2或5等。另外，n也可以为位于第一视频帧之后的所有视频帧的数目，即位于第一视频帧之后的视频帧包括位于第一视频帧之后的所有视频帧，本技术实施例对此不作限定。比如，位于第一视频帧之后的视频帧包括第一视频帧的下一个视频帧，以及下一个视频帧之后的任一视频帧。
51.作为一个示例，对第一目标边缘的位置进行调整，确定位于第一视频帧之后的视频帧中的目标边缘的操作可以包括以下两种情形：
52.第一种情形：对于第二视频帧，在第二视频帧中对第一目标边缘的位置进行调整，得到第二目标边缘，将第二目标边缘确定为第二视频帧的目标边缘。其中，第二视频帧是指第一视频帧的下一个视频帧。
53.也即是，对于第一视频帧的下一个视频帧，可以在下一个视频帧中对第一目标边缘的位置进行调整，来确定下一个视频帧中的目标边缘。
54.请参考图3，图3是本技术实施例提供的一种视频分割示意图，图3中的左图是第一个视频帧，图3中的中图是第二个视频帧。通过曲线摆置分割网络模型对第一个视频帧进行分割处理后，可以得到一个目标边缘30，目标为机场航站楼指示牌。之后，可以基于目标边缘30的位置，将目标边缘30绘制到第二个视频帧中，如图3中的中图所示。由图3中的中图可知，目标边缘30与目标不完全匹配，但是相差不大，因此可以在第二个视频帧中对目标边缘30的位置进行调整，以使调整后的目标边缘30与目标匹配。其调整过程可以如图3中的右图所示。
55.其中，在第二视频帧中对第一目标边缘的位置进行调整的调整粒度可以是整个第一目标边缘，也可以是第一目标边缘中的锚点或线段，本技术实施例对此不作限定。也即是，可以对第一目标边缘整体进行平移，也可以按照锚点粒度或线段粒度对第一目标边缘进行调整，比如对第一目标边缘中的锚点或线段分别进行移动。而且，进行平移或移动时，可以向任意方向平移或移动，本技术实施例对此不作限定。
56.通过对第一目标边缘整体进行平移，可以实现第一目标边缘整体位置的移动；通过按照锚点粒度或线段粒度对第一目标边缘进行调整，不仅可以实现第一目标边缘整体位置的移动，也可实现第一目标边缘的变形，如放大或缩小等。
57.作为一个示例，在第二视频帧中对所述第一目标边缘的位置进行调整，得到第二目标边缘的操作可以包括如下步骤：
58.1)在第二视频帧中，按照预设规则对第一目标边缘的位置进行调整。
59.其中，在第二视频帧中，按照预设规则对第一目标边缘的位置进行调整可以包括以下两种实现方式：
60.第一种实现方式：在第二视频帧中，按照随机调整机制对第一目标边缘的位置进行调整。
61.作为一个示例，可以按照随机平移机制调第一目标边缘的位置进行平移。比如，将第一目标边缘的位置向随机平移方向平移目标长度。其中，该随机平移方向可以通过随机算法确定得到。目标长度可以预先默认设置，可以根据第一目标边缘的尺寸确定，也可以通过随机算法生成得到，本技术实施例对此不作限定。比如，目标长度可以为第一目标边缘的边缘长度的1/n，n为正整数。
62.作为另一个示例，可以按照锚点粒度或线段粒度对第一目标边缘随机进行调整。比如，按照随机调整机制对第一目标边缘中的锚点或线段进行调整。其中，第一目标边缘中需要调整的锚点或线段可以通过随机算法确定得到。或者，先按照随机变形机制对第一目标边缘中的锚点或线段进行变形，如放大或缩小等，再按照随机平移机制对变形后的第一目标边缘进行平移。
63.当然，也可以采用其他方式实现按照随机调整机制对第一目标边缘的位置进行调整，本技术实施例对此不作限定。
64.另外，在第二视频帧中，对第一目标边缘的位置随机进行调整之后，还可以判断调整后的第一目标边缘的位置与第二视频帧中的目标是否匹配。若匹配，则将调整后的第一目标边缘作为第二目标边缘。若不匹配，则继续对第一目标边缘的位置随机进行调整，直至调整后的第一目标边缘与第二视频帧中的目标匹配为止。
65.第二种实现方式：基于第一视频帧和第二视频帧中像素在时域上的变化，以及第
一视频帧和所述第二视频帧之间的相关性，计算第一视频帧和第二视频帧之间光流的运动矢量；基于运动矢量对第一目标边缘的位置进行调整。
66.其中，光流的运动矢量可以用于指示第一视频帧上的各点在第二视频帧上的移动距离，因此在第二视频帧上，基于运动矢量对第一目标边缘的位置进行调整，即可将第一目标边缘调整至与实际目标匹配的位置。
67.请参考图3中的右图，图3中的右图中的箭头方向用于指示光流的运动矢量，按照该运动矢量对第一目标边缘的位置进行调整，即可使得调整后的第一目标边缘与目标匹配。
68.2)将第二视频帧和调整后的第一目标边缘输入至目标边缘匹配模型中，通过边缘匹配模型确定调整后的第一目标边缘与第二视频帧中的目标之间的匹配信息。
69.其中，该匹配信息用于指示调整后的第一目标边缘与第二视频帧中的目标是否匹配。该边缘匹配模型是一个二分类网络模型，用于识别输入的目标边缘与视频帧中的目标是否匹配。目标边缘与视频帧中的目标匹配是指目标边缘与视频帧中的目标的真实边缘的重合度较高，比如重合度大于或等于重合度阈值。
70.其中，该边缘匹配模型的输入为目标边缘和视频帧，输出为匹配信息。该匹配信息可以为匹配概率，该匹配概率用于指示输入的目标边缘与输入的视频帧中的目标匹配的可能性。比如，若匹配概率大于或等于概率阈值，则确定匹配，若匹配概率小于概率阈值，则确定不匹配。该概率阈值可以预先设置，比如，该概率阈值可以为0.8或0.9等。
71.请参考图4，将图像41输入至边缘匹配模型43中，得到的匹配信息可以指示分割的目标边缘与图像41中的目标不匹配；将图像42输入至边缘匹配模型43中，得到的匹配信息可以指示分割的目标边缘与图像42中的目标匹配。
72.其中，该边缘匹配模型可以预先通过样本数据进行训练得到。
73.作为一个示例，可以获取样本数据，然后基于样本数据，对待训练的目标边缘匹配模型进行训练，得到训练好的目标边缘匹配模型。
74.其中，样本数据可以包括多个正样本数据，每个正样本数据包括正样本图像和对应的目标边缘，且正样本图像对应的目标边缘与正样本图像中的目标匹配。进一步地，样本数据还可以包括多个正样本数据以及多个负样本数据，每个负样本数据包括负样本图像和对应的目标边缘，且负样本图像对应的目标边缘与负样本图像中的目标不匹配。
75.在通过边缘匹配模型确定调整后的第一目标边缘与第二视频帧中的目标之间的匹配信息之后，可以根据匹配信息来确定第二目标边缘。根据匹配信息确定第二目标边缘的过程可以包括以下步骤3)-4)。
76.3)若基于匹配信息确定调整后的第一目标边缘与第二视频帧中的目标匹配，则将调整后的第一目标边缘确定为所述第二目标边缘。
77.4)若基于匹配信息确定调整后的第一目标边缘与第二视频帧中的目标不匹配，则按照预设规则对调整后的第一目标边缘的位置继续进行调整，直至确定调整后的第一目标边缘与第二视频帧中的目标匹配，将调整后的第一目标边缘确定为第二目标边缘。
78.也即是，若基于匹配信息确定调整后的第一目标边缘与第二视频帧中的目标不匹配，则返回步骤1)，继续按照预设规则对调整后的第一目标边缘的位置进行调整，然后将第二视频帧和调整后的第一目标边缘输入至目标边缘匹配模型中，通过边缘匹配模型确定调
整后的第一目标边缘与第二视频帧中的目标之间的匹配信息，直至基于匹配信息确定调整后的第一目标边缘与第二视频帧中的目标匹配时，停止调整，并将调整后的第一目标边缘确定为第二目标边缘。
79.另外，通过曲线摆置分割网络模型提取的目标边缘可能会出现目标圈多了、目标圈少了、以及刚好圈中目标的情况。
80.对于目标圈多的情况，可以对目标边缘内的目标进一步进行细分，将当前目标分成多个子目标，也即是当前目标的内部目标。然后，进一步分析内部目标的边缘的运动情况。如果经过分析确定内部目标中某个子目标的边缘与其他目标的边缘是相对静止的，则可以确定这个子目标与当前目标是一体的。如果经过分析确定内部目标中某个子目标的边缘与其他目标的边缘是相对运动的，则可以确定这个子目标是圈出来的目标，然后将这个子目标从当前目标中剔除。
81.作为一个示例，可以通过曲线摆置分割网络模型对第一视频帧进行处理，依次预测第一目标边缘中子目标边缘上的锚点和曲率，基于依次预测的锚点和曲率生成闭合曲线，将生成的闭合曲线作为子目标边缘，得到多个子目标边缘。然后，基于多个子目标边缘，对位于第一视频帧之后的视频帧进行目标跟踪；若根据目标跟踪结果确定多个子目标边缘中的第一子目标边缘相对于其他子目标边缘是运动的，则将第一子目标边缘从第一目标边缘中分离，如此，即可将多圈出来的目标从当前目标中剔除。其中，第一子目标边缘为多个子目标边缘中的任一个。
82.作为一个示例，可以根据第一子目标边缘相对于其他子目标边缘是运动的，来确定第一子目标相对于其他子目标是运动的。
83.对于圈少的情况，可以确定当前目标与其他目标是否是相对静止(协同运动)的，若当前目标与其他目标是相对静止的，那么就可以将当前目标与其他目标当作是同一个目标，并将当前目标与其他目标合并成一个目标，以将圈少的目标合并至当前目标中。
84.作为一个示例，若第一目标边缘包括多个目标边缘，则可以基于这多个目标边缘的位置，对第一视频帧之后的视频帧进行目标跟踪。若基于跟踪结果确定这多个目标边缘中的某个目标边缘与其他任一目标边缘是相对静止的，则即可将这个目标边缘与其他任一目标边缘合并为一个目标边缘。如此，即可实现将圈少的目标合并至当前目标中。
85.作为另一个示例，还可以通过曲线摆置分割网络模型，对第二视频帧中的第二目标边缘之外的区域进行目标分割，得到第三目标边缘；然后基于第二目标边缘和第三目标边缘，对位于第二视频帧之后的视频帧进行目标跟踪；若根据目标跟踪结果确定第二目标边缘与第三目标边缘是相对静止的，则将第二目标边缘与第三目标边缘进行合并，即合并成一个目标边缘。
86.如此，可以将新出现的圈少了的目标合并至当前目标中，比如可以将当前目标被遮挡又重新出现的部分目标与当前目标进行合并。
87.第二种情形：对于第三视频帧，在第三视频帧中对指定目标边缘的位置进行调整，得到第四目标边缘，将第四目标边缘确定为第三视频帧的目标边缘。其中，第三视频帧为位于第二视频帧之后的任一视频帧，指定目标边缘为第三视频帧的上一个视频帧的目标边缘。
88.也即是，对于第二视频帧之后的任一视频帧，可以通过对当前视频帧的上一个视
频帧中的目标边缘的位置进行调整，来确定当前视频帧中的目标边缘。另外，指定目标边缘还可以通过对第三视频帧的上上一个视频帧的目标边缘的位置进行调整得到。
89.需要说明的是，在第三视频帧中对指定目标边缘的位置进行调整，得到第四目标边缘，将第四目标边缘确定为第三视频帧的目标边缘方式，与上述在第二视频帧中对第一目标边缘的位置进行调整，得到第二目标边缘，将第二目标边缘确定为第二视频帧的目标边缘方式同理，具体实现方式可以上述实施例中的相关描述，本技术实施例在此不再赘述。
90.本技术实施例中，通过曲线摆置分割网络模型对视频帧序列中的第一视频帧进行处理，生成第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘，能够从第一视频帧中准确地提取出目标的边缘，也即是，能够准确地提取出目标的边界，从而提高了分割目标的完整性和清晰度。另外，在提取出第一视频帧的第一目标边缘之后，通过对第一目标边缘的位置进行调整，来确定位于第一视频帧之后的视频帧中的目标边缘，不仅对帧间的信息进行了融合，而且提高了分割目标的边缘稳定性，使得跟踪效果更加稳定。
91.另外，通过曲线摆置分割网络模型对视频帧序列中的第一视频帧进行处理，依次预测第一视频帧中目标边缘上的锚点和曲率，基于依次预测的锚点和曲率生成闭合曲线，将生成的闭合曲线作为第一目标边缘，能够结合边缘锚点和曲率的预测，从第一视频帧中准确地提取出目标的边缘，提高了目标分割的准确性和完整性。
92.另外，由于本技术实施例中提取的目标边缘具有整体性，且对后续的视频帧进行目标分割和跟踪时，也是基于当前视频帧中提取的目标边缘实现的，因此在后续目标局部被遮挡的情况下，目标的原始形状仍然可以被保留，不会出现跟踪丢失的情况。
93.图5是本技术实施例提供的一种视频的目标分割装置的框图，该装置可以集成于计算机设备中，如图5所示，该装置可以包括：
94.第一获取模块501，用于从视频帧序列中获取第一视频帧，该第一视频帧为该视频帧序列中除最后一个视频帧之外的任一视频帧；
95.模型处理模块502，用于通过曲线摆置分割网络模型对该第一视频帧进行处理，生成第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘；
96.目标跟踪模块503，用于对该第一目标边缘的位置进行调整，确定位于该第一视频帧之后的视频帧中的目标边缘，以对位于该第一视频帧之后的视频帧进行目标跟踪。
97.可选地，模型处理模块502用于：
98.通过曲线摆置分割网络模型对该第一视频帧进行处理，依次预测该第一视频帧中目标边缘上的锚点和曲率；
99.基于依次预测的锚点和曲率，生成第一视频帧中目标边缘的闭合曲线。
100.可选地，目标跟踪模块503包括：
101.第一调整单元，用于对于第二视频帧，在该第二视频帧中对该第一目标边缘的位置进行调整，得到第二目标边缘，将该第二目标边缘确定为该第二视频帧的目标边缘，第二视频帧为第一视频帧的下一个视频帧。
102.可选地，目标跟踪模块503包括：
103.第二调整单元，用于对于第三视频帧，在第三视频帧中对指定目标边缘的位置进行调整，得到第四目标边缘，将第四目标边缘确定为第三视频帧的目标边缘，第三视频帧为位于第二视频帧之后的任一视频帧，指定目标边缘为第三视频帧的上一个视频帧的目标边
缘。
104.可选地，第一调整单元用于：
105.在该第二视频帧中，按照预设规则对该第一目标边缘的位置进行调整；
106.将该第二视频帧和调整后的第一目标边缘输入至目标边缘匹配模型中，通过该边缘匹配模型确定调整后的第一目标边缘与第二视频帧中的目标之间的匹配信息，根据该匹配信息确定第二目标边缘。
107.可选地，第一调整单元用于：
108.在该第二视频帧中，对该第一目标边缘的位置随机进行调整；
109.或者，
110.基于该第一视频帧和该第二视频帧中像素在时域上的变化，以及该第一视频帧和该第二视频帧之间的相关性，计算该第一视频帧和该第二视频帧之间光流的运动矢量；基于该运动矢量对该第一目标边缘的位置进行调整。
111.可选地，第一调整单元用于：
112.若基于该匹配信息确定调整后的第一目标边缘与该第二视频帧中的目标匹配，则将调整后的第一目标边缘确定为该第二目标边缘；
113.若基于该匹配信息确定调整后的第一目标边缘与该第二视频帧中的目标不匹配，则按照该预设规则对调整后的第一目标边缘的位置继续进行调整，直至确定调整后的第一目标边缘与该第二视频帧中的目标匹配，将调整后的第一目标边缘确定为第二目标边缘。
114.可选地，装置还包括：
115.第二获取模块，用于获取样本数据，该样本数据包括多个正样本数据；其中，每个正样本数据包括正样本图像和对应的目标边缘，且该正样本图像对应的目标边缘与该正样本图像中的目标匹配；
116.第一训练模块，用于基于该多个样本数据，对待训练的目标边缘匹配模型进行训练，得到训练好的该目标边缘匹配模型。
117.可选地，该样本数据还包括多个负样本数据，每个负样本数据包括负样本图像和对应的目标边缘，且该负样本图像对应的目标边缘与该负样本图像中的目标不匹配。
118.可选地，装置还包括合并模块；
119.模型处理模块502，还用于通过该曲线摆置分割网络模型，对该第二视频帧中的该第二目标边缘之外的区域进行目标分割，得到第三目标边缘；
120.目标跟踪模块503，还用于基于该第二目标边缘和该第三目标边缘，对位于该第二视频帧之后的视频帧进行目标跟踪；
121.合并模块，用于若根据目标跟踪结果确定该第二目标边缘与该第三目标边缘是相对静止的，则将该第二目标边缘与该第三目标边缘进行合并。
122.可选地，装置还包括分离模块；
123.模型处理模块502，还用于通过该曲线摆置分割网络模型对该第一视频帧进行处理，依次预测该第一目标边缘中子目标边缘上的锚点和曲率，基于依次预测的锚点和曲率生成闭合曲线，将生成的闭合曲线作为子目标边缘，得到多个子目标边缘；
124.目标跟踪模块503，还用于基于该多个子目标边缘，对位于该第一视频帧之后的视频帧进行目标跟踪；
125.分离模块，用于若根据目标跟踪结果确定该多个子目标边缘中的第一子目标边缘相对于其他子目标边缘是运动的，则将该第一子目标边缘从该第一目标边缘中分离，该第一子目标边缘为该多个子目标边缘中的任一个。
126.可选地，装置还包括：
127.提取模块，用于对多张样本图像分别进行边缘提取，得到每张样本的边缘曲线；
128.第二训练模块，用于基于该多张样本图像以及对应的边缘图像，对待训练的曲线摆置分割网络模型进行训练，得到训练好的该曲线摆置分割网络模型。
129.本技术实施例中，通过曲线摆置分割网络模型对视频帧序列中的第一视频帧进行处理，生成第一视频帧中目标边缘的闭合曲线，将生成的闭合曲线作为第一目标边缘，能够从第一视频帧中准确地提取出目标的边缘，也即是，能够准确地提取出目标的边界，从而提高了分割目标的完整性和清晰度。另外，在提取出第一视频帧的第一目标边缘之后，通过对第一目标边缘的位置进行调整，来确定位于第一视频帧之后的视频帧中的目标边缘，不仅对帧间的信息进行了融合，而且提高了分割目标的边缘稳定性，使得跟踪效果更加稳定。
130.另外，由于本技术实施例中提取的目标边缘具有整体性，且对后续的视频帧进行目标分割和跟踪时，也是基于当前视频帧中提取的目标边缘实现的，因此在后续目标局部被遮挡的情况下，目标的原始形状仍然可以被保留，不会出现跟踪丢失的情况。
131.图6是本技术实施例提供的一种计算机设备600的结构框图。该计算机设备600可以是手机、平板电脑、智能电视、多媒体播放设备、可穿戴设备、台式电脑、服务器等电子设备。该计算机设备600可用于实施上述实施例中提供的视频的目标分割方法。
132.通常，计算机设备600包括有：处理器601和存储器602。
133.处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用dsp(digital signal processing，数字信号处理)、fpga(field programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
134.存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本技术中方法实施例提供的视频的目标分割方法。
135.在一些实施例中，计算机设备600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备可以包括：显示屏604、音频电路605、通信接口606和电源607中的至少一种。
136.本领域技术人员可以理解，图6中示出的结构并不构成对计算机设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
137.在示例性的实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述视频的目标分割方法。
138.在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述视频的目标分割方法。
139.应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
140.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
141.以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。