一种基于跨摄像头目标管关联的多路视频浓缩方法

技术特征：
1.一种基于跨摄像头目标管关联的多路视频浓缩方法，包括以下步骤：步骤1，多摄像头视频的预处理，本步骤又包括：
①
对各个摄像头拍摄的视频分别使用yolact网络进行目标检测和实例分割；
②
使用卡尔曼滤波器和匈牙利匹配算法进行多目标跟踪；
③
将各个摄像头跟踪好的目标保存为图像和文本数据，称为局部目标管；
④
使用高斯混合模型背景建模，并进行提取背景图；步骤2，全局目标管生成，本步骤又包括：
①
通过多维特征融合的聚类方法，对同一目标跨摄像头的局部目标管进行关联，将其聚为一类；
②
局部目标管的拼接点选取：拼接点选取要求拼接后的全局目标管过渡自然、遮挡少、活动包含多且拼接点不处于镜头边缘，根据上述四个约束条件构建拼接点选取能量函数，采用贪婪算法求得使能量函数达到最小值的解，即为局部目标管的最优拼接点；
③
全局目标管生成：局部目标管的两个拼接点之间的段称为拼接段，将同一类内所有局部目标管的拼接段进行拼接，生成一条完整的全局目标管；步骤3，目标管分级重排，本步骤又包括：构建基于全局目标管优先级的能量函数，通过改变各个目标管在浓缩视频中的起始帧号，使用mcmc算法进行多目标优化，使能量函数最小化，最终求解所有目标管的最优起始时间；步骤4，全局背景生成，本步骤又包括：依据步骤2得出的全局目标管中各个局部目标管的拼接点，进行全局背景的拼接；多个摄像头背景图进行拼接时，重叠区域背景像素生成更接近于局部目标管拼接段所在摄像头的背景像素；步骤5，浓缩视频生成，本步骤又包括：使用泊松融合算法将步骤3重排后的目标管和步骤4中生成的全局背景图片进行图像融合，生成跨摄像头的浓缩视频。2.根据权利要求1所述的一种基于跨摄像头目标管关联的多路视频浓缩方法，其特征在于，所述的步骤2包括：步骤201，根据步骤1中各个摄像头的背景图计算每个摄像头的单应性变换矩阵，通过外观特征、运动特征、位置特征、时间特征对所有全部局部目标管进行多特征融合计算，如公式(1)所示，和分别表示单应性变换后第i个摄像头的第u条目标管和第j个摄像头下的第v条目标管；d
ij
(u,v)表示和多特征融合计算得到的距离；代表外观特征距离，代表运动特征距离，代表位置特征距离，代表时间特征距离，如公式(2)所示，d
ij
表示第i个摄像头的所有目标管和和第j个摄像头下的所有目标管的距离矩阵；u代表第i个摄像头的所有目标管数量，v代表第j个摄像头下的所有目标管数量，如公式(3)所示，d表示将全部局部目标管之间的特征距离矩阵，由d
ij
作为分块矩阵d的块组合而成，m代表摄像头的数量，块矩阵d的块组合而成，m代表摄像头的数量，
步骤202，根据步骤201计算的距离矩阵进行聚类，同一目标在多个摄像头下的目标管被聚为一类，包括存在断裂情况和折返情况的目标管；步骤203，根据步骤202的聚类结果，同一目标的全局目标管生成即为同一类的多条局部目标管的拼接点选择，为了更好的视觉体验，构建了拼接点选取的损失能量函数e
stitch
(s)，如公式(4)所示，s代表局部目标管中所有拼接点组成的拼接段集合：
①
平滑损失项该损失项定义为待拼接的两条局部目标管的拼接点的空间位置距离与外观相似度距离，此值越小，表明拼接后全局目标管在跨摄像头时过渡越平滑越自然；
②
活动损失项该损失项定义为待拼接的两条局部目标管在拼接之后丢弃的非拼接帧的目标活动像素点数，此值越小，表明目标活动保留越完整，该损失项使得浓缩视频中尽可能完整地保留各个镜头下的局部目标管的信息；
③
边缘损失项该损失项定义为拼接点和摄像头边缘的距离，由于检测结果在摄像头边缘处不稳定，所以尽量不选择摄像头边缘的拼接垫点，此值越小，表明拼接点越远离摄像头的边缘；
④
遮挡损失项该损失项定义为拼接后所有全局目标管之间在拼接点的碰撞面积，如果多个管发生遮挡，该损失项可以尽量选择遮挡面积小的拼接点，此值越小，表明拼接点处的遮挡越小；使用贪婪算法计算e
stitch
(s)最小值的解，即局部目标管的局部最优拼接点，最终将同一类的多条局部目标管拼接为一条全局目标管。3.根据权利要求1所述的一种基于跨摄像头目标管关联的多路视频浓缩方法，其特征在于，所述的步骤3还包括：步骤301，构建了基于全局目标管优先级的能量函数e
synopsis
(f)，如公式(5)所示，f为所有目标管在浓缩视频中的起始帧号；在公式(5)中，和分别代表活动损失项、碰撞损失项、时序损失项和跨度优先级损失项；
①
活动损失项该损失项定义为在原始视频中出现而未在浓缩视频中出现的目标活动像素点数，此值越小，表明目标保留越完整，该损失项使得浓缩视频中尽可能完整地保留运动目标；
②
碰撞损失项该损失项定义为在在原始视频中未遮挡而在浓缩视频中出现遮挡的目标活动像素点数，此值越小，表明目标间遮挡越少；
③
时序损失项该损失项项定义为在原始视频中按时间顺序出现的目标在浓缩视频中的时序产生颠倒的帧数，此值越小，表明目标时序的破坏越少；
④
跨度优先级损失项该损失项定义为根据跨摄像头的次数动态调整目标管在浓缩视频中的起始帧号，在多路视频浓缩中，跨多摄像头的全局目标管应着重关注，不应因为碰撞过多或浓缩帧数的缩短，丢失过多信息，同时，应尽量保证在同一帧中不要出现过多相互碰撞的全局目标管，其计算公式如公式(6)所示：其中，代表第w条全局目标管在浓缩视频中的起始帧号，代表第w条全局目标管跨越摄像头的次数，未跨越摄像头的局部目标管应该在全局目标管在浓缩视频中优先排列的情况下寻找自身在浓缩视频中的时间位置；步骤302，对于所构建能量损失函数，通过改变各个目标管在浓缩视频中的起始帧号，采用mcmc算法进行多目标最优化，以得到能量损失值达到最小值时的所有目标管的起始帧号，即所有目标管在浓缩视频的起始时间。4.根据权利要求1所述的一种基于跨摄像头目标管关联的多路视频浓缩方法，其特征在于，所述的步骤4包括：步骤401，根据步骤302得出的各个目标管在浓缩视频中的起始时间，可以得到相同时间段内跨越摄像头间重叠区域的全局目标管，根据步骤203得出该时段内的全局目标管的拼接点，拟合出一条该时间段的重叠区域背景分割线；步骤402，根据步骤401拟合出的浓缩视频中所有时段的重叠区域背景分割线，将背景分割为多个背景块，根据不同背景块中包含的全局目标管的拼接点对应的原摄像头背景，分别计算不同背景块的像素融合权重以及局部单应性变换矩阵，最后通过像素融合权重和局部单应性变换矩阵对每一个时段拼接出一张全局背景。

技术总结
一种基于跨摄像头目标管关联的多路视频浓缩方法，包括以下步骤：多摄像头视频的预处理，包括目标检测、实例分割、目标跟踪和目标管提取；全局目标管的生成，包括跨摄像头的局部目标管关联和全局目标管的拼接；目标管分级重排，包括基于全局目标管优先级的目标管重排；全局背景生成，包括基于全局目标管拼接点的全局背景拼接；浓缩视频生成，包括将已重排的目标管与全局背景进行图像融合生成浓缩视频；本发明可以从多个摄像头拍摄的视频中准确地提取目标管，并将同一目标在多个摄像头下的局部目标管进行关联并拼接，通过将基于全局目标管优先级重排后的目标管和全局背景图像融合，最终生成浓缩视频。终生成浓缩视频。终生成浓缩视频。


技术研发人员：汪陈伍 侯亘 田琦 王佩 呼伊睿 岳蹇龙
受保护的技术使用者：西安邮电大学
技术研发日：2022.03.14
技术公布日：2022/6/21