一种有利于交通监控的视频编解码传输方法及装置

本发明涉及视频编解码，尤其是涉及一种有利于交通监控的视频编解码传输方法及装置。

背景技术：

1、视频编解码技术是大数据时代包括5g、远程驾驶、自动驾驶等多项重要应用中视频数据高效存储、传输和应用的核心技术。其能够有效解决网络带宽、终端设备存储受限的问题。在当今社会，随着城市化进程的加速和交通流量的增加，路侧交通监控的重要性日益凸显，其带宽需求也呈指数级上涨。

2、路侧交通监控系统通过安装在道路旁的摄像头和传感器，实时监测道路中的车辆行驶、交通拥堵以及事故发生等交通情况。监控视频中相邻帧之间具有很强的时间相关性，每帧可以分为前景和背景两部分。视频内容的剧烈波动经常发生在前景区域，而背景的内容是恒定和静态的。因此，在压缩过程中，没有必要对背景和前景采用统一编码，这将会不可避免地导致空间冗余。在路侧交通监控场景下，传统的视频传输方法存在着传输带宽需求高、存储成本昂贵等问题，为路侧交通监控系统的实时监测和数据处理带来了挑战。

3、经过检索，中国发明专利公开号cn 117336490 a公开了一种基于感兴趣区域的深度视频编解码方法、系统及存储介质，该方法包括：实时获取视频帧，并对获取的实时视频帧进行预处理；将预处理后的实时视频帧输入预训练的深度目标检测网络进行识别并生成roi掩码；分别将所述实时视频帧、对应的roi掩码及编码参考帧输入深度视频编码网络，结合roi掩码及编码参考帧对实时视频帧进行非均匀编码，得到编码后的若干初始视频码流；将若干所述初始视频码流打包形成视频数据包，并发送至视频数据接收模块；将视频数据包中的数据按照预设重组逻辑进行重组形成完整视频码流；将所述完整视频码流和解码参考帧输入到深度视频解码网络，得到解码后的解码视频帧。该现有专利存在未对背景信息进行特殊处理，也未对前景进行特征提取的问题。

4、如何实现质量好、视频传输带宽小的路侧交通监控视频编解码传输，成为需要解决的技术问题。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种有利于交通监控的视频编解码传输方法及装置。

2、本发明的目的就是为了提高视频数据的传输效率和压缩质量，同时降低传输带宽和存储成本，为路侧交通监控系统的性能提升和成本节约提供了创新解决方案，有望推动城市交通管理的智能化发展，而提供一种有利于交通监控的视频编解码传输方法及装置。

3、本发明的目的可以通过以下技术方案来实现：

4、根据本发明的一个方面，提供了一种有利于交通监控的视频编解码传输方法，该方法包括以下步骤：

5、步骤s1，对获取的实时交通监控视频帧进行预处理，并输入深度目标检测网络分离出视频帧的前景与背景；

6、步骤s2，通过自适应背景更新算法实时更新背景模板，并压缩编码生成背景码流；同时利用超分辨率网络对实时视频帧的前景进行增强处理，然后输入深度视频编解码网络进行压缩编码生成前景码流；

7、步骤s3，分别对实时前景码流和更新的背景码流进行打包处理，并发送至接收端；

8、步骤s4，接收端对收到的码流进行解码，融合前景与背景并重组形成完整视频流，并进行视频增强。

9、优选地，所述输入深度目标检测网络分离出视频帧的前景与背景具体为：

10、步骤s101，将预处理后的实时交通监控视频帧输入预训练的具备检测交通参与者检测能力的深度目标检测网络，识别出视频帧中感兴趣的区域，生成对应roi掩膜；

11、步骤s102，通过roi掩膜分离出视频帧的前景与背景，并通过插值法对背景进行补全。

12、优选地，所述的自适应背景更新算法具体为：

13、s201，选定初始背景模板，设定背景更新频率与更新阈值；

14、s202，实时计算当前背景与背景模板之间的相似度，给出综合评价；

15、s203，若综合评价低于阈值时，则触发自适应背景更新机制更新当前背景模板；否则不更新背景模板。

16、更加优选地，所述当前背景模板通过帧间插值法来更新。

17、更加优选地，若所述背景模板发生更新，将当前背景模板输入深度视频编解码网络，编码产生背景码流。

18、更加优选地，所述实时计算当前背景与背景模板之间的相似度，给出综合评价具体为：通过比较原始图像和经过处理后的图像之间的结构相似性，综合考虑亮度、对比度和结构信息对图像质量进行评价。

19、优选地，所述深度视频编解码网络基于特征域的深度视频编解码算法框架作为基础，包括特征提取模块，用于对前景交通参与者的特征。

20、优选地，所述分别对实时前景码流和更新的背景码流进行打包处理，并发送至接收端包括：

21、对更新的背景码流和实时前景码流进行索引操作，并标记上序列号；

22、将当前视频帧的前景索引与最邻近更新的背景索引进行键值对匹配，将更新时刻的背景码流与实时前景码流发送至接收端。

23、更加优选地，所述接收端对收到的码流进行解码，融合前景与背景并重组形成完整视频流，并进行视频增强，具体为：

24、根据标记的序列号对接收到的实时前景视频帧进行排序，并根据每一个前景视频帧的键值对和索引匹配最邻近的背景视频帧；

25、将匹配后的前景和背景合成为完整视频帧；

26、将完整视频帧输入帧重建网络进行视频增强。

27、根据本发明的另一个方面，提供了一种有利于交通监控的视频编解码传输装置，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现所述的方法。

28、与现有技术相比，本发明具有以下有益效果：

29、1)本发明使用自适应背景更新算法选择性地压缩冗余的背景信息，大幅度节省了视频压缩传输所需要的带宽，极大程度节省了所需的编码资源、传输资源以及存储资源；同时利用深度目标检测网络对感兴趣区域提取视频前景信息，使用超分辨率网络对检测到的交通参与者前景目标进行视频图像增强，然后输入深度视频编解码网络进行压缩编码，提高了视频帧的前景质量，传输获得对于目标检测友好的监控视频；因此本发明在时延、带宽有限的条件下可以完成高质量的视频传输，提升交通监控系统的效率和可靠性。

30、2)本发明应用插值法补全背景图像，使用自适应背景更新算法适应视频中背景的变化，有效地减少背景干扰，相应地提高前景目标的检测和跟踪准确性，从而进一步提高视频帧的质量和完整性。

31、3)本发明在接收端进行二阶段解码，将融合前景与背景的完整视频帧输入帧重建网络进行视频增强，进一步提高视频帧的质量和完整性。

技术特征：

1.一种有利于交通监控的视频编解码传输方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种有利于交通监控的视频编解码传输方法，其特征在于，所述输入深度目标检测网络分离出视频帧的前景与背景具体为：

3.根据权利要求1所述的一种有利于交通监控的视频编解码传输方法，其特征在于，所述的自适应背景更新算法具体为：

4.根据权利要求3所述的一种有利于交通监控的视频编解码传输方法，其特征在于，所述当前背景模板通过帧间插值法来更新。

5.根据权利要求3所述的一种有利于交通监控的视频编解码传输方法，其特征在于，若所述背景模板发生更新，将当前背景模板输入深度视频编解码网络，编码产生背景码流。

6.根据权利要求3所述的一种有利于交通监控的视频编解码传输方法，其特征在于，所述实时计算当前背景与背景模板之间的相似度，给出综合评价具体为：通过比较原始图像和经过处理后的图像之间的结构相似性，综合考虑亮度、对比度和结构信息对图像质量进行评价。

7.根据权利要求1所述的一种有利于交通监控的视频编解码传输方法，其特征在于，所述深度视频编解码网络基于特征域的深度视频编解码算法框架作为基础，包括特征提取模块，用于对前景交通参与者的特征。

8.根据权利要求1所述的一种有利于交通监控的视频编解码传输方法，其特征在于，所述分别对实时前景码流和更新的背景码流进行打包处理，并发送至接收端包括：

9.根据权利要求8所述的一种有利于交通监控的视频编解码传输方法，其特征在于，所述接收端对收到的码流进行解码，融合前景与背景并重组形成完整视频流，并进行视频增强，具体为：

10.一种有利于交通监控的视频编解码传输装置，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～9中任一项所述的方法。

技术总结本发明涉及一种有利于交通监控的视频编解码传输方法及装置，该方法包括：步骤S1，对获取的实时交通监控视频帧进行预处理，并输入深度目标检测网络分离出视频帧的前景与背景；步骤S2，通过自适应背景更新算法实时更新背景模板，并压缩编码生成背景码流；同时利用超分辨率网络对实时视频帧的前景进行增强处理，然后输入深度视频编解码网络进行压缩编码生成前景码流；步骤S3，分别对实时前景码流和更新的背景码流进行打包处理，并发送至接收端；步骤S4，接收端对收到的码流进行解码，融合前景与背景并重组形成完整视频流，并进行视频增强。与现有技术相比，本发明具有提升视频质量、压缩背景冗余信息，以及节约传输资源和存储资源等优点。技术研发人员：吴晓杰,王平,王新红受保护的技术使用者：同济大学技术研发日：技术公布日：2024/7/29