压缩视频上的对象模糊处理的制作方法

本公开涉及视频图像数据，并且更具体地涉及压缩视频内的对象模糊处理。当支持多个视频流时，视频编码器和解码器的使用会增加。压缩视频的后处理需要在图像处理或应用计算机视觉算法之前对视频进行解码。然后，在将重新编码的视频发送到本地或远程存储之前，需要对后处理的视频再次进行编码。

背景技术：

1、在一些应用中，视频图像数据内的对象可能由于各种原因(例如数据或图像隐私、监管要求等)而需要被混淆、删除、模糊等。

2、虽然当前用于压缩视频中的对象模糊处理的系统和方法实现了其预期目的，但是需要一种新的、改进的系统和方法来用于对压缩视频进行有效的对象模糊处理，其减少计算和存储使用、降低系统结构和计算复杂性，而不需要牺牲视频质量。

技术实现思路

1、根据多个方面，本发明提供一种用于压缩视频中的对象模糊处理的系统，该系统包括一个或多个传感器、一个或多个人机界面(hmi)以及一个或多个控制模块。一个或多个控制模块中的每一者都具有处理器、存储器和一个或多个输入/输出(i/o)端口。一个或多个控制模块经由i/o端口与一个或多个传感器通信，并且通过i/o端口与一个或多个hmi进行通信。存储器存储编程控制逻辑。处理器执行该编程控制逻辑。程序控制逻辑包括第一控制逻辑，其经由i/o端口接收来自一个或多个传感器的原始输入图像数据。第二控制逻辑将原始输入图像数据编码为压缩图像数据并将压缩图像数据存储在存储器中。第三控制逻辑解析并部分解码压缩图像数据以访问原始独立视频帧。第四控制逻辑对原始独立视频帧执行一个或多个后处理算法以生成后处理的独立视频帧。第五控制逻辑对后处理的独立视频帧进行编码，并用已编码的后处理的独立视频帧替换压缩图像数据中的先前编码的原始独立视频帧。第六控制逻辑通过i/o端口将输出传输至hmi。输出包括已编码的后处理的独立视频帧和多个从属视频帧。

2、在本公开的另一方面中，一个或多个传感器包括一个或多个摄像机，并且一个或多个hmi还包括：人类可见的屏幕。

3、在本公开的又一方面中，第三控制逻辑还包括识别压缩图像数据内的独立视频帧的控制逻辑，以及对压缩视频数据内的独立视频帧进行解码并输出原始独立视频帧的控制逻辑。

4、在本公开的又一方面中，第四控制逻辑还包括一个或多个对象检测算法，该一个或多个对象检测算法在原始独立视频帧上执行。

5、在本公开的又一方面中，第四控制逻辑还包括对在原始独立视频帧内检测到的对象进行分类的控制逻辑，并且包括在确定原始独立视频帧内的对象属于受保护类别时，对属于受保护类别的对象执行混淆的控制逻辑。当确定原始独立视频帧中的对象不属于保护类别时，系统对不属于保护类别的对象不执行混淆控制逻辑。

6、在本公开的又一方面中，混淆控制逻辑改变受保护类别中的对象的像素值，从而至少部分地混淆受保护类别中的对象。

7、在本公开的又一方面，第五控制逻辑对包括混淆对象的后处理的独立视频帧进行编码，并且用已编码的后处理的独立视频帧覆盖压缩图像数据中的先前编码的原始独立视频帧。

8、在本公开的又一方面中，第六控制逻辑将输出传输至hmi。输出采用图像组(gop)概念，该图像组包括已编码的后处理的独立视频帧和多个从属视频帧。多个从属视频帧依赖于独立视频帧。

9、在本公开的又一方面中，从属视频帧包括将多个从属视频帧中的每一个与独立视频帧相关联的时间和空间参考信息，并且响应于对从属视频帧解码，独立视频帧中的混淆对象被关联到相应的从属视频帧。

10、在本公开的又一方面中，一种用于压缩视频中的对象模糊处理的方法，包括：利用一个或多个摄像机捕获原始输入图像数据，以及利用一个或多个控制模块。一个或多个控制模块中的每一者均具有处理器、存储器以及一个或多个输入/输出(i/o)端口。一或多个控制模块经由i/o端口与一个或多个传感器通信，且经由i/o端口与一或多个hmi通信。存储器存储程序控制逻辑，并且处理器执行该程序控制逻辑。程序控制逻辑包括用于将原始输入图像数据编码为压缩图像数据并将压缩图像数据存储在存储器中、解析和部分解码压缩图像数据以访问原始独立视频帧、以及用于在原始独立视频帧上执行一个或多个后处理算法以生成后处理的独立视频帧的控制逻辑。控制逻辑还包括用于对后处理的独立视频帧进行编码、以及用已编码的后处理的独立视频帧替换压缩图像数据中的先前编码的原始独立视频帧的控制逻辑。控制逻辑通过i/o端口将输出传输至一个或多个人机界面(hmi)。输出包括已编码的后处理的独立视频帧和多个从属视频帧。

11、在本公开的又一方面中，控制逻辑还包括用于识别压缩图像数据内的独立视频帧、对压缩视频数据内的独立视频帧进行解码以及输出原始独立视频帧的控制逻辑。

12、在本公开的又一方面中，控制逻辑还包括用于执行一个或多个对象检测算法的控制逻辑，该一个或多个对象检测算法在原始独立视频帧上执行。

13、在本公开的又一方面中，控制逻辑还包括用于对在原始独立视频帧内检测到的对象进行分类的控制逻辑，并且包括当确定原始独立视频帧内的对象属于受保护类别时，对受保护类别中的对象执行混淆的控制逻辑。当确定原始独立视频帧中的对象不属于受保护类别时，控制逻辑对不在受保护类别中的对象不执行混淆的控制逻辑。

14、在本公开的又一方面中，控制逻辑还包括用于改变受保护类别中的对象的像素值的控制逻辑，从而至少部分地混淆受保护类别中的对象。

15、在本公开的又一方面中，控制逻辑还包括用于对包括混淆对象的后处理的独立视频帧进行编码、以及用已编码的后处理的独立视频帧覆盖压缩图像数据中的先前编码的原始独立视频帧的控制逻辑。

16、在本公开的又一方面中，用于发送输出的控制逻辑还包括发送图像组(gop)输出，该图像组包括已编码的后处理的独立视频帧和多个从属视频帧。多个从属视频帧依赖于独立视频帧。

17、在本公开的又一方面中，响应于对从属视频帧进行解码，利用将多个从属视频帧中的每一个与独立视频帧相关联的时间和空间参考信息，独立视频帧中的模糊对象与对应的从属视频帧相关联。

18、在本公开的又一方面中，一种用于压缩视频中的对象模糊处理的系统，包括：一个或多个摄像机以及一个或多个人机界面(hmi)。所述一个或多个hmi中的每一个均具有人类可见的屏幕。该系统还包括一个或多个控制模块，该一个或多个控制模块中的每一个都具有处理器、存储器和一个或多个输入/输出(i/o)端口。该一个或多个控制模块与该一个或多个传感器通信，并通过i/o端口与一个或多个hmi通信。存储器存储编程控制逻辑。处理器执行该程序控制逻辑。程序控制逻辑包括第一控制逻辑和第二控制逻辑，第一控制逻辑经由i/o端口接收来自一个或多个传感器的原始输入图像数据，以及第二控制逻辑将原始输入图像数据编码成压缩图像数据并将压缩图像数据存储在存储器中。第三控制逻辑通过识别压缩图像数据内的独立视频帧并解码压缩视频数据内的独立视频帧来解析并部分解码压缩图像数据以访问原始独立视频帧。第三控制逻辑还包括用于输出原始独立视频帧并对原始独立视频帧执行一个或多个对象检测算法的控制逻辑；以及对原始独立视频帧内检测到的对象进行分类的控制逻辑。当确定原始独立视频帧内的对象属于受保护类别时，对受保护类别中的对象执行混淆的控制逻辑。当确定原始独立视频帧中的对象不属于受保护类别时，对于不在受保护类别中的对象不执行混淆的控制逻辑。第四控制逻辑对原始独立视频帧执行一个或多个后处理算法，以生成后处理的独立视频帧。第五控制逻辑对后处理的独立视频帧进行编码，并用已编码的后处理的独立视频帧替换并覆盖压缩图像数据中的先前编码的原始独立视频帧。第六控制逻辑通过i/o端口将输出传输至hmi。输出包括已编码的后处理的独立视频帧和多个从属视频帧。

19、在本公开的另一方面中，混淆的控制逻辑改变受保护类别中的对象的像素值，从而至少部分地混淆受保护类别中的对象。

20、在本公开的又一方面中，第六控制逻辑将输出传输至hmi。输出采用图像组(gop)概念，该图像组包括已编码的后处理的独立视频帧和多个从属视频帧。多个从属视频帧依赖于独立视频帧，并且从属视频帧包括将多个从属视频帧中的每一个与独立视频帧相关联的时间和空间参考信息。在对从属视频帧进行解码时，独立视频帧中的混淆对象也与相应的从属视频帧相关联。

21、进一步的应用领域将从本文提供的描述中变得显而易见。应当理解，这些描述和具体示例仅用于说明的目的，并不旨在限制本公开的范围。