利用运动矢量为无线摄像头节省带宽的制作方法

本公开涉及在车载应用程序中使用无线或wi-fi摄像头时节省带宽的系统和方法。

背景技术：

1、本引言概述了本公开的背景。在本引言中所述的发明人的工作，以及在提交申请时可能不符合现有技术条件的描述方面，既没有明示也没有暗示地承认为本公开的现有技术。

2、车辆用户在驾驶或乘坐车辆时经常使用各种无线设备，包括摄像头。车载wi-fi系统的带宽有限，并且面临着数据密集型应用程序和无线设备日益增长的需求。日益增长的带宽需求会影响使用车载wi-fi系统的应用程序和设备的服务质量(qos)。因此，车辆内的无线设备在使用车载wi-fi系统时可能会出现数据丢失和视频帧稳定性问题。

3、因此，虽然当前用于为车辆中的无线设备节省带宽的系统和方法按其预期目的进行，但仍需要一种用于为wi-fi摄像头节省带宽的新的、改进的系统和方法，以保持车载应用程序qos、避免服务中断，提高视频帧稳定性。

技术实现思路

1、根据本公开的一些方面，一种利用车辆运动矢量为无线摄像头节省带宽的系统包括设置在车辆内的一个或多个无线摄像头，其采集实时输入图像数据。该系统还包括具有处理器、存储器和一个或多个输入/输出(i/o)端口的控制模块。存储器存储程序控制逻辑，处理器执行该程序控制逻辑。程序控制逻辑包括：第一控制逻辑部分，其经由i/o端口接收无线摄像头的实时输入图像数据；第二控制逻辑部分，其处理实时输入图像数据，以保持车辆内无线系统(wi-fi)的带宽利用率低于预定阈值带宽水平，并通过语义分割和背景记忆来最大限度地提高实时输入图像数据流质量；第三控制逻辑部分，其生成包括屏蔽的背景图像部分和前景图像部分的输出。i/o端口将所述输出传输至车辆内的人机界面(hmi)，并用缓存的背景数据替换屏蔽的背景图像部分，缓存的背景数据包括定期传输至hmi的背景场景。

2、在本公开的另一个方面，实时输入图像数据定义一个或多个视频帧。第二控制逻辑部分内的语义分割还包括一控制逻辑，该控制逻辑为定期对输入图像数据的前景部分和背景部分执行像素级分类。

3、在本公开的另一个方面，第二控制逻辑部分还包括一控制逻辑，该控制逻辑为执行一个或多个视频帧的运动矢量分析。通过一个或多个视频帧的每一个后续视频帧，经由网格参考来跟踪一个或多个视频帧内的信息。

4、在本公开的另一个方面，所述运动矢量分析还包括一控制逻辑，该控制逻辑定义多个宏块，所述多个宏块通过运动矢量位置数据从一个位置被跟踪至另一个位置；还包括一控制逻辑，该控制逻辑将一个或多个宏块中的一个或多个数据点定义为落在运动矢量空间中的覆盖所有点的半径内；还包括一控制逻辑，该控制逻辑在确定半径小于或等于阈值时，将一个或多个数据点定义为背景运动矢量信息，在确定半径大于阈值时，再次发起语义分割，以分割一个或多个数据点，并将一个或多个数据点定义为前景运动矢量信息。

5、在本公开的另一个方面，背景记忆还包括一控制逻辑，该控制逻辑为跟踪所有的一个或多个数据点，该一个或多个数据点定义的背景信息具有单一背景运动矢量。

6、在本公开的另一个方面，背景记忆还包括一控制逻辑，该控制逻辑将实时输入图像数据封装在每帧数据结构中，该每帧数据结构在无线设备和车载车辆控制模块之间共享。每帧数据结构定义背景运动矢量信息以及一个或多个块，一个或多个块中的每一个包括块索引、运动矢量和残差。

7、在本公开的另一个方面，块索引包括分配给输入图像数据中每一个宏块的整数。残差包括定义在一个或多个视频帧中的每一个视频帧与一个或多个视频帧中的每一个后续视频帧的宏块之间的像素值差的值。

8、在本公开的另一个方面，背景记忆还包括一控制逻辑，该控制逻辑为利用模板匹配将前景对象定位搜索的处理带宽利用率从第一量减少至小于第一量的第二量。模板匹配基于一个或多个视频帧中的每一个视频帧的色彩差异生成采样模板，通过坐标系和由(x,y,w,h)定义的区域计算来跟踪色彩差异的位置，其中，x定义x坐标，y定义y坐标，w定义宽度，h定义高度。所述模板匹配进一步定义背景平均运动矢量v，并将初始模板匹配位置定义为(x′,y′,w,h)，其中，

9、1.x′＝x+vx,y′＝y+vy；

10、并且定义搜索区域边界δd，使整个搜索区域由定义为下式的矩形区域给出：

11、2.(x′+δd,y′+δd,w+2δd,h+2δd)。

12、在本公开的另一个方面，所述背景记忆还包括控制逻辑，其通过以下方式将前景对象定位搜索的处理带宽利用率从第一量减少至小于第一量的第二量，包括：使用颜色梯度在一个或多个视频帧的每一个视频帧内的前景边缘处选择像素；将单个像素映射至宽度为α的正方形区域；收集选定的像素和每个像素的映射区域；通过像素值差对映射区域进行排序。映射区域在二维矩阵内按升序排序。具有较低排序值的映射区域定义前景图像的区域，该区域的颜色梯度比具有较高排序值的映射区域更大。前景边缘根据下式进行计算：

13、3.

14、其中，a为像素量，b定义背景像素，f定义前景像素，β为阈值。当确定值rmsepixels等于或低于阈值β时，将像素视为定义一个或多个视频帧内的前景和背景部分之间的边界；当确定值rmsepixels大于阈值β时，像素不定义一个或多个视频帧内的前景和背景之间的边界。

15、在本公开的另一个方面，将前景图像部分连续传输至hmi并覆盖在屏蔽的背景图像部分上，背景图像部分包含定期传输至所述hmi的循环信息。

16、在本公开的另一个方面，一种利用车辆运动矢量为无线摄像头节省带宽的方法，包括：采集车辆内的一个或多个无线摄像头的实时输入图像数据。该方法包括使用具有处理器、存储器和一个或多个输入/输出(i/o)端口的控制模块。存储器存储程序控制逻辑，处理器执行该程序控制逻辑。该方法包括：第一控制逻辑部分，经由i/o端口接收无线摄像头的实时输入图像数据；第二控制逻辑部分，处理实时输入图像数据，以保持车辆内无线系统(wi-fi)的带宽利用率低于预定阈值带宽水平，并通过语义分割和背景记忆来最大限度地提高实时输入图像数据流质量。该方法还包括执行将背景运动矢量数据缓存为背景场景的控制逻辑。第三控制逻辑部分，生成包括屏蔽的背景图像部分和前景图像部分的输出；以及经由i/o端口将所述输出传输至车辆内的人机界面(hmi)。

17、在本公开的另一个方面，采集实时图像数据还包括采集一个或多个视频帧。第二控制逻辑部分的处理还包括通过定期执行输入图像数据的前景和背景部分的像素级分类来执行语义分割。

18、在本公开的另一个方面，执行背景记忆还包括执行一个或多个视频帧的运动矢量分析。所述一个或多个视频帧内的信息通过一个或多个视频帧中的每一个后续视频帧，经由网格参考来跟踪。

19、在本公开的另一个方面，执行背景记忆还包括执行一控制逻辑，该控制逻辑定义多个宏块，所述多个宏块通过运动矢量位置数据从一个位置被跟踪至另一个位置；还包括执行一控制逻辑，该控制逻辑将一个或多个所述宏块中的一个或多个数据点定义为落在运动矢量空间中的覆盖所有点的半径内。执行背景记忆还包括执行一控制逻辑，其在确定半径小于或等于阈值时，将一个或多个数据点定义为背景运动矢量信息；在确定半径大于阈值时，再次发起语义分割，以分割一个或多个数据点，并将一个或多个数据点定义为前景运动矢量信息。

20、在本公开的另一个方面，执行背景记忆还包括执行一控制逻辑，其跟踪一个或多个数据点的全部数据点，该一个或多个数据点定义的背景信息具有单一背景运动矢量。

21、在本公开的另一个方面，执行背景记忆还包括将实时输入图像数据封装在每帧数据结构中，该每帧数据结构在无线设备和车载车辆控制模块之间共享。每帧数据结构定义背景运动矢量信息以及一个或多个块，一个或多个块中的每一个都包括块索引、运动矢量和残差。

22、在本公开的另一个方面，封装实时输入图像数据还包括通过向输入图像数据内的每个宏块分配整数来生成块索引，以及将残差的值定义为在一个或多个视频帧中的每一个视频帧与一个或多个视频帧中的每一个后续视频帧的宏块之间的像素值差。

23、在本公开的另一个方面，第二控制逻辑部分的处理还包括通过模板匹配执行背景记忆，以将前景对象定位搜索的处理带宽利用率从第一量减少至小于第一量的第二量。模板匹配基于一个或多个视频帧中的每一个视频帧的色彩差异生成采样模板，通过坐标系和由(x,y,w,h)定义的区域计算来跟踪所述色彩差异的位置，其中，x定义x坐标，y定义y坐标，w定义宽度，h定义高度。所述模板匹配进一步定义背景平均运动矢量v，并将初始模板匹配位置定义为(x′,y′,w,h)，其中，

24、1.x′＝x+vx,y′＝y+vy，

25、并且定义搜索区域边界δd，使整个搜索区域由定义为下式的矩形区域给出：

26、2.(x′+δd,y′+δd,w+2δd,h+2δd)。

27、在本公开的另一个方面，执行背景记忆还包括执行一控制逻辑，其通过使用颜色梯度在一个或多个视频帧的每一个视频帧内的前景边缘处选择像素，将前景对象定位搜索的处理带宽利用率从第一量减少至小于第一量的第二量。执行背景记忆还包括将单个像素映射至宽度为α的正方形区域；收集选定的像素和每个像素的映射区域；以及通过像素值差在二维矩阵内按升序对映射区域进行排序。具有较低排序值的映射区域定义前景图像的区域，该区域包含的颜色梯度比具有较高排序值的映射区域更大，其中，前景边缘根据下式进行计算：

28、3.

29、其中，a为像素量，b定义背景像素，f定义前景像素，β为阈值。当确定值rmsepixels等于或低于阈值β时，将像素视为定义一个或多个视频帧内的前景部分和背景部分之间的边界；当确定值rmsepixels大于阈值β时，像素不定义一个或多个视频帧内的前景和背景之间的边界；将前景图像部分连续传输至hmi并覆盖在屏蔽的背景图像部分上。背景图像部分包含定期传输至hmi的循环信息。

30、在本公开的另一个方面，一种利用车辆运动矢量为无线摄像头节省带宽的方法，包括采集设置在车辆内的一个或多个无线摄像头的实时输入图像数据，即包括采集一个或多个视频帧。该方法还包括使用具有处理器、存储器和一个或多个输入/输出(i/o)端口的控制模块。存储器存储程序控制逻辑，处理器执行该程序控制逻辑。程序控制逻辑包括：第一控制逻辑部分，经由i/o端口接收无线摄像头的实时输入图像数据；第二控制逻辑部分，处理实时输入图像数据，以保持车辆内无线系统(wi-fi)的带宽利用率低于预定阈值带宽水平，并通过语义分割和背景记忆来保持或最大限度地提高实时输入图像数据流质量。该方法还包括通过定期执行输入图像数据的前景部分和背景部分的像素级分类来执行语义分割。该方法还包括执行一个或多个视频帧的运动矢量分析。所述一个或多个视频帧内的信息通过一个或多个视频帧中的每一个后续视频帧，经由网格参考来跟踪。该方法还包括执行一控制逻辑，其定义多个宏块，所述多个宏块通过运动矢量位置数据从一个位置被跟踪至另一个位置；以及包括执行一控制逻辑，其将一个或多个宏块中的一个或多个数据点定义为落在运动矢量空间中的覆盖所有点的半径内。该方法还包括执行一控制逻辑，其在确定半径小于或等于阈值时，将一个或多个数据点定义为背景运动矢量信息；在确定半径大于阈值时，再次发起语义分割，以分割一个或多个数据点，并将一个或多个数据点定义为前景运动矢量信息。该方法还包括执行一控制逻辑，其跟踪一个或多个数据点的全部数据点，该一个或多个数据点定义的背景信息具有单一背景运动矢量；以及包括执行一控制逻辑，其将背景运动矢量数据缓存为定期传输至车辆内人机界面(hmi)的背景场景。该方法还包括一控制逻辑，其将实时输入图像数据封装在每帧数据结构中，该每帧数据结构在无线设备和车载车辆控制模块之间共享。每帧数据结构定义所述背景运动矢量信息以及一个或多个块。一个或多个块中的每一个都包括块索引、运动矢量和残差。块索引是通过为输入图像数据中每一个宏块分配整数来生成的。该方法还包括通过模板匹配执行背景记忆，以将前景对象定位搜索的处理带宽利用率从第一量减少至小于第一量的第二量。模板匹配基于一个或多个视频帧中的每一个视频帧的色彩差异生成采样模板，通过坐标系和由(x,y,w,h)定义的区域计算来跟踪所述色彩差异的位置，其中，x定义x坐标，y定义y坐标，w定义宽度，h定义高度。模板匹配进一步定义背景平均运动矢量v，并将初始模板匹配位置定义为(x′,y′,w,h)，其中，

31、1.x′＝x+vx,y′＝y+vy，

32、定义搜索区域边界δd，使整个搜索区域由定义为下式的矩形区域给出：

33、2.(x′+δd,y′+δd,w+2δd,h+2δd)，

34、并且将残差的值定义为在一个或多个视频帧中的每一个视频帧与一个或多个视频帧中的每一个后续视频帧的宏块之间的像素值差。该方法还包括执行一控制逻辑，其通过使用颜色梯度在一个或多个视频帧的每一个视频帧内的前景边缘处选择像素，将前景对象定位搜索的处理带宽利用率从第一量减少至小于第一量的第二量。该方法还包括将单个像素映射至宽度为α的正方形区域，以及收集选定的像素和每个所述像素的映射区域。该方法通过像素值差在二维矩阵内按升序对映射区域进行排序。具有较低排序值的映射区域定义前景图像的区域，该区域包含的颜色梯度比具有较高排序值的映射区域更大。前景边缘根据下式进行计算：

35、3.

36、其中，a为像素量，b定义背景像素，f定义前景像素，并且β为阈值，其中，当确定值rmsepixels等于或低于阈值β时，将像素视为定义一个或多个视频帧内的前景部分和背景部分之间的边界；当确定值rmsepixels大于阈值β时，像素不定义一个或多个视频帧内的前景和背景之间的边界；以及将背景运动矢量数据缓存为背景场景。该方法还包括通过第三控制逻辑部分生成包括缓存的背景场景和前景图像部分的输出；以及将前景图像部分连续传输至hmi并覆盖在屏蔽的背景图像部分上，其中，背景图像部分包含定期传输至hmi的循环信息。

37、进一步的应用领域将从本文提供的描述中变得显而易见。应当理解的是，这些描述和具体示例仅用于说明的目的，并不旨在限制本公开的范围。