用于预处理图像数据以检测障碍物和/或自由空间的方法与流程

本发明涉及一种用于预处理图像数据以检测障碍物和/或自由空间的方法。此外，本发明涉及一种计算机程序以及一种数据处理设备。

背景技术：

1、已知来自车辆的相机传感器记录的图像数据可用于检测车辆前方的障碍物。然而，现实世界的场景存在不同的缺陷，这些缺陷容易导致错误或遗漏检测。道路和环境冗余通常通过传感器融合来实现，这除了需要成本外，还需要完美的同步。

2、为了能够在非标准场景(如狭窄的道路、施工区、车道标记缺失等场景)下实现自动驾驶，则使用自由空间信息。在自动驾驶的背景下，自由空间检测可以被视为障碍物检测的对立面。它代表车辆前方没有任何无法通过的障碍物的区域。车辆前方的障碍物可以分成两种不同的类别：语义或分类障碍物(汽车、行人、路缘石等)和通用或未分类障碍物(护栏、施工区杆、任何自由形状的物体)。然而，仅通过语义分割几乎不可能可靠地检测出通用物体。

技术实现思路

1、根据本发明的各方面，提供了一种方法、一种计算机程序以及一种数据处理设备。本发明的进一步特征和细节在说明书和附图中公开。在根据本发明的方法的上下文中描述的特征和细节也对应于计算机程序以及数据处理设备，并且在每种情况下反之亦然。

2、根据本发明的一方面，可以提供一种用于预处理图像数据以检测障碍物和/或自由空间的方法。所述方法可以首先包括接收图像数据的步骤。图像数据可以包括不同时间点的帧、特别是图像帧。因此，图像数据可以具有视频信号或二维图像序列等类似的形式。图像数据可以从车辆的图像传感器(例如单个单目相机)接收。图像传感器可以以使得由所述图像传感器记录车辆在行驶方向上的环境这样的方式安装和/或布置在车辆上。

3、所述方法还可以包括识别接收到的图像数据中的静态结构、特别是通用物体的步骤，其中，优选地在不同时间点的每个帧中执行所述识别。这可以允许确定不同时间点的每个帧的标识符。标识符可以用于表示帧中所识别出的静态结构，以用于后续处理、特别是用于检测。静态结构可以包括通用和/或未分类的物体、特别是车辆前方的立在表面上的障碍物，例如护栏、建筑工地杆或任何自由形状的物体。与其他汽车或行人等移动障碍物相比，静态结构可以没有朝向车辆的相对运动。

4、所述方法还可以包括随时间累积标识符的步骤。换句话说，不仅可以提供针对单个帧确定的标识符(即由单个帧中的识别产生的标识符)，而且还可以提供来自其他帧中的先前识别的标识符以用于检测。这可以通过收集多个帧的标识符，从而收集关于所识别出的静态结构的信息来实现，其中，所述多个帧是在不同时间记录的、特别是在车辆移动期间顺序记录的。例如，可以将针对至少两个或至少10个或至少20个多个帧确定的标识符累积，然后提供用于检测。

5、所述方法还可以包括提供所累积的标识符以用于检测的步骤。这可以通过将所累积的标识符存储或传递到用于检测和/或控制车辆的至少一种算法来实现。所述至少一种算法可以使用累积的标识符来识别障碍物和/或基于检测来控制车辆。静态结构可以是相对于路面不移动的结构。累积可以被称为对来自特定时间跨度和/或历史的信息进行合并。因此，随时间累积标识符也可以被称为融合和/或存储和/或传递和/或使用在不同时间点确定的多个标识符和/或使用它们来进行检测。

6、因此，本发明能够实现数据稳定性以及2d和3d环境感知可靠性和一致性，特别是涉及来自单个传感器(例如前置视频单目相机)的数据。

7、所述方法还可以进一步包括将历史标识符传送到帧中的当前帧中，其中，所述历史标识符可以从按时间顺序记录在当前帧之前的帧中获得。换句话说，历史标识符可以从其他帧中的先前识别中获得。所述方法还可以包括基于历史标识符生成累积直方图：累积直方图可以由当前帧的图像列来表示。优选地，累积直方图可以专门用于对无法通过的障碍物的概率检测。例如，累积可以允许计算物体被直方图像素覆盖的概率。

8、此外，累积步骤可以包括基于相应的累积直方图、特别是与相应的累积直方图成比例地累积针对当前帧的至少所传送的历史标识符。为此，对于与图像像素相对应的每个直方图像素，可以对时间跨度中有多少棒状像素(stixel)与相同像素重叠进行计算或融合。

9、将历史标识符传送到帧中的当前帧中的步骤还可能包括：为三维场景的每个历史标识符确定新的三维位置。三维场景可以根据接收到的图像数据来重建。三维场景还可以表示车辆前方的三维环境。此外，可以基于车辆的自身运动来确定三维位置。换句话说，可以基于自身运动来调整位置，因为位置的偏移可以取决于在历史标识符的帧与当前帧之间由车辆行驶的距离。

10、另外，传送的步骤可以包括根据三维位置将历史标识符投影到三维场景的表面上。此外，传送的步骤可以包括基于根据所述三维位置的历史标识符到根据当前帧的当前图像视图的反投影来确定新的二维位置。当前图像视图可以是用于检测的视图。优选地，当前视图是来自传感器的最新图像，在当前视图上可以计算“单位帧”标识符并且因此是迄今为止处理的最新的图像。此外，传送步骤可以包括将历史标识符投影回到当前图像视图中。特别地，本发明的中心思想是通过随时间累积静态结构来增强基于3d通用结构的2d语义障碍物检测。直方图可以在图像域中创建以应对噪声模型，因此这意味着它必须返回2d才能累积。

11、此外，所累积的标识符可以被处理、特别是被评估，从而检测出至少一个障碍物和/或自由空间。可以基于检测自动地控制车辆。所述控制可以包括车辆的转向和/或制动和/或发出警告信号和/或类似功能。车辆例如可以是机动车辆、优选地是乘用车、特别优选地是至少部分自动驾驶的车辆。

12、此外，可以使用三维重建算法、特别是运动恢复结构(简称为sfm)算法，从接收到的图像数据重建三维场景，其中，可以基于从三维场景得到的几何特性来确定标识符。

13、对于单目相机，可以使用3d重建算法(如sfm，意思是运动恢复结构)来重建场景的3d结构。运动恢复结构(sfm)是一种摄影测距成像技术，用于从可能与局部运动信号耦合的二维图像序列中估计三维结构(参见s.ullman(1979).“the interpretation ofstructure from motion”(pdf).proceedings of the royal society of london.203(1153)：405–426.bibcode：1979rspsb.203..405u.doi：10.1098/rspb.1979.0006.hdl：1721.1/6298.pmid 34162.s2cid 11995230.)。换句话说，基于运动恢复结构的算法能够以一定的精度重建相机前方的3d世界。生成的sfm点云可以转换为所谓的棒状像素世界。在这种情况下，每个棒状像素代表给定视线的连续的3d区域。在计算机视觉中，棒状像素是图像中深度信息的超像素表示，其以竖直棒的形式近似于场景的某个竖直切片内最接近的障碍物(参见badino，hernán；franke，uwe；pfeiffer，david(2009).the stixel world–acompact medium level representation of the 3d-world.joint pattern recognitionsymposium)。棒状像素可以被配置为细的竖直矩形，其表示属于所观察的场景中最接近的障碍物的竖直表面的切片。因此，它们允许减少在这种问题中表示场景所需的信息量。一个棒状像素可以由三个参数来表征：底部的竖直坐标、棒的高度和深度。棒状像素还可以具有固定的宽度，每个棒状像素跨越一定数量的图像列，从而允许水平图像分辨率的下采样。

14、可以使用语义分割算法对接收到的图像数据执行语义分割，其中，可以基于从所述语义分割得到的语义特性来确定标识符。语义分割算法可以包括已经被训练用于分割的人工神经网络。或者，其他机器学习或模式识别算法也可以用于此目的。

15、图像数据可以包括特别是呈单目视频形式的帧，所述帧是由单目相机形式的图像传感器随时间记录的。根据本发明的方法所使用的累积可能是降噪的关键，这对于车辆的标准单目相机所特有的高噪声单目3d重建来说是特别必要的。

16、本发明的一个优点是可以增强静态3d场景的可用性和可靠性，而且还可以拒绝来自噪声重建的假阳性障碍物。根据本发明，3d结构可以用于检测通用的、自由形状的物体。考虑到3d数据是使用单个相机计算的，而不是常见的两相机立体系统或如激光雷达的任何高精度传感器，自由空间检测通常会遇到诸如单位帧数据丢失、数据置信度低、幻影障碍物或移动障碍物的3d信息不正确等缺陷。本发明可以提供至少减少这些问题的解决方案。

17、识别步骤可以包括棒状像素过滤，从而产生棒状像素形式的标识符。换句话说，通用或未分类的物体可以由棒状像素表示。在每一帧上，生成的棒状像素集可以代表单位帧中检测出的所有障碍物。由于来自单目相机的sfm(运动恢复结构的缩写)数据中的噪声水平很高，因此单位帧的棒状像素通常不够可靠。通常使用跟踪方法来稳定检测。在单目相机重建中，这种方法在棒状像素级别可能不是优选的，因为测量结果与轨迹的关联性很差。此外，可以使用多种聚类技术和标准来得到棒状像素，从而产生具有不同特性的棒状像素。然而，通过使用所提出的基于累积的方法，可以以可靠的方式克服这种不便。可以绕过跟踪的繁重计算(唯一性和关联性测量)，从而以更稳健的方式及时整合信息。由此，可以通过使用较早的累积的信息来实现更好的可用性。还可以使得能够拒绝时间不一致的幻影物体。给定的通用或未分类障碍物(如果有的话)的置信度也会增加。

18、在本发明的另一方面中，可以提供一种包括指令的计算机程序、特别是计算机程序产品，当由计算机执行所述计算机程序时，所述指令使得所述计算机执行根据本发明的方法。因此，根据本发明的计算机程序可以具有与参考根据本发明的方法详细描述的优点相同的优点。

19、本发明的另一方面是一种数据处理设备、特别是计算机形式的数据处理设备。所述设备可以包括可用于执行所述计算机程序的至少一个处理器。另外，可以提供非易失性数据存储器，计算机程序可以存储在所述非易失性数据存储器中，并且可以由所述处理器从所述非易失性数据存储器中读取所述计算机程序以便执行。所述设备可以被配置为车辆的电子控制单元。

20、根据本发明的另一方面，可以提供一种计算机可读存储介质，其包括根据本发明的计算机程序。存储介质可以形成为数据存储装置，诸如硬盘和/或非易失性存储器和/或存储卡和/或固态驱动器。存储介质可以例如集成到计算机中。

21、此外，根据本发明的方法可以被配置为计算机实现的方法。

22、本发明的进一步的优点、特征和细节将从下面的描述中变得显而易见，其中，参考附图详细描述了本发明的实施例。就此而论，权利要求和说明书中提到特征或单独地或以任何组合方式对于本发明都是重要的。