在人工神经网络背景下融合传感器数据的方法与流程

本发明涉及例如在人工神经网络背景下在基于环境传感器的车辆高级驾驶辅助系统(adas)/自动驾驶(ad)系统中融合传感器数据的一种方法和系统。

背景技术：

1、adas/ad系统的环境传感器(尤其是摄像装置传感器)的分辨率在不断提高。这样就可识别更小的对象，也可识别子对象，例如可在很远距离读取较小文字。较高分辨率的一个缺点是，处理相应大传感器数据所需的计算性能明显提高。因此，对传感器数据的处理常常使用不同的分辨率。例如，图像中心通常需要大作用范围或高分辨率，相反，边缘区域则不需要大作用范围或高分辨率(与人眼相似)。

2、de 102015208889 a1展示的是一种机动车辆环境成像的摄像装置，所述摄像装置带有用于拍摄像素图像的图像传感器装置和设置用于将像素图像的相邻像素组合成经调整适配的像素图像的处理器装置。通过以2-x-2图像金字塔或n-x-n图像金字塔形式组合相邻像素的像素值，可以以不同分辨率生成不同经调整适配的像素图像。

3、us10742907 b2和us10757330 b2展示的是具有可变分辨率图像拍摄功能的驾驶员辅助系统。

4、us10798319 b2描述的是检测本车环境区域的一种摄像装置，所述摄像装置带有广角光学器件和高分辨率图像拍摄传感器。可以以最高分辨率为图像序列的一图像检测整个检测区域的借助像素合并降低了分辨率的图像或检测该检测区域中的局部区域。

5、使用人工神经网络的技术正越来越多地应用于基于环境传感器的adas/ad系统中，以便能更好地识别、分类及至少部分理解交通参与者及相关场景。在此，与传统方法相比，例如卷积神经网络(cnn)等深度神经网络具有明显的优势。传统方法倾向于使用支持向量机(support vector machines)或自适应提升算法(adaboost)等经训练分类器和手工特征(方向梯度直方图(histogram of oriented gradients)、局部二值模式(local binarypatterns)、加伯滤波器(gabor filter)等)。在(多层级)卷积神经网络(cnn)中，特征提取是通过机器(深度)学习算法实现的，由此大幅度增加了特征空间的维度和深度，这最终例如以提高识别率的方式显著提高了性能。

6、对具有不同、尤其是搭叠的检测区域和不同分辨率的传感器数据进行处理、尤其是合并是一挑战。

7、ep 3686798 a1展示的是一种基于卷积神经网络(cnn)的对象检测器参数学习方法。在一摄像装置图像中进行对象区域的估计，并从不同图像金字塔层生成这些区域的片段。这些片段例如具有完全相同的高度，并借助“零填充”(零区域)进行侧面填充和级联(英语：concatenated，彼此级联)。这种级联形式可被随便地描述为一种拼贴画：高度完全相同的片段被“一个挨一个黏接”。因此，所生成的合成图像是由同一原始摄像装置图像的不同分辨率等级的区域组成的。卷积神经网络(cnn)的训练方式相应是，使对象检测器根据合成图像检测对象，由此也能检测到更远的对象。

8、与借助卷积神经网络(cnn)先后单独处理各个图像区域相比，这类方法的一个优点是只须加载一次合成图像权重。

9、这类方法的缺点是，合成图像中的图像区域彼此并列地、尤其是彼此独立地通过带对象检测器的卷积神经网络(cnn)观察。处于搭叠区域中的、可能不完全包含在一个图像区域中的对象必须以非同寻常的方式将其识别为属于同一对象。

技术实现思路

1、本发明的一项任务是，在人工神经网络背景下提供一种改进的传感器数据融合方法，它能有效地融合不同检测区域和不同分辨率的输入传感器数据，并将其提供给后续处理。

2、本发明的一个方面涉及对至少一个图像检测传感器的输入数据有效实施对象识别，它

3、a)检测大图像区域

4、b)高分辨率地检测例如图像中心处的远处对象等重要图像区域。

5、在研发解决方案时先进行以下考虑。

6、为在神经网络中使用多层图像金字塔，可通过两个独立的推断装置(两个分别为此训练的卷积神经网络(cnn))单独处理一分辨率较低的概况图像和一分辨率较高的中心图像部分。

7、这意味着大量的计算耗费/运行时间耗费。另外，还必须针对不同图像重新加载经训练的卷积神经网络(cnn)的权重。不同金字塔层级的特征不被组合考虑。

8、另选地，也可如ep 3686798 a1中所述对由不同分辨率等级组成的图像进行处理。

9、因此，可从不同的局部图像/分辨率等级生成一合成图像，然后在该合成图像上运行一推断装置或一经训练的卷积神经网络(cnn)。这在某种程度上更加高效，因为每个权重只为所有图像加载一次，而不是对每个局部图像重新进行加载。不过，如无法组合不同分辨率等级的特征等其余缺点依然存在。

10、融合传感器数据的方法包括以下步骤：

11、a)接收输入传感器数据，其中，输入传感器数据包括：

12、-第一表征/表示，它包括一场景的第一区域，以及

13、-第二表征，它包括该场景的第二区域，其中，第一和第二区域彼此搭叠，但不完全相同。

14、b)基于第一表征确定具有第一高度和第一宽度的第一特征图，并基于第二表征确定具有第二高度和第二宽度的第二特征图。

15、c)借助第一特征图的第一卷积，计算第一输出特征图，并借助第二特征图的第二卷积，计算第二输出特征图。

16、d)通过对第一和第二输出特征图进行逐个元素叠加/相加，计算融合特征图，其中，对第一和第二区域相对彼此的位置加以考虑，从而在搭叠区域中使(第一和第二输出特征图的)元素叠加；以及

17、e)输出融合特征图。

18、表征例如可以是由一传感器检测到的某一场景的二维表征。所述表征可以是例如网格、地图或图像。

19、点云或深度图是三维表征的示例，它可由例如激光雷达传感器或立体摄像装置等作为传感器检测。三维表征可为多种目的通过例如平面剖面或投影转换成二维表征。

20、特征图可通过卷积或卷积层/卷积核从一表征或另一(已存在的)特征图确定。

21、特征图的高度和宽度与作为基础的表征(或输入的特征图)的高度和宽度及运算有关。

22、尤其要考虑到第一和第二区域相对彼此的位置，以便为融合而使第一和第二输出特征图的匹配元素叠加。搭叠区域的位置可通过起始值(xs、ys)定义，起始值例如说明了第二输出特征图在竖直和水平方向上在融合特征图内的位置。第一和第二输出特征图的元素在搭叠区域内相加。在搭叠区域外，输出特征图的元素可转移到覆盖该区域的融合特征图中。如果两个输出特征图都没有覆盖融合特征图的一区域，则该区域可用零来填充。

23、所述方法例如在人工神经网络背景下、优选在卷积神经网络(cnn)背景下实施。

24、针对adas/ad功能，通常(尤其是在感知方面)会使用至少一个人工神经网络或卷积神经网络(cnn)，它借助机器学习方法训练为，将传感器输入数据分配给与adas/ad功能相关的输出数据。adas表示高级辅助驾驶系统(英语：advanced driver assistancesystems)，ad表示自动驾驶(英语：automated driving)。

25、经训练的人工神经网络可在车辆adas/ad控制装置的处理器上实现。处理器可配置用于，通过经训练的人工神经网络(推断装置)对传感器数据进行分析评估。处理器可包括用于人工神经网络的硬件加速器。

26、处理器或推断装置例如可配置用于，从一个或多个环境传感器的输入传感器数据检测或进一步确定与adas/ad相关的信息。相关信息例如是用于adas/ad系统或adas/ad控制装置的对象和/或环境信息。与adas/ad相关的对象和/或环境信息是例如物品、标记、交通标志、交通参与者及对象的相对速度、距离等，它们都是adas/ad系统的重要输入变量。检测相关信息的功能例如包括车道识别、对象识别、深度识别(图像组成部分的三维立体(3d)估计)、语义识别、交通标志识别等类似功能。

27、在一实施方式中，第一和第二输出特征图在搭叠区域内具有相同的高度和宽度。换句话说，各输出特征图的搭叠区域中的相邻元素在实际空间中彼此等距间隔开。之所以出现这种情况，是因为第一和第二特征图在搭叠区域内已具有相同的高度和宽度。搭叠区域中第一和第二表征例如(也)具有相同的高度和宽度。

28、根据一实施例所述，融合特征图的高度和宽度由矩形决定，该矩形围住(精准包围)第一和第二输出特征图。

29、在一实施方式中，第一区域是场景的概况区域，第二区域是场景的概况区域的局部区域。第一表征中所包含的概况区域可对应于整体区域、即传感器的最大检测区域。第二表征中所包含的场景局部区域可与也包含在第一表征中的感兴趣区域(roi)相对应。

30、根据一实施例，第一表征具有第一分辨率，第二表征具有第二分辨率。第二分辨率例如高于第一分辨率。第二表征的分辨率可与传感器的最高分辨率相当。较高分辨率例如可提供有关作为第二表征内容的局部区域或感兴趣区域(roi)的更多细节。表征分辨率可与精度或数据深度相当，例如可与一传感器两个相邻数据点之间的最小距离相当。

31、在一实施方式中，在通过围住(精准包围)第一和第二输出特征图的矩形确定融合特征图的高度和宽度后，可将第一和/或第二输出特征图扩大或调整适配为，使其达到融合特征图的宽度和高度，并保持第一和第二输出特征图相对彼此的位置。在经调整适配的两个输出特征图中，搭叠区域位置相同。各相应(经调整适配的)输出特征图的通过扩大而新添加的区域用零来填充(零填充)。然后，两个经调整适配的输出特征图可逐个元素进行叠加。

32、根据一实施例，首先建立一模板输出特征图，其宽度和高度由第一和第二输出特征图的高度和宽度及搭叠区域的位置得出(见上一段：包围的矩形)。模板输出特征图用零填充。

33、对经调整适配的第一输出特征图，在被第一输出特征图覆盖的区域内接收第一输出特征图的元素。为此，可使用起始值，其给出第一输出特征图在模板输出特征图中在竖直和水平方向上的位置。经调整适配的第二输出特征图也相应构成。然后，两个经调整适配的输出特征图又可逐个元素叠加。

34、在一实施方式中，对于第二输出特征图包含整个搭叠区域(即包括概况区域的第一输出特征图的真实的局部区域)的特殊情况，可省略调整适配第二输出特征图的不同高度和宽度。在此情况下，也不必对第一输出特征图进行调整适配，因为融合特征图与第一输出特征图具有相同的高度和宽度。在此情况下，第二输出特征图与第一输出特征图的逐个元素的叠加借助合适的起始值只能在搭叠区域内进行。起始值在第一输出特征图中预先给定，从起始值起(即在搭叠区域中)将第二输出特征图的元素加到第一输出特征图的元素中，以生成融合特征图。

35、在一实施方式中，特征图具有的深度与表征的分辨率相关。分辨率较高的表征(例如图像部分)与具有较大深度的特征图(例如特征图包含更多通道)相应。

36、处理器例如可包括人工神经网络的硬件加速器，硬件加速器可在一时钟周期或计算周期(英语：clockcycle)期间进一步处理多个传感器通道数据“包”的栈(英语：stack)。传感器数据或表征或特征(图)层可作为堆叠的传感器通道数据包送入硬件加速器。

37、根据一实施例，根据融合特征图进行与adas/ad相关的特征的检测。

38、在一实施方式中，所述方法在人工神经网络或卷积神经网络(cnn)的硬件加速器中实现。

39、根据一实施例，融合特征图在人工神经网络或卷积神经网络(cnn)的编码器中生成，人工神经网络或卷积神经网络设置或训练用于确定与adas/ad相关的信息。

40、在一实施方式中，设置或训练用于确定与adas/ad相关的信息的人工神经网络或卷积神经网络(cnn)包括用于不同的adas/ad检测功能的多个解码器。

41、在一实施方式中，(一场景的)表征包括或包含一图像检测传感器的图像数据。图像检测传感器可包括以下组中的一个或多个代表：单目摄像装置、尤其是具有(例如至少100度的)广角检测区域和(例如至少5兆像素的)较高的最大分辨率的单目摄像装置、立体摄像装置、卫星摄像装置、全景环视系统的单摄像装置、激光雷达传感器、激光扫描仪或其他三维立体(3d)摄像装置等。

42、根据一实施例，第一和第二表征包括至少一个图像检测传感器的图像数据。

43、在一实施方式中，(唯一的)图像检测传感器是一单目摄像装置。无论是第一表征还是第二表征都可由(同一)图像检测传感器提供。第一表征(或第一图像)可对应于一广角检测到的、分辨率降低的概况图像，第二表征(或第二图像)可对应于分辨率较高的一局部图像。

44、根据一实施例，第一和第二图像对应于一个由图像检测传感器检测到的图像的不同的图像金字塔层级。

45、输入传感器数据、即输入图像数据可视分辨率而定在多个通道中进行编码。每个通道例如具有相同的高度和宽度。

46、在此，在每个通道内可保持所包含的像素的空间关系。有关这方面的详细信息，请参阅de 102020204840 a1，其内容已全部纳入本专利申请中。

47、在一实施方式中，两个具有搭叠的检测区域的单目摄像装置被用作图像检测传感器。这两个单目摄像装置可以是一立体摄像装置的组成部分。两个单目摄像装置可具有不同的孔径角和/或分辨率(“混合立体摄像装置”)。两个单目摄像装置可以是彼此独立地固定在车辆上的卫星摄像装置。

48、根据一实施例，全景环视摄像系统的多个摄像装置被用作图像检测传感器。例如四台带鱼眼光学器件的单目摄像装置(检测角度例如为180度或更大)可全面检测车辆的环境。每两个相邻摄像装置具有一约90度的搭叠区域。在此，可从四个单图像(四个表征)建立车辆环境360度的融合特征图。

49、本发明另一方面涉及用于融合传感器数据的一种系统或装置。所述装置包括输入接口、数据处理单元和输出接口。

50、输入接口配置用于接收输入传感器数据。输入传感器数据包括第一表征和第二表征。第一表征包括或包含某一场景的第一区域。

51、第二表征包含该场景的第二区域。第一和第二区域彼此搭叠。第一和第二区域不完全相同。

52、数据处理单元配置用于执行以下步骤b)至d)：

53、b)基于第一表征确定具有第一高度和第一宽度的第一特征图，并基于第二表征确定具有第二高度和第二宽度的第二特征图。

54、c)借助第一特征图的第一卷积，计算第一输出特征图，并借助第二特征图的第二卷积，计算第二输出特征图。

55、d)通过对第一和第二输出特征图逐个元素进行叠加，计算融合特征图。在逐个元素叠加时对第一和第二区域相对彼此的位置加以考虑，从而在搭叠区域中叠加(第一和第二输出特征图的)元素。

56、输出接口配置用于输出融合特征图。

57、输出可在下游的adas/ad系统处或在“大型”adas/ad卷积神经网络(cnn)或其他人工神经网络的下游层处进行。

58、根据一实施例，系统包括卷积神经网络(cnn)硬件加速器。输入接口、数据处理单元和输出接口在卷积神经网络(cnn)硬件加速器中实现。

59、在一实施方式中，系统包括带一编码器的卷积神经网络。在该编码器中实现输入接口、数据处理单元和输出接口，从而使编码器配置用于生成融合特征图。

60、根据一实施例，卷积神经网络包括多个解码器。这些解码器配置用于，至少基于融合特征图实现不同的adas/ad检测功能。因此，卷积神经网络(cnn)的多个解码器可使用由一个公用编码器编码的输入传感器数据。不同的adas/ad检测功能例如包括表征的语义分割、未占用空间识别、车道检测、对象检测或对象分类等功能。

61、在一实施方式中，系统包括一adas/ad控制装置，其中，adas/ad控制装置配置用于，至少基于adas/ad检测功能的结果实现adas/ad功能。

62、所述系统可包括至少一个传感器。例如一个或多个摄像装置传感器、雷达传感器、激光雷达传感器、超声波传感器、一定位传感器和/或车对外界信息交互(v2x)系统(即远程信息处理系统)都可用作传感器。

63、本发明的另一方面涉及装有至少一个传感器和用于融合传感器数据的相应系统的车辆。

64、所述系统或数据处理单元尤其可包括微控制器或微处理器、中央处理器(cpu)、图形处理单元(gpu)、张量处理单元(tpu)、神经/人工智能处理单元(npu)、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)等，以及用于执行相应方法步骤的软件。

65、根据一实施方式，系统或数据处理单元在一基于硬件的传感器数据预处理阶段(例如图像信号处理器(isp))中实现。

66、本发明还涉及计算机程序元件或计算机程序产品，如果系统处理器用所述计算机程序元件或计算机程序产品编程以进行数据融合，则计算机程序元件或计算机程序产品安排处理器执行用于融合输入传感器数据的相应方法。

67、此外，本发明还涉及一种存储有这种程序元件的计算机可读存储介质。

68、因此，本发明可在数字电子电路、计算机硬件、固件或软件中实现。