一种BEV图像构建方法、装置、系统及存储介质与流程

本技术涉及图像处理，特别涉及一种bev图像构建方法、装置、系统及存储介质。

背景技术：

1、bev(bird’s-eye-view，鸟瞰图)是一种以视觉为中心的俯视图，bev感知就是把多个视角的摄像头图像，统一通过公共的特征提取器，投影到同一个bev空间里面，在车载自动导航领域发挥重要作用。这种构建方式的泛化能力较好，但是针对小目标的检测效果较差，因此，对细节特征的重构效果较差，影响bev整体的构建和检测效果，因此，现有技术对于bev的构建和检测效果仍然有较大的提升空间。

技术实现思路

1、本技术提供一种bev图像构建方法、装置、系统及存储介质，用以提升bev的构建和检测效果。

2、本技术提供一种bev图像构建方法，包括：

3、在车辆行驶过程中，通过多个车载摄像头获取车辆周围环境中的多张图像；

4、获取所述多张图像对应的特征图；

5、基于卷积方式构建所述特征图对应的第一bev特征，并基于空间交叉注意力方式构建所述特征图对应的第二bev特征；

6、将所述特征图对应的第一bev特征和所述特征图对应的第二bev特征进行融合，以得到融合后的bev特征图像；

7、将所述融合后的bev特征图像发送给检测头，以便所述检测头通过对所述融合后的bev特征图像进行目标检测，得到所述融合后的bev特征图像包含的至少一个预设目标。

8、本技术的有益效果在于：在车辆行驶过程中，通过多个车载摄像头获取车辆周围环境中的多张图像；获取所述多张图像对应的特征图；基于卷积方式构建所述特征图对应的第一bev特征，以保证感知系统中能够具备较好的全局感受野，同时，基于空间交叉注意力方式构建所述特征图对应的第二bev特征，以通过交叉注意力方式提取局部信息，进而提升构建的bev对细节的处理效果；然后，将所述特征图对应的第一bev特征和所述特征图对应的第二bev特征进行融合，以得到融合后的bev特征图像，将所述融合后的bev特征图像发送给检测头，以便所述检测头通过对所述融合后的bev特征图像进行目标检测，得到所述融合后的bev特征图像包含的至少一个预设目标。由于融合了卷积方式和交叉注意力方式，因此，生成的bev图像即保证了全局效果，也提升了细节处理效果，进而提升bev的构建和检测效果。

9、在一个实施例中，所述基于卷积方式构建所述特征图对应的第一bev特征，包括：

10、通过视角编码器对特征图进行特征融合，得到第一图像；

11、将所述第一图像由图像视角转换为bev视角，得到第二图像；

12、对所述第二图像进行特征编码，得到所述第一bev特征。

13、在一个实施例中，所述将所述第一图像由图像视角转换为bev视角，得到第二图像，包括：

14、构建第一图像对应的点云信息，并通过对所述第一图像进行升维以构建所述第一图像对应的视锥；

15、对转换为自车坐标系中的点以及第一图像对应的点云信息进行体素池化，以将所述自车坐标系中的点以及第一图像对应的点云信息转换为bev空间特征；

16、对所述bev空间特征进行融合，以生成第二图像。

17、在一个实施例中，所述基于空间交叉注意力方式构建所述特征图对应的第二bev特征，包括：

18、通过预设的bev查询条件从所述特征图中提取与所述预设的bev查询条件相匹配的空间特征；

19、计算所述空间特征对应的三维立体图像点；

20、通过车载摄像头参数获取三维立体图像点在视野平面上的投影点；

21、在以所述投影点为中心，预设距离为半径的范围内对视野平面中的特征进行采集；

22、将采集的特征进行聚合，以构建所述特征图对应的第二bev特征。

23、在一个实施例中，所述将所述特征图像对应的第一bev特征和第二bev特征进行融合，以得到融合后的bev特征图像，包括：

24、确定所述第一bev特征和所述第二bev特征对应的相同区域；

25、将所述第一bev特征和所述第二bev特征对应的相同区域进行叠加，以实现第一bev特征和第二bev特征之间的融合。

26、在一个实施例中，所述确定所述第一bev特征和所述第二bev特征对应的相同区域，包括：

27、计算所述第一bev特征和所述第二bev特征各个区域之间的相似度；

28、将所述第一bev特征和所述第二bev特征中相似度大于预设相似度的区域为相同区域。

29、在一个实施例中，所述获取所述多张图像对应的特征图，包括：

30、将所述多张图像送入卷积神经网络进行卷积运算；

31、确定所述卷积神经网络输出的卷积运算结果为所述多张图像对应的特征图。

32、本技术还提供一种bev图像构建装置，包括：

33、第一获取模块，用于在车辆行驶过程中，通过多个车载摄像头获取车辆周围环境中的多张图像；

34、第二获取模块，用于获取所述多张图像对应的特征图；

35、构建模块，用于基于卷积方式构建所述特征图对应的第一bev特征，并基于空间交叉注意力方式构建所述特征图对应的第二bev特征；

36、融合模块，用于将所述特征图对应的第一bev特征和所述特征图对应的第二bev特征进行融合，以得到融合后的bev特征图像；

37、发送模块，用于将所述融合后的bev特征图像发送给检测头，以便所述检测头通过对所述融合后的bev特征图像进行目标检测，得到所述融合后的bev特征图像包含的至少一个预设目标。

38、在一个实施例中，所述构建模块，包括：

39、融合子模块，用于通过视角编码器对特征图进行特征融合，得到第一图像；

40、转换子模块，用于将所述第一图像由图像视角转换为bev视角，得到第二图像；

41、编码子模块，用于对所述第二图像进行特征编码，得到所述第一bev特征。

42、在一个实施例中，所述转换子模块，用于：

43、构建第一图像对应的点云信息，并通过对所述第一图像进行升维以构建所述第一图像对应的视锥；

44、利用车载摄像头的参数对所述视锥中的点坐标进行转换，以使所述视锥中的点对应转换为车辆的自车坐标系中的点；

45、对转换为自车坐标系中的点以及第一图像对应的点云信息进行体素池化，以将所述自车坐标系中的点以及第一图像对应的点云信息转换为bev空间特征；

46、对所述bev空间特征进行融合，以生成第二图像。

47、在一个实施例中，所述构建模块，还包括：

48、提取子模块，用于通过预设的bev查询条件从所述特征图中提取与所述预设的bev查询条件相匹配的空间特征；

49、计算子模块，用于计算所述空间特征对应的三维立体图像点；

50、获取子模块，用于通过车载摄像头参数获取三维立体图像点在视野平面上的投影点；

51、采集子模块，用于在以所述投影点为中心，预设距离为半径的范围内对视野平面中的特征进行采集；

52、聚合子模块，用于将采集的特征进行聚合，以构建所述特征图对应的第二bev特征。

53、在一个实施例中，所述融合模块，包括：

54、第一确定子模块，用于确定所述第一bev特征和所述第二bev特征对应的相同区域；

55、叠加子模块，用于将所述第一bev特征和所述第二bev特征对应的相同区域进行叠加，以实现第一bev特征和第二bev特征之间的融合。

56、在一个实施例中，所述确定子模块，用于：

57、计算所述第一bev特征和所述第二bev特征各个区域之间的相似度；

58、将所述第一bev特征和所述第二bev特征中相似度大于预设相似度的区域为相同区域。

59、在一个实施例中，所述第二获取模块，包括：

60、运算子模块，用于将所述多张图像送入卷积神经网络进行卷积运算；

61、第二确定子模块，用于确定所述卷积神经网络输出的卷积运算结果为所述多张图像对应的特征图。

62、本技术还提供一种bev图像构建系统，其特征在于，包括：

63、至少一个处理器；以及，

64、与所述至少一个处理器通信连接的存储器；其中，

65、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行以实现上述任一实施例所记载的bev图像构建方法。

66、本技术还提供一种计算机可读存储介质，其特征在于，当存储介质中的指令由bev图像构建系统对应的处理器执行时，使得bev图像构建系统能够实现上述任一实施例所记载的bev图像构建方法。

67、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

68、下面通过附图和实施例，对本技术的技术方案做进一步的详细描述。