多传感器信息融合方法、装置、电子设备及存储介质与流程

本技术涉及车辆，特别涉及一种多传感器信息融合方法、装置、电子设备及存储介质。

背景技术：

1、自动驾驶技术为汽车发展的一项重要技术，其中，无论是已经实现的驾驶辅助系统还是正在研究的各级别自动驾驶系统，在很大程度上都依靠传感器来实现。

2、在自动驾驶技术中，车辆所处的环境往往十分复杂，周围的车辆、行人和其他障碍物，道路标识、车道线都是车辆环境的重要因素，为了更好的探测环境，可以通过不同的感知传感器获取不同的感知范围。

3、为此，亟需一种多传感器信息融合方法，实现对车辆周边障碍物的感知，为车辆辅助驾驶及无人驾驶的规划和控制提供感知信息。

技术实现思路

1、本技术提供一种多传感器信息融合方法、装置、电子设备及存储介质，以解决相关技术难以准确感知车辆周围障碍物的问题，能够根据多种传感器检测结果实现决策级融合，输出车辆周围八个方向上的危险障碍物信息，为车辆辅助驾驶及无人驾驶的规划和控制提供感知信息。

2、本技术第一方面实施例提供一种多传感器信息融合方法，包括以下步骤：

3、获取前视摄像头的第一检测结果、前向毫米波雷达的第二检测结果、前向激光雷达的第三检测结果、左侧激光雷达的第四检测结果、右侧激光雷达的第五检测结果、后向毫米波雷达的第六检测结果、左侧角毫米波雷达的第七检测结果、右侧角毫米波雷达的第八检测结果和惯导的第九检测结果；

4、根据所述第一检测结果、所述第二检测结果、所述第三检测结果、所述第四检测结果和所述第五检测结果得到所述车辆的前向融合结果，并根据所述第一检测结果、所述第二检测结果、所述第三检测结果和所述第四检测结果得到所述车辆的左前向融合结果，根据所述第一检测结果、所述第二检测结果、所述第三检测结果和所述第五检测结果得到所述车辆的右前向融合结果，并根据所述第四检测结果得到所述车辆的左侧融合结果，并根据第五检测结果得到所述车辆的右侧融合结果；并根据所述第六检测结果得到所述车辆的后向融合结果，并根据所述第四检测结果和所述第七检测结果得到所述车辆的左后向融合结果，并根据所述第五检测结果和所述第八检测结果得到所述车辆的右后向融合结果；以及

5、根据所述前向融合结果、所述左前向融合结果、所述右前向融合结果、所述左侧融合结果、所述右侧融合结果、所述后向融合结果、所述左后向融合结果和所述右后向融合结果得到所述车辆的最终融合结果，并根据所述最终融合结果确定所述车辆的控制指令，并根据所述控制指令对所述车辆进行控制。

6、可选地，在一些实施例中，所述根据所述第一检测结果、所述第二检测结果、所述第三检测结果、所述第四检测结果和所述第五检测结果得到所述车辆的前向融合结果，包括：

7、从所述第一检测结果中筛选出第一目标跟踪次数大于第一预设次数的第一目标集，并从所述第一目标集中筛选出与所述车辆的纵向距离处于第一区间的第一子目标集、与所述车辆的纵向距离处于第二区间的第二子目标集和与所述车辆的纵向距离处于第三区间的第三子目标集；

8、从所述第二检测结果的动态障碍物中筛选出第二目标跟踪次数大于第二预设次数的第二目标集，并根据所述第一子目标集和所述第二目标集匹配得到第一待融合目标集，并根据所述第一待融合目标集中与所述前视摄像头在第一预设距离内的待融合目标得到第一前向融合子结果；

9、从所述第三检测结果筛选出第三跟踪次数大于第三预设次数的第三目标集，并根据所述第二子目标集和所述第三目标集匹配得到第二待融合目标集，若所述第二待融合目标集中的待融合目标满足第一预设距离条件，则根据所述第一检测结果得到第二前向融合子结果；否则，在基于所述第三检测结果的静态障碍物识别到所述第二子目标集满足第二预设距离条件时，根据所述第一检测结果得到第三前向融合子结果，在基于所述第三检测结果的静态障碍物识别到所述第二子目标集满足第三预设距离条件，且基于所述第二检测结果的动态障碍物识别到所述第二子目标集满足第四预设距离条件时，根据所述第一检测结果得到第四前向融合子结果；

10、识别所述第二检测结果中存在满足第五预设距离条件的静态障碍物时，根据所述第一检测结果得到第五前向融合子结果，识别所述第二检测结果中不存在满足所述第五预设距离条件的静态障碍物时，若所述第三检测结果中存在满足第六预设距离条件的动态障碍物，则根据所述第一检测结果得到第六前向融合子结果，否则，基于预设的第七预设距离条件，根据所述第一检测结果和所述第三检测结果得到第七前向融合子结果；

11、根据所述第一检测结果和所述第二检测结果确定第四目标集，并从所述第四目标集中筛选出与所述车辆的纵向距离处于第四区间的第四子目标集、与所述车辆的纵向距离处于第五区间的第五子目标集；

12、基于所述第四子目标集和所述第三检测结果进行匹配，并在第一匹配结果满足第八预设距离条件时，根据所述第二检测结果中动态障碍物得到第八前向融合子结果；

13、基于所述第五子目标集，根据所述第二检测结果中动态障碍物得到第九前向融合子结果；

14、根据所述第一检测结果、所述第二检测结果和所述第三检测结果确定第五目标集，并从所述第五目标集中筛选出与所述车辆的纵向距离处于第六区间且第三目标跟踪次数大于第三预设次数的第六子目标集、与所述车辆的纵向距离处于第七区间且第四目标跟踪次数大于第四预设次数的第七子目标集；

15、基于所述第六子目标集和和所述第二检测结果中动态障碍物进行匹配，并在第二匹配结果满足第九预设距离条件时，根据所述第三检测结果得到第九前向融合子结果；

16、基于所述第七子目标集和和所述第二检测结果中静态障碍物进行匹配，并在第三匹配结果满足第十预设距离条件时，根据所述第三检测结果得到第十前向融合子结果；

17、根据所述第一检测结果、所述第二检测结果、所述第三检测结果、所述第四检测结果和所述第五检测结果确定第六目标集，

18、基于所述第六目标集和所述第二检测结果中动态障碍物进行匹配，并在第三匹配结果满足第十一预设距离条件时，根据所述第二检测结果、所述第四检测结果和所述第五检测结果得到第十一前向融合子结果；

19、基于所述第六目标集和所述第三检测结果中动态障碍物进行匹配，并在第四匹配结果满足第十二预设距离条件时，根据所述第三检测结果、所述第四检测结果和所述第五检测结果得到第十二前向融合子结果；

20、在所述第六目标集满足第十三预设距离条件时，根据所述第四检测结果和所述第五检测结果得到第十三前向融合子结果；

21、根据所述第一前向融合子结果、所述第二前向融合子结果、所述第三前向融合子结果、所述第四前向融合子结果、所述第五前向融合子结果、所述第六前向融合子结果、所述第七前向融合子结果、所述第八前向融合子结果、所述第九前向融合子结果、所述第十前向融合子结果、所述第十一前向融合子结果、所述第十二前向融合子结果和所述第十三前向融合子结果得到所述前向融合结果。

22、可选地，在一些实施例中，所述根据所述第一检测结果、所述第二检测结果、所述第三检测结果和所述第四检测结果得到所述车辆的左前向融合结果，包括：

23、从所述第一检测结果中筛选出与所述车辆的纵向距离处于第八区间且第五目标跟踪次数大于第五预设次数的第七目标集；

24、从所述第七目标集中筛选出处于第一绝对速度区间的第八子目标集，并基于所述第八子目标集得到第一左前向融合子结果；

25、从所述第七目标集中筛选出处于第二绝对速度区间的第九子目标集，并匹配所述第九子目标集和所述第二检测结果中静态障碍物，若第五匹配结果不为空，则基于所述第九子目标集，根据所述第一检测结果、所述第二检测结果中静态障碍物和第十四预设距离条件得到第二左前向融合子结果，否则，匹配所述第九子目标集和所述第二检测结果中动态障碍物，若第六匹配结果不为空，则基于所述第九子目标集，根据所述第一检测结果、所述第二检测结果中动态障碍物和第十五预设距离条件得到第三左前向融合子结果，否则，基于所述第九子目标集，根据所述第一检测结果、所述第三检测结果和第十六预设距离条件得到第四左前向融合子结果；

26、根据所述第一检测结果和所述第二检测结果得到第八目标集，并从所述第八目标集中筛选出处于第一预设距离区间且满足第十七预设距离条件的第十子目标集和处于第二预设距离区间第十一子目标集；

27、基于所述第十子目标集，根据所述第一检测结果和、所述第二检测结果和第十八预设距离条件得到第五左前向融合子结果；

28、基于所述第十一子目标集，根据所述第二检测结果中的动态障碍物得到第六左前向融合子结果；

29、根据所述第一检测结果、所述第二检测结果和所述第三检测结果得到第九目标集，并从所述第九目标集中筛选出处于第三预设距离区间的第十二子目标集，并匹配所述第十二子目标集和所述第二检测结果中动态障碍物，若第七匹配结果不为空，则基于所述第十二子目标集，根据所述第三检测结果和第十九预设距离条件得到第六左前向融合子结果，否则，匹配所述第十二子目标集和所述第二检测结果中静态障碍物，并基于所述第十二子目标集，根据第八匹配结果、所述第三检测结果和第二十预设距离条件得到第七左前向融合子结果；

30、根据所述第一检测结果、所述第二检测结果、所述第三检测结果和所述第四检测结果得到第十目标集，并在所述第十目标集和所述第二检测结果的匹配结果不为空时，基于所述第十目标集、所述第二检测结果、所述第四检测结果和第二十一预设距离条件得到第八左前向融合子结果，在所述第十目标集和所述第二检测结果的匹配结果为空时，基于所述第十目标集、所述第三检测结果、所述第四检测结果和第二十二预设距离条件得到第九左前向融合子结果；

31、在所述第九目标集满足第二十三预设距离条件时，根据所述第四检测结果得到第十左前向融合子结果；

32、根据所述第一左前向融合子结果、所述第二左前向融合子结果、所述第三左前向融合子结果、所述第四左前向融合子结果、所述第五左前向融合子结果、所述第六左前向融合子结果、所述第七左前向融合子结果、所述第八左前向融合子结果、所述第九左前向融合子结果和所述第十左前向融合子结果得到所述左前向融合结果。

33、可选地，在一些实施例中，所述根据所述第四检测结果得到所述车辆的左侧融合结果，包括：

34、在所述第七检测结果满足第二十四预设距离条件时，根据所述第六检测结果得到所述左侧融合结果。

35、可选地，在一些实施例中，所述根据所述第六检测结果得到所述车辆的后向融合结果，包括：

36、从所述第六检测结果中筛选出第六目标跟踪次数大于第六预设次数的第十一目标集；

37、基于所述第十一目标集，根据所述第六检测结果得到所述后向融合结果。

38、可选地，在一些实施例中，所述根据所述第四检测结果和所述第七检测结果得到所述车辆的左后向融合结果，包括：

39、从所述第七检测结果中筛选出处于第四预设距离区间的第十二目标集，并基于所述第十二目标集，根据所述第七检测结果得到第一左后向融合子结果；

40、基于所述第七检测结果和所述第四检测结果确定第十三目标集，并从所述第十三目标集中筛选出第七目标跟踪次数大于第七预设次数的第十三子目标集；

41、若所述第十三子目标集和所述第七检测结果中动态障碍物的匹配结果不为空，则基于所述第十三子目标集，根据第二十五预设距离条件和所述第七检测结果得到第二左后向融合子结果；

42、在所述第七检测结果满足第二十六预设距离条件时，根据所述第七检测结果得到第三左后向融合子结果；

43、根据所述第一左后向融合子结果、所述第二左后向融合子结果和所述第三左后向融合子结果得到所述左后向融合结果。

44、本技术第二方面实施例提供一种多传感器信息融合装置，包括：

45、获取模块，用于获取前视摄像头的第一检测结果、前向毫米波雷达的第二检测结果、前向激光雷达的第三检测结果、左侧激光雷达的第四检测结果、右侧激光雷达的第五检测结果、后向毫米波雷达的第六检测结果、左侧角毫米波雷达的第七检测结果、右侧角毫米波雷达的第八检测结果和惯导的第九检测结果；

46、融合模块，用于根据所述第一检测结果、所述第二检测结果、所述第三检测结果、所述第四检测结果和所述第五检测结果得到所述车辆的前向融合结果，并根据所述第一检测结果、所述第二检测结果、所述第三检测结果和所述第四检测结果得到所述车辆的左前向融合结果，根据所述第一检测结果、所述第二检测结果、所述第三检测结果和所述第五检测结果得到所述车辆的右前向融合结果，并根据所述第四检测结果得到所述车辆的左侧融合结果，并根据第五检测结果得到所述车辆的右侧融合结果；并根据所述第六检测结果得到所述车辆的后向融合结果，并根据所述第四检测结果和所述第七检测结果得到所述车辆的左后向融合结果，并根据所述第五检测结果和所述第八检测结果得到所述车辆的右后向融合结果；以及

47、控制模块，用于根据所述前向融合结果、所述左前向融合结果、所述右前向融合结果、所述左侧融合结果、所述右侧融合结果、所述后向融合结果、所述左后向融合结果和所述右后向融合结果得到所述车辆的最终融合结果，并根据所述最终融合结果确定所述车辆的控制指令，并根据所述控制指令对所述车辆进行控制。

48、可选地，在一些实施例中，所述融合模块，包括：

49、第一筛选单元，用于从所述第一检测结果中筛选出第一目标跟踪次数大于第一预设次数的第一目标集，并从所述第一目标集中筛选出与所述车辆的纵向距离处于第一区间的第一子目标集、与所述车辆的纵向距离处于第二区间的第二子目标集和与所述车辆的纵向距离处于第三区间的第三子目标集；

50、第二筛选单元，用于从所述第二检测结果的动态障碍物中筛选出第二目标跟踪次数大于第二预设次数的第二目标集，并根据所述第一子目标集和所述第二目标集匹配得到第一待融合目标集，并根据所述第一待融合目标集中与所述前视摄像头在第一预设距离内的待融合目标得到第一前向融合子结果；

51、第三筛选单元，用于从所述第三检测结果筛选出第三跟踪次数大于第三预设次数的第三目标集，并根据所述第二子目标集和所述第三目标集匹配得到第二待融合目标集，若所述第二待融合目标集中的待融合目标满足第一预设距离条件，则根据所述第一检测结果得到第二前向融合子结果；否则，在基于所述第三检测结果的静态障碍物识别到所述第二子目标集满足第二预设距离条件时，根据所述第一检测结果得到第三前向融合子结果，在基于所述第三检测结果的静态障碍物未识别到所述第二子目标集满足第三预设距离条件，且基于所述第二检测结果的动态障碍物识别到所述第二子目标集满足第四预设距离条件时，根据所述第一检测结果得到第四前向融合子结果；

52、第一生成单元，用于识别所述第二检测结果中存在满足第五预设距离条件的静态障碍物时，根据所述第一检测结果得到第五前向融合子结果，识别所述第二检测结果中不存在满足所述第五预设距离条件的静态障碍物时，若所述第三检测结果中存在满足第六预设距离条件的动态障碍物，则根据所述第一检测结果得到第六前向融合子结果，否则，基于预设的第七预设距离条件，根据所述第一检测结果和所述第三检测结果得到第七前向融合子结果；

53、第四筛选单元，用于根据所述第一检测结果和所述第二检测结果确定第四目标集，并从所述第四目标集中筛选出与所述车辆的纵向距离处于第四区间的第四子目标集、与所述车辆的纵向距离处于第五区间的第五子目标集；

54、第一匹配单元，用于基于所述第四子目标集和所述第三检测结果进行匹配，并在第一匹配结果满足第八预设距离条件时，根据所述第二检测结果中动态障碍物得到第八前向融合子结果；

55、第二生成单元，用于基于所述第五子目标集，根据所述第二检测结果中动态障碍物得到第九前向融合子结果；

56、第五筛选单元，用于根据所述第一检测结果、所述第二检测结果和所述第三检测结果确定第五目标集，并从所述第五目标集中筛选出与所述车辆的纵向距离处于第六区间且第三目标跟踪次数大于第三预设次数的第六子目标集、与所述车辆的纵向距离处于第七区间且第四目标跟踪次数大于第四预设次数的第七子目标集；

57、第二匹配单元，用于基于所述第六子目标集和和所述第二检测结果中动态障碍物进行匹配，并在第二匹配结果满足第九预设距离条件时，根据所述第三检测结果得到第九前向融合子结果；

58、第三匹配单元，用于基于所述第七子目标集和和所述第二检测结果中静态障碍物进行匹配，并在第三匹配结果满足第十预设距离条件时，根据所述第三检测结果得到第十前向融合子结果；

59、确定单元，用于根据所述第一检测结果、所述第二检测结果、所述第三检测结果、所述第四检测结果和所述第五检测结果确定第六目标集，

60、第四匹配单元，用于基于所述第六目标集和所述第二检测结果中动态障碍物进行匹配，并在第三匹配结果满足第十一预设距离条件时，根据所述第二检测结果、所述第四检测结果和所述第五检测结果得到第十一前向融合子结果；

61、第五匹配单元，用于基于所述第六目标集和所述第三检测结果中动态障碍物进行匹配，并在第四匹配结果满足第十二预设距离条件时，根据所述第三检测结果、所述第四检测结果和所述第五检测结果得到第十二前向融合子结果；

62、第三生成单元，用于在所述第六目标集满足第十三预设距离条件时，根据所述第四检测结果和所述第五检测结果得到第十三前向融合子结果；

63、融合单元，用于根据所述第一前向融合子结果、所述第二前向融合子结果、所述第三前向融合子结果、所述第四前向融合子结果、所述第五前向融合子结果、所述第六前向融合子结果、所述第七前向融合子结果、所述第八前向融合子结果、所述第九前向融合子结果、所述第十前向融合子结果、所述第十一前向融合子结果、所述第十二前向融合子结果和所述第十三前向融合子结果得到所述前向融合结果。

64、可选地，在一些实施例中，所述融合模块，包括：

65、第六筛选单元，用于从所述第一检测结果中筛选出与所述车辆的纵向距离处于第八区间且第五目标跟踪次数大于第五预设次数的第七目标集；

66、第七筛选单元，用于从所述第七目标集中筛选出处于第一绝对速度区间的第八子目标集，并基于所述第八子目标集得到第一左前向融合子结果；

67、第八筛选单元，用于从所述第七目标集中筛选出处于第二绝对速度区间的第九子目标集，并匹配所述第九子目标集和所述第二检测结果中静态障碍物，若第五匹配结果不为空，则基于所述第九子目标集，根据所述第一检测结果、所述第二检测结果中静态障碍物和第十四预设距离条件得到第二左前向融合子结果，否则，匹配所述第九子目标集和所述第二检测结果中动态障碍物，若第六匹配结果不为空，则基于所述第九子目标集，根据所述第一检测结果、所述第二检测结果中动态障碍物和第十五预设距离条件得到第三左前向融合子结果，否则，基于所述第九子目标集，根据所述第一检测结果、所述第三检测结果和第十六预设距离条件得到第四左前向融合子结果；

68、第四生成单元，用于根据所述第一检测结果和所述第二检测结果得到第八目标集，并从所述第八目标集中筛选出处于第一预设距离区间且满足第十七预设距离条件的第十子目标集和处于第二预设距离区间第十一子目标集；

69、第五生成单元，用于基于所述第十子目标集，根据所述第一检测结果和、所述第二检测结果和第十八预设距离条件得到第五左前向融合子结果；

70、第六生成单元，用于基于所述第十一子目标集，根据所述第二检测结果中的动态障碍物得到第六左前向融合子结果；

71、第七生成单元，用于根据所述第一检测结果、所述第二检测结果和所述第三检测结果得到第九目标集，并从所述第九目标集中筛选出处于第三预设距离区间的第十二子目标集，并匹配所述第十二子目标集和所述第二检测结果中动态障碍物，若第七匹配结果不为空，则基于所述第十二子目标集，根据所述第三检测结果和第十九预设距离条件得到第六左前向融合子结果，否则，匹配所述第十二子目标集和所述第二检测结果中静态障碍物，并基于所述第十二子目标集，根据第八匹配结果、所述第三检测结果和第二十预设距离条件得到第七左前向融合子结果；

72、第八生成单元，用于根据所述第一检测结果、所述第二检测结果、所述第三检测结果和所述第四检测结果得到第十目标集，并在所述第十目标集和所述第二检测结果的匹配结果不为空时，基于所述第十目标集、所述第二检测结果、所述第四检测结果和第二十一预设距离条件得到第八左前向融合子结果，在所述第十目标集和所述第二检测结果的匹配结果为空时，基于所述第十目标集、所述第三检测结果、所述第四检测结果和第二十二预设距离条件得到第九左前向融合子结果；

73、第九生单元，用于在所述第九目标集满足第二十三预设距离条件时，根据所述第四检测结果得到第十左前向融合子结果；

74、第十生单元，用于根据所述第一左前向融合子结果、所述第二左前向融合子结果、所述第三左前向融合子结果、所述第四左前向融合子结果、所述第五左前向融合子结果、所述第六左前向融合子结果、所述第七左前向融合子结果、所述第八左前向融合子结果、所述第九左前向融合子结果和所述第十左前向融合子结果得到所述左前向融合结果。

75、可选地，在一些实施例中，所述融合模块，包括：

76、第十一生成单元，用于在所述第七检测结果满足第二十四预设距离条件时，根据所述第六检测结果得到所述左侧融合结果。

77、可选地，在一些实施例中，所述融合模块，包括：

78、第九筛选单元，用于从所述第六检测结果中筛选出第六目标跟踪次数大于第六预设次数的第十一目标集；

79、第十二生成单元，用于基于所述第十一目标集，根据所述第六检测结果得到所述后向融合结果。

80、可选地，在一些实施例中，所述融合模块，包括：

81、第十筛选单元，用于从所述第七检测结果中筛选出处于第四预设距离区间的第十二目标集，并基于所述第十二目标集，根据所述第七检测结果得到第一左后向融合子结果；

82、第十一筛选单元，用于基于所述第七检测结果和所述第四检测结果确定第十三目标集，并从所述第十三目标集中筛选出第七目标跟踪次数大于第七预设次数的第十三子目标集；

83、第十三生成单元，用于在所述第十三子目标集和所述第七检测结果中动态障碍物的匹配结果不为空的情况下，基于所述第十三子目标集，根据第二十五预设距离条件和所述第七检测结果得到第二左后向融合子结果；

84、第十四生成单元，用于在所述第七检测结果满足第二十六预设距离条件时，根据所述第七检测结果得到第三左后向融合子结果；

85、第十五生成单元，用于根据所述第一左后向融合子结果、所述第二左后向融合子结果和所述第三左后向融合子结果得到所述左后向融合结果。

86、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的多传感器信息融合方法。

87、本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的多传感器信息融合方法。

88、由此，通过获取多种传感器对应的第一检测结果至第九检测结果，并根据第一检测结果至第九检测结果中的一种或多种的组合得到车辆的前向融合结果、左前向融合结果、右前向融合结果、左侧融合结果、右侧融合结果、后向融合结果，左后向融合结果和右后向融合结果，并根据上述所有方向的融合结果得到车辆的最终融合结果，并根据最终融合结果确定车辆的控制指令，并根据控制指令对车辆进行控制。由此，解决了相关技术难以准确感知车辆周围障碍物的问题，能够根据多种传感器检测结果实现决策级融合，输出车辆周围八个方向上的危险障碍物信息，为车辆的辅助驾驶提供感知信息。

89、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。