一种基于视觉与超声波数据融合的泊出场景识别方法与流程

本发明涉及自动泊车领域，尤其涉及一种基于视觉与超声波数据融合的泊出场景识别方法。

背景技术：

1、在自动泊车场景中，时常需要将本车自动泊出所在车位，特别是在车位较窄或者周围存在其他障碍车、柱子、墙等障碍物较近的情况，人工驶出车位存在困难，自动泊出功能具有较大应用价值，这需要自动泊车系统能够识别出当前泊出场景以及判断可选择的泊出方向。

2、泊出类型主要包括垂直泊出、水平泊出以及斜向泊出。不同类型泊出包含的泊出方向不同，泊出类型与本车所停放的车位类型有关，由于本车当前占据并遮挡所在车位，因此泊出场景识别的难点在于无法直接识别本车所在车位的类型，当前具备自动泊车功能的量产车型识别泊出场景的主要方法是记录泊入阶段识别到的目标车位类型，将泊入车位类型赋予泊出车位类型，完成泊出场景识别。该方法主要利用了泊入的车位信息进行泊出识别，当遇到用户人工泊入车位或者本车熄火后重新启动上电情况时，泊入车位信息不存在或者丢失，该泊出识别方法将不再适用。

3、而目前并没有一种能够解决上述技术问题的技术方案，并没有一种基于视觉与超声波数据融合的泊出场景识别方法。

技术实现思路

1、本发明提供了一种基于视觉与超声波数据融合的泊出场景识别方法，通过使用视觉关键点模型识别并获取本车附近障碍车位姿信息和空车位位置信息，来判断当前本车是否处于泊出场景以及泊出的类型，并根据泊出类型生成各个方向的泊出区域，并融合超声波检测到障碍物以及视觉检测的障碍物信息，计算障碍物对各个泊出区域的影响，进而输出带有泊出方向和泊出类型的泊出场景识别结果。

2、本发明提供了一种基于视觉与超声波数据融合的泊出场景识别方法，包括：

3、对于每一摄像头，根据所述摄像头对应障碍车的目标车轮接地点确定障碍车车头朝向，根据所述障碍车车头朝向以及障碍车车轮接地点坐标确定所述障碍车的四个轮廓点坐标，所述摄像头包括前向摄像头、后向摄像头、左后视镜侧摄像头以及右后视镜侧摄像头，所述目标车轮接地点为所述障碍车中，距离所述摄像头最近的两个车轮位置；

4、遍历所述前向摄像头以及所述后向摄像头，根据本车目标轮廓点坐标以及相邻目标轮廓点坐标确定第一轮廓边直线距离以及第一轮廓边夹角，在第一轮廓边直线距离以及第一轮廓边夹角满足第一预设条件的情况下，生成水平泊出场景，将所述水平泊出场景输入至候选泊出车位队列，所述相邻目标轮廓点坐标包括与本车距离最近的两个障碍车轮廓点坐标，或者，与本车距离最近的两个空车位角点坐标；

5、遍历所述左后视镜侧摄像头以及所述右后视镜侧摄像头，根据所述本车目标轮廓点坐标以及所述相邻目标轮廓点坐标确定第二轮廓边直线距离以及第二轮廓边夹角，在第二轮廓边直线距离以及第二轮廓边夹角满足第二预设条件的情况下，计算本车与相邻目标的错切距离，在所述错切距离小于预设距离的情况下，生成垂直泊出场景，将所述垂直泊出场景输入至所述候选泊出车位队列，在所述错切距离大于或等于所述预设距离的情况下，生成斜向泊出场景，将所述斜向泊出场景输入至所述候选泊出车位队列；

6、遍历所述候选泊出车位队列，在所述候选泊出车位队列中出现垂直泊出场景或斜向泊出场景的情况下，输出垂直泊出场景或斜向泊出场景为场景识别结果，否则，输出水平泊出场景为场景识别结果。

7、根据本发明提供的基于视觉与超声波数据融合的泊出场景识别方法，在根据所述摄像头对应障碍车的目标车轮接地点确定障碍车车头朝向之前，所述方法还包括：

8、根据当前时刻对应的本车后轴中心坐标以及下一时刻对应的本车后轴中心坐标确定坐标变化差值；

9、在所述坐标变化差值小于预设差值的情况下，根据下一时刻对应的本车后轴中心坐标、本车尺寸数据、本车车头朝向的单位方向向量以及本车几何中心坐标到本车后轴中心坐标的距离，确定本车左前轮廓点坐标、本车右前轮廓点坐标、本车左后轮廓点坐标以及本车右后轮廓点坐标。

10、根据本发明提供的基于视觉与超声波数据融合的泊出场景识别方法，所述根据所述摄像头对应障碍车的目标车轮接地点确定障碍车车头朝向，根据所述障碍车车头朝向以及障碍车车轮接地点坐标确定所述障碍车的四个轮廓点坐标，包括：

11、在障碍车左前轮与右前轮靠近所述摄像头的情况下，确定障碍车车头朝向摄像头；在障碍车左后轮与右后轮靠近所述摄像头的情况下，确定障碍车车头不朝向摄像头；在障碍车右前轮与右后轮靠近所述摄像头的情况下，确定障碍车车头朝向右侧；在障碍车左前轮与左后轮靠近所述摄像头的情况下，确定障碍车车头朝向左侧；

12、根据前保险杠到障碍车前轮的距离确定车头补偿量，根据后保险杠到障碍车后轮的距离确定车尾补偿量；

13、根据所述障碍车车轮接地点坐标、所述车头补偿量以及所述车尾补偿量，分别计算在不同障碍车车头朝向下的所述障碍车的四个轮廓点坐标。

14、根据本发明提供的基于视觉与超声波数据融合的泊出场景识别方法，所述根据本车目标轮廓点坐标以及相邻目标轮廓点坐标确定第一轮廓边直线距离以及第一轮廓边夹角，包括：

15、在相邻目标轮廓点坐标为障碍车车头方向的两个轮廓点坐标的情况下，计算本车目标轮廓点坐标连线的直线方程，计算障碍车车头方向的每一轮廓点坐标至所述直线方程的轮廓边直线距离，得到所述第一轮廓边直线距离；计算本车目标轮廓点坐标连线与障碍车车头方向的两个轮廓点坐标连线之间的所述第一轮廓边夹角；

16、在相邻目标轮廓点坐标为障碍车车尾方向的两个轮廓点坐标的情况下，计算本车目标轮廓点坐标连线的直线方程，计算障碍车车尾方向的每一轮廓点坐标至所述直线方程的轮廓边直线距离，得到所述第一轮廓边直线距离；计算本车目标轮廓点坐标连线与障碍车车尾方向的两个轮廓点坐标连线之间的所述第一轮廓边夹角；

17、在相邻目标轮廓点坐标为与本车距离最近的两个空车位角点坐标的情况下，计算本车目标轮廓点坐标连线的直线方程，计算每一空车位角点坐标至所述直线方程的轮廓边直线距离，得到所述第一轮廓边直线距离；计算本车目标轮廓点坐标连线与两个空车位角点坐标连线之间的所述第一轮廓边夹角。

18、根据本发明提供的基于视觉与超声波数据融合的泊出场景识别方法，所述计算障碍车车头方向的每一轮廓点坐标至所述直线方程的轮廓边直线距离，得到所述第一轮廓边直线距离，包括：

19、

20、

21、其中，本车目标轮廓点与前向摄像头相对应，其坐标分别为(xs1,ys1)、(xs2,ys2)，障碍车车头方向的每一轮廓点坐标为(x1,y1)、(x2,y2)，df1、df2为第一轮廓边直线距离；

22、所述计算本车目标轮廓点坐标连线与障碍车车尾方向的两个轮廓点坐标连线之间的所述第一轮廓边夹角，包括：

23、

24、其中，θf34为所述第一轮廓边夹角，障碍车车尾方向的每一轮廓点坐标为(x3,y3)、(x4,y4)。

25、根据本发明提供的基于视觉与超声波数据融合的泊出场景识别方法，所述根据所述本车目标轮廓点坐标以及所述相邻目标轮廓点坐标确定第二轮廓边直线距离以及第二轮廓边夹角，包括：

26、在相邻目标轮廓点坐标为障碍车右前轮轮廓点坐标、障碍车右后轮轮廓点坐标的情况下，分别计算障碍车右前轮轮廓点坐标、障碍车右后轮轮廓点坐标与本车目标轮廓点坐标之间的轮廓边直线距离，得到所述第二轮廓边直线距离；计算本车目标轮廓点坐标连线与相邻目标轮廓点坐标连线之间的所述第二轮廓边夹角；

27、在相邻目标轮廓点坐标为障碍车左前轮轮廓点坐标、障碍车左后轮轮廓点坐标的情况下，分别计算障碍车左前轮轮廓点坐标、障碍车左后轮轮廓点坐标与本车目标轮廓点坐标之间的轮廓边直线距离，得到所述第二轮廓边直线距离；计算本车目标轮廓点坐标连线与相邻目标轮廓点坐标连线之间的所述第二轮廓边夹角；

28、在相邻目标轮廓点坐标为与本车距离最近的两个空车位角点坐标的情况下，计算本车目标轮廓点坐标连线的直线方程，计算每一空车位角点坐标至所述直线方程的轮廓边直线距离，得到所述第二轮廓边直线距离；计算本车目标轮廓点坐标连线与两个空车位角点坐标连线之间的所述第二轮廓边夹角。

29、根据本发明提供的基于视觉与超声波数据融合的泊出场景识别方法，所述分别计算障碍车右前轮轮廓点坐标、障碍车右后轮轮廓点坐标与本车目标轮廓点坐标之间的轮廓边直线距离，得到所述第二轮廓边直线距离，包括：

30、

31、

32、其中，本车目标轮廓点与左后视镜侧摄像头相对应，其坐标分别为(xs1,ys1)、(xs4,ys4)，障碍车右前轮轮廓点坐标为(x1,y1)，障碍车右后轮轮廓点坐标为(x4,y4)，dl1、dl4为第二轮廓边直线距离；

33、所述计算本车目标轮廓点坐标连线与相邻目标轮廓点坐标连线之间的所述第二轮廓边夹角，包括：

34、

35、其中，θl14为所述第二轮廓边夹角。

36、根据本发明提供的基于视觉与超声波数据融合的泊出场景识别方法，所述计算本车与相邻目标的错切距离，包括：

37、

38、其中，sl14为本车与相邻目标的错切距离，hl1为障碍车右前轮轮廓点坐标与(xs1,ys1)的连线在本车左侧轮廓边上的投影距离，hl4为障碍车右后轮轮廓点坐标与(xs4,ys4)的连线在本车左侧轮廓边上的投影距离。

39、根据本发明提供的基于视觉与超声波数据融合的泊出场景识别方法，所述第一预设条件包括：所述前向摄像头以及所述后向摄像头中的任一摄像头对应的第一轮廓边直线距离小于第一预设距离，且第一轮廓边夹角小于预设夹角；

40、所述第二预设条件包括：所述左后视镜侧摄像头以及所述右后视镜侧摄像头中的任一摄像头对应的第二轮廓边直线距离小于第二预设距离，且第二轮廓边夹角小于所述预设夹角；

41、所述第一预设距离大于所述第二预设距离。

42、根据本发明提供的基于视觉与超声波数据融合的泊出场景识别方法，在遍历所述候选泊出车位队列之后，所述方法还包括：

43、在确定场景识别结果为垂直泊出场景的情况下，创建并显示前方向泊出方向、前左方向泊出方向以及前右方向泊出方向，利用超声波传感器探测出障碍点对应的不可泊出方向，删除所述不可泊出方向，显示最终泊出方向；

44、在确定场景识别结果为斜向泊出场景的情况下，创建前方向泊出方向、前左方向泊出方向、前右方向泊出方向、后方向泊出方向、后左方向泊出方向以及后右方向泊出方向，利用超声波传感器探测出障碍点对应的不可泊出方向，删除所述不可泊出方向，显示最终泊出方向；

45、在确定场景识别结果为水平泊出场景的情况下，创建左方向泊出方向以及右方向泊出方向，利用超声波传感器探测出障碍点对应的不可泊出方向，删除所述不可泊出方向，显示最终泊出方向。

46、本发明不依赖于泊入车位信息，支持下电识别泊出以及人工泊入再泊出，有效提升了泊出场景识别方法的鲁棒性和普适性，扩展了自动泊出的应用场景，通过视觉与超声波数据融合，能够准确识别车辆周围的泊车场景，包括垂直、斜向和水平泊出场景，确保清晰了解周围环境，选择最适合的泊出方向，通过超声波传感器探测不可泊出方向，能够及时发现障碍物，以提供可靠的泊出指导，避免因为盲区造成的事故或碰撞；通过提供准确的泊出场景识别和指导，提高泊车操作的安全性，降低泊车事故的发生可能性，具有较大的工程应用意义。