一种基于光场的自动驾驶感知避障系统及方法

本发明涉及一种基于光场的自动驾驶感知避障系统及方法，属于信息。

背景技术：

1、光场是空间中光线集合的完备表示，采集并显示光场就能在视觉上重现真实世界。全光函数包含7个维度，是表示光场的数学模型。光场是以人眼为中心对光线集合进行描述。由于光路是可逆的，以发光表面为中心来描述光线集合衍生出与光场类似的概念——反射场。反射场也具有7个维度的信息，但每个维度的定义与光场不尽相同。不论光场还是反射场，由于7个维度的信息会急剧增加采集、处理、传输的负担，因此实际应用中更多的是采用4d光场模型。随着magic leap one的上市，以及google《welcome to lightfield》在steam上发布，光场作为下一代成像/呈像技术，受到越来越多的关注。

2、随着科技的不断进步，汽车产业也逐渐向着智能化方向发展。自动驾驶技术正是在这种背景下应运而生。它通过采用先进的传感器、算法和控制系统，以及高精度地图、车联网等技术的支持，实现了对车辆的自动化控制。

3、自动驾驶技术的基本原理是通过对周围环境的实时感知，获取车辆行驶所需的各种信息，如车道、交通信号、其他车辆和障碍物的位置和速度等。然后通过高级算法进行数据分析和处理，生成车辆行驶所需的控制指令，再传达给车辆的发动机、转向和制动等系统，从而实现车辆的自主行驶。根据自动驾驶技术的成熟程度，国际上将其分为六个等级。从l0到l5，级别越高，代表自动驾驶技术的成熟度越高，对人类驾驶员的依赖程度就越低。目前，大部分汽车的自动驾驶技术处于l2级别，即部分自动化阶段，而特斯拉、谷歌等公司的试验车辆已经达到了l4级别，具备较高的自动驾驶能力。

4、现有的自动驾驶感知避障技术大部分采用超声波雷达：这种雷达是普通汽车上最常见的装备，一般布置于前后保险杠，可以清晰分辨，超声波雷达向外发出超声波，用接收器接收反射回来的超声波，通过时间差来测算距离。作为声波，探测距离越短，精度就越高，因此常用于倒车雷达，探测距离在0.1-3米之间，是自动泊车等功能的必备硬件。缺点是车速较快时误差大，无法远距离传播信号。除此之外，对外界环境的准确感知也是目前的自动驾驶感知避障技术的难点。

技术实现思路

1、本发明技术解决问题：针对自动驾驶领域中精度不准，对环境感知能力较差等问题，提供一种基于光场的自动驾驶感知避障系统及方法，能将外界环境信息通过光场技术进行感知，通过避障算法实现自动驾驶的避障，使外界环境信息利用更加充分、自动驾驶规划的路径更加合适与安全，使用户获得更安全和更有保障。

2、本发明采用如下的技术方案：

3、第一方面，本发明提供的一种基于光场的自动驾驶感知避障系统，包括：光场环境感知模块，避障模块，光场环境感知模块将外界信息转变为目标障碍物的速度和方向信息，将所述目标障碍物的速度和方向信息传入到避障模块中，避障模块获取到目标障碍物的速度和方向信息规划出一条最优路径躲避障碍物；所述基于光场环境感知模块包括光场感知设备，光场目标障碍物感知模块、光场目标障碍物匹配模块和光场目标障碍物轨迹跟踪模块，避障模块包括多目标预测模块和避障优化轨迹模块：

4、光场感知设备，用于捕捉外界信息；

5、光场目标障碍物识别模块，基于外界信息，通过一种创新的光场目标障碍物检测算法对目标障碍物进行识别，得到识别后的光场目标障碍物，识别后的光场目标障碍物包括光场目标障碍物的坐标位置和光场目标障碍物的分类类别；

6、光场目标障碍物匹配模块，将识别后的目标障碍物采用一种创新的光场目标障碍物匹配策略在光场感知设备之间进行匹配，得到同一帧下不同角度的匹配后的光场目标障碍物；

7、光场目标障碍物轨迹跟踪模块，采用一种创新的光场多感知轨迹跟踪方法对所述同一帧下不同角度的匹配后的光场目标障碍物进行轨迹跟踪，计算匹配后的目标障碍物的前后帧的速度和方向信息，得到匹配后的光场目标障碍物的速度和方向信息；

8、多目标预测模块，根据匹配后的光场目标障碍物的速度和方向信息，通过一种创新的基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，得到预测后的光场目标障碍物的轨迹；

9、避障优化轨迹模块，基于预测后的光场目标障碍物的轨迹，设计创新的光场目标障碍物未来的最优轨迹，最终完成自动驾驶的感知避障。

10、特别地，所述光场目标障碍物识别模块中，一种光场目标障碍物检测算法采用光场空间-角度相结合的神经网络实现，所述光场空间-角度相结合的神经网络包括光场空间-角度编码模块、空间-角度注意力感知模块、光场空间目标定位模块和光场空间-角度解码模块；

11、光场空间-角度编码模块，将光场图像分别按照空间和角度通过多层聚焦残差网络分别编码成光场图像的空间和角度特征；

12、多层次注意力感知模块，从所述光场图像的空间特征中提取光场图像的结构、颜色信息，从光场图像的角度特征中提取光场图像的关联信息；

13、光场目标障碍物定位模块，利用滑动法通过在光场图像的结构、颜色信息中以不同尺度、不同大小的窗口滑动定位目标，并在每个窗口上应用一个特征提取器和一个特征分类器判断窗口是否有光场目标障碍物，同时根据光场图像的关联信息定位光场目标障碍物之间的相关性，最终确定光场目标障碍物的位置左上角顶点坐标和右下角顶点坐标；

14、光场目标障碍物解码模块，将光场目标障碍物的坐标位置，光场图像的结构、颜色信息和光场图像的关联信息结合起来进行解码分类，通过多层卷积和池化操作解码特征，再通过全连接层进行分类得到光场目标障碍物的分类类别，光场目标障碍物的坐标位置和光场目标障碍物的分类类别组成识别后的光场目标障碍物。

15、特别地，所述光场目标障碍物匹配模块中，一种光场目标障碍物匹配策略实现如下：

16、第一步：将光场图像按照角度划分成n张光场图片，对同一帧下不同角度的两张光场图片中的光场目标障碍物的分类类别进行比较，只有相同类别的光场目标障碍物继续以下第二步操作；

17、第二步：对同一帧下不同角度的两张光场图片中相同类别的光场目标障碍物进行匹配，所述匹配方法通过光场匹配神经网络对两张图片中的两个相同类别的光场目标障碍物、以及两张光场图片的角度信息为输入，回归得到两个光场目标障碍物相似的置信度，并设定阈值，如果该置信度超过阈值，则成功匹配，设定一个匹配的置信度和类别标志位，如果定位目标障碍物已经匹配成功，则比较置信度大小，选择更高的置信度的匹配结果作为最终结果；

18、第三步，重复第二步的过程，直至所有的目标物障碍均已经过处理，最终得到同一帧下不同角度的匹配后的光场目标障碍物。

19、特别地，所述光场光场目标障碍物轨迹跟踪模块中，一种基于光场多感知轨迹跟踪方法流程如下：

20、首先设定一个阈值帧数z，将当前帧的不同角度的匹配后的光场目标障碍物和前一帧的不同角度的匹配后的光场目标障碍物输入到光场目标障碍物匹配模块中，对同一角度的不同帧的匹配后的光场目标障碍物再次进行匹配，得到二次匹配后的当前帧与前一帧的同一角度的光场目标障碍物；

21、如果匹配成功，对当前帧与前一帧的同一角度的匹配后的光场目标障碍物取前一帧的不同角度的匹配后的光场目标障碍物的序号id；如果匹配不成功，则继续将当前帧的不同角度的匹配后的光场目标障碍物与前两帧的不同角度的匹配后的光场目标障碍物的结果进行匹配，如果匹配成功，则使用前两帧的不同角度的匹配后的光场目标障碍物的序号id赋予当前帧的不同角度的匹配后的光场目标障碍物，如果匹配失败，则对前三帧进行匹配，重复z次，如果还没有匹配成功，则对当前帧的同一角度的匹配后的光场目标障碍物赋予新的id，作为新轨迹的开端；之后根据匹配成功的目标物计算其速度、加速度和方向，最终得到匹配后的光场目标障碍物的速度和方向信息。

22、特别地，所述多目标预测模块中，所述一种基于轨迹关联的多目标跟踪方法通过将所有匹配后的光场目标障碍物，以及他们的速度和方向分别输入到基于transformer的多层神经元网络中实现，所述基于transformer的多层神经元网络包括位置编码模块、全局关系建立模块和局部关系建立模块；位置编码模块将匹配后的光场目标障碍物的位置信息进行编码，再将光场目标障碍物的位置信息、以及他们的速度和方向输入到全局关系建立模块中，进行特征提取，得到全局轨迹信息，同时将光场目标障碍物的位置信息以及他们的速度和方向输入到局部关系建立模块中，得到局部轨迹信息；最后将全局轨迹信息和局部轨迹信息融合，得到预测后的光场目标障碍物的轨迹。

23、特别地，所述的避障优化轨迹模块中，基于预测后的光场目标障碍物的轨迹，设计光场目标障碍物未来的最优轨迹，实现如下：

24、利用三次方程拟合预测后的光场目标障碍物的轨迹，轨迹方程如下：

25、fid(a)＝k0+k1a+k2a2+k3a3+sinf((s，t))+cosf((s，t))

26、f((s，t))＝e10000*s+e10000*t

27、其中fid(a)代表光场目标障碍物a的轨迹方程，k0，k1，k2，k3代表4个可变参数，k0+k1a+k2a2+k3a3表示拟合了光场目标障碍物a的预测轨迹，sinf((s，t))+cosf((s，t))表示光场图像的角度约束，s，t为约束条件，代表光场的角度位置；f((s，t)为将光场角度位置编码成光场角度特征；

28、再最小化约束条件公式d，求出最优轨迹f2，d具体公式如下：

29、

30、n是光场目标障碍物a的总数，假设自动驾驶物之前的为原始的轨迹为f1，最优轨迹为f2，光场目标障碍物a的轨迹方程fid(a)，其中：(f1-f2)2保证两条轨迹相似，dis(f2-fid(a))表示最优的轨迹与光场目标障碍物的距离，min(dis(f2-fid(a)))表示自动驾驶物与每一时刻光场目标障碍物最小相隔距离最大化，最终求出最优轨迹f2，完成自动驾驶的感知避障。

31、第二方面，本发明提供一种基于光场的自动驾驶感知避障方法，实现如下：

32、外界信息被光场感知设备捕捉到后通过一种光场目标检测算法对障碍物进行识别；

33、基于外界信息，通过一种光场目标障碍物检测算法对目标障碍物进行识别，得到识别后的光场目标障碍物，识别后的光场目标障碍物包括光场目标障碍物的坐标位置和光场目标障碍物的分类类别；

34、将识别后的目标障碍物采用一种光场目标障碍物匹配策略在光场感知设备之间进行匹配，得到同一帧下不同角度的匹配后的光场目标障碍物；

35、采用一种光场多感知轨迹跟踪方法对所述同一帧下不同角度的匹配后的光场目标障碍物进行轨迹跟踪，计算匹配后的目标障碍物的前后帧的速度和方向信息，得到匹配后的光场目标障碍物的速度和方向信息；

36、根据匹配后的光场目标障碍物的速度和方向信息，通过一种基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，得到预测后的光场目标障碍物的轨迹；

37、基于预测后的光场目标障碍物的轨迹，设计光场目标障碍物未来的最优轨迹，最终完成自动驾驶的感知避障。

38、第三方面，本发明提供一种电子设备，包括处理器和存储器，其中：

39、存储器，用于存放计算机程序；

40、处理器，用于执行存储器上所存放的计算机程序，执行时实现第一方面所述的系统，或第二方面所述的方法。

41、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时，实现第一方面所述的系统，或第二方面所述的方法。

42、本发明与现有技术相比的优点在于：

43、(1)本发明以计算机视觉中较为先进的光场技术为基础，创新的将光场技术与环境感知结合在一起，运用深度学习和卷积神经网络等先进技术，对光场图像进行处理，将外界的信息识别得到光场目标障碍物，采用一种创新的光场目标障碍物匹配策略，得到匹配后的准确的匹配后的光场目标障碍物，之后创新的对光场目标障碍物进行轨迹跟踪以及预测光场目标障碍物的轨迹，最后实现了基于光场的自动驾驶感知避障方法。现有的自动避障技术往往利用图像与雷达相结合的技术，效率较低，对图片的信息使用不够全面，本发明与现有技术相比，提供了高效率、高准确率的自动驾驶方法，节约了人力和物力。

44、(2)本发明实现了光场目标障碍物识别模块，创新的利用光场和深度学习神经网络技术分类识别出障碍物的类别。现有的障碍物识别网络大对遮挡的处理效果较差，光场的引入很好的提供了被遮挡物的信息，因此与现有的技术相比，该算法拥有较高的准确度和可靠性，保障了自动驾驶的安全性。

45、(3)本发明实现了光场目标障碍物匹配模块，基于光场规则的多视角信息和深度学习的技术，首次创新的提出了光场匹配神经网络，能动态匹配相同的光场目标障碍物，匹配算法比现有的方法准确率更高。

46、(4)本发明实现了光场目标障碍物轨迹跟踪模块，采用一种创新的光场多感知轨迹跟踪方法对光场目标障碍物进行轨迹跟踪，能动态计算光场目标障碍物的速度、加速度和方向等轨迹信息，光场为轨迹跟踪提供了更全面结构的特征和更丰富的视角信息，计算结果相比现有的技术相比更准确。

47、(5)本发明实现了多目标预测模块，基于光场规则的多视角信息，通过一种创新的基于轨迹关联的多目标跟踪方法对所述匹配后的光场目标障碍物未来的轨迹进行预测，能同时动态的预测光场目标障碍物未来的轨迹，光场为障碍物为未来的轨迹提供了更丰富的视角特征，预测结果相比现有的技术相比更准确。

48、(6)本发明实现了避障优化轨迹模块，创新的将光场角度的约束增加到最小化约束条件中，能根据预测的光场目标障碍物的轨迹和光场的角度优化出自动避障物的一条最优轨迹，优化的最优轨迹相比现有的技术更准确。