多摄像头融合感知方法、系统、电子设备及存储介质与流程

本发明涉及智能交通，尤其是涉及一种多摄像头融合感知方法、系统、电子设备及存储介质。

背景技术：

1、摄像头是在交通系统中应用最广泛的一种传感器设备，伴随着智慧交通、车路协同等领域应用的发展，对摄像头的感知能力提出了更多的需求，如对车辆目标的检测、分类基本需求外，还要能够实现对车辆轨迹跟踪，位置、速度、加速度、航向角等信息的测量。通过感知路口车辆的数量、速度等信息，可以帮助交通管理部门及时发现和处理拥堵、交通事故等问题，保障道路交通安全等。

2、目前路口摄像头感知面临如下问题：1.目标运动状态估计精度不足；2.单个摄像头的视野有限；3.多个摄像头之间目标不统一。

技术实现思路

1、本发明的目的在于提供一种多摄像头融合感知方法、系统、电子设备及存储介质，以至少解决上述问题之一。

2、第一方面，本发明实施例提供了一种多摄像头融合感知方法，包括：

3、获取同一路口部署的多个摄像头输出的当前视频帧；

4、对每个摄像头输出的当前视频帧进行2d目标识别跟踪和目标运动状态估计，得到每个摄像头对应的原始感知结果；其中，原始感知结果包括时间戳、目标标识和运动状态信息；

5、基于目标之间的运动状态相似度，对各摄像头对应的原始感知结果进行识别目标的融合跟踪，得到当前融合感知结果。

6、进一步地，对每个摄像头输出的当前视频帧进行2d目标识别跟踪和目标运动状态估计，得到每个摄像头对应的原始感知结果，包括：

7、通过预设的2d检测算法和2d跟踪算法，对每个摄像头输出的当前视频帧进行2d目标识别跟踪，得到每个摄像头对应的识别目标的2d结构化信息；其中，识别目标的2d结构化信息包括时间戳、目标标识和2d检测框；

8、根据每个摄像头对应的识别目标的2d结构化信息和预设安装视角信息，确定相应当前视频帧中识别目标的2d参考点；其中，识别目标的2d参考点随着识别目标到摄像头之间距离的减小，由接近识别目标的2d检测框底边的中心点逐渐变为接近识别目标的2d检测框中心点；

9、根据每个摄像头对应的预设转换矩阵和相应当前视频帧中识别目标的2d参考点，确定每个摄像头对应的识别目标的原始3d位置信息；其中，识别目标的原始3d位置信息用于指示识别目标的实际位置；

10、通过预先建立的匀加速运动模型和卡尔曼滤波器，对每个摄像头对应的识别目标的原始3d位置信息进行滤波，以及速度、加速度和航向角的求取，得到每个摄像头对应的原始感知结果。

11、进一步地，根据每个摄像头对应的识别目标的2d结构化信息和预设安装视角信息，确定相应当前视频帧中识别目标的2d参考点，包括：

12、根据每个摄像头对应的识别目标的2d结构化信息，确定识别目标的2d检测框的中心点坐标和高度；

13、通过如下公式计算得到识别目标的2d参考点：

14、；

15、其中， uref_2d表示2d参考点的横坐标， vref_2d表示2d参考点的纵坐标， uc表示2d检测框的中心点的横坐标， vc表示2d检测框的中心点的纵坐标， vv表示摄像头对应的预设消失点的纵坐标， h表示2d检测框的高度， h表示当前视频帧的图像高度， δ表示与摄像头的预设安装视角信息对应的缩放尺度。

16、进一步地，基于目标之间的运动状态相似度，对各摄像头对应的原始感知结果进行识别目标的融合跟踪，得到当前融合感知结果，包括：

17、对各摄像头对应的原始感知结果进行预处理，得到多个预处理后感知结果；

18、基于目标之间的运动状态相似度和存储的前一融合感知结果，对各预处理后感知结果进行目标匹配和目标融合，得到当前融合结果；

19、对当前融合结果进行目标管理，得到融合感知结果；其中，目标管理包括创建新生目标和/或删除消失目标。

20、进一步地，对各摄像头对应的原始感知结果进行预处理，得到多个预处理后感知结果，包括：

21、根据各摄像头对应的原始感知结果中的时间戳，获取同步视频帧对应的候选感知结果；

22、对候选感知结果进行坐标系的归一化处理和预设感兴趣区域内识别目标的筛选，得到预处理后感知结果。

23、进一步地，基于目标之间的运动状态相似度和存储的前一融合感知结果，对各预处理后感知结果进行目标匹配和目标融合，得到当前融合结果，包括：

24、根据前一融合感知结果对当前融合感知结果进行预测，得到当前预测感知结果；

25、对各预处理后感知结果中的识别目标与当前预测感知结果中的融合目标进行目标标识的目标关联，得到初步匹配结果；

26、判断初步匹配结果中是否存在未关联的识别目标；

27、如果存在未关联的识别目标，以运动状态信息为特征，对初步匹配结果中的未关联的识别目标与当前预测感知结果中的融合目标进行马氏距离的目标关联，得到最终匹配结果；

28、通过预先建立的匀加速运动模型和卡尔曼滤波器，对最终匹配结果中关联成功的识别目标进行融合，得到当前融合结果。

29、进一步地，对当前融合结果进行目标管理，得到融合感知结果，包括：

30、当当前融合结果中存在满足预设的新生目标条件的第一目标时，创建与第一目标对应的融合目标；其中，新生目标条件包括未与前一融合感知结果对应的融合目标成功关联；

31、当当前融合结果中存在满足预设的消失目标条件的第二目标时，删除第二目标；其中，消失目标条件包括新创建的融合目标对应的连续跟踪成功次数未达到第一预设次数，或者融合目标对应的连续跟踪失败次数达到第二预设次数。

32、第二方面，本发明实施例还提供了一种多摄像头融合感知系统，包括：

33、获取模块，用于获取同一路口部署的多个摄像头输出的当前视频帧；

34、感知模块，用于对每个摄像头输出的当前视频帧进行2d目标识别跟踪和目标运动状态估计，得到每个摄像头对应的原始感知结果；其中，原始感知结果包括时间戳、目标标识和运动状态信息；

35、融合模块，用于基于目标之间的运动状态相似度，对各摄像头对应的原始感知结果进行识别目标的融合跟踪，得到当前融合感知结果。

36、第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的多摄像头融合感知方法。

37、第四方面，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行第一方面的多摄像头融合感知方法。

38、本发明实施例提供的多摄像头融合感知方法、系统、电子设备及存储介质，能够获取同一路口部署的多个摄像头输出的当前视频帧；对每个摄像头输出的当前视频帧进行2d目标识别跟踪和目标运动状态估计，得到每个摄像头对应的原始感知结果；其中，原始感知结果包括时间戳、目标标识和运动状态信息；基于目标之间的运动状态相似度，对各摄像头对应的原始感知结果进行识别目标的融合跟踪，得到当前融合感知结果。这样实现了路口多摄像头间的目标融合，能够获得统一的目标感知结果，并提高了目标运动状态估计精度。