多目标识别与跟踪方法、系统、设备和介质

本发明属于多传感器多模态计算机视觉，涉及一种多目标识别与跟踪方法、系统、设备和介质。

背景技术：

1、在自动驾驶领域，准确高效的目标识别与跟踪技术是至关重要的。自动驾驶汽车需要实时检测和跟踪道路上的车辆、行人、障碍物等目标，以确保行车安全和智能决策。尽管深度学习推动了目标识别与跟踪算法的飞速发展，但仍面临一些挑战，如遮挡、光照变化、目标形变等，可能导致识别和跟踪的错误或丢失。此外，单一传感器获取的信息有限，难以全面感知目标状态。

2、通过融合多种传感器(如视觉、3d激光雷达等)获取互补的目标信息，可以显著提高目标识别和跟踪的精度和鲁棒性。例如，视觉传感器提供目标的外观和语义信息，而激光雷达则能精确测量目标的位置和运动信息，多模态融合可最大限度地利用各传感器的优势，从而大幅提升目标识别和跟踪的准确性和鲁棒性。

3、然而，多模态融合也面临一些挑战，如时间同步、空间配准和异构数据融合等问题，进而影响多模态融合的自动驾驶系统的感知性能、决策准确性和安全性。

技术实现思路

1、为了克服上述现有技术的缺点，本发明的目的在于提供一种多目标识别与跟踪方法、系统、设备和介质，本发明结合目标的二维特征和三维点云空间的运动向量对目标进行跟踪与验证，提高了目标识别与跟踪的鲁棒性与准确性。

2、为了达到上述目的，本发明采用以下技术方案予以实现：

3、第一方面，本发明提供一种多目标识别与跟踪方法，包括以下步骤：

4、获取目标的二维特征，根据目标的二维特征对目标进行跟踪和关联，同时为目标绘制边界框，得到有分类标签框的二维图像；

5、获取目标的三维点云信息和初始运动向量，对三维点云信息进行聚类并根据聚类结果分割成为不同的三维点集，计算三维点集的运动向量，利用目标的初始运动向量、三维点集的运动向量和三维点集预测目标的运动趋势，得到预测位置的三维点集，根据获取的三维点集和预测的三维点集得到目标的三维点云图像；

6、将三维点云图像转换为三维点云前视图，将三维点云前视图与二维图像进行空间关系匹配得到预测目标图像。

7、第二方面，本发明提供一种多目标识别与跟踪系统，包括依次相连的二维处理模块、三维预测模块和目标预测模块，其中：

8、二维处理模块：用于获取目标的二维特征，根据目标的二维特征对目标进行跟踪和关联，同时为目标绘制边界框，得到有分类标签框的二维图像；

9、三维预测模块：用于获取目标的三维点云信息，对三维点云信息进行聚类并根据聚类结果分割成为不同的三维点集，计算三维点集的运动向量，利用运动向量和三维点集预测目标的运动趋势，得到预测位置的三维点集，根据获取的三维点集和预测的三维点集得到目标的三维点云图像；

10、目标预测模块：用于将三维点云图像转换为三维点云前视图，将三维点云前视图与二维图像进行空间关系匹配得到预测目标图像。

11、第三方面，本发明提供一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；用于执行所述计算机程序时实现多目标识别与跟踪方法的步骤。

12、第四方面，本发明提供一种存储介质，所述存储介质存储有计算机程序指令，所述计算机程序指令被处理器加载并运行时，所述处理器执行多目标识别与跟踪方法。

13、与现有技术相比，本发明具有以下有益效果：

14、1、本发明方法，获取目标的二维特征，根据目标的二维特征对目标进行跟踪和关联，同时为目标绘制边界框，得到有分类标签框的二维图像；获取目标的三维点云信息和初始运动向量，对三维点云信息进行聚类并根据聚类结果分割成为不同的三维点集，计算三维点集的运动向量，利用目标的初始运动向量、三维点集的运动向量和三维点集预测目标的运动趋势，得到预测位置的三维点集，根据获取的三维点集和预测的三维点集得到目标的三维点云图像；将三维点云图像转换为三维点云前视图，将三维点云前视图与二维图像进行空间关系匹配得到预测目标图像，通过空间关系结合二维与三维图像，融合了多模态数据，相比于传统的方法，降低了算法复杂度。本发明结合目标的二维特征和三维点云空间的运动向量对目标进行跟踪与验证，提高了目标识别与跟踪的鲁棒性与准确性。

15、2、本发明系统，包括依次相连的二维处理模块、三维预测模块和目标预测模块，其中：二维处理模块用于获取目标的二维特征，根据目标的二维特征对目标进行跟踪和关联，同时为目标绘制边界框，得到有分类标签框的二维图像；三维预测模块用于获取目标的三维点云信息，对三维点云信息进行聚类并根据聚类结果分割成为不同的三维点集，计算三维点集的运动向量，利用运动向量和三维点集预测目标的运动趋势，得到预测位置的三维点集，根据获取的三维点集和预测的三维点集得到目标的三维点云图像；目标预测模块用于将三维点云图像转换为三维点云前视图，将三维点云前视图与二维图像进行空间关系匹配得到预测目标图像。各个模块相互配合，通过结合目标的二维特征和三维点云空间的运动向量对目标进行跟踪与验证，能够提高目标识别与跟踪的鲁棒性与准确性。

16、3、本发明设备和介质，同样能够通过结合目标的二维特征和三维点云空间的运动向量对目标进行跟踪与验证，能够提高目标识别与跟踪的鲁棒性与准确性。

技术特征：

1.多目标识别与跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的多目标识别与跟踪方法，其特征在于，所述获取目标的二维特征，根据目标的二维特征对目标进行跟踪和关联，同时为目标绘制边界框，得到有分类标签框的二维图像，具体如下：

3.根据权利要求2所述的多目标识别与跟踪方法，其特征在于，所述使用yolo目标检测算法检测输入图像或视频帧中的目标，具体如下：

4.根据权利要求2所述的多目标识别与跟踪方法，其特征在于，所述将目标的特征向量输入deepocsort，利用deepocsort的对目标进行跟踪和关联，具体如下：

5.根据权利要求1所述的多目标识别与跟踪方法，其特征在于，所述获取目标的三维点云信息和初始运动向量，对三维点云信息进行聚类并根据聚类结果分割成为不同的三维点集，具体如下：

6.根据权利要求1所述的多目标识别与跟踪方法，其特征在于，所述计算三维点集的运动向量，利用目标的初始运动向量、三维点集的运动向量和三维点集预测目标的运动趋势，得到预测位置的三维点集，根据获取的三维点集和预测的三维点集得到目标的三维点云图像，具体如下：

7.根据权利要求1所述的多目标识别与跟踪方法，其特征在于，所述将三维点云前视图与二维图像进行空间关系匹配得到预测目标图像，具体如下：

8.一种用于实现权利要求1至7任一所述方法的多目标识别与跟踪系统，其特征在于，包括依次相连的二维处理模块、三维预测模块和目标预测模块，其中：

9.一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；其特征在于，用于执行所述计算机程序时实现如权利要求1-7任一项所述的多目标识别与跟踪方法的步骤。

10.一种存储介质，所述存储介质存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器加载并运行时，所述处理器执行权利要求1-7任一项所述的多目标识别与跟踪方法。

技术总结本发明属于多传感器多模态计算机视觉技术领域，涉及一种多目标识别与跟踪方法、系统、设备和介质。通过获取目标的二维特征，根据目标的二维特征对目标进行跟踪和关联，同时为目标绘制边界框，得到有分类标签框的二维图像；获取目标的三维点云信息和初始运动向量，对三维点云信息进行聚类并根据聚类结果分割成为不同的三维点集，计算三维点集的运动向量，预测目标的运动趋势，得到预测位置的三维点集，根据获取的三维点集和预测的三维点集得到目标的三维点云前视图，将三维点云前视图与二维图像进行空间关系匹配得到预测目标图像。本发明结合目标的二维特征和三维点云空间的运动向量对目标进行跟踪与验证，提高了目标识别与跟踪的鲁棒性与准确性。技术研发人员：任帅,何骁,石磊受保护的技术使用者：长安大学技术研发日：技术公布日：2024/7/29