基于流式感知的在线目标检测方法

本发明涉及基于流式感知的在线目标检测方法，属于自动驾驶中基于计算机视觉的物体检测。

背景技术：

1、在线物体检测是确保自动驾驶车辆在行驶过程中安全的关键环节。相关研究主要集中在基于cnn的实时目标检测模型的开发上，yolo系列是其中最突出的模型之一。虽然这些模型在低延迟性能方面取得了重大突破，但它们依赖于手工设计的组件，如锚点生成和非极大值抑制。此外，这些模型仍然是在离线环境下训练的，这意味着在检测过程中不会考虑外部环境的变化，这种训练和评估方法使得物体检测模型与自动驾驶的实际应用之间存在一定差距。而detr等基于transformer结构的目标检测模型，利用端到端检测框架规避了非极大值抑制对实时检测模型造成的延迟，并且避免了冗余的超参数设计工作。但是现有的detr系列目标检测模型直接用于在线目标检测任务时，会受到检测原理和结构的限制。

2、基于上述所述，现有的弱监督物体检测方法的局限性可以总结为两个方面：(1)由于transformer结构中编码器(encoder)-解码器(decoder)结构的影响，目标检测模型的计算量很大。因此，在推理过程中，每帧的处理时间会很长。在当前帧检测完成后，较长的处理时间会导致周围环境发生较大的变化，这进一步增加了在线目标检测任务的难度；(2)现有的detr系列目标检测模型在训练过程中通过输入当前帧的标签来监督检测结果，没有考虑到在线检测场景中被检测物体的位置和运动状态会随时间发生变化。这一问题导致训练后的检测模型无法准确检测变化环境中的连续目标物体，并且容易漏检新出现的目标物体。

技术实现思路

1、针对现有目标检测模型的计算量大并且不能准确检测变化环境中连续目标物体的问题，本发明提供一种基于流式感知的在线目标检测方法。

2、本发明的一种基于流式感知的在线目标检测方法，包括：

3、对当前帧图像ft采用目标检测模型进行检测获得当前帧检测结果；结合前一帧图像ft-1的前一帧检测结果进行关联帧损失的计算；再根据关联帧损失的计算结果，调整目标检测模型的模型参数，得到训练后目标检测模型；将训练后目标检测模型用于车辆行驶过程中的在线目标检测；

4、当前帧图像ft和前一帧图像ft-1均通过目标检测模型进行目标检测得到检测结果；所述目标检测模型包括特征编码加速模块、混合查询选择模块和解码层；获得当前帧检测结果的方法为：

5、特征编码加速模块中采用resnet模块对当前帧图像ft进行特征提取，得到特征s3、特征s4和特征s5，再对特征s5进行3*3卷积运算得到特征s6；特征s6经编码层编码得到低维特征f6；特征s3、特征s4和特征s5经pafpn模块融合后，输出高维特征f3、高维特征f4和高维特征f5；高维特征f3、高维特征f4、高维特征f5及低维特征f6经多尺度特征连接层得到连接后多尺度特征；

6、采用混合查询选择模块对连接后多尺度特征进行特征筛选得到带有目标位置与类别意义的筛选后特征；再采用解码层对筛选后特征进行解码，得到当前帧检测结果；

7、关联帧损失的计算方法为：

8、将前一帧检测结果通过投影模块投影到当前帧检测结果上，根据当前帧检测结果和前一帧检测结果的投影计算得到关联帧损失。

9、根据本发明的基于流式感知的在线目标检测方法，低维特征f6表示为：

10、f6＝6*ffn(norm(s6+dropout(msdeformattn(s6))))，

11、式中ffn表示前馈神经网络，norm表示归一化网络，dropout表示概率移除，msdeformattn表示多头自注意力机制。

12、根据本发明的基于流式感知的在线目标检测方法，高维特征f3、高维特征f4和高维特征f5的融合方法为：

13、

14、式中f0、f1和f2均为pafpn模块的中间变量；

15、式中conv_x表示pafpn模块中一组具有x个通道的1*1卷积层，x＝1，2，3，4，用于对输入特征进行降维处理；concate表示连接，c3fy表示具有三个卷积层的csp模块，y表示不同的输入和输出大小，y＝1，2，3，4；csp模块通过两个卷积分支计算两个输入特征的残差，并输出指定维度的融合特征。

16、根据本发明的基于流式感知的在线目标检测方法，采用盒式缓冲区临时保存前一帧检测结果。

17、根据本发明的基于流式感知的在线目标检测方法，关联帧损失表示为lossiou，通过l2范数计得到：

18、

19、式中为第i个检测目标obji的t时刻检测帧在当前帧检测结果上的投影，为第i个检测目标obji的t-1时刻检测帧的前一帧检测结果当前帧检测结果上的投影，其中e表示投影。

20、根据本发明的基于流式感知的在线目标检测方法，和表示为：

21、

22、

23、为t时刻检测目标obji的置信度，rit-1为t-1时刻检测目标obji的置信度，ttin为前一时刻检测帧到当前时刻检测帧的视图变换结果：

24、

25、根据本发明的基于流式感知的在线目标检测方法，目标检测模型的总损失函数表示为losstotal：

26、losstotal＝λ0lossclass+λ1lossbox+λ2lossiou，

27、式中lossclass为类别分类损失，λ0为类别损失超参数，lossbox为位置预测损失，λ1为位置损失超参数，λ2为关联帧损失超参数。

28、根据本发明的基于流式感知的在线目标检测方法，使用argoverse-hd数据集对目标检测模型进行训练。

29、本发明的有益效果：本发明方法将transformer结构引入到在线目标检测任务中，并结合在线目标检测指标分析了现有方法与实际应用场景之间的差距，从而结合模型的帧率提出了fap检测指标，对模型的在线检测性能进行评价。

30、本发明方法设计了一种端到端的目标检测模型，包括与pafpn模块一起构建的特征编码加速模块，用于在保持编码器特征提取能力的同时提高编码速度和减少编码计算量；还包括关联帧丢失的计算，利用关联帧中捕获的物体类别和位置信息来监督检测结果，获得物体的准确位置。由此得到的目标检测模型满足了在线目标检测任务中对端到端模型的应用，实现了基于transformer结构的在线目标检测任务的最优表现，为自动驾驶场景中的在线目标检测应用提供了基础。

31、本发明解决了自动驾驶的在线目标检测方法中计算复杂度高和凸显最有判别力区域的问题，降低了在线目标检测模型的延迟，提高了检测准确率，突破了基于transformer结构的目标检测模型缺乏在线目标检测应用潜力的局限。

32、本发明面向自动驾驶实际应用场景，在一定程度上推动了人工智能深度学习的目标检测技术的应用，符合自动驾驶领域和智能制造的发展趋势。

技术特征：

1.一种基于流式感知的在线目标检测方法，其特征在于，包括：

2.根据权利要求1所述的基于流式感知的在线目标检测方法，其特征在于，

3.根据权利要求2所述的基于流式感知的在线目标检测方法，其特征在于，

4.根据权利要求3所述的基于流式感知的在线目标检测方法，其特征在于，

5.根据权利要求4所述的基于流式感知的在线目标检测方法，其特征在于，

6.根据权利要求5所述的基于流式感知的在线目标检测方法，其特征在于，

7.根据权利要求6所述的基于流式感知的在线目标检测方法，其特征在于，

8.根据权利要求7所述的基于流式感知的在线目标检测方法，其特征在于，

技术总结一种基于流式感知的在线目标检测方法，属于自动驾驶中基于计算机视觉的物体检测技术领域。本发明针对现有目标检测模型的计算量大并且不能准确检测变化环境中连续目标物体的问题。包括对当前帧图像采用目标检测模型进行检测获得当前帧检测结果；结合前一帧检测结果进行关联帧损失的计算，并调整目标检测模型的模型参数，得到训练后目标检测模型；将训练后目标检测模型用于车辆行驶过程中的在线目标检测；所述目标检测模型包括特征编码加速模块、混合查询选择模块和解码层；将前一帧检测结果通过投影模块投影到当前帧检测结果上，根据当前帧检测结果和前一帧检测结果的投影计算得到关联帧损失。本发明用于自动驾驶中在线目标检测。技术研发人员：张漫,张永强,张印,张子安,朱月熠,田瑞,左旺孟,丁明理受保护的技术使用者：哈尔滨工业大学技术研发日：技术公布日：2024/10/17