一种异构计算平台下的在线学习目标跟踪方法及系统与流程

本发明涉及数字图像处理，尤其涉及一种异构计算平台下的在线学习目标跟踪方法及系统。

背景技术：

1、目前，光电跟踪器的结构大致如图1所示，主要由光电跟踪转台和机柜组成，转台中包括伺服控制器、实时处理器、光电传感器与图像采集器等模块。机柜中包含非实时处理器等模块。图像采集器采集来自光电传感器中的图像数据，并按时间顺序给每一幅图像设置一个唯一且递增的标识符，即该幅图像的帧号。采集器将图像数据和帧号同时发送给实时处理器和非实时处理器。实时处理器检测目标位置和大小，将目标位置信息按设定的频率发送给控制器。控制器控制转台运动，实时跟踪目标，并预测下一帧目标位置，并将预测值发送给实时处理器。在实时处理器和控制器的配合下完成了对光电目标的闭环跟踪任务。这样，实时处理器、非实时处理器以及两者之间的数据传输介质就构成了一种异构计算平台。

2、针对于上述的异构计算平台，光电跟踪系统中的控制器需要获得稳定、高频率的测量量，才能保证目标跟踪的精度。在实际中，提供给控制器的测量量精度越高、频率越高，控制器跟踪目标的精度也越高。其中，实时处理器是指运行实时操作系统的处理机。实时操作系统的主要特点是提交的任务必定在指定的时间内得到响应，其处理每个任务的延迟都必须在设定的延时上限内。因此，通常目标检测程序运行在实时操作系统的处理机上，为控制器提供稳定的测量量。但如tidsp/bios等实时系统，通常计算力很有限，很难以此设计出高帧频、高性能的跟踪方法。与此同时，光电跟踪系统中配置的运行非实时操作系统的处理机(非实时处理器)的计算资源却有极大的冗余。典型地非实时系统如基于arm架构的linux系统，其一般有较丰富的计算资源，但其对所有任务的处理延时是不确定的，其更关注统计上的平均延迟时间，而无法保证单次任务的延时时间。可见，由于存在计算能力的限制，在进行目标跟踪时的跟踪精度和准确度均较低。

技术实现思路

1、本发明提供了一种异构计算平台下的在线学习目标跟踪方法及系统，以解决现有技术中，由于计算能力的限制使得在进行目标跟踪时的跟踪精度和准确度均较低的问题。

2、为了实现上述目的，本发明通过如下的技术方案来实现：

3、第一方面，本发明提供一种异构计算平台下的在线学习目标跟踪方法，应用于异构计算平台，所述异构计算平台包括非实时处理器与所述非实时处理器通讯连接的实时处理器，所述方法包括：

4、采用非实时处理器提取当前图像帧的目标区域的fhog特征；

5、基于所述目标区域的fhog特征确定目标外观模型；

6、对所述目标外观模型进行通道矩阵向量化处理，采用非实时处理器基于向量化处理结果进行目标外观在线学习处理得到辅助变量；

7、采用实时处理器接收控制器预测的目标位置和接收采集器的图像数据，以目标位置为中心，设定搜索区域，提取所述搜索区域的fhog特征图；基于所述搜索区域的fhog特征图计算响应曲面图，基于所述响应曲面图和所述辅助变量求出目标新位置和大小，将所述目标新位置和大小同时发送给控制器和非实时处理器，并将下一帧图像作为新的当前图像帧重复执行上述步骤，以完成对目标的跟踪。

8、第二方面，本申请提供一种异构计算平台下的在线学习目标跟踪系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

9、有益效果：

10、本发明提供的异构计算平台下的在线学习目标跟踪方法，充分利用光电跟踪系统中非实时处理器的计算资源，将目标跟踪中的检测任务分派给实时处理器，将目标跟踪的目标外观在线学习任务分派给非实时处理器，并在两处理器之间建立数据传输通路。由于实时处理器中只执行整个方法的少部分计算任务，所以极大地提高了目标跟踪速度。由于跟踪期间一直在学习目标外观变化，所以提高了目标跟踪准确率。由于给控制器提交了稳定的、高帧频的测量量，进而提高了目标跟踪的精度。

11、在进一步的方案中，使用fhog特征作为图像特征提取器，既保留了hog特征的主要信息，又降低了特征的维度，极大地降低了后续的计算量。

12、在进一步的方案中，目标信息和帧号缓存区始终只保存一份最新的数据，这保证了在线学习方法始终学习的是目标最新的外观数据。

13、在进一步的方案中，在进行多尺度跟踪时，根据尺度信息修正新目标的大小信息，再将这些信息发送到非实时处理器。这样，可以提升目标尺寸变化时的跟踪准确度。

技术特征：

1.一种异构计算平台下的在线学习目标跟踪方法，应用于异构计算平台，所述异构计算平台包括非实时处理器与所述非实时处理器通讯连接的实时处理器，其特征在于，所述方法包括：

2.根据权利要求1所述的异构计算平台下的在线学习目标跟踪方法，其特征在于，所述采用非实时处理器提取当前图像帧的目标区域的fhog特征和所述采用实时处理器提取所述搜索区域的fhog特征图时，均采用fhog特征作为图像特征提取器。

3.根据权利要求1所述的异构计算平台下的在线学习目标跟踪方法，其特征在于，所述基于所述目标区域的fhog特征确定目标外观模型，包括：

4.根据权利要求1所述的异构计算平台下的在线学习目标跟踪方法，其特征在于，所述采用非实时处理器基于向量化处理结果进行目标外观在线学习处理得到辅助变量，满足如下关系式：

5.根据权利要求1所述的异构计算平台下的在线学习目标跟踪方法，其特征在于，所述基于所述搜索区域的fhog特征图和所述辅助变量计算响应曲面图，满足如下关系式：

6.根据权利要求1或5中任一项所述的异构计算平台下的在线学习目标跟踪方法，其特征在于，所述基于所述响应曲面图求出目标新位置和大小，包括：

7.根据权利要求1所述的异构计算平台下的在线学习目标跟踪方法，其特征在于，所述将所述目标新位置和大小同时发送给控制器和非实时处理器时，将所述目标新位置和大小发送至所述非实时处理器的目标信息和帧号缓存区，所述目标信息和帧号缓存区只保存一份最新的目标位置和大小；

8.根据权利要求7所述的异构计算平台下的在线学习目标跟踪方法，其特征在于，所述最新的辅助变量是根据第f-n帧学习得到的，所述n的值取决于非实时处理器在执行第f-n帧图像的学习的延时和数据传输延时之和。

9.根据权利要求1所述的异构计算平台下的在线学习目标跟踪方法，其特征在于，在单尺度跟踪情况下，设定目标的大小保持不变；在多尺度跟踪情况下，所述计算响应曲面图时，计算多个尺度下的响应曲面图，并选取最大值对应的曲面图确定目标新位置和大小。

10.一种异构计算平台下的在线学习目标跟踪系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至9中任一所述方法的步骤。

技术总结本发明涉及数字图像处理技术领域，尤其涉及一种异构计算平台下的在线学习目标跟踪方法及系统；该方法充分利用光电跟踪系统中非实时处理器的计算资源，将目标跟踪中的检测任务分派给实时处理器，将目标跟踪的目标外观在线学习任务分派给非实时处理器，并在两处理器之间建立数据传输通路。由于实时处理器中只执行整个方法的少部分计算任务，所以极大地提高了目标跟踪速度。由于跟踪期间一直在学习目标外观变化，所以提高了目标跟踪准确率。由于给控制器提交了稳定的、高帧频的测量量，进而提高了目标跟踪的精度。技术研发人员：贺遵亮,陈小天,韩建涛,邱程受保护的技术使用者：湖南傲英创视信息科技有限公司技术研发日：技术公布日：2024/8/20