一种基于FPGA的高帧率KCF目标跟踪装置和方法

本发明属于数据处理，具体涉及一种基于fpga的高帧率kcf目标跟踪装置和方法。

背景技术：

1、目标跟踪是计算机视觉领域的一项重要任务，也是很多计算机视觉应用的基础任务，在视频检索、基于运动的识别、人机交互、自动化监控、车辆导航等方面有重要应用。高清摄像头的出现、高端电脑的激增、自动视频分析日益增长的需求，这些都促使着目标跟踪算法的研究进程。

2、近年来电子与计算机技术快速发展，半导体工艺也取得了长足的进步，fpga器件可以满足许多实际应用对实现平台小巧便携的要求，fpga使用并行操作的方法对计算性能的提升有着很大的帮助，所以对于计算密集型系统，fpga是实现目标应用的理想选择方案。随着高速相机的发展，跟踪高速运动的物体成为了一种挑战，在跟踪目标高速移动的情况下，要求目标跟踪系统有很高的处理速度，才能保证对目标正确有效地实现跟踪。kcf目标跟踪算法在相关滤波领域非常流行并且在工程应用中广泛使用。kcf算法通过岭回归提出了一种新的跟踪器，不受“核化惩罚”的影响，减少了复杂度。

3、kcf目标跟踪算法具体步骤如下：截取目标图像以及多个尺度的检测图像并缩放至统一大小；提取目标图像及检测图像的hog特征；对输入的目标图像的hog特征进行离散傅里叶变化后计算其高斯响应；根据岭回归计算得到模板参数并存储，完成初始化，计算当前帧的模板参数；读取上一帧的模板参数，加权计算更新得到新的模板参数；基于检测图像的特征向量与目标图像的特征向量计算生成检测图像的高斯响应；基于检测图像的高斯响应与更新后的模板参数点乘后进行傅里叶反变换；对傅里叶反变换后的结果保留实部，得到实数响应值，将响应值最大的检测图像作为跟踪到的目标，根据该检测图案的位置生成目标跟踪框。

4、现有技术存在的问题是：当前目标跟踪中采集视频数据无法做到高帧率，目标跟踪算法无法达到高速以及未硬化。采集视频数据无法做到高帧率是因为通过cpu进行视频解码及格式转换延迟较高；无法达到高速是因为kcf目标跟踪算法所需计算资源较多、计算流程较长，整体目标跟踪耗费时间长。正是因为现有技术存在以上问题，所以无法满足对高帧率视频目标的跟踪。

技术实现思路

1、鉴于上述，本发明的目的是提供一种基于fpga的高帧率kcf目标跟踪方法和装置，其采用能够在逻辑硬件fpga上高效实现的算法来构造kcf目标跟踪模块的部分，进行流水线设计及计算资源复用，由此在满足算法鲁棒性的同时提升计算效率，还能够进一步减小装置功耗，为装置的小型化应用奠定基础。

2、为实现上述发明目的，实施例提供的一种基于fpga的高帧率kcf目标跟踪装置，其特征在于，在fpga上设计视频采集模块、高帧率kcf跟踪模块、以及视频输出模块；

3、所述视频采集模块用于采集视频数据并格式转换后进行于存储模块中存储；

4、所述高帧率kcf跟踪模块包括图像截取缩放阶段、kcf模板更新阶段、kcf计算响应阶段，以及控制调度模块，控制调度模块基于流水线设计和计算资源调度控制三个阶段对存储的图像帧进行kcf目标跟踪算法计算，并生成图像帧中的目标跟踪框；

5、所述视频输出模块用于将目标跟踪框与从存储模块中读取的图像帧组合后输出。

6、优选地，所述视频采集模块中，将采集的视频数据转换为rgb格式的图像帧并存储。其中采集的视频可以是高帧率视频。

7、优选地，将采集的视频数据转换为rgb格式的图像帧并存储，包括：将摄像头输出的数据经过mipiio转换为并行数据，之后通过csi接口解包提取出有效图像数据，再经过转换为rgb格式存储到集成到fpga上的ddr中。

8、优选地，控制调度模块基于流水线设计控制三个阶段工作，包括：

9、控制图像截取缩放阶段、kcf模板更新阶段和kcf计算响应阶段的输入及执行并缓存各阶段输出，在当前图像帧进行kcf模板更新时，可并行输入下一图像帧进行图像截取缩放；在当前图像帧进行kcf计算响应时，可并行进行下一图像帧的kcf模板更新，实现流水线工作。

10、优选地，所述图像截取缩放阶段中，获取前一图像帧作为训练图像帧，并从训练图像帧中获取目标位置，基于目标位置从训练图像帧中通过浮点数计算单元截取目标图像，获取当前图像帧作为检测图像帧，并以目标位置为基础从检测图像帧中获取多个尺度的检测位置后，从检测图像帧中分别在每个检测位置截取检测图像，将截取的图像缩放至统一尺度。

11、优选地，所述kcf模板更新阶段中，提取截取的图像的hog特征，对截取的图像的hog特征通过fft计算单元进行离散傅里叶变换后由复数计算单元计算其高斯响应；根据高斯响应及图像的高斯回归标签，通过浮点数计算单元及复数计算单元计算得到模板参数并存储；初始化即第一帧图像输入时，模板参数由手动截取的图像计算得到；每一帧图像输入后，计算当前图像帧的模板参数，读取上一图像帧的模板参数，加权计算更新得到新模板参数。

12、优选地，所述kcf计算响应阶段中，基于检测图像的hog特征与训练图像的hog特征通过复数计算单元计算生成检测图像的高斯响应；基于检测图像的高斯响应与更新后的新模板参数通过复数计算单元点乘，再通过fft计算单元进行傅里叶反变换；对傅里叶反变换后的结果保留实部，得到实数响应值，各检测图像的实数响应值均为归一化值；将实数响应值最大的检测图像作为跟踪到的目标，并从中根据检测图案的位置生成目标跟踪框。

13、优选地，控制调度模块基于计算资源调度控制三个阶段工作，包括：

14、各阶段复用使用相同且消耗资源多的计算单元，包括fft计算单元、浮点数计算单元、复数计算单元。

15、优选地，通过控制调度模块将图像截取缩放阶段、kcf模板更新阶段、kcf计算响应阶段中的每个阶段的计算延时控制在16ms内。

16、为实现上述发明目的，实施例还提供了一种基于fpga的高帧率kcf目标跟踪方法，其采用上述装置，所述方法包括以下步骤：

17、利用视频采集模块高帧率并行采集视频数据并格式转换后存储于存储模块中；

18、利用高帧率kcf跟踪模块生成图像帧中的目标跟踪框，具体控制调度模块基于流水线设计和计算资源调度控制图像截取缩放阶段、kcf模板更新阶段、kcf计算响应阶段对存储的图像帧进行kcf目标跟踪算法计算，并生成图像帧中的目标跟踪框；

19、利用视频输出模块将目标跟踪框与从存储模块中读取的图像帧组合后输出。

20、与现有技术相比，本发明具有的有益效果至少包括：

21、本发明中的视频采集模块基于fpga实现，利用fpga的并行计算能力对视频解码及格式转换，降低装置功耗；本发明基于fpga实现kcf跟踪算法时，采用流水线设计，划分kcf跟踪算法为三个阶段，每个阶段计算延时在16ms内，各帧图像处理时并行执行，提高视频帧率至60fps，在提升了计算速度的同时减少了资源消耗，具有一定工程应用价值。

技术特征：

1.一种基于fpga的高帧率kcf目标跟踪装置，其特征在于，包括：在fpga上设计视频采集模块、高帧率kcf跟踪模块、存储模块、以及视频输出模块；

2.根据权利要求1所述的基于fpga的高帧率kcf目标跟踪装置，其特征在于，所述视频采集模块中，将采集的视频数据转换为rgb格式的图像帧并存储。

3.根据权利要求2所述的基于fpga的高帧率kcf目标跟踪装置，其特征在于，将采集的视频数据转换为rgb格式的图像帧并存储，包括：将摄像头输出的数据经过mipiio转换为并行数据，之后通过csi接口解包提取出有效图像数据，再转换为rgb格式存储到集成到fpga上的ddr中。

4.根据权利要求1所述的基于fpga的高帧率kcf目标跟踪装置，其特征在于，控制调度模块基于流水线设计控制三个阶段工作，包括：

5.根据权利要求1所述的基于fpga的高帧率kcf目标跟踪装置，其特征在于，所述图像截取缩放阶段中，获取前一图像帧作为训练图像帧，并从训练图像帧中获取目标位置，基于目标位置从训练图像帧中通过浮点数计算单元截取目标图像，获取当前图像帧作为检测图像帧，并以目标位置为基础从检测图像帧中获取多个尺度的检测位置后，从检测图像帧中分别在每个检测位置截取检测图像，将截取的图像缩放至统一尺度。

6.根据权利要求5所述的基于fpga的高帧率kcf目标跟踪装置，其特征在于，所述kcf模板更新阶段中，提取截取的图像的hog特征，对截取的图像的hog特征通过fft计算单元进行离散傅里叶变换后由复数计算单元计算其高斯响应；根据高斯响应及图像的高斯回归标签，通过浮点数计算单元及复数计算单元计算得到模板参数并存储；初始化即第一帧图像输入时，模板参数由手动截取的图像计算得到；每一帧图像输入后，计算当前图像帧的模板参数，读取上一图像帧的模板参数，加权计算更新得到新模板参数。

7.根据权利要求6所述的基于fpga的高帧率kcf目标跟踪装置，其特征在于，所述kcf计算响应阶段中，基于检测图像的hog特征与训练图像的hog特征通过复数计算单元计算生成检测图像的高斯响应；基于检测图像的高斯响应与更新后的新模板参数通过复数计算单元点乘，再通过fft计算单元进行傅里叶反变换；对傅里叶反变换后的结果保留实部，得到实数响应值，各检测图像的实数响应值均为归一化值；将实数响应值最大的检测图像作为跟踪到的目标，并从中根据检测图案的位置生成目标跟踪框。

8.根据权利要求1所述的基于fpga的高帧率kcf目标跟踪装置，其特征在于，控制调度模块基于计算资源调度控制三个阶段工作，包括：

9.根据权利要求1所述的基于fpga的高帧率kcf目标跟踪装置，其特征在于，通过控制调度模块将图像截取缩放阶段、kcf模板更新阶段、kcf计算响应阶段中的每个阶段的计算延时控制在16ms内。

10.一种基于fpga的高帧率kcf目标跟踪方法，其特征在于，其采用权利要求1-9任一项所述的装置，所述方法包括以下步骤：

技术总结本发明公开了一种基于FPGA的高帧率KCF目标跟踪装置和方法，包括：在FPGA上设计视频采集模块、高帧率KCF跟踪模块、存储模块、以及视频输出模块；视频采集模块用于采集视频数据并格式转换后进行于存储模块中存储；高帧率KCF跟踪模块包括图像截取缩放阶段、KCF模板更新阶段、KCF计算响应阶段，以及控制调度模块，控制调度模块基于流水线设计和计算资源调度控制三个阶段对存储的图像帧进行KCF目标跟踪算法计算，并生成图像帧中的目标跟踪框；视频输出模块用于将目标跟踪框与从存储模块中读取的图像帧组合后输出。这样可以在满足算法鲁棒性的同时提升计算效率，还能够进一步减小装置功耗，为装置的小型化应用奠定基础。技术研发人员：刘雪松,熊茗宇,辜博轩,王斐,陈耀武受保护的技术使用者：浙江大学技术研发日：技术公布日：2024/12/2