基于光场相机的动目标检测方法、装置、设备及介质

本发明主要涉及到光场成像与光场探测，尤其是一种基于光场相机的动目标检测方法、装置、设备及介质。

背景技术：

1、光场相机是近年来兴起的光场传感器。自2015年ng推出首款商用级光场相机lytro以来，光场相机以其独特的数字重聚焦功能和在三维测量、虚拟现实、大景深成像等领域的广阔应用前景，得到了学界越来越多的关注。当前，光场相机结构模型已经发展到2.0结构，即聚焦型光场相机。由于解锁了空频比例，聚焦型光场相机在成像质量、深度估计精度等方面都得到了极大提升。由于聚焦型光场相机的微透镜阵列和靶面都不在主透镜的焦平面上，其靶面成像不是主透镜的聚焦图像，而是微透镜的子图像集合，一般称为光场原始图像。聚焦型光场相机的深度估计、计算聚焦图像等功能都是基于光场原始图像的，并且一般以深度估计结果作为计算清晰聚焦图像的依据。

2、尽管现代光场相机技术发展已有十多年时间，但其深度估计和计算成像算法复杂度高、耗时长的问题至今仍没有很好的解决方案。现有光场相机一般只能通过提升硬件性能或采用并行计算手段来提升算法的实时性，但难以满足动目标检测与跟踪等应用场景对高帧频成像和核心参数解算实时性的要求。在实际应用中，动目标检测和跟踪往往需要依赖目标的清晰图像，而光场相机的深度估计与计算成像过程将带来很大的时间开销和硬件资源消耗。

3、综上，虽然聚焦型光场相机相比普通成像探测器，具有成像景深大、可同轴测距、可三维测量等优势，但是由于其深度估计和计算成像算法复杂度高、耗时长，因而难以满足动目标检测对高帧频成像、快速目标识别和快速定位的实际应用要求。

技术实现思路

1、针对现有技术存在的技术问题，本发明提出一种基于光场相机的动目标检测方法、装置、设备及介质。

2、为实现上述目的，本发明采用的技术方案如下：

3、一方面，本发明提出一种基于光场相机的动目标检测方法，包括：

4、对聚焦型光场相机的光场原始图像进行下采样，得到下采样图像，其中光场原始图像是聚焦型光场相机的靶面直接获取的图像，是所有微透镜子图像的集合；

5、基于下采样图像进行动目标成像区域检测，得到下采样图像中的动目标成像区域；

6、根据动目标成像区域，在光场原始图像中找到对应的对动目标成像的所有微透镜子图像；

7、基于对动目标成像的所有微透镜子图像对动目标进行深度估计；

8、根据对动目标的深度估计结果计算动目标的聚焦图像；

9、基于特征点定位法提取亚像素级的跟瞄定位点，以实现高精度的动目标跟瞄。

10、另一方面，本发明提供一种基于光场相机的动目标检测装置，包括：

11、第一模块，用于对聚焦型光场相机的光场原始图像进行下采样，得到下采样图像，其中光场原始图像是聚焦型光场相机的靶面直接获取的图像，是所有微透镜子图像的集合；

12、第二模块，用于基于下采样图像进行动目标成像区域检测，得到下采样图像中的动目标成像区域；

13、第三模块，用于根据动目标成像区域，在光场原始图像中找到对应的对动目标成像的所有微透镜子图像；

14、第四模块，用于基于对动目标成像的所有微透镜子图像对动目标进行深度估计；

15、第五模块，用于根据对动目标的深度估计结果计算动目标的聚焦图像；

16、第六模块，用于基于特征点定位法提取亚像素级的跟瞄定位点，以实现高精度的动目标跟瞄。

17、另一方面，本发明提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

18、对聚焦型光场相机的光场原始图像进行下采样，得到下采样图像，其中光场原始图像是聚焦型光场相机的靶面直接获取的图像，是所有微透镜子图像的集合；

19、基于下采样图像进行动目标成像区域检测，得到下采样图像中的动目标成像区域；

20、根据动目标成像区域，在光场原始图像中找到对应的对动目标成像的所有微透镜子图像；

21、基于对动目标成像的所有微透镜子图像对动目标进行深度估计；

22、根据对动目标的深度估计结果计算动目标的聚焦图像；

23、基于特征点定位法提取亚像素级的跟瞄定位点，以实现高精度的动目标跟瞄。

24、另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

25、对聚焦型光场相机的光场原始图像进行下采样，得到下采样图像，其中光场原始图像是聚焦型光场相机的靶面直接获取的图像，是所有微透镜子图像的集合；

26、基于下采样图像进行动目标成像区域检测，得到下采样图像中的动目标成像区域；

27、根据动目标成像区域，在光场原始图像中找到对应的对动目标成像的所有微透镜子图像；

28、基于对动目标成像的所有微透镜子图像对动目标进行深度估计；

29、根据对动目标的深度估计结果计算动目标的聚焦图像；

30、基于特征点定位法提取亚像素级的跟瞄定位点，以实现高精度的动目标跟瞄。

31、相比现有技术，本发明的技术效果：

32、本发明通过对原始光场数据的特殊处理，在保留聚焦型光场相机既有性能优势的同时，实现快速动目标实时检测，使光场相机能够作为一种高效的目标探测器件应用于目标探测系统。

33、本发明将聚焦型光场相机应用于动目标检测，提供了一种兼具深度估计、大景深成像与动目标快速识别、成像与跟瞄定位点提取的一体化动目标检测技术方案，本发明的应用将提升现有目标探测系统的一体化探测能力。

技术特征：

1.基于光场相机的动目标检测方法，其特征在于，包括：

2.根据权利要求1所述的基于光场相机的动目标检测方法，其特征在于，以微透镜子图像的中心像素作为对应微透镜成像单元的下采样像素，对光场原始图像进行下采样处理，并且下采样顺序与聚焦型光场相机的微透镜阵列上微透镜的排布顺序一致。

3.根据权利要求1所述的基于光场相机的动目标检测方法，其特征在于，动目标成像区域检测通过帧差法、光流法、背景减除或轮廓分割法实现。

4.根据权利要求1或2或3所述的基于光场相机的动目标检测方法，其特征在于，基于特征点定位法提取亚像素级的跟瞄定位点，包括：

5.根据权利要求4所述的基于光场相机的动目标检测方法，其特征在于，确定下采样图像特征点对应的所有靶面二次成像点，包括：

6.根据权利要求4所述的基于光场相机的动目标检测方法，其特征在于，通过下式计算第个下采样图像特征点在动目标聚焦图像上的对应点坐标和虚深度值：

7.根据权利要求5或6所述的基于光场相机的动目标检测方法，其特征在于，通过下式提取亚像素级的跟瞄定位点：

8.基于光场相机的动目标检测装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现如权利要求1所述基于光场相机的动目标检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1所述的基于光场相机的动目标检测方法的步骤。

技术总结本发明提出一种基于光场相机的动目标检测方法、装置、设备及介质，对聚焦型光场相机的光场原始图像进行下采样，得到下采样图像；基于下采样图像进行动目标成像区域检测，得到下采样图像中的动目标成像区域；根据动目标成像区域，在光场原始图像中找到对应的对动目标成像的所有微透镜子图像；基于对动目标成像的所有微透镜子图像对动目标进行深度估计；根据对动目标的深度估计结果计算动目标的聚焦图像；基于特征点定位法提取亚像素级的跟瞄定位点，以实现高精度的动目标跟瞄。本发明通过将聚焦型光场相机应用于动目标检测，提供了一种兼具深度估计、大景深成像与动目标快速识别、成像与跟瞄定位点提取的一体化动目标检测技术方案。技术研发人员：王彦,韩凯,李霄,何峰,孙全,张丹受保护的技术使用者：中国人民解放军国防科技大学技术研发日：技术公布日：2024/7/29