一种PTZ相机与雷达协同的目标定位追踪方法及系统与流程

本发明属于目标追踪领域，公开了一种ptz相机与雷达协同的目标定位追踪方法及系统。

背景技术：

1、ptz（pan-tilt-zoom）相机因其具有全方位的移动能力、镜头控制功能和宽泛的应用场景的特点，成为安防监控系统的重要设备。ptz相机通过控制摄像头的云台、倾斜和变焦功能，实现对目标的跟踪和定位。目前ptz相机的定位与跟踪技术已广泛引用于安防监控、智能交通和体育赛事等领域。然而，由于距离过长、目标被遮挡、光照环境变化频繁等因素，导致仅依靠ptz相机完成目标定位和追踪功能的稳定性和准确性收到影响。

2、因此需要进一步的研究和创新，以解决现有技术存在的上述问题。

技术实现思路

1、发明目的，提供一种ptz相机与雷达协同的目标定位追踪方法及系统，以解决现有技术存在的上述问题。

2、技术方案，一种ptz相机与雷达协同的目标定位追踪方法，包括如下步骤：

3、s1、获取ptz相机图像数据和雷达回波信号数据，对ptz相机图像数据和雷达回波信号数据进行处理，提取目标特征并生成目标的数字指纹；

4、s2、采集多源数据，基于目标的数字指纹和多源数据，计算得到目标的精确三维坐标；其中多源数据包括雷达距离、方位数据和ptz相机当前参数；

5、s3、基于目标的精确三维坐标，计算得到ptz相机控制参数；

6、s4、基于ptz相机控制参数，指导ptz相机进行目标追踪。

7、根据本申请的一个方面，步骤s1进一步为：

8、s11、获取ptz相机图像数据和雷达回波信号数据；

9、s12、对ptz相机图像数据采用多尺度自适应区域增长算法，生成视觉特征向量；

10、s13、对雷达回波信号数据采用自适应分段非线性傅里叶变换算法，生成雷达特征向量；

11、s14、采用动态加权张量分解算法，融合视觉特征向量和雷达特征向量，生成综合特征向量；

12、s15、基于综合特征向量，采用自适应局部敏感哈希算法，构建目标的数字指纹。

13、根据本申请的一个方面，步骤s2进一步为：

14、s21、采集多源数据，包括雷达距离、方位数据和ptz相机当前参数；

15、s22、基于目标的数字指纹和ptz相机当前参数，采用自适应模糊逻辑推理算法，计算目标在相机坐标系中的初始位置；

16、s23、基于初始位置、雷达距离和方位数据，采用多层级粒子群优化卡尔曼滤波算法，估算目标的精确三维坐标；

17、s24、采用动态四元数插值算法，将目标的精确三维坐标从全局坐标系转换到ptz相机的局部坐标系，得到局部坐标；

18、s25、基于局部坐标，通过自适应透视n维投影模型，计算目标在图像平面上的理论位置。

19、根据本申请的一个方面，步骤s3进一步为：

20、s31、基于目标的精确三维坐标和目标在图像平面上的理论位置，采用混合人工势场-神经动力学算法，计算得到初始ptz相机控制参数；

21、s32、基于目标的精确三维坐标和目标在图像平面上的理论位置，使用分形时间序列预测模型，预测目标的短期未来位置；

22、s33、基于预测的短期未来位置，计算得到预测的最优ptz相机控制参数；

23、s34、基于初始ptz相机控制参数和最优ptz相机控制参数，采用模糊认知图-强化学习混合控制器，生成平滑的ptz控制指令序列。

24、根据本申请的一个方面，步骤s4还包括指导预定个ptz相机进行自适应多目标追踪，具体为：

25、s41、获取预定个目标的数字指纹和精确三维坐标，采用动态图匹配-谱聚类算法，构建多目标跟踪队列；

26、s42、基于多目标跟踪队列，使用自适应多目标差分进化算法，为预定个ptz相机分配追踪任务，得到相机任务分配方案；

27、s43、基于相机任务分配方案中的每个目标的ptz相机控制参数，生成综合控制指令集；

28、s44、基于综合控制指令集，指导预定个ptz相机进行自适应多目标追踪。

29、根据本申请的一个方面，步骤s34进一步为：

30、s341、基于初始ptz相机控制参数和最优ptz相机控制参数，构建模糊认知图；

31、s342、构建基于模糊认知图的q学习模型，q学习模型的状态空间包含初始ptz相机控制参数和最优ptz相机控制参数；

32、s343、通过蒙特卡洛树搜索优化q学习模型的动作选择策略，得到初步控制序列；

33、s344、采用样条平滑算法对初步控制序列进行调整，生成最终的ptz控制指令序列。

34、根据本申请的一个方面，还包括对步骤s2的目标的精确三维坐标进行实时监控，当检测到目标遮挡或丢失时，采用自适应注意力机制-孪生网络算法，恢复对目标的跟踪。

35、根据本申请的一个方面，步骤s13进一步为：

36、s131、对雷达回波信号数据进行预处理，去除背景噪声和固定杂波，得到清洁信号；

37、s132、将清洁信号分段，得到自适应长度的信号段集；

38、s133、基于信号段集，采用非线性相位函数和改进的快速傅里叶变换，得到时频表示；

39、s134、基于时频表示，采用峰值聚类-跟踪算法，计算得到频谱峰值跟踪结果；

40、s135、基于频谱峰值跟踪结果，估算目标的距离、速度和方位信息，生成雷达特征向量。

41、根据本申请的一个方面，步骤s31进一步为：

42、s311、基于目标的精确三维坐标，构建以目标在图像平面上的理论位置为中心的人工势场，定义中心为全局最小点；

43、s312、构建神经动力学模型，将人工势场映射到神经动力学模型的能量函数中，形成混合优化模型；

44、s313、使用改进的hopfield网络对混合优化模型进行求解，得到初始ptz相机控制参数估计值；

45、s314、采用动态退火策略对初始ptz相机控制参数估计值进行微调，得到优化后的初始ptz相机控制参数。

46、一种ptz相机与雷达协同的目标定位追踪系统，包括：

47、至少一个处理器；以及，

48、与至少一个所述处理器通信连接的存储器；其中，

49、所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述任一项技术方案所述的ptz相机与雷达协同的目标定位追踪方法。

50、有益效果，本发明通过多模态特征的提取和融合，全面、准确地捕捉目标特征，从而获得准确的ptz相机控制参数值，提高了ptz相机对于目标的定位与追踪的稳定性和准确性。

技术特征：

1.一种ptz相机与雷达协同的目标定位追踪方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的ptz相机与雷达协同的目标定位追踪方法，其特征在于，步骤s1进一步为：

3.根据权利要求2所述的ptz相机与雷达协同的目标定位追踪方法，其特征在于，步骤s2进一步为：

4.根据权利要求3所述的ptz相机与雷达协同的目标定位追踪方法，其特征在于，步骤s3进一步为：

5.根据权利要求4所述的ptz相机与雷达协同的目标定位追踪方法，其特征在于，步骤s4还包括指导预定个ptz相机进行自适应多目标追踪，具体为：

6.根据权利要求5所述的ptz相机与雷达协同的目标定位追踪方法，其特征在于，步骤s34进一步为：

7.根据权利要求5所述的ptz相机与雷达协同的目标定位追踪方法，其特征在于，还包括对步骤s2的目标的精确三维坐标进行实时监控，当检测到目标遮挡或丢失时，采用自适应注意力机制-孪生网络算法，恢复对目标的跟踪。

8.根据权利要求5所述的ptz相机与雷达协同的目标定位追踪方法，其特征在于，步骤s13进一步为：

9.根据权利要求5所述的ptz相机与雷达协同的目标定位追踪方法，其特征在于，步骤s31进一步为：

10.一种ptz相机与雷达协同的目标定位追踪系统，其特征在于，包括：

技术总结本发明公开了一种PTZ相机与雷达协同的目标定位追踪方法及系统，该方法包括获取PTZ相机图像数据和雷达回波信号数据，对PTZ相机图像数据和雷达回波信号数据进行处理，提取目标特征并生成目标的数字指纹；采集多源数据，基于目标的数字指纹和多源数据，计算得到目标的精确三维坐标；其中多源数据包括雷达距离、方位数据和PTZ相机当前参数；基于目标的精确三维坐标，计算得到PTZ相机控制参数；基于PTZ相机控制参数，指导PTZ相机进行目标追踪。本发明通过多模态特征的提取和融合，全面、准确地捕捉目标特征，从而获得准确的PTZ相机控制参数值，提高了PTZ相机对于目标的定位与追踪的稳定性和准确性。技术研发人员：杨好天,孙立国受保护的技术使用者：中科南京人工智能创新研究院技术研发日：技术公布日：2024/8/27