一种多公共场所人群定位方法、装置、电子设备及介质与流程

本发明涉及图像数据处理，尤其涉及一种多公共场所人群定位方法、装置、电子设备及介质。

背景技术：

1、现有监控系统大多基于传统视频分析技术，这些系统在估计人群密度和追踪个体方面，尤其在人群密集或存在遮挡的场景中，面临准确性不高的问题。这主要是因为它们难以精确区分并跟踪场景中的每个个体。另外，传统监控系统对光照条件、拍摄角度的变化非常敏感，易受环境因素影响，这在一定程度上限制了它们的适用范围和效果，特别是在光线变化大或视角受限的环境下。

技术实现思路

1、本发明提出一种多公共场所人群定位方法、装置、电子设备及介质，旨在至少在一定程度上解决相关技术中的技术问题之一。

2、一方面，本发明实施例提供了一种多公共场所人群定位方法，包括：

3、通过目标相机获取目标区域的采集图像；其中，目标相机预先基于预设的标定板完成内参标定和外参标定；

4、利用畸变系数对采集图像进行畸变校正，得到目标图像；其中，畸变系数基于内参标定的内参参数得到；

5、将目标图像输入预训练的目标网络中进行实例分割，得到分割结果；其中，目标网络包括骨干网络、区域建议网络、边界框识别分支和掩码预测分支；骨干网络采用全卷积掩码自编码器网络；分割结果包括至少一个分割个体；

6、基于分割结果，对目标图像进行深度估计，得到深度信息；

7、根据深度信息生成三维点云，将三维点云转换到预设的全局坐标系；

8、对全局坐标系中的三维点云进行滤波和聚类，得到目标区域中人群的定位结果。

9、可选地，方法还包括以下步骤：

10、通过目标相机采集标定板放置在不同的角度和距离位置的第一系列图像；标定板预先确定了物理尺寸，标定板上设有特征点；

11、通过预设的检测算法对第一系列图像中的特征点进行第一识别定位，基于第一识别定位的结果确定内参标定的内参参数；

12、通过目标相机采集标定板放置在不同的角度和距离位置的第二系列图像；

13、通过检测算法对第二系列图像中的特征点进行第二识别定位，根据第二识别定位的结果确定第二系列图像中的每个图像对应的特征点位置，进而确定不同特征点位置在三维空间中的相对位置；

14、基于相对位置，结合内参参数通过三维重建技术处理得到外参标定的外参参数。

15、可选地，利用畸变系数对采集图像进行畸变校正，得到目标图像，包括以下步骤：

16、从目标相机的内参标定的内参参数中获取畸变系数；

17、根据畸变系数通过畸变校正函数对采集图像进行畸变校正，得到目标图像。

18、可选地，将目标图像输入预训练的目标网络中进行实例分割，得到分割结果，包括以下步骤：

19、将目标图像输入全卷积掩码自编码器网络进行特征提取，得到特征图；

20、基于特征图，通过区域建议网络生成候选对象区域；

21、根据候选对象区域，利用边界框识别分支处理得到识别边框；

22、根据候选对象区域，利用掩码预测分支处理得到分割掩码；

23、基于识别边框，通过交并比算法对分割掩码之间的覆盖率进行分析识别，得到分割结果。

24、可选地，深度信息包括每个分割个体的三维位置信息，目标图像包括双目图像；基于分割结果，对目标图像进行深度估计，得到深度信息，包括以下步骤：

25、通过预设的深度估计算法根据双目图像之间的视差信息预测得到视差图，进而结合双目图像的双目基线长度得到目标区域的深度图；

26、基于分割结果，根据深度图获得每个分割个体的三维位置信息。

27、可选地，深度信息包括目标图像的每个像素点的深度值；根据深度信息生成三维点云，将三维点云转换到预设的全局坐标系，包括以下步骤：

28、基于内参参数结合目标图像中的每个像素点的深度值，将目标图像的图像坐标系下的每个像素点映射到目标相机的相机坐标系，转换得到三维点云；

29、基于三维点云结合外参标定的外参参数，将相机坐标系下的三维点云转换到预设的全局坐标系；

30、其中，三维点云包括每个分割个体的点云数据。

31、可选地，三维点云包括每个分割个体的点云数据；对全局坐标系中的三维点云进行滤波和聚类，得到目标区域中人群的定位结果，包括以下步骤：

32、从全局坐标系中的三维点云中获取一个分割个体的点云数据作为第一点云数据，将对应的分割个体作为第一分割个体；

33、对第一分割个体的第一点云数据中所有点云进行均值处理，得到第一分割个体的目标中心位置；

34、根据第一点云数据中所有点云到目标中心位置的距离，结合预设阈值对第一点云数据进行离群点剔除，得到第二点云数据；

35、将第二点云数据作为第一点云数据，然后返回执行对第一分割个体的第一点云数据中所有点云进行均值处理的步骤，直至达到预设迭代次数，将最后一次均值处理得到的目标中心位置作为第一分割个体的定位结果；

36、从全局坐标系中的三维点云中获取一个未得到定位结果的分割个体的点云数据作为第一点云数据，将对应的分割个体作为第一分割个体，然后返回执行对第一分割个体的第一点云数据中所有点云进行均值处理的步骤，直至得到目标区域中所有分割个体的定位结果。

37、另一方面，本发明实施例提供了一种多公共场所人群定位装置，包括：

38、第一模块，用于通过目标相机获取目标区域的采集图像；其中，目标相机预先基于预设的标定板完成内参标定和外参标定；

39、第二模块，用于利用畸变系数对采集图像进行畸变校正，得到目标图像；其中，畸变系数基于内参标定的内参参数得到；

40、第三模块，用于将目标图像输入预训练的目标网络中进行实例分割，得到分割结果；其中，目标网络包括骨干网络、区域建议网络、边界框识别分支和掩码预测分支；骨干网络采用全卷积掩码自编码器网络；分割结果包括至少一个分割个体；

41、第四模块，用于基于分割结果，对目标图像进行深度估计，得到深度信息；

42、第五模块，用于根据深度信息生成三维点云，将三维点云转换到预设的全局坐标系；

43、第六模块，用于对全局坐标系中的三维点云进行滤波和聚类，得到目标区域中人群的定位结果。

44、可选地，装置还包括：

45、第七模块，用于通过目标相机采集标定板放置在不同的角度和距离位置的第一系列图像；标定板预先确定了物理尺寸，标定板上设有特征点；

46、第八模块，用于通过预设的检测算法对第一系列图像中的特征点进行第一识别定位，基于第一识别定位的结果确定内参标定的内参参数；

47、第九模块，用于通过目标相机采集标定板放置在不同的角度和距离位置的第二系列图像；

48、第十模块，用于通过检测算法对第二系列图像中的特征点进行第二识别定位，根据第二识别定位的结果确定第二系列图像中的每个图像对应的特征点位置，进而确定不同特征点位置在三维空间中的相对位置；

49、第十一模块，用于基于相对位置，结合内参参数通过三维重建技术处理得到外参标定的外参参数。

50、另一方面，本发明实施例提供了一种电子设备，包括：处理器以及存储器；存储器用于存储程序；处理器执行程序实现上述多公共场所人群定位方法。

51、另一方面，本发明实施例提供了一种计算机存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于实现上述多公共场所人群定位方法。

52、本发明实施例通过目标相机获取目标区域的采集图像；其中，目标相机预先基于预设的标定板完成内参标定和外参标定；利用畸变系数对采集图像进行畸变校正，得到目标图像；其中，畸变系数基于内参标定的内参参数得到；将目标图像输入预训练的目标网络中进行实例分割，得到分割结果；其中，目标网络包括骨干网络、区域建议网络、边界框识别分支和掩码预测分支；骨干网络采用全卷积掩码自编码器网络；分割结果包括至少一个分割个体；基于分割结果，对目标图像进行深度估计，得到深度信息；根据深度信息生成三维点云，将三维点云转换到预设的全局坐标系；对全局坐标系中的三维点云进行滤波和聚类，得到目标区域中人群的定位结果。本发明实施例旨在通过融合更丰富的深度信息和实现精确的个体级别识别与分割，大幅提升人群定位的准确性、实时性，并增强对环境变化的适应性。本发明实施例能够准确进行实例分割进而精确实现人群定位。