基于深度信息和显著性信息的人群计数方法及系统

技术特征：
1.一种基于深度信息和显著性信息的人群计数方法，其特征在于，包括：采集指定区域的人群样本图像；将采集到的人群样本图像输入训练好的基于显著性信息和深度信息的密度图预测模型；输出人群样本图像中的总人数。2.根据权利要求1所述的基于深度信息和显著性信息的人群计数方法，其特征在于，所述密度图预测模型是通过以下方法构建的：利用图像深度信息预测网络对输入的人群样本图像进行深度预测，得到图像深度信息；将输入的人群样本图像、其对应的预测显著性信息以及深度信息一起输入人群密度图预测网络，利用显著性信息校正深度信息，利用校正后的深度信息指导密度图预测网络训练，生成密度图预测模型。3.根据权利要求2所述的基于深度信息和显著性信息的人群计数方法，其特征在于，所述显著性信息是利用显著性预测模型对输入的人群样本图像进行显著性图的预测生成的，所述显著性预测模型是通过以下方法构建的：对输入的人群样本图像对应的人头标注数据进行高斯模糊，生成真值显著性图；利用视觉显著性预测网络对输入的人群样本图像进行显著性信息的预测，生成预测显著性图；根据预测显著性图和真值显著性图计算损失函数，通过梯度反向传播调整网络参数，经过迭代，生成显著性预测模型。4.根据权利要求3所述的基于深度信息和显著性信息的人群计数方法，其特征在于，所述对输入的人群样本图像对应的人头标注数据进行高斯模糊，是使用标准差为19的高斯核函数对其进行高斯模糊。5.根据权利要求2所述的基于深度信息和显著性信息的人群计数方法，其特征在于，所述密度图预测网络训练，包括：对于输入的人群样本图像r，与其对应的深度图d和显著性图s，在编码器的第l层，令r
l
、d
l
和s
l
分别为编码器先前卷积层的输出特征图，用相应层的显著性特征校正深度特征，校正方法为：v
l
＝sigmoid(φ
s
(s
l
))d
l
＝v
l
⊙
d
l
其中，φ
s
代表1
×
1的卷积层，v
l
为编码器第l层的权重，
⊙
表示元素级别乘法；将校正后的深度信息d
l
对r
l
加权为r
l
＝r
l
⊙
d
l
其中，
⊙
为元素级别乘法；之后将r
l
、d
l
和s
l
输入到后续网络。6.根据权利要求5所述的基于深度信息和显著性信息的人群计数方法，其特征在于，所述密度图预测网络，包括：编码模块、深度校正与嵌入模块、增强多尺度模块、解码模块；所述编码模块用于提取输入图像的多级特征；所述深度校正与嵌入模块用于深度信息的校正与融合；
所述增强多尺度模块用于多尺度综合特征提取与融合；所述解码模块用于输出尺寸与输入图像相同的预测密度图。7.根据权利要求6所述的基于深度信息和显著性信息的人群计数方法，其特征在于，所述编码器模块为经过预训练的vgg16网络；所述增强多尺度模块包括多分支不同扩张率的3
×
3卷积；所述解码模块为7层扩张卷积网络，用于输出尺寸与输入图像相同的预测密度图。8.根据权利要求1所述的基于深度信息和显著性信息的人群计数方法，其特征在于，所述输出人群样本图像中的总人数，包括利用密度预测模型生成人群样本图像的预测密度图，通过对预测密度图各像素点求和获得图中的总人数。9.一种基于深度信息和显著性信息的人群计数系统，其特征在于：包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行权利要求1～8任一项所述方法的步骤。

技术总结
本发明公开了一种基于深度信息和显著性信息的人群计数方法及系统，包括：采集指定区域的人群样本图像；将采集到的人群样本图像输入训练好的基于显著性信息和深度信息的密度图预测模型；输出人群样本图像中的总人数。将人群显著性信息引入了人群计数领域，将人头标注点作为人眼关注点，利用高斯模糊生成人群计数的视觉显著性标签，利用深度学习网络进行训练测试，得到了人群计数的视觉显著性信息，辅助人群计数的训练；利用视觉显著性信息和深度信息相结合的方式来辅助人群计数，利用显著性信息可以校正深度信息，降低没有人群信息区域造成的干扰，提高计数效果。提高计数效果。提高计数效果。


技术研发人员：崔子冠 苏航 唐贵进 干宗良 刘峰
受保护的技术使用者：南京邮电大学
技术研发日：2022.08.18
技术公布日：2022/11/11