一种基于视觉转化器的人群密度估计方法及系统

技术特征：
1.一种基于视觉转化器的人群密度估计方法，其特征在于，采用基于视觉转化器和多级卷积结合神经网络模型从待测图像中检测出人群密度，包括以下步骤：步骤1，对待测图像进行预处理获得预处理图像，然后搭建编码解码层；步骤2，搭建基于视觉转化器的神经网络模型；步骤3，把训练数据输入所述基于视觉转化器的神经网络模型进行模型训练，得到训练完成的基于视觉转化器机制神经网络模型；步骤4，将所述预处理图像输入所述训练完成的基于视觉转化器机制神经网络模型，分别得出各个所述预处理图像中的人群密度结果并进行输出，其中，所述基于视觉转化器的神经网络模型包括前端以卷积神经网络为基础的局部信息提取模块和后端以视觉转化器为基础的全局信息提取模块。2.根据权利要求1所述的基于视觉转化器的人群密度估计方法，其特征在于：其中，所述基于视觉转化器的神经网络模型还引入多级卷积机制，每级卷积操作之后都跟着一个visual transformer提取全局联系。3.根据权利要求1所述的基于视觉转化器的人群密度估计方法，其特征在于：其中，所述待测图像为高密度人群图像。4.根据权利要求1所述的基于视觉转化器的人群密度估计方法，其特征在于：其中，步骤1中，所述预处理的步骤为：步骤1-1，从所述待测图像中进行图像分割；步骤1-2，将分割得到的图像进行正则化，所述图像分割的方法为将所述待测图像按照一定规模，随机选取所述待测图像中一点作为中心点，以一定比例切割所述待测图像。5.根据权利要求1所述的基于视觉转化器的人群密度估计方法，其特征在于：其中，步骤1中，所述编码解码层以vgg-16网络和visual transformer网络为基础。6.根据权利要求1所述的基于视觉转化器的人群密度估计方法，其特征在于：其中，步骤2中，搭建所述视觉转化器的神经网络模型时，在前端多级卷机层后增加visual transformer结构。7.根据权利要求1所述的基于视觉转化器的人群密度估计方法，其特征在于：其中，步骤3包括以下步骤：步骤3-1，构建所述基于视觉转化器神经网络模型，其包含的模型优化器为随机梯度下降，学习率为10-7
；步骤3-2，将所述训练集中的各个训练图像依次输入所述基于视觉转化器神经网络模型并进行一次迭代；步骤3-3，进行所述迭代后，采用最后一层的模型参数分别计算出损失误差，然后将计算得到的所述损失误差反向传播，从而更新所述模型参数；步骤3-4，重复步骤3-2～步骤3-3直至达到训练完成条件，得到所述训练后的基于视觉转化器神经网络模型。8.一种基于视觉转化器的人群密度估计系统，其特征在于，采用基于视觉转化器的神经网络模型从待测图像中检测出人群密度，包括：预处理部，对所述待测图像进行预处理获得预处理图像；
密度预测部，搭建视觉转化器的神经网络模型，把训练数据输入搭建好的所述基于视觉转化器的神经网络模型，从而进行模型训练，将所述预处理图像输入训练完成的所述基于视觉转化器机制神经网络模型，从而得出各个所述预处理图像中的人群密度结果并进行输出，其中，所述基于视觉转化器的神经网络模型包括前端以卷积神经网络为基础的局部信息提取模块和后端以视觉转化器为基础的全局信息提取模块。

技术总结
本发明公开了一种基于视觉转化器的人群密度估计方法，具有这样的特征，包括：步骤1，对待测图像进行预处理获得预处理图像，然后搭建编码解码层；步骤2，搭建基于视觉转化器的神经网络模型；步骤3，把训练数据输入基于视觉转化器的神经网络模型进行模型训练，得到训练完成的基于视觉转化器机制神经网络模型；步骤4，将预处理图像输入训练完成的基于视觉转化器机制神经网络模型，分别得出各个预处理图像中的人群密度结果并进行输出，其中，基于视觉转化器的神经网络模型包括前端以卷积神经网络为基础的局部信息提取模块和后端以视觉转化器为基础的全局信息提取模块。本发明还公开基于视觉转化器的人群密度估计系统，包括预处理部和密度预测部。和密度预测部。和密度预测部。


技术研发人员：邓欣 冯瑞
受保护的技术使用者：复旦大学
技术研发日：2022.02.09
技术公布日：2022/5/20