基于卷积神经网络的行人流密度与流量预测系统及方法

本发明涉及智能交通，具体涉及一种基于卷积神经网络的行人流密度与流量预测系统及方法。

背景技术：

1、随着全球城市化进程的不断加速，城市交通网络的规模和复杂性日益提升，行人交通作为城市交通体系中的重要组成部分，其安全性和效率性直接关系到城市交通的整体运行状况。随着城市人口密度的增加，行人交通流量也呈现出快速增长的态势，拥挤踩踏事故频繁发生。因此，对行人流密度和流量进行准确预测，成为了行人交通研究领域的重要课题。行人流密度和流量的预测不仅有助于提前识别潜在的交通冲突和安全隐患，从而采取有效的措施进行预防和干预，还能为智能交通系统的设计和优化提供关键的数据支持。能够预测关键域内行人的流动，以减少过度拥挤，防止踩踏事故的发生。有助于在事件升级之前阻止危险事件的发生，并为安全人员提供实时态势感知，使安全人员进行实时调整，以优化人流流动和安全，并帮助指导紧急状况下的疏散工作。

2、社会力模型和元胞自动机模型是模拟和预测行人流动性的两种传统的知识驱动方法。社会力模型通过模拟个体行人之间的相互作用力来预测行人在一定社会环境下的运动行为，类似于物理学中粒子之间的作用力。这个模型能够在一定程度上模拟行人的回避行为、目标追求行为以及其他社会行为，常用于描述和预测行人在拥挤环境中的运动。元胞自动机模型则将空间划分为离散的网格，每个网格代表一个元胞。每个元胞按照一组简单的规则与其邻居相互作用，从而产生复杂的模式。在行人流模型中，这种方法通常用来模拟行人的移动和交互，以及他们对周围环境的反应。

3、目前，一些深度学习的方法也被用于行人动力学领域，但对于行人流密度和流量来说，这些方法大多是被用来检测当前时间的流量和密度情况，而不是预测未来一段时间的情况。使用深度学习来预测行人密度和流量的方法也大多数是基于历史人流量数据作为训练样本进行预测，而不是基于行人的历史位置进行预测。

4、传统的知识驱动的行人流密度和流量预测方法，如基于社会力模型和元胞自动机模型，虽然在某些场景下能够提供合理的预测，但它们也存在一些局限性。社会力模型侧重于模拟个体行为和互动，通过力学原理来模拟行人在社交环境中的运动。然而，这种方法在处理大规模复杂场景时，往往需要大量的计算资源，并且难以准确捕捉到复杂交通网络中的全局流量动态。同样，元胞自动机模型虽然在离散时间和空间上模拟行人流，简化了计算过程，但该模型在处理连续空间的行为时表现出了其固有的局限。它通常假设行人的移动是均匀和规则的，这忽略了真实世界中行人行为的多样性和随机性。此外，这些模型很难适应环境变化，如不同时间段内的流量变化和临时性事件，这可能导致预测精度不足。

5、现有的基于深度学习的方法确实多是利用历史人流量数据作为训练样本，直接训练模型以预测未来的人流密度和流量。这种方法虽然能够在一定程度上提供有用的预测，但通常面临着数据分布变化大、实时性差别和无法有效捕捉个体行为变化等局限性。此外，仅依赖历史人流数据进行预测在实际应用中是不合理的，因为这种方法忽略了行人行为的不确定性，无法充分捕捉到个体行为的多样性。这些限制使得模型在面对突发事件或非标准流动模式时，预测精度和鲁棒性下降。在现有的方法中，大多数使用图卷积（gcn）、循环神经网络（rnn）和长短期记忆网络（lstm）方法分析时间序列数据。这些网络能有效识别数据中的时序依赖关系。然而，当面临复杂的城市场景，尤其是在人流密集或交通流动性有显著变化的环境下，这些网络由于结构复杂度较高，往往需要较长的计算时间，并且对计算资源的需求较大。因此，尽管它们在提取和学习时间相关性方面展现了能力，预测的实时性和准确度仍有提升空间。在实际应用中，这可能会对即时交通决策和应急响应造成制约。

技术实现思路

1、为解决现有技术中存在的问题，本发明提供了一种基于卷积神经网络的行人流密度与流量预测系统及方法，是一个序列到序列架构的模型，模型由七个关键模块组成：坐标变换模块、采样模块、轨迹嵌入模块、编码模块、解码模块、轨迹输出模块和密度流量计算模块；首先，将数据通过坐标变换模块、采样模块进行变换与采样，然后通过基于多层感知机的轨迹嵌入模块，将输入的行人轨迹嵌入成一个具有更丰富信息的向量，为后续的模块提供更为详实的特征信息。接着，编码模块中的编码器采用卷积神经网络结构对轨迹向量进行编码和特征提取，逐步增加通道数以进一步丰富特征信息。解码模块中的解码器在接收到特征信息后，执行张量形状重塑和降维操作，然后通过卷积操作进行解码。随后，轨迹输出模块以与坐标嵌入模块相反的方式，将特征张量转换为轨迹坐标输出，最后密度流量计算模块通过维诺图的方法使用这些预测出的轨迹计算出行人的瞬时速度与某一时刻的人群密度，进而计算出行人流的流量，解决了上述背景技术中提到的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于卷积神经网络的行人流密度与流量预测系统，所述系统包括：

3、坐标变换模块：获取数据集数据，利用坐标变换模块对数据集数据进行坐标变换处理；

4、采样模块：对经过坐标变换模块处理后的坐标进行采样处理，然后将采样处理后的数据聚合成适合深度学习模型输入的轨迹数据；

5、轨迹嵌入模块：对轨迹数据进行嵌入操作，通过基于多层感知机的轨迹嵌入模块，将输入的行人轨迹数据嵌入成一个具有更丰富信息的轨迹向量；

6、编码模块：编码器采用卷积神经网络对轨迹向量进行编码和特征提取，得到具有更高维度和更丰富信息的特征向量；

7、解码模块：利用解码器对编码器输出的特征向量进行形状重塑和降维操作，进而执行解码过程，得到解码向量；

8、轨迹输出模块：将解码器输出的解码向量输入到轨迹输出模块中，得到预测的轨迹信息；

9、密度流量计算模块：通过维诺图方法使用轨迹输出模块中预测出的轨迹计算出行人流的速度、密度和流量。

10、优选的，在坐标变换采样模块中，所述获取数据集数据具体包括如下：

11、s111、获取数据集的行人编号、对应帧数以及行人在真实世界中的三维坐标（ x, y,  z）；

12、s112、获取相机的内部参数（ f x , f y  ,c x , c y），其中 f x,  f y是相机的焦距， c x,  c y是主点的偏移；

13、s113、获取相机的外部参数，包括相机的旋转矩阵 r和平移向量 t；

14、所述的坐标变换具体包括如下：

15、s121、将现实世界的三维坐标（ x,  y,  z）转换为相机坐标系下的三维坐标（ x c , y c ,  z c），转换公式表达如下：

16、；

17、s122、使用除透视法，将相机坐标系下的三维坐标（ x c , y c , z c）转换为归一化设备坐标系下的三维坐标（ x n , y n , 1），其中 x n =  x c /  z c ,  y n =  y c /  z c；

18、s123、将归一化设备坐标系下的三维坐标（ x n , y n , 1），映射到二维图像平面上，转化为图像像素坐标（ x 0 , y 0），使用相机的参数（ f x , f y  ,c x , c y）通过以下公式进行转换：

19、。

20、优选的，在采样模块中，所述的采样处理具体包括如下：

21、s21、从 t 1开始到 t obs每隔观测一次行人的轨迹坐标，对于每个行人 i , 在时间 t∈{ t 1 ,  t 1 +δt, ... ,  t obs}时，观测其位置坐标， t obs代表观测截止的时刻；

22、s22、将行人的离散坐标聚合成形状为 n × d 0  × t obs的轨迹信息中，其中 n代表行人数量或向量通道个数， t obs表示为总采样时间步长的观测长度，维度 d 0=2代表轨迹的横坐标和纵坐标，具体公式如下：

23、。

24、优选的，在轨迹嵌入模块中，具体包括如下：

25、s31、设定一个多层感知机 mlp作为轨迹嵌入模块的基础结构，在 mlp中包含若干个隐藏层，每个隐藏层的公式如下：

26、；

27、其中 x，y分别表示 mlp的输入和输出， n表示隐藏层的个数，表示每层的权重， b表示为偏置；

28、s32、在每个隐藏层后面使用一个指数线性单元 elu激活函数，公式如下：

29、；

30、其中，代表激活函数的输出， α是一个可调的参数；代表以常数为底的指数函数，约等于2.7；

31、s33、实施前向传播：将轨迹数据输入到 mlp中，对每一个时间步的输入数据，通过 mlp计算对应的嵌入输出后应用 elu激活函数，将嵌入的结果转换为具有更高维度的形状为 n × c 0  × d × t obs的向量 h中，即 n个通道，每个通道包含 c 0个特征矩阵，每个特征矩阵的形状为 d × t obs；将向量 h的第二个维度由原来的 d 0拓展成了更大的 d，过程如下：

32、；

33、其中,，，是嵌入权重。

34、优选的，在编码模块中，所述的编码和特征提取具体包括如下：

35、s41、张量输入：获取从轨迹嵌入模块输出的形状为 n × c 0  × d × t obs的向量 h，该向量解释为具有 n通道，每个通道包含 c 0个特征矩阵，每个特征矩阵的形状为 d × t obs；

36、s42、二维卷积操作：对特征矩阵应用二维卷积层进行特征提取，在这个过程中，为了拓展轨迹的特征信息，特征矩阵的数量由 c 0增加到了 c， c表示二维卷积操作后的特征矩阵数量，来增强模型对数据的表达能力，二维卷积层的输出能被计算为：

37、；

38、其中，  o为卷积层的输出， k、 l代表输出的索引， m c和  n c  是卷积核的高度和宽度， m、 n表示为卷积核的索引， h[ m,n]表示卷积核的权重， i是输入的特征矩阵，在解码器的第一个卷积层中 i的值为 h， p是填充的大小；

39、 s43、elu激活操作：在每个二维卷积之后使用 elu进行非线性激活；

40、 s44、批归一化操作：在激活函数之后引入批归一化操作，对于每个卷积层的输出，通过规范化每个通道的特征来使其均值接近0，标准差接近1；批归一化的公式如下：

41、；

42、其中表示批归一化的输出特征， θ表示输入特征， μ 表示特征矩阵的均值， σ 表示当前特征矩阵的标准差， γ 表示为训练中学习到的缩放参数， β 为训练中学习到的移位参数。

43、优选的，在解码模块中，所述的解码过程具体包括如下：

44、s51、使用上采样层重塑特征矩阵形状：使用上采样层将特征矩阵的形状由 d ×  t obs拓展成 d ×t pred， t pred表示预测轨迹的长度，以输出符合预测长度的轨迹，在这里双线性插值法被使用来实现这一过程，其公式如下：

45、；

46、其中，表示输入的特征矩阵， p、q为输入矩阵的索引， upsample( x)  代表经过上采样后的特征矩阵， u、v为经上采样后特征矩阵的索引，  是双向性插值的核函数，为该核函数的输入；

47、s52、二维卷积解码：二维卷积对特征矩阵进行解码，将特征矩阵的数量由 c降回；

48、s53、 elu激活和批归一化操作：使用 elu激活函数和批归一化操作，在每个二维卷积层之后对特征向量进行处理，最后输出解码后的特征向量 h o。

49、优选的，在轨迹输出模块中，具体包括如下：

50、s61、输入特征向量：将解码器输出的特征向量 h o作为输入数据；

51、s62、设定一个与轨迹嵌入模块具有完全相反结构的多层感知机 mlp2作为轨迹输出模块的基础结构；

52、s63、用 elu作为激活函数，以引入非线性并生成最终的输出轨迹坐标；

53、s64、输出预测的轨迹信息，轨迹输出模块的输出能被计算为：

54、；

55、其中,，代表解码器输出的特征向量, w o 是输出权重。

56、优选的，在密度流量计算模块中，所述通过维诺图方法使用轨迹输出模块中预测出的轨迹计算出行人流的速度、密度和流量具体包括如下：

57、s71、构建维诺图：使用轨迹输出模块中预测轨迹信息的行人坐标位置点构建维诺图，此过程包括如下步骤：

58、 s711、定义观察区域内每个行人位置的点，以这些点为基础构建维诺图，每个点都被一系列的多边形即维诺图单元所环绕，而这些多边形的边界是由等距于最近的两个或更多个点的线组成；

59、s712、为每一对生成的点找到它们的中垂线，这条线上的任意一点到这两个生成点的距离是相等的，中垂线的一部分将成为相邻的维诺图单元之间的边界；通过对所有生成点对进行此操作，便可以确定所有维诺图单元的边界，将所有边界连接起来就形成了完整的维诺图；

60、 s72、计算维诺图单元面积：维诺图单元的面积反映了相应行人周围的可用空间量，计算包括以下步骤：

61、 s721、排序定点：为了准确计算多边形的面积，其顶点必须以顺时针或逆时针顺序进行排序；

62、 s722、应用面积公式：多边形面积通过以下公式计算：

63、；

64、其中， s是多边形顶点的数量， x i和 y i分别是第 i个顶点的横坐标和纵坐标；

65、s73、计算维诺图速度：每个维诺图单元的行人速度 v xy（t）通过连续两个时间步长的轨迹计算得出：

66、；

67、其中表示行人在时刻的位置，表示间隔的弛豫时间；

68、整个观察区域的维诺图速度 v v由该区域的行人速度积分得到：

69、；

70、其中为二重积分符号， dx， dy表示微分；

71、s74、计算维诺图密度：对于每个维诺图单元，其对应的行人密度 ρ xy通过s722中计算的维诺图单元面积来计算，即：

72、；

73、在此基础上，整个观察区域的维诺图密度 ρ v由该区域的行人密度积分得到：

74、；

75、 s75、行人流量 js由维诺图密度和速度乘积得出：

76、。

77、另一方面，为实现上述目的，本发明还提供了如下技术方案：一种基于卷积神经网络的行人流密度与流量预测系统的预测方法，包括如下步骤：

78、s1、坐标变换：获取数据集数据，利用坐标变换模块对数据集数据进行坐标变换处理；

79、s2、采样：对坐标变换处理后的坐标进行采样处理，然后将采样处理后的数据聚合成适合深度学习模型输入的轨迹数据；

80、s3、轨迹嵌入：对轨迹数据进行嵌入操作，通过基于多层感知机的轨迹嵌入模块，将输入的行人轨迹数据嵌入成一个具有更丰富信息的轨迹向量；

81、s4、编码：编码器采用卷积神经网络对轨迹向量进行编码和特征提取，得到具有更高维度和更丰富信息的特征向量；

82、s5、解码：利用解码器对编码器输出的特征向量进行形状重塑和降维操作，进而执行解码过程，得到解码向量；

83、s6、轨迹输出：将解码器输出的解码向量输入到轨迹输出模块中，得到预测的轨迹信息；

84、s7、密度流量计算：通过维诺图方法使用轨迹输出模块中预测出的轨迹计算出行人流的速度、密度和流量。

85、本发明的有益效果是：

86、1）实时监测与预警：本发明通过实时数据收集和分析，建立了行人拥挤预警系统，利用卷积神经网络对行人流量进行精确预测，能够及时识别拥挤风险，发出预警信号，从而提前采取措施防止拥挤现象发生；

87、2）动态流量管理：该系统通过实时监控行人流量，动态调整交通信号和指示标志，有效引导行人流动，避免特定区域过度拥挤，这种管理方式有助于平衡各个区域的人流密度，减少拥挤情况的发生；

88、3）提高预测效率：本发明通过引入高度可并行化的全连接层和卷积层，结合高效的预测算法，显著提升了预测效率，该方法能够在极短的时间内，即小于5毫秒，实现对多达128个行人的轨迹进行同时预测，在实际应用中，该方法能够快速响应交通管理需求，为行人提供实时准确的密度和预测，从而提升了交通管理的实时性和事故预防的及时性，具有重要的实用价值和应用前景；

89、4）紧急疏散规划：在预测到潜在的拥挤或踩踏风险时，本发明帮助管理人员迅速制定紧急疏散计划，通过精确的行人流量预测和模拟，制定有效的疏散路径，快速安全地引导人群撤离高风险区域；

90、5）通用性和适应性：本发明得益于深度学习模型的强大能力，展现出了出色的通用性和适应性，深度学习模型能够自动学习并提取数据的内在特征，无需过多依赖人工设定的规则和参数，这使得模型在不同场景和类型的行人密度和流量任务中都能发挥出色性能。