一种基于概率分布的城市异常检测方法及装置

本发明涉及城市异常检测领域，特别是涉及一种基于概率分布的城市异常检测方法及装置。

背景技术：

1、城市异常事件通常被定义为那些脱离正常行为模式、不规律发生的突发情况。这些事件可能由多种因素触发，如极端气候条件、交通堵塞或大型群体聚集活动。如果未能妥善处理，这些事件可能会导致一定的财产损失。此外，城市交通流量的变化可作为衡量城市区域内交通参与者数量变化的一个关键指标。通过分析普遍分布于城市中的智能设备和传感器收集的实时数据，可以有效地追踪和分析城市交通流量的动态变化。

2、然而，城市异常检测面临的主要挑战之一是，城市异常的标准因地点和时间的不同而有所变化，不同类型的城市异常也可能表现出不同的特征。为了解决这一难题，现有的方法将城市动态分解为正常部分和异常部分，然后使用基于时空特征的神经网络估计正常部分，最后对推导出的异常部分进行评分来检测异常。另一种方法通过一种滑动窗口张量分解算法来获取交通变化的空间和多尺度时间模式。然后，根据分解结果，来识别道路网络中的多种类型的异常。尽管这些方法在实时检测单个时间段内的异常流量方面已经取得了一定的效果，却忽略了异常事件本身是如何对交通流模式产生影响的，并且这些方法不能直接用于检测异常交通流模式。对于城市规划者来说，他们希望从历史数据中了解特定事件、天气条件或规划决策对城市交通流模式的具体影响，以优化城市规划和改进活动计划。

3、公开号为cn115984077a，名称为一种交通异常流量因果检测方法及设备，提出了通过异常因果树算法对链接的时空异常值进行计算得到异常因果图；再结合常态因果图，将常态与异常情况的下流量区分实现异常流量检测。该方法能够实现对异常值的因果检验以及随时间变化的传递性，但时空异常值的计算依赖时间异常值的阈值筛选，并且常态因果图通过特征提取以及差分处理流量时间序列得到，这种由流量时间序列表示城市正常动态的常态因果图难以适应复杂的城市时空关系。

4、公开号为cn111179592a，名称为基于时空数据流融合分析的城市交通预测方法和系统的专利文献，提出了基于多项式函数拟合单类交通数据流，基于数据包络分析模型识别各类交通数据流的异常交通状态；然后根据所有交通枢纽点来识别集体异常交通状态，该方案用于实时检测异常交通状态，但从单个交通流融合成多个交通枢纽的集体异常状态的算法复杂度高、耗时长，且无法直接用于异常交通流模式的异常检测。

技术实现思路

1、为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于概率分布的城市异常检测方法，该方法包括：

2、s100.获取城市路网数据，根据所述城市路网数据划分城市区域，得到n个城市子区域，将所述n个城市子区域存入城市子区域集合；

3、s200.获取原始车辆轨迹数据，通过预处理得到车辆轨迹数据；

4、s300.创建第i个城市子区域历史30天的入流量概率分布集合和出流量概率分布集合，根据所述车辆轨迹数据，统计所述城市子区域集合中第i个城市子区域历史30天的时段交通入流量和时段交通出流量，使用fpd方法构建所述第i个城市子区域历史30天的入流量概率分布和出流量概率分布并存入入流量概率分布集合和出流量概率分布集合，i初始值为1；

5、s400.使用lof算法对所述入流量概率分布集合中所有入流量概率分布和所述出流量概率分布集合中所有出流量概率分布进行检测，根据检测结果将所述入流量概率分布集合中所有异常类型的入流量概率分布标记为异常，将所述出流量概率分布集合中所有异常类型的出流量概率分布标记为异常，判断i是否小于n，若是，i=i+1，转s300，若否，转s500；

6、s500.获取所述城市子区域集合中当天需要检测的城市子区域作为待检测城市子区域，根据所述城市子区域集合中所有城市子区域的入流量概率分布集合和出流量概率分布集合找出所述待检测城市子区域的近似区域，综合所述待检测城市子区域和所述近似区域的数据得到所述待检测城市子区域的当前检测数据库；

7、s600.使用fpd方法构建所述待检测城市子区域当天的入流量概率分布和出流量概率分布，根据所述待检测城市子区域的当前检测数据库，使用lof算法对所述入流量概率分布和出流量概率分布进行检测，根据检测结果判断所述待检测城市子区域当天是否存在异常事件；

8、所述城市路网数据包括城市经纬度范围，城市路网信息；

9、所述城市子区域包括：城市子区域编号，城市子区域经纬度范围。

10、进一步地，所述s200，包括：

11、s210.获取原始车辆轨迹数据，所述原始车辆轨迹数据包括：订单号、行程起始经度、行程起始纬度、行程起始时间、行程终止经度、行程终止纬度、行程终止时间；

12、s220.根据行程起始经度、行程起始纬度、行程终止经度、行程终止纬度将所述原始车辆轨迹数据投影至城市子区域集合中的城市子区域，得到车辆轨迹数据，所述车辆轨迹数据包括：订单号、行程起始区域号、行程起始时间、行程终止区域号、行程终止时间。

13、进一步地，所述s300，包括：

14、s310.设置时间间隔为30分钟，根据所述时间间隔将一天划分为48个时间段；根据所述车辆轨迹数据统计第i个城市子区域第j天第t个时间段的交通入流量和交通出流量，所述交通入流量和交通出流量的初始值都为0，若所述车辆轨迹数据的行程终止时间在第j天第t个时间段并且行程终止区域号为i，则，若所述车辆轨迹数据的行程起始时间在第j天第t个时间段并且行程起始区域号为i，则；

15、s320.根据所述交通入流量和交通出流量创建第i个城市子区域历史30天的交通流矩阵，所述交通流矩阵表示为：

16、；

17、其中表示第i个城市子区域第j天第t个时间段的交通流量，；t表示时间段数，t=48；m表示天数，m=30；

18、s330.创建第i个城市子区域历史30天的入流量概率分布集合和出流量概率分布集合；

19、s340.获取所述交通流矩阵的第j个行向量，j初始值为1，表示第i个城市子区域第j天的交通流量，，使用fpd方法对所述第i个城市子区域第j天的交通流量进行计算，得到第i个城市子区域第j天的入流量概率分布和出流量概率分布；

20、s350.将所述入流量概率分布存入所述入流量概率分布集合，将所述出流量概率分布存入所述出流量概率分布集合，判断j是否小于m，若是，j=j+1，转s340，若否，转s400。

21、进一步地，所述使用lof算法对所述入流量概率分布集合中所有入流量概率分布和所述出流量概率分布集合中所有出流量概率分布进行检测，包括：

22、s410.计算所述入流量概率分布集合中所有入流量概率分布之间的推土机距离，表示所述入流量概率分布集合中的任意入流量概率分布，表示所述入流量概率分布集合中与不同的任意入流量概率分布；

23、s420.设置k值为5，计算所述入流量概率分布集合中所有入流量概率分布的第k个最近的入流量概率分布的emd距离，得到任意入流量概率分布的k邻近距离，获取所述入流量概率分布集合中所有入流量概率分布的邻居，得到任意入流量概率分布的邻居集合，所述邻居为距离任意入流量概率分布的距离小于的所有入流量概率分布，计算任意入流量概率分布的邻居集合的大小为；

24、s430.计算所述入流量概率分布集合中所有入流量概率分布之间的可达距离，其计算公式如下：

25、；

26、其中，表示取入流量概率分布与的推土机距离和入流量概率分布的k邻近距离之间的最大值；

27、s440.计算所述入流量概率分布集合中所有入流量概率分布的局部可达密度，其计算公式如下：

28、；

29、其中，表示入流量概率分布的邻居集合中的任意入流量概率分布；

30、s450.根据所述入流量概率分布集合中第w个入流量概率分布的局部可达密度与其邻居的局部可达密度计算所述第w个入流量概率分布的局部异常因子，其计算公式如下：

31、；

32、其中，表示所述第w个入流量概率分布，表示所述第w个入流量概率分布的邻居集合中的任意入流量概率分布，表示所述第w个入流量概率分布的局部异常因子;

33、s460.计算所述入流量概率分布集合中所有入流量概率分布的局部异常因子和所述出流量概率分布集合中所有出流量概率分布的局部异常因子；判断所述入流量概率分布集合中入流量概率分布的局部异常因子是否小于或等于1，若是，则该入流量概率分布类型为正常，否则，该入流量概率分布类型为异常；判断所述出流量概率分布集合中出流量概率分布的局部异常因子是否小于或等于1，若是，则该出流量概率分布类型为正常，否则，该出流量概率分布类型为异常。

34、进一步地，所述s500，包括：

35、s510.创建n个匹配集合，所述匹配集合命名为获取所述待检测城市子区域的城市子区域编号为n，，将所述待检测城市子区域的入流量概率分布数据库中历史一周的入流量概率分布存入匹配集合，将所述匹配集合中被标记为异常的入流量概率分布置为空；获取所述城市子区域集合中其他所有城市子区域的城市子区域编号，将所述城市子区域集合中其他所有城市子区域的入流量概率分布数据库中历史一周的入流量概率分布存入对应城市子区域编号的匹配集合，将所述对应城市子区域编号的匹配集合中被标记为异常的入流量概率分布置为空；计算待检测城市子区域与所述城市子区域集合中其他所有城市子区域的入流相似度，所述入流相似度的计算公式为：

36、；

37、其中，表示所述城市子区域集合中与待检测城市子区域不同的任意城市子区域，且；表示待检测城市子区域；表示匹配集合中的第个入流量概率分布，表示匹配集合中的第个入流量概率分布；表示入流量概率分布和入流量概率分布之间的emd距离；表示匹配集合和匹配集合中相同位置的入流量概率分布都不为空的个数；

38、s520.使用步骤s510的方法计算所述待检测城市子区域与所述城市子区域集合中其他所有城市子区域的出流相似度，且；计算所述待检测城市子区域与所述城市子区域集合中其他所有城市子区域的相似度，其计算公式为：

39、；

40、s530.根据城市子区域经纬度范围计算城市子区域集合中所有城市子区域的中点，所述中点包括经度和纬度，所述中点的经度和纬度分别为城市子区域经度的中值和纬度的中值；根据所述城市子区域集合中所有城市子区域的中点计算所述待检测城市子区域与所述城市子区域集合中其他所有城市子区域的欧式距离；

41、s540.计算所述待检测城市子区域与所述城市子区域集合中其他所有城市子区域的近似度，其计算公式为：

42、；

43、s550.创建所述待检测城市子区域的当前检测数据库，将所述待检测城市子区域与城市子区域集合中其他所有城市子区域的近似度降序排序，取所述近似度最小的5个城市子区域作为所述待检测城市子区域的近似区域，将所述待检测城市子区域的入流量概率分布集合和出流量概率分布集合中不被标记为异常的所有入流量概率分布和出流量概率分布存入所述待检测城市子区域的当前检测数据库；将所述待检测城市子区域的近似区域的入流量概率分布集合和出流量概率分布集合中不被标记为异常的所有入流量概率分布和出流量概率分布存入所述待检测城市子区域的当前检测数据库。

44、进一步地，所述s600，包括：

45、s610.统计所述待检测城市子区域当天的时段交通入流量和时段交通出流量，使用fpd方法构建所述待检测城市子区域当天的入流量概率分布和出流量概率分布；

46、s620.获取所述待检测城市子区域的当前检测数据库中的所有入流量概率分布，根据所述所有入流量概率分布使用lof算法对所述待检测城市子区域当天的入流量概率分布进行检测，得到所述待检测城市子区域当天的入流量概率分布的局部异常因子和入流量概率分布类型；

47、s630.获取所述待检测城市子区域的当前检测数据库中的所有出流量概率分布，根据所述所有出流量概率分布使用lof算法对所述待检测城市子区域当天的出流量概率分布进行检测，得到所述待检测城市子区域当天的出流量概率分布的局部异常因子和出流量概率分布类型；

48、s640.若所述待检测城市子区域当天的入流量概率分布类型和出流量概率分布类型都为正常，则所述待检测城市子区域当天不存在异常事件，否则，所述待检测城市子区域当天存在异常事件。

49、进一步地，所述使用fpd方法对所述第i个城市子区域第j天的交通流量进行计算，包括：

50、s341.获取第i个城市子区域第j天的交通流量，将所述交通流量中交通入流量的最大值记为；将所述交通流量中交通入流量的值为f的交通入流量存入f值入流量集合，所述f值入流量集合表示为：

51、；

52、其中表示第i个城市子区域第j天第t个时间段的交通入流量的绝对值，表示在所述交通流量中交通入流量中的某值，；

53、s342.综合所有f值入流量集合得到第i个城市子区域第j天的入流量值集合，所述入流量值集合表示为：

54、；

55、s343.计算所述交通流量中交通入流量的值为f的f值入流量概率，所述f值入流量概率的计算公式为：

56、；

57、其中，表示所述f值入流量集合中的元素个数，表示时间段数；

58、s344.综合所有f值入流量概率得到第i个城市子区域第j天的入流量概率分布，所述第i个城市子区域第j天的入流量概率分布表示为：

59、；

60、s345.获取第i个城市子区域第j天的交通流量，将所述交通流量中交通出流量的最大值记为；将所述交通流量中交通出流量的值为p的交通出流量存入p值出流量集合，所述p值出流量集合表示为：

61、；

62、其中表示第i个城市子区域第j天第t个时间段的交通出流量的绝对值，表示在所述交通流量中交通出流量中的某值，；

63、s346.综合所有p值出流量集合得到第i个城市子区域第j天的出流量值集合，所述出流量值集合表示为：

64、；

65、s347.计算所述交通流量中交通出流量的值为p的p值出流量概率，所述p值出流量概率的计算公式为：

66、；

67、其中，表示所述p值出流量集合中的元素个数，表示时间段数；

68、s348.综合所有p值出流量概率得到第i个城市子区域第j天的出流量概率分布，所述第i个城市子区域第j天的出流量概率分布表示为：

69、。

70、进一步地，所述计算所述入流量概率分布集合中所有入流量概率分布之间的推土机距离，包括：

71、s411.将所述入流量概率分布和所述入流量概率分布表示为和，其中表示所述入流量概率分布，表示中的第个元素的交通入流量值，表示中第个元素的入流量概率，即，表示中元素的个数；表示所述入流量概率分布，表示中的第个元素的交通入流量值，表示中第个元素的入流量概率，即，表示中元素的个数；

72、s412.计算将中第个元素转移到中第个元素的花费，其计算公式为：

73、；

74、s413.计算与之间的推土机距离，其计算公式为：

75、；

76、其中，表示将中第个元素的概率转移到中第个元素的概率的转移量；由于，，所述与之间的推土机距离的计算公式进一步表示为：

77、；

78、其中，表示取中所有元素的概率转移到中所有元素的概率的最小花费与转移量的乘积，的约束条件为：

79、；

80、其中，表示中所有元素的概率向中第个元素的概率的转移总量为，表示中第个元素的概率向中所有元素的转移总量为。

81、进一步地，一种基于概率分布的城市异常检测装置，包括：

82、区域划分模块：用于根据城市路网划分城市区域，得到城市子区域集合；

83、轨迹预处理模块：用于将原始车辆轨迹数据投影到划分好的城市子区域中，得到车辆轨迹数据；

84、概率分布构建模块：用于统计所述城市子区域的交通流矩阵，根据所述交通流矩阵使用fpd方法构建城市子区域的入流量概率分布和出流量概率分布；

85、异常标记模块：用于检测所述城市子区域的历史数据中的异常入流量概率分布和异常出流量概率分布，将所述异常入流量概率分布和异常出流量概率分布标记为异常；

86、异常检测模块：用于找出所述待检测城市子区域的近似区域，根据所述近似区域得到所述待检测城市子区域的当前检测数据库，根据所述当前检测数据库使用lof算法检测所述待检测城市子区域当天的入流量概率分布和出流量概率分布，根据检测结果判断所述待检测城市子区域当天是否存在异常事件。

87、本发明的有益效果是：

88、利用城市子区域的交通流量序列构建流量概率分布，以此形式进行异常检测，能够有效识别出城市子区域中的异常交通流模式；使用lof算法对历史流量概率分布进行检测，去除历史数据中的异常流量概率分布，能够确保检测的准确性；另外，为了减少异常检测的数据依赖量，将近似区域的历史数据加入检测数据库来检测区域的异常流量概率分布，提高了检测的鲁棒性和可靠性；这种基于概率分布进行异常交通流模式检测的方法，可以检测多种城市异常类型，克服异常多样性的难题。