一种车辆轨迹数据清洗与校准方法与流程

1.本发明涉及车辆数据处理领域，尤其是涉及一种车辆轨迹数据清洗与校准方法。


背景技术：

2.在车辆行驶的过程中，车辆采集器需采集的数据量较大，这些数据能为车辆方面的应用提供有效价值，例如车辆行驶过程异常监控、车辆行驶效率评估、路线的调整与规划等等。但车辆采集器在采集数据的过程中，有时会因地形阻碍、信号不稳定、信道堵塞等诸多不可避免的因素影响到车辆行驶数据的质量，例如出现缺失点、重复点、离群点等异常数据。因此在对车辆行驶数据进行数据分析之前，数据的清洗是关键所在。
3.数据清洗的过程中，最为重要的环节是异常值检测和处理，针对轨迹类数据，常采用的方法是均值滤波、密度聚类等。不同的轨迹数据应选择合适的方法进行处理。如名称为“基于局部遍历密度聚类的ads-b航迹清洗与校准方法”(公开号为cn110362559a)的发明专利，是将航行轨迹数据通过局部遍历密度聚类算法对速度、经度、纬度、压力高度等字段进行清洗与校准，使航行轨迹数据内的航迹点满足质点运动学规律，但车辆行驶数据不同于航迹数据，大部分不会受到压力、气流等影响。如名称为“一种基于路网数据的gps轨迹清洗方法”(公开号为cn112748452a)的发明专利，利用城市路网空间数据，优化gps清洗数据，使得对异常值的剔除和跳跃点之间的补植更符合真实情况，该方法虽然能将速度与经度和纬度的结合进行清洗，但直接剔除异常值会对车辆安全的性能检测有较大的影响，不能为后续对车辆行驶异常进行检测提供有效数据。


技术实现要素：

4.本发明的目的在于提供一种对车辆轨迹数据中存在的隐患数据进行清洗、为后续对车辆的性能进行数据分析提供支撑依据的车辆轨迹数据清洗与校准方法。
5.本发明的目的是这样实现的：
6.一种车辆轨迹数据清洗与校准方法，特征是：具体步骤如下：
7.(1)建立包含特征字段的车辆轨迹数据样本，其中特征字段由初始字段和扩展字段组成，所述初始字段由车辆行程采集器获取，所述扩展字段由所述初始字段计算得出；
8.(2)对车辆轨迹数据样本进行去重；
9.(3)选取所需检测的特征字段；
10.(4)对所需检测的特征字段进行缺失点排查；
11.(5)对车辆轨迹缺失点的特征字段进行数据填补；
12.(6)依据真实距离检测法对车辆轨迹数据样本进行车辆轨迹离群点标识；
13.(7)根据车辆轨迹数据样本中的初始数据对车辆轨迹离群点进行修正。
14.上述步骤(1)中建立包含特征字段的车辆轨迹数据样本，具体操作过程如下：
15.(1.1)建立包含特征字段的车辆轨迹数据样本，车辆轨迹数据样本由n个车辆轨迹点组成，将该车辆轨迹数据样本表示为loc＝{p1,p2,...,pn}，i＝1,2,...,n，其中pi表示第
i个车辆轨迹点，n为车辆轨迹数据中车辆轨迹点的个数；车辆轨迹点pi具体包括的初始字段有：车牌号idi、时间戳ti、速度vi、方向θi、经度loni、纬度lati以及所属单位cori，车辆轨迹点pi具体包括的扩展字段有：当前车辆加速度ai；
16.(1.2)扩展字段内的当前车辆加速度ai由所述初始字段计算得出。具体计算当前车辆加速度ai的公式如下所示：
[0017][0018]
上述步骤(2)中对车辆轨迹数据样本进行去重，具体操作过程如下：
[0019]
(2.1)根据时间戳ti的顺序，对车辆轨迹数据样本内的车辆轨迹点pi进行排序；
[0020]
(2.2)以时间戳ti为基准，找到与时间戳ti相等的所有车辆轨迹点，将这些车辆轨迹点从loc内除去并加入至车辆轨迹时间重复数据集loc'中；若loc'内的车辆轨迹点pi为时间戳的起始点，则计算出该车辆轨迹点到后一个时间戳下的车辆轨迹点p
x
的欧氏距离；若loc'内的车辆轨迹点pi为时间戳的结束点，则计算出该车辆轨迹点到前一个时间戳内的车辆轨迹点py的欧氏距离。具体的欧氏距离公式如下所示：
[0021][0022]
其中，m，n为需要计算欧氏距离的两个车辆轨迹点的下标；同理，计算出loc'内所有车辆轨迹点的欧氏距离，将loc'内欧氏距离最小的车辆轨迹点作为该时间戳下的车辆轨迹点；
[0023]
(2.3)将loc'内的车辆轨迹点与被提取后的loc进行合并，根据时间戳的顺序重新编号，得到去重后的车辆轨迹数据样本locd＝{p1,p2,...,pm}，其中m为去重后的车辆轨迹数据中车辆轨迹点个数。
[0024]
上述步骤(3)中选取所需检测的特征字段，具体操作过程如下：
[0025]
(3.1)根据采集的数据样本为一辆车的某一时间段的车辆轨迹数据，选取所需检测的特征字段包括：时间戳t、速度v、方向θ、经度lon、纬度lat以及当前车辆加速度a。
[0026]
上述步骤(4)中对于所需检测的特征字段进行缺失点排查，具体操作过程如下：
[0027]
(4.1)依据采集器设定的采集时间间隔t，对车辆轨迹数据样本locd＝{p1,p2,...,pm}中的任意车辆轨迹点pi进行检测，若pi中存在缺失的特征字段，则将pi标记为车辆轨迹缺失点，并将该车辆轨迹缺失点pi加入缺失车辆轨迹域s中；若pi中不存在缺失的特征字段，则将pi加入无缺失车辆轨迹域a中；
[0028]
(4.2)对下一个车辆轨迹点p
i 1
重复(4.1)，直至最后一个车辆轨迹点pn检测结束；
[0029]
(4.3)将缺失车辆轨迹域s内的所有车辆轨迹缺失点进行合并得到缺失点集合其中a≠b；将无缺失车辆轨迹域a内的所有车辆轨迹点进行合并得到无缺失点集合
[0030]
上述步骤(5)中对车辆轨迹缺失点的特征字段进行数据填补，具体操作过程如下：
[0031]
(5.1)以缺失点集合locs内的车辆轨迹缺失点pi为填补对象，在无缺失点集合loca内以i为中心点下标，前后各获取m个车辆轨迹点，将该组数据记为
[0032]
(5.2)分别计算出内的车辆轨迹缺失点pk中需填补的特征字段：时间戳tk、速度vk、方向θk、经度lonk、纬度latk，其中k＝i-m,...,i-1,i 1,...,i m。
[0033]
具体计算单个特征字段的公式如下所示：
[0034][0035]
(5.3)通过步骤(1.2)中的公式计算出pk中需填补的当前车辆加速度ak；
[0036]
(5.4)对下一个车辆轨迹缺失点p
k 1
重复(5.1)至(5.3)，直至缺失点集合locs内的最后一个车辆轨迹缺失点填补结束；
[0037]
(5.5)填补完的缺失点集合locs与无缺失点集合loca合并，按照时间戳的顺序，重新编号得到完整车辆轨迹数据集其中p
i*
为填补后的车辆轨迹点，u为完整车辆轨迹数据集中的车辆轨迹点个数。
[0038]
上述步骤(6)中提到的真实距离检测法，具体实施步骤如下：
[0039]
(6.1)以完整车辆轨迹数据集合loc
*
内的车辆轨迹点p
i*
为基准，找到p
i*
的前一个车辆轨迹点和后一个车辆轨迹点计算p
i*
到的真实距离和p
i*
到的真实距离设定地球是一个完美的球体，re为地球半径。具体的真实距离公式如下所示：
[0040][0041][0042]
其中，j＝i-1,i 1，真实距离由两点间的弧度计算得出；
[0043]
(6.2)根据前一个车辆轨迹点中的当前车辆加速度计算出到p
i*
的相对距离相对距离的具体计算公式如下所示：
[0044][0045]
其中，为前一个车辆轨迹点中的速度，为前一个车辆轨迹点中的时间戳，t
i*
为车辆轨迹点p
i*
中的时间戳，同理可计算出p
i*
到的相对距离
[0046]
(6.3)当之和与之和大于真实距离与相对距离的最大差值dis
thr
，则将p
i*
标记为车辆轨迹离群点，并将该车辆轨迹离群点p
i*
加入至车辆轨迹离群域o中；反之，则将p
i*
加入至车辆轨迹正常域c中。具体判断相
差大小的公式如下所示：
[0047][0048]
(6.4)将车辆轨迹离群域o内的所有车辆轨迹离群点进行合并，得到离群点集合其中x≠y；将车辆轨迹正常域c内的所有车辆轨迹点进行合并，得到正常点集合
[0049]
上述步骤(7)中根据车辆轨迹数据样本中的初始数据对车辆轨迹数据中的离群点进行修正，使得整个轨迹符合质点运动学规律，即，速度、时间、里程和当前所在位置能互相匹配，具体实施步骤如下：
[0050]
(7.1)以离群点集合loco内的车辆轨迹缺失点p
i*
为修正对象，p
i*
中需要修正的特征字段包括速度v
i*
、方向经度纬度以及当前车辆加速度在正常点集合locc内找到p
i*
的前一个车辆轨迹点和后一个车辆轨迹点
[0051]
(7.2)当方向时，找到一条经过并垂直于纬度为纬线的直线l；当方向或者时，找到一条与并垂直于经度经线的直线l；当方向不为上述两种情况，则沿着该方向找到一条直线l。
[0052]
直线l的具体定义公式如下所示：
[0053][0054]
(7.3)计算出p
i*
到的相对距离以的经度和纬度为圆心点，相对距离为半径r，做一个圆r。圆r的标准方程如下所示：
[0055][0056]
(7.4)依据上述所获得的直线l和圆r，计算出圆心到直线l的距离d。该距离d的具体计算公式如下所示：
[0057][0058]
(7.5)修正p
i*
的经度和纬度的过程具体分为三种情况：
[0059]
a)当圆心到直线l的距离d小于圆r的半径r时，找到直线l与圆r相交的两个车辆轨迹预测点p'a(lon'a,lat'a)和p'b(lon'b,lat'b)，根据欧式距离公式分别
计算出p'a和p'b到距离l
(a,i-1)
、l
(b,i-1)
。找到l
(a,i-1)
、l
(b,i-1)
中最小值所对应的车辆轨迹点p'i(lon'i,lat'i)，其中lon'i、lat'i即为p
i*
修正后的经度与纬度；
[0060]
b)当圆心到直线l的距离d等于圆r的半径r，找到直线l与圆r相切的一个车辆轨迹预测点p'i(lon'i,lat'i)，其中lon'i、lat'i即为p
i*
修正后的经度与纬度；
[0061]
c)当圆心到直线l的距离d大于圆r的半径r，则计算出经过圆心并垂直于直线l的法线l'。法线方程l'的具体公式如下所示：
[0062][0063]
若则法线方程为若则法线方程为找到法线l'与圆r相交的两个车辆轨迹预测点p'c(lon'c,lat'c)和p'd(lon'd,lat'd)，分别计算出p'c和p'd到的距离l
(c,i-1)
、l
(d,i-1)
，找到l
(c,i-1)
、l
(d,i-1)
中最小值所对应的车辆轨迹点p'i(lon'i,lat'i)，其中lon'i、lat'i即为p
i*
修正后的经度与纬度；
[0064]
(7.6)依据p
i*
中修正后的经度lon'i、纬度lat'i与后一点车辆轨迹点计算出p
i*
与之间的弧度通过弧度化角度公式，计算p
i*
中修正后的方向θ'i。具体弧度化角度公式如下所示：
[0065][0066]
同理，根据p
i*
中修正后的经度lon'i、纬度lat'i和前一点计算出修正后的方向θ'i；
[0067]
(7.7)依据前一个车辆轨迹点中的速度v
i 1
和当前加速度计算出p
i*
中修正后的速度v'i。具体公式如下所示：
[0068][0069]
(7.8)根据前一个车辆轨迹点中的时间戳速度p
i*
修正后的速度v'i及原始的时间戳t
i*
，计算出p
i*
中修正后的当前车辆加速度a'i；
[0070]
(7.9)修正完后的loco与正常点集合locc进行合并，合并的集合作为最终清洗过的完整车辆轨迹数据。
[0071]
与现有技术相比，本发明的优点在于：
[0072]
本发明使用一种车辆轨迹数据清洗与校准方法清洗车辆轨迹数据，该方法修正了离群轨迹对车辆轨迹数据的影响，清洗后的数据质量能更加真实地反映出该车辆的行驶状态，更准确地统计到车辆的各项属性，减少之后数据分析的偏差，从而为后续制定对应的车辆安全操作时提供准确的数据。
附图说明
[0073]
图1是本发明实施例的方法流程图；
[0074]
图2是在圆心与直线相交的情况下修正经度和纬度的示意图；
[0075]
图3是在圆心与直线相切的情况下修正经度和纬度的示意图；
[0076]
图4是在圆心与直线无交点的情况下修正经度和纬度的示意图。
具体实施方式：
[0077]
下面将结合本发明实施例中的附图，对本发明的具体实施方式作进一步详细说明。需要注意的是，此处根据本发明一种车辆轨迹数据清洗与校准方法的具体实施例仅作为举例，并不用于限定本发明。
[0078]
本实施例公开了一种车辆轨迹数据清洗与校准方法，如图1方法流程图所示，本发明采用以下步骤对车辆轨迹数据进行清洗：
[0079]
(1)建立包含特征字段的车辆轨迹数据样本，其中特征字段由初始字段和扩展字段组成，所述初始字段由车辆行程采集器获取，所述扩展字段由所述初始字段计算得出；
[0080]
(2)对车辆轨迹数据样本进行去重；
[0081]
(3)选取所需检测的特征字段；
[0082]
(4)对所需检测的特征字段进行缺失点排查；
[0083]
(5)对车辆轨迹缺失点的特征字段进行数据填补；
[0084]
(6)依据真实距离检测法对车辆轨迹数据样本进行车辆轨迹离群点标识；
[0085]
(7)根据车辆轨迹数据样本中的初始数据对车辆轨迹离群点进行修正。
[0086]
上述步骤(1)中建立包含特征字段的车辆轨迹数据样本，具体操作过程如下：
[0087]
(1.1)建立包含特征字段的车辆轨迹数据样本，车辆轨迹数据样本由n个车辆轨迹点组成，将该车辆轨迹数据样本表示为loc＝{p1,p2,...,pn}，i＝1,2,...,n，其中pi表示第i个车辆轨迹点，n为车辆轨迹数据中车辆轨迹点的个数；车辆轨迹点pi具体包括的初始字段有：车牌号idi、时间戳ti、速度vi、方向θi、经度loni、纬度lati以及所属单位cori，车辆轨迹点pi具体包括的扩展字段有：当前车辆加速度ai；
[0088]
(1.2)扩展字段内的当前车辆加速度ai由所述初始字段计算得出。具体计算当前车辆加速度ai的公式如下所示：
[0089][0090]
上述步骤(2)中对车辆轨迹数据样本进行去重，具体操作过程如下：
[0091]
(2.1)根据时间戳ti的顺序，对车辆轨迹数据样本内的车辆轨迹点pi进行排序；
[0092]
(2.2)以时间戳ti为基准，找到与时间戳ti相等的所有车辆轨迹点，将这些车辆轨迹点从loc内除去并加入至车辆轨迹时间重复数据集loc'中；若loc'内的车辆轨迹点pi为时间戳的起始点，则计算出该车辆轨迹点到后一个时间戳下的车辆轨迹点p
x
的欧氏距离；若loc'内的车辆轨迹点pi为时间戳的结束点，则计算出该车辆轨迹点到前一个时间戳内的车辆轨迹点py的欧氏距离。具体的欧氏距离公式如下所示：
[0093]
[0094]
其中，m，n为需要计算欧氏距离的两个车辆轨迹点的下标；同理，计算出loc'内所有车辆轨迹点的欧氏距离，将loc'内欧氏距离最小的车辆轨迹点作为该时间戳下的车辆轨迹点；
[0095]
(2.3)将loc'内的车辆轨迹点与被提取后的loc进行合并，根据时间戳的顺序重新编号，得到去重后的车辆轨迹数据样本locd＝{p1,p2,...,pm}，其中m为去重后的车辆轨迹数据中车辆轨迹点个数。
[0096]
上述步骤(3)中选取所需检测的特征字段，具体操作过程如下：
[0097]
(3.1)根据采集的数据样本为一辆车的某一时间段的车辆轨迹数据，选取所需检测的特征字段包括：时间戳t、速度v、方向θ、经度lon、纬度lat以及当前车辆加速度a。
[0098]
上述步骤(4)中对于所需检测的特征字段进行缺失点排查，具体操作过程如下：
[0099]
(4.1)依据采集器设定的采集时间间隔t＝15(单位：秒)，对车辆轨迹数据样本locd＝{p1,p2,...,pm}中的任意车辆轨迹点pi进行检测，若pi中存在缺失的特征字段，则将pi标记为车辆轨迹缺失点，并将该车辆轨迹缺失点pi加入缺失车辆轨迹域s中；若pi中不存在缺失的特征字段，则将pi加入无缺失车辆轨迹域a中；
[0100]
(4.2)对下一个车辆轨迹点p
i 1
重复(4.1)，直至最后一个车辆轨迹点pn检测结束；
[0101]
(4.3)将缺失车辆轨迹域s内的所有车辆轨迹缺失点进行合并得到缺失点集合其中a≠b；将无缺失车辆轨迹域a内的所有车辆轨迹点进行合并得到无缺失点集合
[0102]
上述步骤(5)中对车辆轨迹缺失点的特征字段进行数据填补，具体操作过程如下：
[0103]
(5.1)以缺失点集合locs内的车辆轨迹缺失点pi为填补对象，在无缺失点集合loca内以i为中心点下标，前后各获取m＝20个车辆轨迹点，将该组数据记为
[0104]
(5.2)分别计算出内的车辆轨迹缺失点pk中需填补的特征字段：时间戳tk、速度vk、方向θk、经度lonk、纬度latk，其中k＝i-m,...,i-1,i 1,...,i m。具体计算单个特征字段的公式如下所示：
[0105][0106]
(5.3)通过步骤(1.2)中的公式计算出pk中需填补的当前车辆加速度ak；
[0107]
(5.4)对下一个车辆轨迹缺失点p
k 1
重复(5.1)至(5.3)，直至缺失点集合locs内的最后一个车辆轨迹缺失点填补结束；
[0108]
(5.5)填补完的缺失点集合locs与无缺失点集合loca合并，按照时间戳的顺序，重新编号得到完整车辆轨迹数据集其中p
i*
为填补后的车辆轨迹点，u为完整车辆轨迹数据集中的车辆轨迹点个数。
[0109]
上述步骤(6)中提到的真实距离检测法，具体实施步骤如下：
[0110]
(6.1)以完整车辆轨迹数据集合loc
*
内的车辆轨迹点p
i*
为基准，找到p
i*
的前一个
车辆轨迹点和后一个车辆轨迹点计算p
i*
到的真实距离和p
i*
到的真实距离设定地球是一个完美的球体，re＝6371(单位：千米)为地球半径。具体的真实距离公式如下所示：
[0111][0112][0113]
其中，j＝i-1,i 1，真实距离由两点间的弧度计算得出；
[0114]
(6.2)根据前一个车辆轨迹点中的当前车辆加速度计算出到p
i*
的相对距离相对距离的具体计算公式如下所示：
[0115][0116]
其中，为前一个车辆轨迹点中的速度，为前一个车辆轨迹点中的时间戳，t
i*
为车辆轨迹点p
i*
中的时间戳，同理可计算出p
i*
到的相对距离
[0117]
(6.3)当之和与之和大于真实距离与相对距离的最大差值dis
thr
＝1.98(单位：千米)，则将p
i*
标记为车辆轨迹离群点，并将该车辆轨迹离群点p
i*
加入至车辆轨迹离群域o中；反之，则将p
i*
加入至车辆轨迹正常域c中。具体判断相差大小的公式如下所示：
[0118][0119]
(6.4)将车辆轨迹离群域o内的所有车辆轨迹离群点进行合并，得到离群点集合其中x≠y；将车辆轨迹正常域c内的所有车辆轨迹点进行合并，得到正常点集合
[0120]
上述步骤(7)中根据车辆轨迹数据样本中的初始数据对车辆轨迹数据中的离群点进行修正，使得整个轨迹符合质点运动学规律，即，速度、时间、里程和当前所在位置能互相匹配，具体实施步骤如下：
[0121]
(7.1)以离群点集合loco内的车辆轨迹缺失点p
i*
为修正对象，p
i*
中需要修正的特征字段包括速度v
i*
、方向经度纬度以及当前车辆加速度在正常点集合locc内找到p
i*
的前一个车辆轨迹点和后一个车辆轨迹点
[0122]
(7.2)当方向时，找到一条经过并垂直于纬度为纬线的直线l；当方向或者时，找到一条与并垂直于经度经线的直线l；当方向不为上述两种情况，则沿着该方向找到一条直线l。直线l的具体定义公式如下所示：
[0123][0124]
(7.3)计算出p
i*
到的相对距离以的经度和纬度为圆心点，相对距离为半径r，做一个圆r。圆r的标准方程如下所示：
[0125][0126]
(7.4)依据上述所获得的直线l和圆r，计算出圆心到直线l的距离d。该距离d的具体计算公式如下所示：
[0127][0128]
(7.5)修正p
i*
的经度和纬度的过程具体分为三种情况：
[0129]
a)当圆心到直线l的距离d小于圆r的半径r时，找到直线l与圆r相交的两个车辆轨迹预测点p'a(lon'a,lat'a)和p'b(lon'b,lat'b)，根据欧式距离公式分别计算出p'a和p'b到距离l
(a,i-1)
、l
(b,i-1)
。找到l
(a,i-1)
、l
(b,i-1)
中最小值所对应的车辆轨迹点p'i(lon'i,lat'i)，其中lon'i、lat'i即为p
i*
修正后的经度与纬度；
[0130]
b)当圆心到直线l的距离d等于圆r的半径r，找到直线l与圆r相切的一个车辆轨迹预测点p'i(lon'i,lat'i)，其中lon'i、lat'i即为p
i*
修正后的经度与纬度；
[0131]
c)当圆心到直线l的距离d大于圆r的半径r，则计算出经过圆心并垂直于直线l的法线l'。法线方程l'的具体公式如下所示：
[0132][0133]
若则法线方程为若则法线方程为找到法线l'与圆r相交的两个车辆轨迹预测点p'c(lon'c,lat'c)和p'd(lon'd,lat'd)，分别计算出p'c和p'd到的距离l
(c,i-1)
、l
(d,i-1)
，找到l
(c,i-1)
、l
(d,i-1)
中最小值所对应的车辆轨迹点p'i(lon'i,lat'i)，其中lon'i、lat'i即为p
i*
修正后的经度与纬度；
[0134]
(7.6)依据p
i*
中修正后的经度lon'i、纬度lat'i与后一点车辆轨迹点计算出p
i*
与之间的弧度通过弧度化角度公式，计算p
i*
中修正后的方向θ'i。具体弧度化角度公式如下所示：
[0135][0136]
同理，根据p
i*
中修正后的经度lon'i、纬度lat'i和前一点计算出修正后的方向θ'i；
[0137]
(7.7)依据前一个车辆轨迹点中的速度v
i 1
和当前加速度计算出p
i*
中修正后的速度v'i。具体公式如下所示：
[0138][0139]
(7.8)根据前一个车辆轨迹点中的时间戳速度p
i*
修正后的速度v'i及原始的时间戳t
i*
，计算出p
i*
中修正后的当前车辆加速度a'i；
[0140]
(7.9)修正完后的loco与正常点集合locc进行合并，合并的集合作为最终清洗过的完整车辆轨迹数据。
[0141]
以上所述为本发明的较佳实例，但本发明不应该局限于该实例和附图所公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。