一种面向城市步行交通网络的多源异构数据采集、处理和存储方法

本方法涉及城市步行交通的数据处理领域，具体涉及一种面向城市步行交通网络的多源异构数据采集、处理和存储方法。

背景技术：

1、步行交通作为与居民生活密切相关的基本活动方式，不仅体现了绿色和健康的出行理念，而且对解决城市病问题、提高群众的生产生活质量以及城市可持续发展起到了关键作用。近年来，国家层面相继发布了相关政策与导则，明确了发展城市步行和自行车交通的重要性，强调了其在预防交通拥堵、减少污染和能源消耗方面的战略地位。这些政策不仅着眼于城市更新时期对既有存量空间品质的提升，还关注了公众的绿色生活方式。

2、步行交通网络特征分析是通过深入分析城市步行交通网络的特征，从而为城市规划和改造提出指导性意见，促进步行交通设施的建设，以实现城市可持续发展的目标。当前步行交通网络特征分析存在的不足主要在于缺乏全面的多源数据采集、处理和存储的方法。首先，由于缺少统一的多源数据采集框架，当前的研究往往局限于特定数据类型的获取，导致对步行交通网络整体特征的理解不够全面。例如，道路网络和建筑物分布虽然对步行者的路径选择和体验产生显著影响，但由于数据采集的片面性，难以在分析中得到全面体现。其次，多源数据的处理、存储和管理方面也存在瓶颈。不同种类的数据需要采用不同的处理和存储方式，而目前缺乏一种统一的、高效的方法来整合这些数据，导致分析过程复杂且效率较低。因此，当前步行交通网络特征分析未能建立多源数据全流程的统一、标准化方法，制约了对城市步行环境的全面理解和优化规划。

3、在宜居城市和智慧城市建设持续推进的今天，大数据和信息技术与城市治理的结合已经成为国家战略的关键部署，步行交通网络特征分析缺乏多源数据采集、处理、存储和分析的整体方法，这限制了我们对步行者行为和城市环境交互影响的全面理解。因此，基于多源数据融合的城市步行交通网络特征分析方法将成为促进城市可持续发展的有力工具，为宜居城市和智慧城市的建设提供实质性的支持。

技术实现思路

1、发明目的：针对现有技术中存在的问题，本方法提出了一种面向城市步行交通网络的多源异构数据采集、处理和存储方法，以满足用户对特定区域步行环境进行深入、全面地研究。通过在城市范围内进行多源异构数据采集、经过有效的预处理、利用数据库进行高效存储，可服务于与城市步行交通网络的特征分析相关的研究工作。这一创新性的方法旨在为城市规划和交通管理提供数据依据，促进宜居城市和智慧城市建设的发展。

2、技术方案：本方法的一种面向城市步行交通网络的多源异构数据采集、处理和存储方法，包括如下步骤：

3、步骤a：在城市范围内，对步行交通网络的多源异构数据进行采集；

4、步骤b：首先对采集到的多源异构数据中的每一类数据分别进行预处理，再将处理后的多源异构数据进行数据融合；

5、步骤c：将经过处理后的数据存储在数据库中，其中每一类数据分别存储于相应的数据表中。

6、优选地，步骤a中，所述多源数据类型包括道路网络数据、公共交通数据、poi数据、植被覆盖数据、建筑物数据、交通路况数据和夜间灯光数据共7类数据，各类数据的来源如下：

7、a1.道路网络数据：本方法中通过对openstreetmap(https://www.openstreetmap.org/)的图元数据进行采集，获得道路网络数据；

8、a2.公共交通数据：本方法中使用的公共交通数据包含地铁数据和公交数据两类，所述地铁数据来源于高德数据接口(http://map.amap.com/subway/index.html)；所述公交数据来源于高德数据接口(https://lbs.amap.com/demo/javascript-api/example/bus-info/search-bus-route)以及8684公交网(https://m.8684.cn/)；

9、a3.poi数据：本方法中的poi数据是通过对高德地图api接口进行访问的方法进行采集(https://lbs.amap.com/demo/javascript-api/example/poi-search/get-search-data)；

10、a4.植被覆盖数据：本方法中使用的植被覆盖数据来源于包含了全球10米的土地覆盖产品的world cover数据集(https://viewer.esa-worldcover.org/worldcover/)；

11、a5.建筑物数据：本方法中的建筑物数据来源于高德api中的建筑物边界数据(https://lbs.amap.com/demo/javascript-api/example/layers/buildings)；

12、a6.交通路况数据：本方法中的交通路况数据是通过对百度api接口进行访问的方法进行采集(https://lbsyun.baidu.com/faq/api？title＝webapi/traffic)；

13、a7.夜间灯光数据：本方法中的夜间灯光数据来源于包含2018和2019年灯光数据的珞珈一号(http://59.175.109.173:8888/index.html)。

14、优选地，步骤b中对数据的处理主要包含两部分：

15、b1、所述的数据预处理是指将采集到的数据按所需字段对数据储存格式进行整理，各类型数据的预处理及预处理后的字段内容说明如下(不需要进行预处理操作的数据类型仅对字段内容进行说明)：

16、b11.道路网络数据：本方法中的道路网络数据通过交通仿真软件“交运之星——transtar”(以下简称“transtar”)进行数据获取和数据解析。所述的数据获取过程为，在transtar新建项目的“基础数据库构建”功能中，利用“osm路网构建”模块绘制或上传城市范围边界数据后，即可获取openstreetmap的图元数据，图元数据将保存至本地，数据文件拓展名为“osm”；所述的数据解析过程为，将本地的图元数据导入transtar中的“osm路网构建”模块，并选择解析精度为“高精度”，即可获得城市范围内的路网数据，所述路网数据包含每条路段的属性数据，所述路段属性包括：道路编号、道路坐标集、长度、类型、机动车道数、机动车道宽度、非机动车道宽度、机非隔离判断和道路名称，所述道路坐标集为描述道路线型的坐标点的集合；所述长度为路段的实际长度(单位为：m)；所述类型采用编码形式储存，路段类型编码对应关系为：0—城市高架道路、1—城市快速干道、2—城市主干道、3—城市次干道、4—城市支路、5—郊区公路、6—高速公路、7—轨道交通线路、8—水运航线、9—步行连接线；所述车道宽度的单位为：m；所述机非隔离判断是指机动车道和非机动车道之间是否存在隔离措施，如果存在则该项属性为“1”，反之为“0”；

17、b12.公共交通数据：本方法中的公交数据是通过在8684公交网中获取线路数据，所述线路数据包括线路名称以及所含站点名称，再通过高德数据接口获取各个站点的经纬度坐标信息，将两部分数据按照站点名称进行索引汇总，共同构成公交数据，每条数据包含线路名称、站点名称以及站点的坐标信息，其中线路名称中包含公交上下行方向的文字描述信息；本方法中的地铁数据包含城市地铁线路与站点数据，每条数据包含地铁线路名称、地铁站点名称以及地铁的站点坐标；

18、b13.poi数据：每条数据包含poi的id、类型编码和坐标信息，其中poi的种类标签分为大类、中类和小类，每一个小类对应一个poi的类型编码；

19、b14.植被覆盖数据：在world cover数据集中，植被覆盖数据为栅格数据，每种植被有对应的类型编码，例如：树木的编码为10，草地的编码为20，本方法中植被覆盖数据的预处理是将编码类型为10的数据进行筛选，每条数据包含植被种类以及栅格点坐标；

20、b15.建筑物数据：每条数据包含建筑物的层数以及建筑物的面状轮廓坐标数据，所述建筑轮廓坐标数据由一系列点坐标组成；

21、b16.交通路况数据：由于高德交通态势的api接口中规定矩形区域对角线大小不能超过10公里，因此需要对研究区域构建网格，按格爬取每个小矩形格内的路况数据，因此需要对多个小矩形格内数据进行预处理，所述预处理操作即将所有矩形格内的数据按照矩形所处位置汇总得到研究区域所有道路的路况信息，每条数据包括时间、道路名称、方向描述、路况、速度和道路起终点的坐标信息，所述路况字段使用数字0至4表示，其依次对应未知、畅通、缓行、拥堵和严重拥堵这5种道路状况；

22、b17.夜间灯光数据：由于数据格式为tiff类型的栅格数据，需要对灰度图像数据进行转化才能得到具体的亮度值数据，并且下载的原始数据中灯光的亮度值为官方进行绝对辐射校正后的经过拉伸的整数型数值，因此数据预处理操作需根据官方提供的拉伸公式对数据进行反拉伸即可得到绝对辐射校正后的辐射亮度值，转化公式如下：

23、l＝dn3/2×10-10

24、其中l表示绝对辐射校正后辐射亮度值，单位为w/(m2·sr·μm)，表示每平方米每球面弧度每微米的瓦特，dn表示灰度图像值；每条数据包括栅格坐标以及灯光亮度值信息。

25、b2、所述的数据融合是指以数据的空间位置信息(即坐标信息，由于各种数据来源不同，需要将坐标系进行统一，本方法中统一采用wgs84坐标系)为基础，，将公共交通数据、poi数据、植被覆盖数据、建筑物数据、交通路况数据和夜间灯光数据与路网数据进行匹配，其中公共交通数据、poi数据、建筑物数据和交通路况数据采用就近匹配原则(即在欧氏空间中按最近距离匹配)，选取最近路段进行匹配；植被覆盖数据和夜间灯光数据为区域数据，按照所覆盖的路段进行匹配；交通路况数据通过坐标信息和路网数据，可直接为每条路况信息匹配路段编号。

26、优选地，步骤c中，利用sql语句进行数据库和数据表的建立，根据本方法中的多种数据类型，所述数据库为关系型数据库，共需要建立8张数据表，从上至下依次对应道路网络数据、公交数据、地铁数据、poi数据、植被覆盖数据、灯光数据、建筑物数据和交通路况数据，根据b2中的所述的数据融合过程，在建立各个数据表时需要为各个数据表添加索引。根据关系数据库的建立方法，确定每个数据表的主键，并通过添加外键的方式进行关系索引，关系如下所示：

27、c1.路段数据表(道路编号，道路坐标集，长度，类型，机动车道数，机动车道宽度，机非隔离判断，道路名称，灯光区域编号，植被区域编号)，外键：灯光区域编号，植被区域编号；

28、c2.公交数据表(公交站点编号，线路名称，站点名称，站点横坐标，站点纵坐标，道路编号)，外键：道路编号；

29、c3.地铁数据表(地铁站点编号，线路名称，站点名称，站点横坐标，站点纵坐标，道路编号)，外键：道路编号；

30、c4.poi数据表(id，类型，横坐标，纵坐标，道路编号)，外键：道路编号；

31、c5.植被数据表(植被区域编号，类型，横坐标，纵坐标)；

32、c6.建筑物数据表(建筑物编号，建筑物层数，建筑轮廓坐标，道路编号)，外键：道路编号；

33、c7.实时路况数据表(道路编号，时间，方向描述，道路名称，路况，速度)；

34、c8.灯光数据表(灯光区域编号，横坐标，纵坐标，灯光亮度值)。

35、有益效果：相较于现有技术，本发明具有创新性，提出根据道路网络、公共交通、poi、植被覆盖率、建筑物分布、交通路况和夜间灯光等七个方面对步行交通网络进行全面分析。通过采集、处理和存储多源异构数据，高效整合各种数据，并利用数据之间的关系采用关系数据库对处理后的数据进行高效存储，为城市规划和交通管理提供了全面、可靠的数据支持，展现出重要的应用前景和发展潜力。