航运大数据动态指标生成、分析方法及系统与流程

1.本发明涉及一种航运大数据动态指标生成、分析方法及系统。


背景技术：

2.随着大数据时代的来临，大数据在各行各业有了更多的运用。作为古老的传统行业，航运信息产业化发展，航运业与大数据也已经开始结合。航运大数据是将大量零散、动态的航运数据沉淀、搜集、整理、建模后形成多维基础大数据模型。航运数据主要来源于海运业经营过程中产生的各类海量信息，主要包括ais信息、船舶档案信息、地理信息、港口信息和气象信息等：
3.ais信息主要包括船舶信息、时间信息、位置信息、航速航向信息、船舶状态信息几大部分。
4.船舶档案信息主要包括船舶名称、船舶编码、船型、船舶长宽、吃水等基础信息、船舶的主机辅机等信息、以及一些如船舶管理主体、经营主体等等归属信息。
5.地理信息主要包括经纬度信息、时区信息、国家信息、海区信息、海峡信息、运河信息等，还包括特战区、低硫区、海盗区等信息。
6.港口信息主要包括港口名称、港口位置、港口代码、港口时区、港口泊位等信息。
7.气象信息主要包括海洋气象数据，包括风速、风向、浪高、浪向、流速、流向等，以及天气信息，包括温度、风向、风速、湿度、气压、天气描述等。
8.随着物联网技术的发展，动态获取ais信息、船舶档案信息、地理信息、港口信息和气象信息已不是难题，然而如何利用获取到的航运大数据来形成具有航运指导价值的指标数据是目前亟待解决的技术问题。


技术实现要素：

9.本发明的目的是提供一种航运大数据动态指标生成、分析方法及系统，根据航运大数据持续生成与业务需求相关联的动态航运指标数据，并对生成的动态航运指标数据进行分析，可便于用户了解航运情况。
10.为解决上述技术问题，本发明提供一种航运大数据动态指标生成方法，该方法包括以下步骤：
11.s1：数据采集与预处理，实时采集监测区域的gis数据、船舶的ais数据和港口档案数据，并根据所述gis数据、ais数据和港口档案数据进行大数据实时处理得到船舶全生命周期动态信息；
12.s2：指标数据采样，根据业务需求确定采样参数，根据预设采样周期和采样频率从所述船舶全生命周期动态信息中自动检索与采样参数相匹配的船舶状态作为指标数据；
13.s3：生成动态指标数据，将检索出的指标数据按照采样时间点进行排列并保存，生成动态指标数据。
14.进一步地，所述检索周期包括开始时间和结束时间，若预设检索周期的开始时间
是过去的时间，且结束时间未设置，则一次性生成开始时间到当前日期的指标数据，并且持续生成未来的指标数据；若开始时间是未来的时间，则从未来时间点开始根据设置的采样频率持续生成指标数据；若结束时间未设置，则一直根据设置的采样频率持续生成指标数据；若结束时间已设置，则从开始时间生成到指定的结束时间的采样数据。
15.进一步地，所述船舶全生命周期动态信息包括：船舶英文名称，船舶名称，mmsi号，船舶类型，船旗，出发港，目的港，船舶航向，最南，最北，长江最西，imo，呼号，船型，船舶动态，预抵/动态时间，载重吨，长，宽，设计吃水，设计航速，建造年月，管理主体，运营主体，所有权主体，经纬度，对地航速，当前吃水，ais航行状态以及ais更新时间。
16.本技术还提供了一种航运大数据动态指标生成系统，该系统包括
17.数据采集与预处理模块，用于实时采集监测区域的gis数据、船舶的ais数据和港口档案数据，并根据所述gis数据、ais数据和港口档案数据进行大数据实时处理得到船舶全生命周期动态信息；
18.指标数据采样模块，用于根据业务需求确定采样参数，根据预设采样周期和采样频率从所述船舶全生命周期动态信息中自动检索与采样参数相匹配的船舶状态作为指标数据；
19.动态指标数据生成模块，用于将检索出的指标数据按照采样时间点进行排列并保存，生成动态指标数据。
20.本技术还提供了一种航运大数据动态指标分析方法，该方法包括以下步骤：
21.s1：读取指标数据，读取权利要求1
‑
3任一权利要求生成的所述动态指标数据，并将读取到的所述动态指标数据保存到数据库；
22.s2：选取指标数据，选取不同的所述动态指标数据，并将选出的所有动态指标数据加载到同一坐标系中；
23.s3：分析指标数据，采用拟合算法对不同的所述动态指标数据进行拟合处理，对不同的所述动态指标数据之间的相关性进行量化，得到不同的所述动态指标数据之间相关系数。
24.进一步地，在进行指标数据分析过程中，将采样周期的时间切片划分为日、周、月、季、年，当两个指标数据的时间切片不一致时，则自动将细粒度的指标数据进行聚合处理，形成与对应粗粒度的指标数相匹配的指标数据。
25.本技术还提供了一种航运大数据动态指标分析系统，该系统包括：
26.指标数据读取模块，用于读取上述航运大数据动态指标生成方法生成的所述动态指标数据，并将读取到的所述动态指标数据保存到数据库；
27.指标数据选取模块，用于选取不同的所述动态指标数据，并将选出的所有动态指标数据加载到同一坐标系中；
28.指标数据分析模块，用于采用拟合算法对不同的所述动态指标数据进行拟合处理，对不同的所述动态指标数据之间的相关性进行量化，得到不同的所述动态指标数据之间相关系数。
29.进一步地，该系统还包括用于将指标数据上传到系统中的数据上传模块。
30.进一步地，该系统还包括用于将读取到指标数据进行共享的数据共享模块和用于将共享的指标数据撤回共享的撤回模块。
31.进一步地，该系统还包括数据展示模块，用于将所述动态指标数据绘制成曲线进行展示。
32.本发明的有益效果为：通过从航运大数据中提取与根据业务需求相匹配的指标数据，并将采集出的指标数据按照采样时间点进行排列并保存，生成动态指标数据，可使用户直观地了解与业务需求相关的船舶数据；通过对生成的航运大数据动态指标进行分析，获取不同指标之间的关联，有利于用户更全面地了解航运情况，以便于及时对航运业务进行调整。
附图说明
33.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
34.图1为航运大数据动态指标生成方法的流程图；
35.图2为航运大数据动态指标生成系统的原理图；
36.图3为航运大数据动态指标分析方法的流程图；
37.图4为航运大数据动态指标分析系统的原理图。
具体实施方式
38.如图1所示的航运大数据动态指标生成方法，该方法包括以下步骤：
39.s1：数据采集与预处理，实时采集监测区域的gis数据、船舶的ais数据和港口档案数据，并根据所述gis数据、ais数据和港口档案数据进行大数据实时处理得到船舶全生命周期动态信息；其中，gis数据、船舶的ais数据和港口档案数据可以直接获取的，船舶全生命周期动态信息则是将根据大数据处理得到，如可根据船舶的位置得到当前的港口信息、船舶位置的气象、船舶位置的海区等信息、船舶预抵港口的时间信息等；
40.s2：指标数据采样，根据业务需求确定采样参数，根据预设采样周期和采样频率从所述船舶全生命周期动态信息中自动检索与采样参数相匹配的船舶状态作为指标数据；通过根据实际的业务需求，在船舶全生命周期动态信息中找出实际需要分析的指标数据，系统可以设置指标名称、单位、数据开始时间、结束时间等。比如可确定采样参数为“当前航行在马六甲船舶”进行搜索，采样参数可以保存到系统中，如果要考察过马六甲海峡的船舶数，可以依此为指标，搜索结果作为该指标数据的一次采样；
41.s3：生成动态指标数据，将检索出的指标数据按照采样时间点进行排列并保存，生成动态指标数据。
42.根据本技术的一个实施例，所述船舶全生命周期动态信息包括：船舶英文名称，船舶名称，mmsi号，船舶类型，船旗，出发港，目的港，船舶航向，最南，最北，长江最西，imo，呼号，船型，船舶动态，预抵/动态时间，载重吨，长，宽，设计吃水，设计航速，建造年月，管理主体，运营主体，所有权主体，经纬度，对地航速，当前吃水，ais航行状态以及ais更新时间。
43.根据本技术的一个实施例，上述步骤2中的所述检索周期包括开始时间和结束时间，若预设检索周期的开始时间是过去的时间，且结束时间未设置，则一次性生成开始时间到当前日期的指标数据，并且持续生成未来的指标数据；若开始时间是未来的时间，则从未
来时间点开始根据设置的采样频率持续生成指标数据；若结束时间未设置，则一直根据设置的采样频率持续生成指标数据；若结束时间已设置，则从开始时间生成到指定的结束时间的采样数据。
44.如图2公开了一种航运大数据动态指标生成系统，该系统包括
45.数据采集与预处理模块，用于实时采集监测区域的gis数据、船舶的ais数据和港口档案数据，并根据所述gis数据、ais数据和港口档案数据进行大数据实时处理得到船舶全生命周期动态信息；
46.指标数据采样模块，用于根据业务需求确定采样参数，根据预设采样周期和采样频率从所述船舶全生命周期动态信息中自动检索与采样参数相匹配的船舶状态作为指标数据；用户在输入采样参数时，可以根据系统所列的检索条件进行选择检索，或者使用语音进行系统输入，系统可以根据用户的输入转换为对应的检索条件；
47.动态指标数据生成模块，用于将检索出的指标数据按照采样时间点进行排列并保存，生成动态指标数据。
48.该动态指标生成方法及系统通过从航运大数据中提取与根据业务需求相匹配的指标数据，并将采集出的指标数据按照采样时间点进行排列并保存，生成动态指标数据，可使用户直观地了解与业务需求相关的船舶数据。
49.如图3公开了一种航运大数据动态指标分析方法，该方法包括以下步骤：
50.s1：读取指标数据，读取权利要求1
‑
3任一权利要求生成的所述动态指标数据，并将读取到的所述动态指标数据保存到数据库；
51.s2：选取指标数据，选取不同的所述动态指标数据，并将选出的所有动态指标数据加载到同一坐标系中；
52.s3：分析指标数据，采用拟合算法对不同的所述动态指标数据进行拟合处理，对不同的所述动态指标数据之间的相关性进行量化，得到不同的所述动态指标数据之间相关系数。
53.根据本技术的一个实施例，在进行指标数据分析过程中，将采样周期的时间切片划分为日、周、月、季、年，当两个指标数据的时间切片不一致时，则自动将细粒度的指标数据进行聚合处理，形成与对应粗粒度的指标数相匹配的指标数据；在进行聚合处理时，聚合函数可以是求均值、也可以是求和。通过将不同时间切片的指数数据统一到相同粒度，可以便于对比分析，同时可提高分析结果的准确性。
54.图4公开了一种航运大数据动态指标分析系统，该系统包括指标数据读取模块、指标数据选取模块和指标数据分析模块。
55.指标数据读取模块，用于读取上述航运大数据动态指标生成方法生成的所述动态指标数据，并将读取到的所述动态指标数据保存到数据库；指标数据读取模块能够读取并保存采样参数及持续生成的指数数据，
56.指标数据选取模块，用于选取不同的所述动态指标数据，并将选出的所有动态指标数据加载到同一坐标系中；选取指标时，可采用双y轴的方式进行绘制曲线，然后采用拖放的方式将选取的指数数据到对应的坐标系方式；在选取指标时，系统自动读取不同指标的起止时间，默认以最大的时间范围加载指标数据，可保证数据的完整性；同时系统也允用户许选择部分时间段内的数据，以保证数据分析的灵活性；
57.指标数据分析模块，用于采用拟合算法对不同的所述动态指标数据进行拟合处理，对不同的所述动态指标数据之间的相关性进行量化，得到不同的所述动态指标数据之间相关系数；用户在进行数据分析时，可按需在系统中选择以设置好的拟合算法模型进行自动拟合，用户可根据以直接在算法页面选择指标进行计算，也可以在指标对比页面选择算法。
58.指标数据选取模块还可以采用将指标进行数据转换的方式，将两组甚至多组数据转换为同一衡量尺度下的无量纲数据，绘制在同一坐标系中，更便于指标之间的趋势分析于比较。
59.数据存储使用postgresql数据库；数据计算及接口开发使用java语言；页面展示逻辑采用javascript语言实现。系统设计如下数据存储表：船舶信息表、ais历史信息表、当前ais信息表、港口信息表、海区信息表，其中船舶和ais有mmsi作为关联，其他信息均有经纬度作为判断的关联。如“当前航行在马六甲船舶”的采样参数便可以转换为“ais坐标在马六甲区域；船舶当前状态为航行”。
60.该系统通过对生成的航运大数据动态指标进行分析，获取不同指标之间的关联，有利于用户更全面地了解航运情况，以便于及时对航运业务进行调整。并且，在选取指标数据时，将不同的所述动态指标数据进行数据可视化展示，可便于用户直观地对不通的指数数据进行对比。
61.根据本技术的一个实施例，该系统还包括用于将指标数据上传到系统中的数据上传模块；数据上传模块许通过excel等文档格式上传指标数据，以便提供更加灵活的指标来源。
62.根据本技术的一个实施例，该系统还包括用于将读取到指标数据进行共享的数据共享模块和用于将共享的指标数据撤回共享的撤回模块；用户可通过数据共享模块将指标数据共享到公共区域，使用系统的其他人也可以使用这个指标数据；指标分享人可以撤回分享。
63.根据本技术的一个实施例，该系统还包括数据展示模块，用于将所述动态指标数据绘制成曲线进行展示。用户可以预览一段时间内的指标数据的数据趋势，以及每个采样点当时的船舶的状态。当用户将选取出的指标数据放到指标数据分析模块中后，系统自动加载数据，并将数据趋势绘制在展示区域。
64.该动态指标方法和分析系统通过对生成的航运大数据动态指标进行分析，获取不同指标之间的关联，有利于用户更全面地了解航运情况，以便于及时对航运业务进行调整。并且，在选取指标数据时，将不同的所述动态指标数据进行数据可视化展示，可便于用户直观地对不通的指数数据进行对比。
65.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。