基于数据验证的海图数据资源管理方法及系统与流程

本发明涉及数据处理，尤其涉及一种基于数据验证的海图数据资源管理方法及系统。

背景技术：

1、随着海上航行需求的增加以及海图数据绘制技术水平的提高，越来越多的海上区域的海图数据被绘制以及保存，形成了大量的海图数据资源，如何对这些海图数据资源进行高效的管理成为了重要的技术问题。现有的海图数据资源管理技术中，一般仅是单纯对海图数据根据对应的区域或编号进行保存，没有考虑对同一区域的不同数据进行交叉验证，以及对数据进行分布式保存，因此数据管理的效率较低，数据正确度不足，且数据保存的安全性不高。可见，现有技术存在缺陷，亟待解决。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种基于数据验证的海图数据资源管理方法及系统，能够有效提高海图数据的数据准确性和管理效率，提高海图数据储存的安全性。

2、为了解决上述技术问题，本发明第一方面公开了一种基于数据验证的海图数据资源管理方法，所述方法包括：

3、获取目标海洋区域对应的多个海图数据；

4、根据每一所述海图数据以及对应的数据获取参数，确定每一所述海图数据的可信度参数；

5、根据所述可信度参数对所有所述海图数据进行交叉验证，以得到所述目标海洋区域对应的验证海图数据；

6、对所述验证海图数据进行分割得到多个数据部分，将所述多个数据部分储存至多个服务器节点。

7、作为一个可选的实施方式，在本发明第一方面中，所述数据获取参数包括传感数据获取设备参数、传感数据获取位置、模型数据计算设备参数、模型数据计算用时和模型数据计算耗能；所述传感数据获取设备参数或所述模型数据计算设备参数包括设备型号、设备性能参数和设备位置。

8、作为一个可选的实施方式，在本发明第一方面中，所述根据每一所述海图数据以及对应的数据获取参数，确定每一所述海图数据的可信度参数，包括：

9、对于每一所述海图数据，将该海图数据以及对应的所述数据获取参数，输入至训练好的可信度预测神经网络中，以得到该海图数据对应的可信度预测概率；所述可信度预测神经网络通过包括有多个训练海图数据和对应的数据获取参数标注和可信度标注的训练数据集训练得到；

10、计算该海图数据和所有其他所述海图数据之间的海图差异度的平均值，得到该海图数据对应的差异度参数；

11、计算该海图数据对应的数据复杂度与所述目标海洋区域对应的参考复杂度阈值之间的复杂度差值；

12、计算该海图数据对应的所述可信度预测概率和第一权重和第二权重的乘积，得到该海图数据的可信度参数；所述第一权重和所述差异度参数成反比；所述第二权重和所述复杂度差值成反比。

13、作为一个可选的实施方式，在本发明第一方面中，所述海图差异度通过以下规则进行计算：

14、对于两个海图数据，计算两个海图数据中的陆地边界对象之间的边界差异度；

15、计算两个海图数据的海中障碍区域对象之间的区域差异度；

16、计算两个海图数据的浮动物对象之间的浮动物差异度；

17、计算所述边界差异度、所述区域差异度和所述浮动物差异度之间的加权求和值，得到两个海图数据之间的海图差异度；其中，所述边界差异度、所述区域差异度和所述浮动物差异度对应的权重依次减小。

18、作为一个可选的实施方式，在本发明第一方面中，所述数据复杂度通过以下规则进行计算：

19、计算所述海图数据中的所有数据的数据类型数量；

20、确定出所述海图数据中的所有琐碎对象；所述琐碎对象的数据量大小低于数据量阈值或对象面积大小低于面积阈值；

21、计算所有所述琐碎对象的对象总数量；

22、计算所有所述琐碎对象的对象位置分布的离散程度；

23、计算所述数据类型数量、所述对象总数量和所述离散程度的加权求和值，得到所述海图数据对应的数据复杂度；其中，所述离散程度、所述对象总数量和所述数据类型数量对应的权重依次减小。

24、作为一个可选的实施方式，在本发明第一方面中，所述根据所述可信度参数对所有所述海图数据进行交叉验证，以得到所述目标海洋区域对应的验证海图数据，包括：

25、筛选出所有所述可信度参数大于第一可信度阈值的所述海图数据，得到多个优选海图数据；

26、对所有所述优选海图数据进行数据平均计算，得到基础验证海图数据；

27、将所有所述可信度参数小于第二可信度阈值的所述海图数据进行剔除；

28、筛选出所有所述可信度参数小于所述第一可信度阈值且大于所述第二可信度阈值的所述海图数据，得到多个摇摆海图数据；

29、判断所有所述摇摆海图数据的总数量是否大于预设的数量阈值，若否，将所述基础验证海图数据确定为所述目标海洋区域对应的验证海图数据；

30、若是，基于所述摇摆海图数据对所述基础验证海图数据进行修正以得到所述目标海洋区域对应的验证海图数据。

31、作为一个可选的实施方式，在本发明第一方面中，所述基于所述摇摆海图数据对所述基础验证海图数据进行修正以得到所述目标海洋区域对应的验证海图数据，包括：

32、计算所有所述摇摆海图数据中的陆地边界对象和所述基础验证海图数据中的陆地边界对象的边界均值，以对所述基础验证海图数据中的陆地边界对象进行修正；

33、忽略所有所述摇摆海图数据中的浮动物对象；

34、对于每一所述摇摆海图数据，判断该摇摆海图数据和所述基础验证海图数据的海中障碍区域对象之间的区域差异度是否大于差异度阈值，若否，忽略该摇摆海图数据中的海中障碍区域对象，若是，确定该摇摆海图数据为障碍相关海图数据；

35、计算所有所述障碍相关海图数据中的海中障碍区域对象和所述基础验证海图数据中的海中障碍区域对象的加权区域边界均值，以对所述基础验证海图数据中的陆地边界对象进行修正；其中每一海中障碍区域对应的均值计算权重和对应的海图数据的所述可信度参数成正比。

36、作为一个可选的实施方式，在本发明第一方面中，所述对所述验证海图数据进行分割得到多个数据部分，将所述多个数据部分储存至多个服务器节点，包括：

37、根据预设的所述目标海洋区域对应的区域细分规则，对所述验证海图数据进行分割得到多个区域海图数据；

38、对每一所述区域海图数据根据预设的数据类型划分规则进行分割，得到多个区域数据细分数据；

39、获取当前计算设备的设备数据传输速率和每一服务器节点对应的节点空间和节点传输距离；

40、设定目标函数为每一所述服务器节点对应的分配数据对应的不同区域数量和不同数据类型数量达到最大；

41、设定限制条件包括所述节点空间更大的服务器节点的分配数据更多、所述节点传输距离更大的服务器节点的分配数据更少和所有分配数据发送的传输用时的总和小于预设的用时阈值；所述传输用时根据所述设备数据传输速率和对应的服务器节点的所述节点传输距离来计算得到；

42、基于动态规划算法，根据所述目标函数和所述限制条件对所有所述区域数据细分数据进行迭代分配演算直至得到最优的分配方案；所述分配方案中包括有不同所述区域数据细分数据对应的所述服务器节点；

43、将每一所述区域数据细分数据发送至对应的服务器节点进行储存。

44、本发明实施例第二方面公开了一种基于数据验证的海图数据资源管理系统，所述系统包括：

45、获取模块，用于获取目标海洋区域对应的多个海图数据；

46、确定模块，用于根据每一所述海图数据以及对应的数据获取参数，确定每一所述海图数据的可信度参数；

47、验证模块，用于根据所述可信度参数对所有所述海图数据进行交叉验证，以得到所述目标海洋区域对应的验证海图数据；

48、储存模块，用于对所述验证海图数据进行分割得到多个数据部分，将所述多个数据部分储存至多个服务器节点。

49、作为一个可选的实施方式，在本发明第二方面中，所述数据获取参数包括传感数据获取设备参数、传感数据获取位置、模型数据计算设备参数、模型数据计算用时和模型数据计算耗能；所述传感数据获取设备参数或所述模型数据计算设备参数包括设备型号、设备性能参数和设备位置。

50、作为一个可选的实施方式，在本发明第二方面中，所述确定模块根据每一所述海图数据以及对应的数据获取参数，确定每一所述海图数据的可信度参数的具体方式，包括：

51、对于每一所述海图数据，将该海图数据以及对应的所述数据获取参数，输入至训练好的可信度预测神经网络中，以得到该海图数据对应的可信度预测概率；所述可信度预测神经网络通过包括有多个训练海图数据和对应的数据获取参数标注和可信度标注的训练数据集训练得到；

52、计算该海图数据和所有其他所述海图数据之间的海图差异度的平均值，得到该海图数据对应的差异度参数；

53、计算该海图数据对应的数据复杂度与所述目标海洋区域对应的参考复杂度阈值之间的复杂度差值；

54、计算该海图数据对应的所述可信度预测概率和第一权重和第二权重的乘积，得到该海图数据的可信度参数；所述第一权重和所述差异度参数成反比；所述第二权重和所述复杂度差值成反比。

55、作为一个可选的实施方式，在本发明第二方面中，所述海图差异度通过以下规则进行计算：

56、对于两个海图数据，计算两个海图数据中的陆地边界对象之间的边界差异度；

57、计算两个海图数据的海中障碍区域对象之间的区域差异度；

58、计算两个海图数据的浮动物对象之间的浮动物差异度；

59、计算所述边界差异度、所述区域差异度和所述浮动物差异度之间的加权求和值，得到两个海图数据之间的海图差异度；其中，所述边界差异度、所述区域差异度和所述浮动物差异度对应的权重依次减小。

60、作为一个可选的实施方式，在本发明第二方面中，所述数据复杂度通过以下规则进行计算：

61、计算所述海图数据中的所有数据的数据类型数量；

62、确定出所述海图数据中的所有琐碎对象；所述琐碎对象的数据量大小低于数据量阈值或对象面积大小低于面积阈值；

63、计算所有所述琐碎对象的对象总数量；

64、计算所有所述琐碎对象的对象位置分布的离散程度；

65、计算所述数据类型数量、所述对象总数量和所述离散程度的加权求和值，得到所述海图数据对应的数据复杂度；其中，所述离散程度、所述对象总数量和所述数据类型数量对应的权重依次减小。

66、作为一个可选的实施方式，在本发明第二方面中，所述验证模块根据所述可信度参数对所有所述海图数据进行交叉验证，以得到所述目标海洋区域对应的验证海图数据的具体方式，包括：

67、筛选出所有所述可信度参数大于第一可信度阈值的所述海图数据，得到多个优选海图数据；

68、对所有所述优选海图数据进行数据平均计算，得到基础验证海图数据；

69、将所有所述可信度参数小于第二可信度阈值的所述海图数据进行剔除；

70、筛选出所有所述可信度参数小于所述第一可信度阈值且大于所述第二可信度阈值的所述海图数据，得到多个摇摆海图数据；

71、判断所有所述摇摆海图数据的总数量是否大于预设的数量阈值，若否，将所述基础验证海图数据确定为所述目标海洋区域对应的验证海图数据；

72、若是，基于所述摇摆海图数据对所述基础验证海图数据进行修正以得到所述目标海洋区域对应的验证海图数据。

73、作为一个可选的实施方式，在本发明第二方面中，所述验证模块基于所述摇摆海图数据对所述基础验证海图数据进行修正以得到所述目标海洋区域对应的验证海图数据的具体方式，包括：

74、计算所有所述摇摆海图数据中的陆地边界对象和所述基础验证海图数据中的陆地边界对象的边界均值，以对所述基础验证海图数据中的陆地边界对象进行修正；

75、忽略所有所述摇摆海图数据中的浮动物对象；

76、对于每一所述摇摆海图数据，判断该摇摆海图数据和所述基础验证海图数据的海中障碍区域对象之间的区域差异度是否大于差异度阈值，若否，忽略该摇摆海图数据中的海中障碍区域对象，若是，确定该摇摆海图数据为障碍相关海图数据；

77、计算所有所述障碍相关海图数据中的海中障碍区域对象和所述基础验证海图数据中的海中障碍区域对象的加权区域边界均值，以对所述基础验证海图数据中的陆地边界对象进行修正；其中每一海中障碍区域对应的均值计算权重和对应的海图数据的所述可信度参数成正比。

78、作为一个可选的实施方式，在本发明第二方面中，所述储存模块对所述验证海图数据进行分割得到多个数据部分，将所述多个数据部分储存至多个服务器节点的具体方式，包括：

79、根据预设的所述目标海洋区域对应的区域细分规则，对所述验证海图数据进行分割得到多个区域海图数据；

80、对每一所述区域海图数据根据预设的数据类型划分规则进行分割，得到多个区域数据细分数据；

81、获取当前计算设备的设备数据传输速率和每一服务器节点对应的节点空间和节点传输距离；

82、设定目标函数为每一所述服务器节点对应的分配数据对应的不同区域数量和不同数据类型数量达到最大；

83、设定限制条件包括所述节点空间更大的服务器节点的分配数据更多、所述节点传输距离更大的服务器节点的分配数据更少和所有分配数据发送的传输用时的总和小于预设的用时阈值；所述传输用时根据所述设备数据传输速率和对应的服务器节点的所述节点传输距离来计算得到；

84、基于动态规划算法，根据所述目标函数和所述限制条件对所有所述区域数据细分数据进行迭代分配演算直至得到最优的分配方案；所述分配方案中包括有不同所述区域数据细分数据对应的所述服务器节点；

85、将每一所述区域数据细分数据发送至对应的服务器节点进行储存。

86、本发明第三方面公开了另一种基于数据验证的海图数据资源管理系统，所述系统包括：

87、存储有可执行程序代码的存储器；

88、与所述存储器耦合的处理器；

89、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于数据验证的海图数据资源管理方法中的部分或全部步骤。

90、本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于数据验证的海图数据资源管理方法中的部分或全部步骤。

91、与现有技术相比，本发明实施例具有以下有益效果：

92、本发明能够基于数据获取参数和海图数据来确定可信度参数，然后基于可信度参数进行交叉验证以得到区域对应的准确海图数据，再进行分割以及分布式的储存以便于后续的交叉验证和安全防护，从而能够有效提高海图数据的数据准确性和管理效率，提高海图数据储存的安全性。