一种海量物联网数据模型化的处理、存储与共享方法与流程

技术特征：
1.一种海量物联网数据模型化的处理、存储与共享方法，其特征在于，将物联网数据分为结构化数据和非结构化数据，将结构化数据分为传感数据和业务数据，将传感数据分为动态数据和静态数据；传感数据包括物联网设备的基本描述信息及其采集的数据，业务数据包括物联网应用系统产生的数据，非结构化数据包括视频、音频和图片数据，动态数据为物联网设备采集的数据或与物联网设备采集的数据相关的数据，静态数据为物联网设备的基础信息，该方法的步骤具体包括：s1，建立物联网结构化数据模型；s2，建立物联网非结构化数据模型；物联网非结构化数据模型，是一种基于hbase数据库的数据模型；物联网非结构化数据模型包括映射表，映射表用于将非结构化数据对应成固定表达方式，其映射表的索引包括行关键字、列关键字和时间戳，时间戳用于标识物联网数据的更新；s3，对物联网数据进行边缘融和处理；对于具有存储能力的物联网设备，通过自定义的并加载于物联网设备的软件系统或者利用物联网设备本身数据格式转换功能，进行物联网数据格式转换和边缘融和处理，对数据进行去冗余处理，在物联网设备上直接传输经格式转换的数据，对于不具备存储能力的低功耗设备，将原格式数据透传至接入服务器，利用统一脚本进行解析；s4，物联网设备数据进行去冗余存储；对于去冗余存储，采用数据分块和指纹管理技术，对于一个新的数据块，若该数据块的指纹在指纹表中没有与之相同的指纹，则该数据块的指纹为非重复数据块指纹，将该数据块的指纹插入指纹表中，若指纹表中存在与之相同的指纹，将该数据块与指纹表中相同指纹对应的数据块的循环冗余码进行比较，如果二个循环冗余码不同，判断该数据块为非重复数据块，如果二个循环冗余码相同，存储该数据块的地址指针；将指纹表保存于内存中，将非重复数据块保存于外存储器中；对物联网数据进行非重叠平均切块，得到若干个数据块，对每个数据块利用md5哈希算法进行计算，得到每个数据块的指纹，对每个数据块的指纹再利用md5哈希算法进行计算，得到每个数据块指纹的整数型索引值，得到每个数据块指纹的整数型索引值，数据块指纹和其对应的索引值，共同构成指纹表；在对指纹表做更改前，将指纹表通过映射的方式写入映射文件，将数据指纹的插入操作信息写入日志文件；s5，对物联网数据进行分类存储；将业务数据、传感数据和非结构化数据分别存储在关系型数据库、时序数据库和非关系型数据库中，对各个数据库进行统一标识，对物联网数据库的集群化管理，实现对物联网数据进行聚合与共享；对于非结构数据通过采用非结构化数据库hbase进行存储，再基于hadoop分布式文件系统对物联网数据创建索引和分布存储策略；s6，对各个数据库的数据进行共享；s7，对各服务器与物联网设备进行物联网数据的同步。2.如权利要求1所述的海量物联网数据模型化的处理、存储与共享方法，其特征在于，所述的步骤s1，其具体包括：定义物联网结构化数据模型，使多源异的海量数据建立统一规范化的数据格式；
物联网数据模型在数据存储应用层面包括属性描述和扩展描述；属性描述适用于静态数据和动态数据；扩展描述用于业务数据描述；在物联网结构化数据模型中，用xh代表当前记录的数据序列的唯一标识，sbid代表数据相关联的物联网设备的唯一标识，jxx代表静态信息，cpid代表某类型的数据概念模型；dxx代表动态信息；sjc代表数据产生的时间标注，bqxx代表扩展描述，用于描述设备标签信息，kz代表物联网设备的扩展传输信息；类在物联网结构化数据模型中用于表达基本概念，id是一个基本概念的唯一标识，name表明类的名字，范畴属性表达的是该模型中的结构数据的基本类型，包括整数类型、浮点数类型、字符类型；物联网结构化数据模型中的域和类属性表用于将类与范畴属性进行关联，进行关联后，类所代表的基本概念下包含范畴属性所表达的基本类型；物联网结构化数据模型中的类关系表表达的是类之间的关系，包括继承关系；本物联网结构化数据模型，具有数据异常事件提取功能，以滤除物联网数据采集过程中的干扰和噪声，并对物联网设备采集的数据进行过滤并分组，形成有效事件集。3.如权利要求1所述的海量物联网数据模型化的处理、存储与共享方法，其特征在于，所述的步骤s6，其具体包括：采用etl工具对数据库数据进行抽取和转换，并将转换后的数据加载至数据仓库，数据仓库是共享数据的存储器；利用黑板系统的方法，采用非结构化数据库hbase来建立数据仓库，数据仓库用于完成数据共享；运用发布－订阅模型对数据进行分发，发布－订阅模型包括消息发布者、消息订阅者和发布订阅服务器，在发布－订阅模型中，消息订阅者先注册主题，并在主题信息有变化时接收信息，当消息发布者把一条信息发送至发布订阅服务器时，服务器根据消息订阅者的注册主题与消息进行匹配比较，把信息发送给符合注册主题的消息订阅者；利用数据仓库，建立数据共享模型，数据共享模型包括节点、共享接口、数据复制模块、订阅数据模块、数据源和元数据管理模块；节点与共享接口相连，数据复制模块与数据源相连，数据复制模块与订阅数据模块相连，订阅数据模块与数据源相连，元数据管理模块与数据源相连；元数据管理模块用于完成元数据获取、查询、映射和etl操作；在数据共享模型中，数据仓库与每个数据库之间是通过数字仓库的接口与节点，共享对数字仓库的接口的管理，各数据库的映射接口由数据仓库和共享接口来提供，对已经形成连接的共享接口进行映射；在数据共享模型，作为黑板系统中的黑板出现的数据仓库与每个数据库之间是通过其数据仓库共享接口与节点共享接口的连接，实现数据重建和数据复制共享；数据复制共享通过对全局模式和节点模式之间的关系进行虚拟映射来实现；全局模式通过重新组合各节点模式的数据，形成全局模式视图；其中，数据库通过节点共享接口访问数据仓库的全局模式视图并获取数据，而当数据仓库接收到具体的数据获取请求时，全局模式视图会根据具体的数据获取请求，完成对数据库的数据抽取工作，然后将抽取来的数据转换成全局模式数据，用以提供给其他数据库获取。4.如权利要求1所述的海量物联网数据模型化的处理、存储与共享方法，其特征在于，所述的步骤s7，其具体包括：利用步骤s3中的方法，对各服务器与物联网设备中的物联网数据进行边缘融和处理，
在物联网终端上加载数据同步软件，对各服务器与物联网设备发布定时同步指令，启动数据同步过程，对该同步指令发布时刻前的各服务器与物联网设备中的存储器的所有存储路径下的数据进行同步，即对上次同步完成时刻与本次同步指令发布时刻之间的数据进行同步，采用hash指纹信息为基本标记的数据同步算法，同步时首先确认需要同步的数据的总长度，再对数据初始化；同步完成后，根据返回的数据指针文件，删除本次已同步的源文件；为了保证指针文件一致性，本同步过程需要从服务器下载数据的指针文件。

技术总结
本发明公开了一种海量物联网数据模型化的处理、存储与共享方法，将物联网数据分为结构化数据和非结构化数据，将结构化数据分为传感数据和业务数据，将传感数据分为动态数据和静态数据；该方法的步骤具体包括：建立物联网结构化数据模型；建立物联网非结构化数据模型；对物联网数据进行边缘融和处理；物联网设备数据进行去冗余存储；对物联网数据进行分类存储；对各个数据库的数据进行共享；对各服务器与物联网设备进行物联网数据的同步。本发明针对多源的海量物联网数据建立统一数据的物联网数据模型，改善了数据多源异构的问题,解决了数据存储冗余度高、数据处理时效性差等问题，提升了数据中心存储利用率，缓解传输压力及数据中心存储压力。及数据中心存储压力。及数据中心存储压力。


技术研发人员：夏文祥 蓝士斌 和斌
受保护的技术使用者：夏文祥
技术研发日：2021.09.26
技术公布日：2022/1/28