基于物联网的数据管理系统的制作方法

本申请属于数据处理领域，具体涉及一种基于物联网的数据管理系统。

背景技术：

1、随着物联网技术的迅猛发展，各行业中所使用的设备根据使用需求通常会配备物联网功能，例如医疗行业中由于疫苗、样本或细胞制品等存储需求的增加，出现了如-80℃医疗冰箱、液氮罐或转运冰箱等特种设备并且都具备互联网功能，设备在使用过程中产生源源不断的数据，技术人员可以使用此数据进行业务分析等操作。

2、由于设备型号不同或厂家不同，同时产生的数据量也非常多，导致收集的物联数据存储比较混乱，后续可扩展性、迁移性或安全性很难保障，并且海量设备数据直接写入数据库，大量且频繁的数据更新对数据库的稳定性造成威胁，而在使用者使用数据时，能够使用的数据量大小也十分有限，请求速度也比较慢。

3、综上所述，现有物联网设备数据存在存储混乱，大量数据写入或高并发大量数据被调用时数据库稳定性差的问题。

技术实现思路

1、为了解决现有物联网设备数据存在存储混乱，大量数据写入或高并发大量数据被调用时数据库稳定性差的问题，本申请提供了一种基于物联网的数据管理系统。

2、本申请提供一种基于物联网的数据管理系统，所述系统包括：多个医疗设备、消息中间件、消息消费集群、存储集群；

3、所述医疗设备，用于向所述消息中间件发布与其型号对应的主题的消息，所述消息中携带有其待存储至存储集群的物联网数据、物联网数据采集时间、所述医疗设备的型号和标识；

4、所述消息中间件，用于将所述消息缓存至其上与所述主题下对应的分区中；

5、所述消息消费集群，用于从所述消息中间件的至少一个分区中批量读取其所订阅的至少一个主题的消息，并将批量读取的消息发送至所述存储集群；

6、所述存储集群，用于根据消息中的物联网数据采集时间，确定其上该消息对应的分区，根据医疗设备的标识从该分区中确定待存储该消息的分桶，并将消息存储至该分桶中。

7、在一种可能的实现方式中，所述消息中间件，具体用于：

8、根据医疗设备的型号，以及，型号与主题的对应关系，从其已有主题中确定是否存在对应该医疗设备的型号，其中，所述医疗设备的型号与所述主题一一对应；

9、若存在，则将该主题作为该消息对应的主题，并将所述消息缓存至所述主题下对应的分区中；

10、若不存在，则创建新的主题和对应的新的分区，并将所述新的主题作为该消息对应的主题，将消息缓存至所述新的主题对应的新的分区中。

11、在一种可能的实现方式中，所述系统还包括：服务接口平台和多个客户端；

12、所述服务接口平台，用于接收来自所述客户端发送的物联网数据访问请求，以及，根据所述访问请求从所述存储集群中获取相应物联网数据，并发送至所述客户端。

13、在一种可能的实现方式中，所述服务接口平台，具体用于：

14、向所述客户端发送所述存储集群中的分区及分桶规则；

15、接收所述客户端基于所述分区及分桶规则的物联网数据访问请求。

16、在一种可能的实现方式中，所述消息中间件，还用于：

17、获取所述系统中各医疗设备型号下的医疗设备的标识；

18、以医疗设备的型号构建主题，并构建所述医疗设备的型号与多个主题的关联关系；

19、在每个主题中，以设备标识构建分区，其中，同一主题对应至少一个分区；

20、向医疗设备推送其对应的主题和分区，并向所述消息消费集群推送构建的主题和分区。

21、在一种可能的实现方式中，所述存储集群上的分区包括至少两个主分区和至少两个备份分区；所述存储集群，具体用于：

22、根据消息中的物联网数据采集时间，确定该消息对应的主分区和备份分区，其中，所述主分区和所述备份分区是根据预设时间周期划分的分区；

23、根据医疗设备的标识分别从该主分区和备份分区中确定待存储该消息的分桶，并将消息存储至主分区和备份分区的分桶中。

24、在一种可能的实现方式中，所述存储集群包括前端处理节点和后端处理节点；

25、所述前端处理节点用于从分区中查询物联网数据；

26、所述后端处理节点用于根据消息中的物联网数据采集时间，确定其上该消息对应的分区，根据医疗设备的标识从该分区中确定待存储该消息的分桶，并将消息存储至该分桶中。

27、在一种可能的实现方式中，所述存储集群还具体用于：

28、根据医疗设备的标识，通过哈希算法，得到哈希值；

29、根据所述哈希值得到该分区中存储该消息的分桶的分桶序号，其中，所述哈希值与所述分桶在该分区中的分桶序号相同；

30、根据该分桶序号，将消息存储至该分桶中。

31、在一种可能的实现方式中，所述医疗设备的标识为医疗设备的整机标识或医疗设备的数据监控标识。

32、在一种可能的实现方式中，所述消息中间件为基于kafka的中间件，所述存储集群为基于doris的集群，所述消息消费集群为基于flink的消费集群。

33、本实施例提供的基于物联网的数据管理系统，通过消息中间件接收医疗设备发布的消息，该消息包括物联网数据采集时间、医疗设备的型号和标识，消息中间件将该消息存储于对应主题下的分区中，消息消费集群对消息中间件中的消息进行批量读取并存储于存储集群中，存储集群根据物联网数据采集时间及标识信息，将消息存储至对应分区中的分桶中，该系统避免了数据存储混乱的问题，并且提高了用户可调用的数据量及调用速度，以及，大量数据写入或高并发大量数据被调用时数据库的稳定性。

技术特征：

1.一种基于物联网的数据管理系统，其特征在于，所述系统包括：多个医疗设备、消息中间件、消息消费集群、存储集群；

2.根据权利要求1所述的系统，其特征在于，所述消息中间件，具体用于：

3.根据权利要求2所述的系统，其特征在于，所述系统还包括：服务接口平台和多个客户端；

4.根据权利要求3所述的系统，其特征在于，所述服务接口平台，具体用于：

5.根据权利要求2所述的系统，其特征在于，所述消息中间件，还用于：

6.根据权利要求1或2所述的系统，其特征在于，所述存储集群上的分区包括至少两个主分区和至少两个备份分区；所述存储集群，具体用于：

7.根据权利要求1所述的系统，其特征在于，所述存储集群包括前端处理节点和后端处理节点；

8.根据权利要求1所述的系统，其特征在于，所述存储集群还具体用于：

9.根据权利要求1所述的系统，其特征在于，所述医疗设备的标识为医疗设备的整机标识或医疗设备的数据监控标识。

10.根据权利要求1所述的系统，其特征在于，所述消息中间件为基于kafka的中间件，所述存储集群为基于doris的集群，所述消息消费集群为基于flink的消费集群。

技术总结本申请属于数据处理领域，具体涉及一种基于物联网的数据管理系统，该系统包括：多个医疗设备、消息中间件、消息消费集群、存储集群；医疗设备，用于向消息中间件发布与其型号对应的主题的消息；消息中间件，用于将消息缓存至其上与主题下对应的分区中；消息消费集群，用于从消息中间件的至少一个分区中批量读取其所订阅的至少一个主题的消息，并将批量读取的消息发送至存储集群；存储集群，用于根据消息中的物联网数据采集时间，确定其上该消息对应的分区，根据医疗设备的标识从该分区中确定待存储该消息的分桶，并将消息存储至该分桶中，该系统提高了用户可调用的数据量及调用速度，以及，大量数据写入或高并发大量数据被调用时数据库的稳定性。技术研发人员：唐兵,李云鹏,王广生,张景国,王晗受保护的技术使用者：青岛海尔生物医疗科技有限公司技术研发日：技术公布日：2024/8/1