一种支持边缘异构设备接入的物联网中间件系统设计方法

本发明属于边缘计算领域，涉及一种支持边缘异构设备接入的物联网中间件系统设计方法。

背景技术：

1、物联网(iot)数据正在以指数级增长，据预测显示，到2025年将有超过410亿台物联网设备，产生高达790亿zb的庞大数据，物联网涉及众多互相关联的设备，这些设备产生并消耗大量的数据。在过去的几年里，物联网领域发展迅猛，其应用场景已经遍布于多个领域，无论是在学术界还是工业界都有所涉及。爱立信的一份报告显示：在典型的智能工厂中，估计物联网设备的数量达到每平方米0.5个。在人口稠密的地区，这个数字可以增加到每平方米1个。物联网(iot)相关技术的广泛采用和不断发展为众多新的应用场景打开了大门，这些场景将利用能够处理物联网数据的服务来实现沉浸式和实时应用程序，这将为这些应用的最终用户带来巨大的好处，这些用户可以利用众多物联网传感器和智能设备生成的数据来获取智能家居、智能农业、智慧水务以及水库安全等多个用例的重要信息，而智慧水务、水文水资源管理、水库安全又是当前全球面临的重要挑战，为了提高水质监测、供水管网管理、水文数据的采集和分析等方面的效率和可靠性，常见的解决方案是采用以云为中心来支持物联网的应用需求，即将边缘生成的物联网数据发送到云数据中心进行处理。

2、然而，考虑到大量物联网数据，以云为中心的方法可能会使可用的网络带宽饱和，并导致服务性能差和极高的延迟。事实上，如果基于云的解决方案能够提供庞大且可扩展的计算资源，它们就无法满足物联网应用程序的低延迟和实时要求。虽说集中式云计算一直在努力满足大规模物联网的网络需求，但是也会产生可扩展性的问题，传统的集中式云计算距离物联网设备较远，由于传输距离较远，可能会引入不可接受的通信延迟；它还导致云和物联网设备之间通信网络的带宽消耗明显增加，数据的安全性也得不到充分保障。与此同时，在智慧水务、水库安全等领域，视频、图像、水位和降雨量等重要信息成为保护水资源以及预防水灾的关键。随着物联网技术与这些领域的充分融合，不仅会产生前述的时延、带宽等问题，而且靠近网络边缘端的设备类型、通信协议、数据格式等方面也存在着多样化和差异化。它们所使用的硬件结构、通信方式都各不相同，这种异构性导致在系统开发、数据交互和应用部署时，需要面对兼容性、互操作性以及软件适配等方面的挑战。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种支持边缘异构设备接入的物联网中间件系统设计方法，使得物联网中间件可实现对底层设备异构性的屏蔽，利用边缘计算将数据分析下沉到边缘，降低网络带宽的消耗和缓解云服务器的计算压力。

2、为达到上述目的，本发明提供如下技术方案：

3、一种支持边缘异构设备接入的物联网中间件系统设计方法，具体地，在物联网中间件系统中，该方法设置其包括数据接入模块、数据处理模块、数据缓存模块、消息队列模块与中间件基础模块。

4、所述数据接入模块通过多种通信协议与边缘异构设备进行通信，接收所述边缘异构设备采集的数据，并发送至所述数据处理模块；

5、所述数据处理模块用于为边缘节点提供计算资源，利用边缘服务器对来自所述数据接入模块的数据进行处理后传输至所述数据缓存模块；

6、所述数据缓存模块用于缓存所述数据处理模块传输的数据，同时，将存储的数据通过物联网传输至所述消息队列模块；

7、所述消息队列模块以消息的形式暂存所述数据缓存模块传输的数据，并通过所述中间件基础模块向物联网上层应用推送消息，同时该消息队列模块用于转发物联网上层应用对于底层设备的控制信号；所述消息队列模块还用于实现该物联网中间件系统中各模块之间的数据交互；

8、所述中间件基础模块用于提供物联网中间件系统的基础功能；该中间件基础模块包括数据查询子模块、数据分析子模块、数据推送子模块、数据持久化存储子模块、注册中心子模块以及系统管理子模块；

9、所述数据查询子模块用于向物联网上层应用提供数据查看功能；所述数据分析子模块用于提供数据解包、运算支持和数据可视化分析；所述数据推送子模块用于向用户终端提供实时数据推送功能；所述数据持久化存储子模块用于持久化存储数据；所述注册中心子模块用于集中管理各个边缘节点以及系统接口信息，并记录健康状态和负载情况；所述系统管理子模块用于提供所述物联网中间件系统的用户信息和设备管理功能。

10、进一步的，数据接入模块包括设备接入验证子模块、自定义通信协议子模块以及协议解析子模块。

11、所述设备接入验证子模块用于对新增添设备进行接入，以及对设备的连接请求进行验证；接入过程包括：通过所述注册中心子模块为新增添设备添加注册信息，所述注册信息包括设备类型、产品类别以及唯一的设备序列号，然后验证所述注册信息格式是否正确，若正确则将注册信息添加到数据库中，否则重新注册；验证过程包括：将发出连接请求的边缘异构设备的序列号、设备名以及密码进行匹配验证，若均验证通过，则该边缘异构设备连接成功，否则连接失败；

12、所述自定义通信协议子模块用于实现所述物联网中间件系统与边缘异构设备间的通信，该自定义通信协议子模块以tcp协议为基础自定义通信协议；

13、所述协议解析子模块用于对通信协议进行解析，从而得到所述边缘异构设备通过通信协议发送至物联网中间件系统的数据的正文部分，该协议解析子模块基于netty框架进行通信协议的解析。

14、进一步的，以tcp协议为基础的自定义通信协议中，整体报文格式为16进制格式，其报文格式包括：

15、1)起始帧，占用1个字节，用于筛选无效的数据包；

16、2)协议版本号，占用1个字节，用于表示不同的协议规范；

17、3)数据长度，占用2个字节，高字节在前，低字节在后，用于表示数据正文的长度；

18、4)命令字符，占用1个字节，包括发送数据和发送心跳指令；

19、5)数据data部分，长度不大于4096字节，用于缓存即将发送的数据信息；

20、6)crc校验，占用2个字节，用于验证数据在传输的过程中是否发生错误；

21、7)结束符，占用1个字节，用于标识一个完整数据包或消息的结束。

22、进一步的，数据缓存模块基于生产者-消费者数据模型实现数据缓存。注册中心子模块基于zookeeper设计实现。

23、进一步的，消息队列模块采用异步通信的方式实现消息的分发，并通过主题发布订阅的模式，使边缘异构设备与上层应用之间解耦；

24、消息队列模块的处理过程包括：将解析完成后的边缘节点的数据以消息队列的形式暂存，随后通过数据持久化操作将消息更新至数据库和缓存中，确保消息的长期存储和快速访问；当上层应用需要访问信息时，通过调度数据推送线程将消息打包，并通过所述数据推送子模块将与上层应用所需信息相对应的主题消息推送至上层应用，同时，该数据推送线程实时监听所述主题消息的到达情况。

25、进一步的，数据持久化存储子模块基于mysql设计实现，存储过程包括：通过主服务器记录发生在数据库中的所有更改，并将更改记录到二进制日志中，同时开启binlog，在配置文件中指定唯一的server_id；从服务器通过io线程与所述主服务器建立连接，以读取所述二进制日志的内容，并复制到从服务器的中继日志中，然后启用sql线程读取中继日志中的数据变更操作，并写入从服务器的数据库中。

26、进一步的，在物联网中间件系统的边缘节点部署有边缘网络服务器，并构建边缘网络模型以缓解物联网云端的计算压力，同时解决系统能耗和计算时延过高的问题。其中，系统能耗包括数据上传下发消耗的能量和边缘服务器处理计算任务消耗的能量；计算时延包括任务数据从一个边缘节点分发至另一个边缘节点的时延、边缘异构设备与边缘节点双向数据传输的时延以及边缘节点处理计算任务的时延；

27、该边缘网络模型以完成数据分析任务的最低时延和边缘服务器所能耗费的最大能量为约束，以最小化系统能耗为目标，对边缘服务器的数据处理过程进行优化，从而降低系统能耗和计算时延。

28、其中，边缘网络模型表示为：

29、argmin{psum}

30、

31、

32、式中，psum表示系统能耗；∑wxysxy表示边缘节点中需要发送至其他边缘节点的任务量，δ表示二进制变量，vxy表示数据传输的速度，wxy＝φλisi表示边缘节点中需要转移的任务，si表示边缘异构设备i传输的数据总量，λi表示数据总量中需要进行处理的数据的比例，φ表示边缘节点需要转移的任务数量与设备端需要分析处理的任务数量之间的比值，sxy表示边缘节点ex发送至边缘节点ey的数据总量；wx＝λisi表示边缘节点接收到的总数据量，sx表示边缘节点ex中需要处理的任务量，tx表示边缘节点ex进行数据分析所需的时长，fq表示边缘服务器的工作频率；ti表示边缘节点执行数据分析任务所需的工作时长；m表示边缘异构设备总数，表示边缘服务器所能耗费的最大能量阈值。

33、本发明的有益效果在于：本发明利用边缘计算的思想，将原始数据在边缘端完成数据解包与分析，通过分析边缘网络模型求解目标函数最小值可以使得系统能耗和计算时延得到充分降低，其次，在复杂的边缘网络环境下，其支持不同类型设备的接入和管理，并提供安全机制以此来确保数据的安全性，从而大大减少了网络传输的数据量以及云端计算、存储的压力。同时，本发明屏蔽了不同边缘异构设备之间功能上、结构上、通信方式上的差异，实现了物端、云端松耦合的目的，可为水利行业的发展提供重要参考意义。

34、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。