一种基于NB-lot网络的物联网表采集的分层集群处理方法与流程

一种基于nb-lot网络的物联网表采集的分层集群处理方法
技术领域
1.本发明属于计算机数据处理以及物联网技术领域，特别涉及一种基于nb-lot网络的物联网表采集的分层集群处理方法。


背景技术：

2.在基于nb-lot物联网表环境下，采集系统需要面对电网公司千万级的智能电表进行直连，产生的采集任务及相关报文数据数以亿计，极大影响采集服务器、分布式存储环境及数据库的性能以及业务应用。因此有必要采用分层集群的方式，对现有采集技术进行改进，提高采集数据存取性能，支撑业务高效应用。


技术实现要素：

3.有鉴于此，本发明的目的是提供一种基于nb-lot网络的物联网表采集的分层集群处理方法。通过在采集系统中将采集划分为通讯接入、采集处理、业务调度、分布式缓存等，各逻辑分层支持独立集群部署，其中，所述分布式缓存基于redis管理，负责执行采集数据同步写入、分块存储和并行读取功能。
4.本发明的目的是通过以下技术方案实现的：
5.一种基于nb-lot网络的物联网表采集的分层集群处理方法，该方法为：通过在采集系统中划分出通讯接入、采集处理、业务调度、分布式缓存进行数据统一采集；
6.其中，所述通讯接入管理，负责终端实时socket通讯链接和报文转发，在通讯接入服务集群的前端部署硬件负载均衡器实现终端接入的负载均衡。
7.进一步，所述socket通讯链接为在通讯服务集群的前端部署硬件负载均衡器实现终端的接入。
8.其中，所述报文转发为在通讯接入管理中实现表码类数据报文、事件类、终端心跳类的报文转发与处理。
9.进一步，所述表码类数据报文为通讯接入管理将接收到终端上报的定时表码类报文数据进行处理。
10.进一步，所述事件类数据报文为通讯接入管理将接收到的终端实时告警类报文数据进行处理。
11.进一步，所述终端心跳类报文为通讯接入管理将接收到的心跳报文类数据进行处理。
12.其中，所述采集处理服务是为将通讯接入管理接收到的报文数据进行处理，分为上行采集任务服务处理和下行采集任务服务处理。
13.进一步，所述上行采集任务服务处理是采集处理服务集群主要负责采集数据报文的解析，在采集处理服务中通过规约适配器满足各类通信规约版本解析，采集数据报文解析完成后，将数据写入分布式缓存中。
14.进一步，所述下行采集任务服务处理是采集处理服务完成下行指令报文组帧，调
用规约适配器实现各类通信规约版本的报文组帧，根据需要报文加密处理后，通过通讯接入集群发送给现场终端执行。
15.其中，所述业务调度主要负责从分布式缓存服务中及时获取采集数据，并将采集数据进行加工计算后，实现批量数据入库。分为上行采集数据调度处理和下行采集数据调度处理。
16.进一步，上行采集业务调度主要负责从分布式缓存服务中及时获取采集数据，并将采集数据进行加工计算后，实现批量数据入库。
17.进一步，下行采集业务调度实时监听分布式缓存中指令队列的变化情况，获取指令任务，并根据指令类型、终端类型、终端通信方式等对指令队列进行分组与智能调度，提交采集处理服务集群进行处理。
18.其中，所述分布式缓存基于redis管理，负责执行采集数据(包含采集到的电表数据和档案数据)同步写入、分块存储和并行读取功能。
19.进一步，所述采集数据同步写入为从关系型数据库中抽取采集数据加载到redis中，抽取加载方式包括全量定时和增量触发两种方式；
20.其中，所述全量定时抽取加载方式为：根据系统事先设置的定时任务，系统定时启动该任务，抽取关系型数据库中所有采集数据加载到redis中，全量替换redis中原有全部采集数据。
21.其中，所述增量触发抽取加载方式为：系统根据采集数据变更情况自动触发，抽取关系型数据库中变更采集数据加载到redis中，更新redis中原有采集数据。
22.进一步，所述采集数据分块存储为按采集数据类型在redis中划分出不同的数据缓存块分别存储不同类型的采集数据；
23.其中，所述采集数据缓存块包括终端档案缓存块、测量点档案缓存块、规约数据项参数缓存块、任务模板缓存块、任务参数缓存块。
24.进一步，所述分布式缓存服务器基于redis管理包括存储容量估算和节点方案设计；
25.其中，所述存储容量估算为：根据当前关系型数据库中采集数据量及未来五年增长率进行估算，并考虑服务器自身运行所需占用内存资源和业务应用所需占用内存资源的比例，综合计算出所需内存容量；
26.其中，所述节点方案设计为：根据存储容量估算结果，设计redis服务器数量和内存容量，综合考虑主从数据冗余备份、数据存取性能、故障自动发现与节点自动切换的情况，按3台服务器组成1个主从复制集进行连接。
27.进一步，所述的主从复制集包括1个master节点和2个slave节点、3个sentinel节点；
28.其中，所述master节点提供采集数据写入和缓存服务；
29.其中，所述slave节点提供采集数据缓存和读取服务；
30.其中，sentinel节点提供故障自动发现与节点自动切换服务。
31.进一步，所述采集数据并行读取为：系统可根据所需读取采集数据类型，在redis中找到对应缓存块进行读取，还可对同一类型采集数据进行细分，分别进入不同slave节点中找到对应数据进行读取。
32.本发明的有益效果是：
33.本发明降低了关系型数据库采集数据读取压力，实现采集数据高性能存取、节点资源横向动态扩展、故障自动发现和节点自动切换。
34.本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
附图说明
35.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
36.图1为采集上行数据流图；
37.图2为采集下行数据流图。
具体实施方式
38.以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
39.如图所示，本发明的一种基于nb-lot网络的物联网表采集的分层集群处理方法，通过在采集系统中划分出通讯接入、采集处理、业务调度、分布式缓存进行数据统一采集；
40.其中，所述通讯接入管理，负责终端实时socket通讯链接和报文转发，在通讯接入服务集群的前端部署硬件负载均衡器实现终端接入的负载均衡。
41.socket通讯链接为在通讯服务集群的前端部署硬件负载均衡器实现终端的接入。
42.报文转发为在通讯接入管理中实现表码类数据报文、事件类、终端心跳类的报文转发与处理。其中，表码类数据报文为通讯接入管理将接收到终端上报的定时表码类报文数据进行处理；事件类数据报文为通讯接入管理将接收到的终端实时告警类报文数据进行处理；终端心跳类报文为通讯接入管理将接收到的心跳报文类数据进行处理。
43.采集处理服务是为将通讯接入管理接收到的报文数据进行处理，分为上行采集任务服务处理和下行采集任务服务处理。
44.上行采集任务服务处理是采集处理服务集群主要负责采集数据报文的解析，在采集处理服务中通过规约适配器满足各类通信规约版本解析，采集数据报文解析完成后，将数据写入分布式缓存中；
45.下行采集任务服务处理是采集处理服务完成下行指令报文组帧，调用规约适配器实现各类通信规约版本的报文组帧，根据需要报文加密处理后，通过通讯接入集群发送给现场终端执行；
46.其中，业务调度主要负责从分布式缓存服务中及时获取采集数据，并将采集数据进行加工计算后，实现批量数据入库。分为上行采集数据调度处理和下行采集数据调度处理。
47.上行采集业务调度主要负责从分布式缓存服务中及时获取采集数据，并将采集数据进行加工计算后，实现批量数据入库；下行采集业务调度实时监听分布式缓存中指令队
列的变化情况，获取指令任务，并根据指令类型、终端类型、终端通信方式等对指令队列进行分组与智能调度，提交采集处理服务集群进行处理，
48.其中，分布式缓存基于redis管理，负责执行采集数据同步写入、分块存储和并行读取功能，采集数据包含采集到的电表数据和档案数据。
49.采集数据同步写入为从关系型数据库中抽取采集数据加载到redis中，抽取加载方式包括全量定时和增量触发两种方式；
50.其中，全量定时抽取加载方式为：根据系统事先设置的定时任务，系统定时启动该任务，抽取关系型数据库中所有采集数据加载到redis中，全量替换redis中原有全部采集数据。
51.其中，增量触发抽取加载方式为：系统根据采集数据变更情况自动触发，抽取关系型数据库中变更采集数据加载到redis中，更新redis中原有采集数据。
52.采集数据分块存储为按采集数据类型在redis中划分出不同的数据缓存块分别存储不同类型的采集数据；
53.其中，采集数据缓存块包括终端档案缓存块、测量点档案缓存块、规约数据项参数缓存块、任务模板缓存块、任务参数缓存块。
54.分布式缓存服务器基于redis管理包括存储容量估算和节点方案设计；
55.其中，存储容量估算为：根据当前关系型数据库中采集数据量及未来五年增长率进行估算，并考虑服务器自身运行所需占用内存资源和业务应用所需占用内存资源的比例，综合计算出所需内存容量；
56.其中，节点方案设计为：根据存储容量估算结果，设计redis服务器数量和内存容量，综合考虑主从数据冗余备份、数据存取性能、故障自动发现与节点自动切换的情况，按3台服务器组成1个主从复制集进行连接。
57.主从复制集包括1个master节点和2个slave节点、3个sentinel节点；
58.其中，所述master节点提供采集数据写入和缓存服务；
59.其中，所述slave节点提供采集数据缓存和读取服务；
60.其中，sentinel节点提供故障自动发现与节点自动切换服务。
61.采集数据并行读取为：系统可根据所需读取采集数据类型，在redis中找到对应缓存块进行读取，还可对同一类型采集数据进行细分，分别进入不同slave节点中找到对应数据进行读取。
62.在采集数据上行通信模式，前置采集系统各集群服务的具体分工如下：
63.1)通讯接入服务集群
64.通讯接入服务集群主要负责终端实时socket通讯链接和报文转发，在通讯接入服务集群的前端部署硬件负载均衡器实现终端接入的负载均衡。
65.2)采集处理服务集群
66.采集处理服务集群主要负责采集数据报文的解析，在采集处理服务中通过规约适配器满足各类通信规约版本解析，采集数据报文解析完成后，将数据写入分布式缓存中。
67.3)分布式缓存服务集群
68.分布式缓存实现采集数据消息队列存储，通过消息队列缓冲，提高采集数据入库的峰值处理能力。
69.4)智能调度服务集群
70.智能调度服务集群主要负责从分布式缓存服务中及时获取采集数据，并将采集数据进行加工计算后，实现批量数据入库。
71.在控制指令下行业务模式中，前置采集系统各集群服务的具体分工如下：
72.1)控制业务应用如费控指令下发、终端参数设置指令下发等，将控制指令写入关系型数据库及分布式缓存环境中。
73.2)智能调度服务集群
74.实时监听分布式缓存中指令队列的变化情况，获取指令任务，并根据指令类型、终端类型、终端通信方式等对指令队列进行分组与智能调度，提交采集处理服务集群进行处理。
75.3)采集处理服务集群
76.采集处理服务完成下行指令报文组帧，调用规约适配器实现各类通信规约版本的报文组帧，根据需要报文加密处理后，通过通讯接入集群发送给现场终端执行。
77.4)通讯接入服务集群
78.通讯接入服务集群，通过终端socket连接，将控制指令下发处理。
79.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。