一种电网自动化产品加工系统的制作方法

1.本技术涉及电网生产领域，尤其涉及一种电网自动化产品加工系统。


背景技术：

2.随着行业的产品呈多样化发展，产品类型需求量增加，产品时间维度，空间维度都有了更精细的要求。目前的产品加工系统，在加工环节和传输环节都有明显的效率提升空间，尤其在产品经过多道工序加工时，所依赖的定时任务大大增加了产品加工周期。通过开发一套基于消息传递的自动化产品加工系统，有效提升产品加工整体效率，保障数据准确、及时服务用户。


技术实现要素：

3.本技术提供了一种电网自动化产品加工系统，包括定时作业模块、数据监听模块、数据加工模块和数据传输模块；其中，定时作业模块用于启动加工作业，触发数据加工模块，数据监听模块用于监听各个服务器上产品的流转情况，并向数据加工模块发送数据加工消息；定时作业模块达到启动时间或数据监听模块监听到需要进行产品加工时触发数据加工模块；数据加工模块对产品进行定制化加工，通过数据传输模块传输至不同的服务器进行产品再加工或展示。
4.如上所述的电网自动化产品加工系统，其中，定时作业模块达到启动时间或数据监听模块监听到需要进行产品加工时触发数据加工模块，具体为：根据实际需求设定启动加工作业的预设时间间隔，当达到设定时间时由定时作业模块启动加工作业；或者由数据监听模块监听各个服务器上的产品流转情况，在监听到需要进行加工作业时向数据加工模块发送数据加工消息，触发数据加工模块进行加工任务。
5.如上所述的电网自动化产品加工系统，其中，数据监听模块使用inotify监听linux文件系统，通过flume和/或kafka收集各个服务器上的信息，进而触发数据加工任务。
6.如上所述的电网自动化产品加工系统，其中，数据加工模块具体用于对原始产品进行定制化加工是针对特定区域、特定线路或特定点进行产品加工，具体包括出图、插值、数据格式转化。
7.如上所述的电网自动化产品加工系统，其中，所述电网自动化产品加工系统还包括任务匹配模块，由任务匹配模块进行消息与任务的匹配，以此来确定哪台服务器进行哪种加工；具体地，任务匹配模块通过主机名、文件目录、文件名生成唯一任务识别标志，通过与任务标识生成的摘要值对比，匹配多条任务完成加工。
8.如上所述的电网自动化产品加工系统，其中，所述电网自动化产品加工系统还包括数据标准化模块，用于不同来源的数据进行格式标准化，以提供其他环节使用。
9.如上所述的电网自动化产品加工系统，其中，所述电网自动化产品加工系统还连接备份服务器，通过数据同步模块将数据同步至备份服务器中；具体地，数据同步模块使用rsync定时任务进行数据分钟级同步。
10.如上所述的电网自动化产品加工系统，其中，所述电网自动化产品加工系统中还包括日志记录模块，用于通过kibana日志分析系统记录数据加工、数据传输的日志。
11.如上所述的电网自动化产品加工系统，其中，所述电网自动化产品加工系统还包括产品监控模块，由产品监控模块通过对产品进行摘要运算对产品到达情况进行签到：若监控到产品全部未到的情况，则在监控页面上以红色标注该时次产品全部缺失，并触发监控报警模块，监控报警模块用于当任务失败时向管理员通知，具体由监控报警模块发送产品全部缺失报警短信到值班手机；若监控到产品部分未到的情况，则在监控页面上以橙色标注该时次产品部分缺失，并触发监控报警模块，由监控报警模块发送产品部分缺失报警短信到值班手机；若监控到产品全部到达情况，则在监控页面上以蓝色标注该时次产品全部到齐。
12.如上所述的电网自动化产品加工系统，其中，所述电网自动化产品加工系统还包括加工补做模块，由系统自动触发或由值班人员自主触发启动加工补做流程，由加工补做模块补做加工失败的任务，返回触发数据加工模块继续进行补加工操作。
13.本技术实现的有益效果如下：采用本技术提供的电网自动化产品加工系统，有效提升产品加工整体效率，保障数据准确、及时服务用户，缩短产品加工传输周期，减少手工干预加工系统的频次，增加系统健壮性，稳定性。
附图说明
14.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
15.图1是本技术实施例一提供的一种电网自动化产品加工系统示意图；图2是电网自动化产品加工系统工作方法流程图。
具体实施方式
16.下面结和本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
17.实施例一本技术实施例一提供一种满足电网生产环境的电网自动化产品加工系统，如图1所示，包括：定时作业模块11、数据监听模块12、数据加工模块13和数据传输模块14；其中，定时作业模块11用于启动加工作业，触发数据加工模块13，数据监听模块12用于监听各个服务器上产品的流转情况，并向数据加工模块13发送数据加工消息；定时作业模块11达到启动时间或数据监听模块12监听到需要进行产品加工时触发数据加工模块13；数据加工模块13对产品进行定制化加工，通过数据传输模块14传输至不同的服务器进行产品再加工或展示。
18.具体地，在电网自动化产品加工系统中，可以根据实际需求设定启动加工作业的
预设时间间隔，当达到设定时间时由定时作业模块启动加工作业；或者由数据监听模块监听各个服务器上的产品流转情况，在监听到需要进行加工作业时向数据加工模块发送数据加工消息，触发数据加工模块进行加工任务；具体地，数据监听模块使用inotify监听linux文件系统，通过flume和/或kafka（kafka和flume都是日志系统，kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能；flume为数据采集器agent，可以定制很多数据源，减少开发量，kafka和flume可以单独使用也可以结合使用）收集各个服务器上得信息，进而触发数据加工任务；在进入数据加工模块进行数据加工时，数据加工模块具体用于对原始产品进行定制化加工是针对特定区域、特定线路或特定点进行产品加工，具体包括出图、插值、数据格式转化等；然后，经数据加工模块加工后的产品由数据传输模块传输至不同的服务器，以供产品再加工或客户展示；其中，数据传输模块基于linux建立服务器互信，使用scp进行数据传输；数据在传输至不同服务器的过程中使用rsa加密方法，保证数据传输的安全性，很好的满足了电力系统对数据传输加密的要求。
19.在定时作业模块或数据监听模块触发数据加工模块过程中，所述电网自动化产品加工系统还包括任务匹配模块，由任务匹配模块进行消息与任务的匹配，以此来确定哪台服务器进行哪种加工；具体地，任务匹配模块通过主机名、文件目录、文件名生成唯一任务识别标志，通过与任务标识生成的md5值（摘要值）对比，匹配多条任务完成加工。
20.可选地，为了保证数据在进入数据加工模块保证数据的统一，因此在数据加工模块进行数据加工之前，所述电网自动化产品加工系统还包括数据标准化模块，用于不同来源的数据进行格式标准化，以提供其他环节使用；其中，数据标准化模块是加工前置模块，数据在经过标准化之后进入产品加工系统进行产品加工。
21.另外，所述电网自动化产品加工系统还连接备份服务器，通过数据同步模块将数据同步至备份服务器中；具体地，数据同步模块使用rsync（rsync是linux系统下的数据镜像备份工具）定时任务进行数据分钟级同步。
22.为了保证数据的加工有据可循，因此在所述电网自动化产品加工系统中还包括日志记录模块，用于通过kibana日志分析系统记录数据加工、数据传输的日志（kibana是一个为logstash（应用程序日志、事件的传输、处理、管理和搜索的平台）和elasticsearch（基于lucene的搜索服务器）提供的日志分析的 web 接口，用于对日志进行高效的搜索、可视化、分析等各种操作）。
23.在数据进行加工处理以及存储对应日志之后，由所述电网自动化产品加工系统中的产品监控模块通过对产品进行摘要运算对产品到达情况进行签到：若监控到产品全部未到的情况，则在监控页面上以红色标注该时次产品全部缺失，并触发监控报警模块，监控报警模块用于当任务失败时向管理员通知，具体由监控报警模块通过调用zabbix接口发送产品全部缺失报警短信到值班手机（zabbix接口是基于web界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案）；若监控到产品部分未到的情况，则在监控页面上以橙色标注该时次产品部分缺失，并触发监控报警模块，由监控报警模块通过调用zabbix接口发送产品部分缺失报警短信到值班手机；
若监控到产品全部到达情况，则在监控页面上以蓝色标注该时次产品全部到齐。
24.进一步地，当产品监控模块检测到产品全部未到或部分未到的情况，并通过监控报警模块向值班人员报警之后，所述电网自动化产品加工系统还包括加工补做模块，由系统自动触发或由值班人员自主触发启动加工补做流程，由加工补做模块补做加工失败的任务，返回触发数据加工模块继续进行补加工操作。
25.图2是本技术实施例一提供的电网自动化产品加工系统的整体操作流程图，如图2所示，包括如下步骤：步骤210、定时作业模块或数据监控模块向任务匹配模块传递消息，由任务匹配模块进行消息与任务的匹配；步骤220、任务进入数据处理流程，包括数据标准化模块进行数据标准化处理、数据加工模块进行数据加工处理、数据传输模块向各个服务器传输数据以及数据同步模块将数据同步至备份服务器，并由日志记录模块进行日志记录；步骤230、产品监控模块通过监控日志记录实现对产品的达到情况的监控，并在监控到产品全部未到或部分未到的情况下触发监控报警模块和加工补做模块，由加工补做模块返回触发数据加工模块继续进行数据加工处理。
26.采用本技术提供的电网自动化产品加工系统，能够达到如下效果：1、基于消息，加工环节之间更加紧凑，有效提升产品加工整体效率，保障数据准确、及时服务用户，缩短产品加工传输周期；2、自动重做，减少人工干预加工系统的频次，增加系统健壮性，稳定性；3、监控报警，随时了解系统运行状况。
27.以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。