一种数据预处理方法和装置与流程

本技术实施例涉及云，尤其涉及一种数据预处理方法和装置。

背景技术：

1、为了提升传统工业生产的智能化，相关技术通过搭建工业物联网平台，将具有感知和监测能力的各类设备，以及智能分析等技术融入工业生产过程中，从而提高工业生产的智能化和效率。

2、在实际工业生产过程中，工业物联网平台需要实时采集工业设备的点位数据进行相关业务分析。由于工业设备的原始点位数据中包含噪声数据或冗余数据，因此，先通过工业网关对采集的原始点位数据进行预处理，再采用预处理后的点位数据上传至工业物联网平台进行相关业务分析。

3、然而，工业网关的内存资源及中央处理器(central processing unit，简称cpu)资源较少且是固定量。通过工业网关对海量点位数据进行预处理时，数据预处理的效率较低。若增加工业网关的资源量，则需要对工业网关和相关设备进行整体升级，其复杂度和成本过高。

4、因此，在无法增加工业网关的资源量的前提下，如何提高工业物联网平台的数据预处理的效率是目前需要解决的技术问题。

技术实现思路

1、本技术实施例提供了一种基于数据预处理方法和装置，用于提高工业物联网平台的数据预处理的效率，实现工业物联网平台的数据高并发预处理。

2、一方面，本技术实施例提供了一种数据预处理方法，包括：

3、通过发布订阅消息系统接收多个待处理消息，每个待处理消息包括工业设备的点位的原始点位数据；

4、启用多个数据预处理服务，并通过所述多个数据预处理服务，对所述多个待处理消息执行预处理操作，其中，每个数据预处理服务，用于获取所述发布订阅消息系统中的至少一个待处理消息，并分别对所述至少一个待处理消息中的原始点位数据进行预处理，获得相应的目标点位数据。

5、可选地，还包括：

6、通过管理服务，分别创建所述一个工业设备的至少一种点位名称与选择的预处理规则之间的关联关系；

7、通过所述管理服务，将获得的至少一个关联关系保存在关系型数据库和所述缓存数据库中。

8、可选地，还包括：

9、通过所述数据预处理服务，将获得的至少一个目标点位数据保存在时序数据库中；

10、通过管理服务，从所述时序数据库中获取所述至少一个目标点位数据，并在显示界面中展示所述至少一个目标点位数据。

11、可选地，还包括：

12、通过所述数据预处理服务，分别将获得的至少一个目标点位数据封装成相应的目标处理消息；

13、通过所述数据预处理服务，将获得的至少一个目标处理消息上传至所述发布订阅消息系统的第二主题中，以使订阅所述第二主题的工业应用，读取所述至少一个目标处理消息，并采用所述至少一个目标处理消息中的目标点位数据进行数据建模。

14、一方面，本技术实施例提供了一种数据预处理装置，包括：

15、接收模块，用于通过发布订阅消息系统接收多个待处理消息，每个待处理消息包括工业设备的点位的原始点位数据；

16、处理模块，用于启用多个数据预处理服务，并通过所述多个数据预处理服务，对所述多个待处理消息执行预处理操作，其中，每个数据预处理服务，用于获取所述发布订阅消息系统中的至少一个待处理消息，并分别对所述至少一个待处理消息中的原始点位数据进行预处理，获得相应的目标点位数据。

17、可选地，所述处理模块具体用于：

18、针对所述至少一个待处理消息，分别执行以下操作：

19、对一个待处理消息进行解析，获得相应的工业设备的编号、点位名称和原始点位数据；

20、基于所述工业设备的编号和所述点位名称，从缓存数据库中获取相应的预处理规则，并采用所述预处理规则对所述原始点位数据进行预处理，获得目标点位数据。

21、可选地，所述预处理规则包括预处理脚本函数和所述预处理脚本函数中的至少一个预处理辅助参数的参数值；

22、所述处理模块具体用于：

23、将所述至少一个预处理辅助参数的参数值和所述原始点位数据合并，获得预处理传入参数；

24、将所述预处理传入参数和所述预处理脚本函数传入计算引擎进行处理，获得所述目标点位数据。

25、可选地，所述多个待处理消息保存在发布订阅消息系统的第一主题的多个分区中；每个数据预处理服务，用于从所述多个分区中的至少一个分区中读取待处理消息，或者接收所述多个分区中的至少一个分区发送的待处理消息。

26、可选地，每个数据预处理服务，用于通过启动的至少一个消费者实例，从所述第一主题的相应分区中读取待处理消息；或者，通过启动的至少一个消费者实例，接收所述第一主题中相应分区发送的待处理消息。

27、可选地，所述处理模块还用于：

28、通过管理服务，分别创建所述一个工业设备的至少一种点位名称与选择的预处理规则之间的关联关系；

29、通过所述管理服务，将获得的至少一个关联关系保存在关系型数据库和所述缓存数据库中。

30、可选地，所述处理模块还用于：

31、通过所述数据预处理服务，将获得的至少一个目标点位数据保存在时序数据库中；

32、通过管理服务，从所述时序数据库中获取所述至少一个目标点位数据，并在显示界面中展示所述至少一个目标点位数据。

33、可选地，所述处理模块还用于：

34、通过所述数据预处理服务，分别将获得的至少一个目标点位数据封装成相应的目标处理消息；

35、通过所述数据预处理服务，将获得的至少一个目标处理消息上传至所述发布订阅消息系统的第二主题中，以使订阅所述第二主题的工业应用，读取所述至少一个目标处理消息，并采用所述至少一个目标处理消息中的目标点位数据进行数据建模。

36、一方面，本技术实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据预处理方法的步骤。

37、一方面，本技术实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行上述数据预处理方法的步骤。

38、一方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机设备执行时，使所述计算机设备执行上述数据预处理方法的步骤。

39、在本技术实施例中，预先将工业物联网平台中的多个数据预处理服务，分别封装成云原生架构中独立的微服务。在进行数据预处理时，通过多个微服务并行从发布订阅消息系统中读取待处理消息，并对待处理消息中的工业设备的原始点位数据进行预处理，获得目标点位数据，实现对工业设备的海量原始点位数据进行高并发预处理，提高了数据预处理的效率，同时提高了上报至工业物联网平台的点位数据的实时性和数据可读性，降低了数据延迟。其次，通过多个数据预处理服务统一对原始点位数据进行预处理，故后续其他业务模块不需要再对原始点位数据进行预处理，而是直接使用预处理后的目标点位数据进行相关业务处理，从而节省了系统资源，也提高了系统整体的性能。