一种多源数据的处理方法及装置与流程

本发明涉及物联网，尤其涉及一种多源数据的处理方法及装置。

背景技术：

1、随着物联网技术在工业生产中的广泛应用，用户可以依此来轻松获取到产品数据，而为了获取到的数据更加全面，各平台开始从多个数据源获取数据，从而导致数据量庞大。为了便于对多源数据进行查询以及分析，从中提取有价值的信息，对多源数据进行融合处理变得尤为重要。

2、目前，在对多源数据进行融合处理时，主要是先将多个数据源的全部数据获取，再对这些数据进行筛选、清洗，从中选取目标数据进行融合。

3、然而，对多个数据源的全部数据进行筛选、清洗的步骤，需要消耗较多的数据分析、处理资源，使得多源数据融合的过程繁琐，降低了多源数据融合的效率。

技术实现思路

1、鉴于上述问题，本发明提出了一种多源数据的处理方法及装置，主要目的在于简化多源数据融合的处理过程，提高多源数据融合的效率。

2、为达到上述目的，本发明主要提供如下技术方案：

3、第一方面，本发明提供一种多源数据的处理方法，所述方法包括：

4、基于用户需求确定主数据源以及相关数据源，其中，同一个目标对象产生的主数据及相关数据具有同样的目标标识；

5、根据所述主数据源确定数据筛选规则；

6、获取主数据源筛选的有效主数据；

7、将所述有效主数据及其对应的目标标识以及所述数据筛选规则发送至所述相关数据源，以便确定与有效主数据相关的有效相关数据；

8、接收相关数据源反馈的有效相关数据，并根据预设数据融合格式，将所述有效主数据和所述有效相关数据进行融合。

9、第二方面，本发明提供一种多源数据的处理装置，所述装置包括：

10、第一确定单元，用于基于用户需求确定主数据源以及相关数据源，其中，同一个目标对象产生的主数据及相关数据具有同样的目标标识；

11、第二确定单元，用于根据所述第一确定单元确定的主数据源确定数据筛选规则；

12、获取单元，用于获取主数据源筛选的有效主数据；

13、发送单元，用于将所述获取单元获取到的有效主数据及其对应的目标标识以及所述第二确定单元确定的数据筛选规则发送至所述相关数据源，以便确定与有效主数据相关的有效相关数据；

14、融合单元，用于接收相关数据源反馈的有效相关数据，并根据预设数据融合格式，将所述有效主数据和所述有效相关数据进行融合。

15、另一方面，本发明还提供一种计算设备，所述计算设备包括：至少一个处理器，以及，存储器，其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以此所述处理器能够执行上述的多源数据的处理方法。

16、另一方面，本发明还提供一种可读存储介质，所述可读存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述的多源数据的处理方法。

17、借由上述技术方案，本发明提供的一种多源数据的处理方法及装置，主要是通过主数据源和相关数据源各自对其产生的数据进行筛选处理，从而得到有效主数据以及有效相关数据，以便于融合单元对所需有效数据进行融合。由于在同样的工作系统中，可能产生多种多样的用户需求，每个用户需求所涉及到的数据来源也不尽相同，因此，首先确定用户需求所涉及的主数据源和相关数据源，其中，来自同一数据源的数据，所属的目标对象可能不同，需要为所属同一目标对象的主数据和相关数据附上同样的目标标识，以便于后续将同一目标对象产生的主数据以及相关数据进行融合。为了更加简化得到有效数据的处理过程，赋予主数据源筛选有效主数据的规则以及权限，可直接从主数据源获取筛选好的有效主数据；由于主数据与用户需求的关联性更强，相关数据源的数据筛选规则可根据主数据源来确定，不需要为每个相关数据源赋予对应的数据筛选规则，能够减少多余的操作步骤；将根据主数据源确定的相关数据筛选规则发送给相关数据源，由相关数据源自主进行有效相关数据的筛选，筛选完成后反馈给融合单元。在本发明中，数据融合单元最终只需将获取到的有效主数据和有效相关数据进行融合，而不需要对与用户需求相关的全部数据进行清晰、筛选，节约了更多的数据分析、处理资源，简化了多源数据融合的处理过程，提高多源数据融合的效率。

18、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种多源数据的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据所述主数据源确定数据筛选规则，包括：

3.根据权利要求2所述的方法，其特征在于，获取所述相关数据源的数据筛选周期，包括：

4.根据权利要求2所述的方法，其特征在于，根据主数据源筛选出的有效主数据的时间戳和所述数据筛选周期确定所述数据筛选规则，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于用户需求确定主数据源以及相关数据源，包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据预设数据融合格式，将所述有效主数据和所述有效相关数据进行融合，包括：

7.根据权利要求6所述的方法，其特征在于，根据所述主数据源和所述相关数据源确定数据融合周期，包括：

8.一种多源数据的处理装置，其特征在于，所述装置包括：

9.一种计算设备，其特征在于，所述计算设备包括：至少一个处理器，以及，存储器，其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以此所述处理器能够执行如权利要求1-7中任意一项所述的多源数据的处理方法。

10.一种可读存储介质，其特征在于，所述可读存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1-7中任意一项所述的多源数据的处理方法。

技术总结本发明公开了一种多源数据的处理方法及装置，本发明涉及物联网技术领域，主要目的在于简化多源数据融合的处理过程，提高多源数据融合的效率。本发明主要的技术方案为：基于用户需求确定主数据源以及相关数据源，其中，同一个目标对象产生的主数据及相关数据具有同样的目标标识；根据主数据源确定数据筛选规则；获取主数据源筛选的有效主数据；将有效主数据及其对应的目标标识以及数据筛选规则发送至相关数据源，以便确定与有效主数据相关的有效相关数据；接收相关数据源反馈的有效相关数据，并根据预设数据融合格式，将有效主数据和有效相关数据进行融合。本发明用于对多源数据进行融合处理。技术研发人员：范国良,汪成杰,臧席潭,董宏旭,王彩萍,席亮受保护的技术使用者：北京国基科技股份有限公司技术研发日：技术公布日：2024/7/29