数据分析方法、系统、计算机设备、存储介质和程序产品与流程

本技术涉及大数据，特别是涉及一种数据分析方法、系统、计算机设备、存储介质和程序产品。

背景技术：

1、随着大数据和人工智能的快速发展，如何在海量的数据中找到符合用户兴趣和需求的信息，成为了一个亟待解决的问题。推荐引擎作为一种有效的信息过滤和个性化服务技术，通过深度分析和挖掘用户行为数据，为用户推荐感兴趣的物品、服务或信息，极大地提升了用户体验和满意度。

2、然而，尽管传统的推荐引擎具有诸多优点，但是在实际应用中，其数据分析方法却存在一个不容忽视的问题。传统的推荐引擎在进行数据分析时，往往需要针对每一组数据单独进行个性化分析，导致该数据分析方法的通用性较差，难以适应不同用户的多样化需求，限制了推荐引擎的广泛应用和深入发展。

3、因此，如何提升数据分析方法的通用性成为了本领域亟待解决的技术问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提升通用性的数据分析方法、系统、计算机设备、存储介质和程序产品。

2、第一方面，本技术提供了一种数据分析方法。该方法包括：

3、获取待分析数据对应的处理参数以及该待分析数据的指示信息；该待分析数据的指示信息包括该待分析数据对应的逻辑处理模板标识和该待分析数据的存储地址；

4、根据该逻辑处理模板标识，从逻辑处理模板库中确定该待分析数据对应的逻辑处理模板；

5、从该待分析数据的存储地址指示的待分析文件中获取该待分析数据；

6、将该处理参数写入该逻辑处理模板，以得到分析文件；

7、基于该分析文件对该待分析数据进行分析，以得到数据分析结果。

8、在其中一个实施例中，该将该处理参数写入该逻辑处理模板，以得到分析文件，包括：

9、根据该逻辑处理模板对该处理参数进行校验；

10、在确定该处理参数中包括有该逻辑处理模板中所需的每项参数，则将该处理参数写入该逻辑处理模板，以得到分析文件。

11、在其中一个实施例中，该基于该待分析数据的指示信息，获取该待分析数据以及该待分析数据对应的逻辑处理模板之后，还包括：

12、获取该待分析数据对应的字段概览信息，根据字段概览信息对该待分析数据进行校验；

13、该基于该分析文件对该待分析数据进行分析，以得到数据分析结果，包括：

14、在根据该字段概览信息校验确定该待分析数据无异常时，基于该分析文件对该待分析数据进行分析，以得到数据分析结果；

15、其中，该待分析数据无异常包括：该待分析数据中包括该字段概览信息指示的所有字段数据，且，该待分析数据中的字段类型与该字段概览信息中所指示的字段类型匹配。

16、在其中一个实施例中，该待分析数据的指示信息包括：该待分析数据对应的数据获取范围；

17、该从该待分析数据的存储地址指示的待分析文件中获取该待分析数据，包括：

18、根据该数据获取范围，从该待分析文件中获取该待分析数据；

19、其中，该数据获取范围可以包括以下任意一项：

20、该待分析数据的数据长度；

21、该待分析数据的起始位置和终止位置；

22、该待分析数据的数据长度和起始位置。

23、在其中一个实施例中，该待分析文件中包括多个不同的待分析数据，该方法还包括：

24、针对每个待分析数据并行执行如权利要求1至4任一项该的数据分析方法；

25、对多个不同的待分析数据得到的数据分析结果进行合并，以得到该待分析文件的分析结果。

26、第二方面，本技术还提供了一种数据分析系统。该数据分析系统包括：

27、启动模块，用于获取待分析数据对应的处理参数以及该待分析数据的指示信息，以及根据该逻辑处理模板标识，从逻辑处理模板库中确定该待分析数据对应的逻辑处理模板，并从该待分析数据的存储地址指示的待分析文件中获取该待分析数据；

28、执行模块，用于将该处理参数写入该逻辑处理模板，以得到分析文件，以及基于该分析文件对该待分析数据进行分析，以得到数据分析结果。

29、在其中一个实施例中，该数据分析系统还包括：

30、校验模块，用于根据该逻辑处理模板对该处理参数进行校验；

31、该执行模块，还用于在确定该处理参数中包括有该逻辑处理模板中所需的每项参数，则将该处理参数写入该逻辑处理模板，以得到分析文件。

32、在其中一个实施例中，该从该待分析数据的存储地址指示的待分析文件中获取该待分析数据之后，

33、该校验模块，还用于获取该待分析数据对应的字段概览信息，根据字段概览信息对该待分析数据进行校验；

34、该执行模块，还用于在根据该字段概览信息校验确定该待分析数据无异常时，基于该分析文件对该待分析数据进行分析，以得到数据分析结果；

35、其中，该待分析数据无异常包括：该待分析数据中包括该字段概览信息指示的所有字段数据，且，该待分析数据中的字段类型与该字段概览信息中所指示的字段类型匹配。

36、在其中一个实施例中，该待分析数据的指示信息包括：该待分析数据对应的数据获取范围；

37、该启动模块，还用于根据该数据获取范围，从该待分析文件中获取该待分析数据；

38、其中，该数据获取范围可以包括以下任意一项：

39、该待分析数据的数据长度；

40、该待分析数据的起始位置和终止位置；

41、该待分析数据的数据长度和起始位置。

42、在其中一个实施例中，该待分析文件中包括多个不同的待分析数据，该数据分析系统还包括优化模块；

43、该优化模块，用于通过如权利要求6至9任一项该的数据分析系统并行分析各待分析数据，并对多个不同的待分析数据得到的数据分析结果进行合并，以得到该待分析文件的分析结果。

44、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现上述任一方法的步骤。

45、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。

46、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方法的步骤。

47、上述数据分析方法、系统、计算机设备、存储介质和程序产品，通过获取待分析数据对应的处理参数以及待分析数据的指示信息，并基于待分析数据的指示信息，获取待分析数据以及待分析数据对应的逻辑处理模板，然后将处理参数写入逻辑处理模板，得到分析文件，基于分析文件对待分析数据进行分析，得到数据分析结果。本技术实施例中，能够根据不同的业务场景或需求选择逻辑处理模板能够避免针对每一组数据单独编写代码进行分析，并且引入处理参数使得数据分析过程可以根据具体需求个性化定制，提高了数据分析的通用性和灵活性。同时，使用逻辑处理模板还能够节约数据分析的成本，提高数据分析的处理效率。