数据异步处理方法、设备及存储介质与流程

本发明涉及数据处理领域，尤其涉及一种数据异步处理方法、设备及存储介质。

背景技术：

1、随着信息技术的发展，数据报表在企业管理和决策支持中扮演着越来越重要的角色。传统的报表生成和查询方式通常采用同步处理模式，即用户发起查询请求后，系统立即开始处理，并在处理完成后返回结果。这种方式在数据量较小的情况下可以满足需求，但在面对大数据量、高并发请求的场景时，存在明显的不足。

2、现有的报表数据查询都有以下的通用的问题：

3、1、高延迟问题：同步处理需要用户等待所有数据处理完成后才能获得结果，当数据量大或查询复杂时，处理时间较长，导致用户体验不佳。

4、2、系统资源占用：同步查询在处理大规模数据时，需要占用大量的系统资源，包括cpu、内存和i/o资源，容易造成系统瓶颈，影响其他业务的正常运行。

5、3、可扩展性差：传统同步查询模式难以有效应对大规模用户并发请求的情况，系统负载增加时，性能下降明显，难以扩展。

6、因此，针对当前报表查询过程中高延迟、系统资源占用过大、可扩展性差的技术问题，需要一种技术来解决当前的问题。

技术实现思路

1、本发明的主要目的在于解决当前报表查询过程中高延迟、系统资源占用过大、可扩展性差的技术问题。

2、本发明第一方面提供了一种数据异步处理方法，所述数据异步处理方法包括：

3、接收数据查询请求；

4、根据所述数据查询请求，生成所述数据查询请求对应的请求标识符；

5、基于所述请求标识符，将所述数据查询请求加入至预置异步队列中，得到请求异步队列；

6、接收优先处理命令，以及读取所述优先处理命令对应的优先标识符；

7、判断所述优先标识符是否存在于所述请求异步队列中；

8、当存在于所述请求异步队列时，则从所述请求异步队列提取出所述优先标识符对应的数据查询请求；

9、根据所述优先标识符对应的数据查询请求，从预置存储数据库中提取对应的交易数据，以及基于所述交易数据，生成查询报表。

10、可选的，在本发明第一方面的第一种实现方式中，所述基于所述请求标识符，将所述数据查询请求加入至预置异步队列中，得到请求异步队列包括：

11、将所述请求标识符作为键，以及将所述数据查询请求作为值，构成键值对；

12、将所述键值对写入预置异步队列中，得到请求异步队列。

13、可选的，在本发明第一方面的第二种实现方式中，所述将所述键值对写入预置异步队列中包括：

14、根据先进先出原则，将所述键值对写入预置异步队列中，得到请求异步队列。

15、可选的，在本发明第一方面的第三种实现方式中，所述将所述键值对写入预置异步队列中，得到请求异步队列包括：

16、读取预置异步队列中的任务数量，判断所述任务数量是否大于预置容错阈值；

17、当不大于预置容错阈值时，则将所述键值对写入预置异步队列中，得到请求异步队列；

18、当大于预置容错阈值时，则开辟出扩容的异步队列，将所述键值对写入所述扩容的异步队列，得到请求异步队列。

19、可选的，在本发明第一方面的第四种实现方式中，在所述基于所述交易数据，生成查询报表之后，还包括：

20、基于所述查询报表，生成通知信息；

21、基于socket连接，将所述通知信息发送至所述优先处理命令对应的管理端口。

22、可选的，在本发明第一方面的第五种实现方式中，所述根据所述优先标识符对应的数据查询请求，从预置存储数据库中提取对应的交易数据包括：

23、将所述优先标识符对应的数据查询请求发送至预置存储数据库；

24、获取所述存储数据库反馈的查询数据，提取所述查询数据的头部字符；

25、判断所述头部字符是否为预置查询合格字符；

26、当不为预置查询合格字符时，则在预置日志数据中写入所述优先标识符对应数据查询请求的异常查询记录，并对所述优先标识符对应的数据查询请求进行增加查询计数处理，得到所述优先标识符对应数据查询请求的重试计数；

27、判断所述重试计数是否超过预置重试阈值；

28、当重试计数超过重试阈值时，则基于socket连接，将查询失败信息发送至所述优先处理命令对应的管理端口；

29、当重试计数未超过重试阈值时，则将所述优先标识符对应的数据查询请求发送至预置存储数据库；

30、当为预置查询合格字符时，则提取所述查询数据的实体数据，生成交易数据。

31、可选的，在本发明第一方面的第六种实现方式中，所述提取所述查询数据的实体数据，生成交易数据包括：

32、基于预置起始字符和预置终止字符，在所述查询数据中进行字符顺序提取处理，得到交易数据。

33、可选的，在本发明第一方面的第七种实现方式中，所述判断所述优先标识符是否存在于所述请求异步队列中包括：

34、在所述请求异步队列的键数据中进行精确匹配所述优先标识符，得到匹配结果；

35、当匹配结果为命中时，则确定所述优先标识符存在于所述请求异步队列中；

36、当匹配结果为未命中时，则确定所述优先标识符不存在于所述请求异步队列中。

37、本发明第二方面提供了一种数据异步处理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据异步处理设备执行上述的数据异步处理方法。

38、本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据异步处理方法。

39、在本发明实施例中，通过在查询数据表中加入异步队列实现了降低延迟、资源优化、高扩展性等效果。降低延迟效果：在用户提交查询请求后立即返回响应，不必等待后台数据处理完成，从而显著提高用户体验。资源优化效果：对查询请求进行优先级排序、重试机制等操作，可以平滑地处理大量查询请求，避免了同步处理时的资源抢占和瓶颈问题。高扩展性效果：异步队列模式下，能灵活地调整后台处理节点的数量，以应对不同的负载需求，提高系统的扩展能力。基于异步队列的报表数据查询技术在大数据处理和高并发场景下，具有显著的优势，解决了当前报表查询过程中高延迟、系统资源占用过大、可扩展性差的技术问题。

技术特征：

1.一种数据异步处理方法，其特征在于，包括步骤：

2.根据权利要求1所述的数据异步处理方法，其特征在于，所述基于所述请求标识符，将所述数据查询请求加入至预置异步队列中，得到请求异步队列包括：

3.根据权利要求2所述的数据异步处理方法，其特征在于，所述将所述键值对写入预置异步队列中包括：

4.根据权利要求2所述的数据异步处理方法，其特征在于，所述将所述键值对写入预置异步队列中，得到请求异步队列包括：

5.根据权利要求1所述的数据异步处理方法，其特征在于，在所述基于所述交易数据，生成查询报表之后，还包括：

6.根据权利要求1所述的数据异步处理方法，其特征在于，所述根据所述优先标识符对应的数据查询请求，从预置存储数据库中提取对应的交易数据包括：

7.根据权利要求6所述的数据异步处理方法，其特征在于，所述提取所述查询数据的实体数据，生成交易数据包括：

8.根据权利要求1所述的数据异步处理方法，其特征在于，所述判断所述优先标识符是否存在于所述请求异步队列中包括：

9.一种数据异步处理设备，其特征在于，所述数据异步处理设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的数据异步处理方法。

技术总结本发明涉及数据处理领域，公开了一种数据异步处理方法、设备及存储介质。该方法包括：接收数据查询请求；根据数据查询请求，生成数据查询请求对应的请求标识符；基于请求标识符，将数据查询请求加入至预置异步队列中，得到请求异步队列；接收优先处理命令，以及读取优先处理命令对应的优先标识符；判断优先标识符是否存在于请求异步队列中；当存在于请求异步队列时，则从请求异步队列提取出优先标识符对应的数据查询请求；根据优先标识符对应的数据查询请求，从预置存储数据库中提取对应的交易数据，以及基于交易数据，生成查询报表。在本发明实施例中，通过在查询数据表中加入异步队列实现了降低延迟、资源优化、故障隔离等效果。技术研发人员：欧阳创奇,刘成波受保护的技术使用者：深圳市金政软件技术有限公司技术研发日：技术公布日：2024/9/26