一种基于海量数据的交互式操作实现的方法和系统与流程

本发明涉及大数据处理，具体涉及一种基于海量数据的交互式操作实现的方法和系统。

背景技术：

1、在数字化的时代，互联网、无线通信和传感技术迅猛发展，大量的数据被不断地生成、收集和存储，大量的数据中包含了各种类型和格式的信息，不断膨胀并快速增长的海量数据给我们带来了一系列的问题和挑战。

2、首先，传统的查询和分析方法往往效率低下并且计算复杂度高，无法满足用户对实时响应和高效交互的需求，如何从这些海量数据中获取有价值的信息是一个关键性的问题；其次，海量数据的复杂性和多样性使得数据的分析和操作变得更加困难，常规的数据处理工具和方法无法及时有效地处理大规模和多维度的数据；除此之外，在人工智能和机器学习技术快速发展的同时，如何将这些前沿技术与海量数据的交互操作结合起来给用户提供更智能化和个性化的体验，也是一个重要的问题。

3、akka提供了一种基于actor模型的开源框架，旨在帮助开发人员更轻松地构建高可伸缩性的分布式应用程序，具备响应式、事件驱动、弹性和分布式处理的特点，能通过高效的并发编程、监视恢复机制、分布式部署和响应式编程模型等功能来增强应用程序的性能、可靠性和可伸缩性。

4、但是，akka是基于消息传递模型，在消息的传递和处理中会引入一定的延迟，在交互式场景下，特别是当消息队列中堆积了大量的消息时，用户会感到响应速度较慢或有明显的延迟。除此之外，akka的actor模型本质上是一种为每个actor分配独立的线程或轻量级进程的并发编程模型，每个actor都需要占用一定的系统资源，当有大量的actors同时存在时会增加系统的资源消耗并导致性能下降。并且，在分布式环境中，akka通过网络进行消息传递和actor之间的通信，应用程序对网络的稳定性和吞吐能力有一定的依赖，如果网络出现故障或延迟会导致消息传递失败或增加延迟，影响交互式处理的效率和用户体验。

5、针对以上问题，本发明提出了一种基于海量数据的交互式操作实现的方法和系统。

技术实现思路

1、本发明针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。

2、基于本发明的第一方面，提出了一种基于海量数据的交互式操作实现的方法,包括：

3、s1:响应于接收到的第三方应用通过服务端发送的作业请求，第一交互式操作执行器i ec将通过参数校验的作业请求中的任务信息jci通过交互式操作执行器服务iewebactor发送给交互式路由服务i erwebactor；

4、其中，所述交互式路由服务i erwebactor与所述服务端同步启动；

5、s2:所述交互式路由服务i erwebactor根据所述任务信息jci的类型将所述任务信息jci发送给对应的第二交互式操作执行器i eactor；

6、s3：所述第二交互式操作执行器i eactor通过调用元数据服务接口msi将所述任务信息jci与对应具体的操作执行器进行匹配以完成所述作业请求。

7、使用路由actor作为中间层以接收和分发消息给真实处理逻辑的子actor,可以动态地控制子actor的数量和资源消耗并在处理大量交互式请求时根据负载情况自动调整路由策略；当子actor发生故障或异常退出时，路由actor可以自动检测、恢复和重新创建和替换失败的子actor,能够减少子actor故障而导致的服务中断。

8、路由actor采用包括轮询、随机、最少活跃的不同路由策略将请求均匀分配给子actor，能够确保子actor平衡地处理请求以及提高系统的并发处理能力。

9、路由actor部署在多个节点上使得系统可以根据负载情况自动添加或删除节点，能够处理更大规模的交互式请求并实现水平扩展和分布式处理。

10、更进一步地，s1所述第三方应用通过所述服务端发起所述作业请求后通过依次调用交互式操作执行器控制层接口eici和交互式操作执行器服务层接口eisi将所述作业请求提交到所述第一交互式操作执行器i ec。

11、调用交互式操作执行器的接口不仅可以提高数据的处理效率、计算的可靠性，还能提高系统的灵活性和可扩展性，以及降低系统的维护成本。

12、更进一步地，所述第一交互式操作执行器i ec在接收到所述作业请求后创建计时器以监测等待返回结果的时间并判断是否超时。

13、通过在执行器中创建计时器监测返回结果的时间可以防止cpu在计时上耗费大量算力，从而更好地进行系统的性能分析和优化。

14、更进一步地，所述交互式操作执行器服务i ewebactor在所述第一交互式操作执行器i ec初始化时启动；

15、所述第二交互式操作执行器i eactor与所述第一交互式操作执行器i ec同时启动，并在启动时将所述第二交互式操作执行器i eactor的执行器信息注册到所述交互式操作执行器服务i ewebactor中。

16、第二交互式操作执行器i eactor将执行器信息注册到交互式操作执行器服务iewebactor中，调度中心才能够对其进行统一管理。

17、更进一步地，所述步骤s3还包括：所述具体的操作服务器完成作业请求并将所述作业请求的结果返回给第三方应用以完成响应；

18、具体地，所述具体的操作服务器将结果依次传递给所述元数据服务接口msi、所述第二交互式操作执行器i eactor、所述交互式操作执行器服务i ewebactor和所述第一交互式执行器i ec，计时器结束计时，所述第一交互式执行器i ec再通过所述交互式操作执行器服务层接口eisi和所述交互式操作执行器控制层接口eici将所述结果返回给所述第三方应用，完成响应。

19、更进一步地，所述交互式操作执行器服务层接口eisi在接收到所述作业请求后，根据查询条件判断所述作业请求中指定的关键参数是否为空以进行参数校验；

20、若指定的关键参数为空，则校验失败并抛出异常，将抛出的异常返回给所述交互式操作执行器控制层接口eici；

21、若指定的关键参数不为空，则校验成功并将所述作业请求提交至交互式操作执行器i ec。

22、对作业请求中的关键参数进行参数校验具有较高的检验效能，能够及时监测出作业请求中的异常，避免作业请求中出现数据错误。

23、更进一步地，所述计时器监测的等待返回结果若超时，则向所述交互式操作服务层接口eisi抛出异常并终止作业请求任务。

24、基于本发明的第二方面，还提出了一种基于海量数据的交互式操作实现的系统,包括：

25、请求发送模块:响应于接收到的第三方应用通过服务端发送的作业请求，第一交互式操作执行器i ec将通过参数校验的作业请求中的任务信息jci通过交互式操作执行器服务i ewebactor发送给交互式路由服务i erwebactor；

26、其中，所述交互式路由服务i erwebactor与所述服务端同步启动；

27、请求分配模块:所述交互式路由服务i erwebactor根据所述任务信息jci的类型将所述任务信息jci发送给对应的第二交互式操作执行器i eactor；

28、请求完成模块：所述第二交互式操作执行器i eactor通过调用元数据服务接口msi将所述任务信息jci与对应具体的操作执行器进行匹配以完成所述作业请求。

29、基于本发明的第三方面，还提出了一种计算机可读存储介质，其上存储有一个或多个计算机程序，所述一个或多个计算机程序在被处理器执行时实现如上述之任一项所述的方法。

30、与现有技术相比，本发明的技术效果在于：通过增加路由actor的方式，动态控制路由actor的数量和资源消耗，在处理大量交互式请求时可以根据负载情况自动调整路由策略将请求均匀分给子actor，避免路由actor过载导致的性能下降问题，有一定的容错机制，可以减少路由actor故障引起的服务中断，并能实现分布式处理和负载均衡，提高了系统的响应速度、性能、并发处理能力、可伸缩性、稳定性和可靠性，能够处理大规模的交互式请求。