一种试验业务的业务会话数据管理方法及系统与流程

本发明涉及数据管理，具体涉及一种试验业务的业务会话数据管理方法及系统。

背景技术：

1、随着信息技术的迅猛发展，越来越多的企业和机构在日常运营中依赖复杂的信息系统。这些系统在开发、测试和优化过程中，通常需要通过试验业务对新功能或优化后的系统进行严格的测试，以确保其在实际环境中的可靠性和性能。然而，在试验业务过程中，往往涉及多个服务器同时工作，每个服务器会生成大量不同类型的会话数据，如请求数据、响应数据、状态数据和运行日志记录等。这些数据是评估系统性能和发现潜在问题的关键，如何高效采集、存储和管理这些数据，成为系统开发和运维中的一大挑战。

2、传统的数据管理方法在面对多服务器、多类型会话数据时，往往效率低下且管理复杂，难以满足高效的数据处理和实时分析需求。此外，不同类型的数据对存储资源的要求各异，统一的存储策略可能导致资源浪费或性能瓶颈。因此，亟需一种试验业务的业务会话数据管理方法及系统，以优化存储资源的利用，提高数据访问性能，降低存储成本。

技术实现思路

1、针对现有技术的不足和实际应用的需求，提供了一种试验业务的业务会话数据管理方法及系统，旨在解决试验业务会话数据的高效采集、分类存储和动态管理问题，以提升数据管理效率，并降低存储成本。

2、第一方面，本发明所提供的试验业务的业务会话数据管理方法，包括如下步骤：获取试验业务在一个或者多个服务器上的会话数据，任一服务器上的会话数据中包括一种或者多种类型的会话数据；基于所述会话数据，获得一个或者多个会话数据子集，一个所述会话数据子集中仅包括一种类型的会话数据；分别存储不同类型的会话数据子集，并根据会话数据子集的数据调用频率，调整会话数据子集的存储模式，所述存储模式为热存储模式或者冷存储模式。本发明通过对会话数据进行集中式分类管理，使得后续数据处理能够更加有序且高效，有助于避免数据访问冲突和瓶颈问题，并能够更好地适应不同的试验业务的会话数据管理需求；同时，本发明基于不同会话数据子集的数据调用频率，调整对应数据存储模块的存储模式，使得高频访问的数据处于热存储模式，从而减少数据访问的延迟时间，进而提升用户体验，并使得不常访问的数据处于冷存储模式，从而在保证数据稳定存储的前提下，避免了不必要的资源浪费，能够有效降低总体存储成本；通过本发明所提供的试验业务的业务会话数据管理方法，不仅能够有效提升试验业务数据的管理效率，还能够降低存储成本。

3、进一步地，获取试验业务在多个服务器上的会话数据，包括如下步骤：设置多个数据采集模块，所述多个数据采集模块与多个服务器一一对应，各个数据采集模块用于采集对应服务器中的会话数据；标记执行所述试验业务的多个服务器，并利用已标记服务器对应的数据采集模块，采集对应服务器执行所述试验业务时产生的会话数据。本发明通过设置多个数据采集模块，确保了会话数据采集的全面性；并利用已标记服务器对应的数据采集模块，有效地收集和整理试验业务执行过程中产生的会话数据，确保了会话数据采集的准确性。

4、进一步地，所述基于所述会话数据，获得一个或者多个会话数据子集，包括如下步骤：识别所述会话数据中不同数据的数据类型；分别聚类不同数据类型的会话数据，获得一个或者多个会话数据子集。本发明通过聚类不同数据类型的会话数据，可以针对不同类型的数据采用更加适合的存储和处理策略，从而优化系统的资源利用率和处理性能，有助于更好地满足试验业务的复杂需求。

5、进一步地，所述分别存储不同类型的会话数据子集，包括如下步骤：设置多个数据存储模块，所述多个数据存储模块分别用于存储不同数据类型的会话数据；分别将不同类型的会话数据子集，存储至对应的数据存储模块中。本发明通过设置多个数据存储模块，并将不同类型的会话数据子集分别存储到对应的数据存储模块中，避免了数据混杂存储导致的访问冲突和性能瓶颈问题，同时还有助于数据的备份、恢复和维护工作。

6、进一步地，本发明所提供的各种试验业务的业务会话数据管理方法，还包括如下步骤：将每个数据存储模块的初始存储模式设置为热存储模式。本发明确保在初始阶段，所有会话数据都能够以最快的速度进行访问和处理，确保新数据和活跃数据得到充分的资源支持，避免潜在的性能瓶颈和数据访问延迟问题。

7、进一步地，所述根据会话数据子集的数据调用频率，调整会话数据子集的存储模式，包括如下步骤：分别获取各个数据存储模块在同一长度时段内的数据调用频率；分别根据各个数据存储模块的数据调用频率，调整对应数据存储模块的存储模式，调整规则如下：若数据存储模块的数据调用频率未超过数据调用频率阈值，将数据存储模块的存储模式调整为冷存储模式；否则，保持数据存储模块的存储模式调整为热存储模式。本发明根据会话数据子集的数据调用频率设置了动态调整机制以灵活适应不同数据访问模式，在确保高频访问数据的高效处理的同时，降低了低频访问数据的存储成本。

8、进一步地，所述根据会话数据子集的数据调用频率，调整会话数据子集的存储模式，还包括如下步骤：获取冷存储模式下数据存储模块在所述长度时段内的数据调用频率；将冷存储模式下数据调用频率超过所述数据调用频率阈值的数据存储模块，由冷存储模式调整为热存储模式。本发明进一步确保了高频访问的数据能够迅速从低成本的冷存储模式转移到高性能的热存储模式，从而提高数据访问的速度和效率。

9、更进一步地，所述根据会话数据子集的数据调用频率，调整会话数据子集的存储模式，还包括如下步骤：根据各个数据存储模块的数据调用频率，调整所述数据调用频率阈值。本发明通过调整数据调用频率阈值，以更加合理地适应业务需求变化，不仅有助于避免因阈值设置不当导致的资源浪费或性能瓶颈，还有助于优化存储资源的使用。

10、更进一步地，所述根据各个数据存储模块的数据调用频率，调整所述数据调用频率阈值，包括如下步骤：获取上一数据调用周期内各个数据存储模块的数据调用频率，并基于上一数据调用周期内各个数据存储模块的数据调用频率，获得上一数据调用周期内各个数据存储模块的数据调用频率平均值和标准差；利用上一数据调用周期内各个数据存储模块的数据调用频率平均值和标准差，获得下一数据调用周期内的数据调用频率阈值，下一数据调用周期内的数据调用频率阈值满足如下计算模型：，其中，θt+1表示下一数据调用周期内的数据调用频率阈值，μt表示上一数据调用周期内各个数据存储模块的数据调用频率平均值，σt表示上一数据调用周期内各个数据存储模块的数据调用频率标准差，k表示数据调用频率阈值调整系数。

11、本发明所提供的数据调用频率阈值计算模型，考虑了历史数据的波动情况，使得数据调用频率阈值更加符合实际业务需求，进而确保高频访问的数据能够及时进入热存储模式，而低频访问的数据则转入冷存储模式，从而优化存储资源的利用效率。

12、第二方面，本发明提供的试验业务的业务会话数据管理系统，适用于第一方面所提供的试验业务的业务会话数据管理方法，所述试验业务的业务会话数据管理系统包括：多个数据采集模块、多个数据存储模块以及数据管理模块；所述多个数据采集模块与多个服务器一一对应，各所述数据采集模块用于获取试验业务在对应服务器执行所述试验业务产生的会话数据；任一个数据存储模块均与所述多个数据采集模块连接，各所述数据存储模块用于存储对应数据类型的会话数据子集；所述数据管理模块分别与所述多个数据采集模块和所述多个数据存储模块连接，所述数据管理模块用于基于所述会话数据，获得一个或者多个会话数据子集，还用于根据会话数据子集的数据调用频率，调整会话数据子集的存储模式。

13、本发明所提供的试验业务的业务会话数据管理系统，通过集成多个数据采集模块、多个数据存储模块和数据管理模块，能够稳定且高效执行上述试验业务的业务会话数据管理方法，从而实现了对试验业务会话数据的高效采集、分类存储和动态管理，为试验业务的数据管理提供了技术保障。