基于算力网络的数据压缩工具动态调度方法及系统与流程

本发明涉及云计算，具体地说是基于算力网络的数据压缩工具动态调度方法及系统。

背景技术：

1、数据压缩工具是一种用于减小文件或数据大小以便存储、传输或共享的软件工具。它采用压缩算法将文件内容中的冗余信息去除或优化，从而在不损失原始数据质量的前提下，显著减少文件占用的存储空间。这些工具广泛应用于各种场景，如网络传输、数据备份、存储空间优化等，通过提供高效的压缩和解压缩功能，为用户带来便捷和节省成本的好处。算力网络是智能化时代不可或缺的新型信息基础设施，它通过云网融合技术，将分散的计算、存储和网络资源统一调度和管理，实现了计算资源的按需分配和灵活调度。算力网络能够支持各种应用场景，从科学计算到数据处理，从图像处理到虚拟现实，都能提供高效、可靠的算力支持，为数字化转型和智能化升级提供了强大的基础支撑。

2、算力终端作为处理和存储数据的关键节点，然而，由于资源的限制和网络环境的复杂性，算力终端在数据压缩时常常面临效率低下、处理速度缓慢等问题，这不仅影响了数据传输的实时性，也限制了算力终端的计算潜能。传统的数据压缩通常采用固定的数据压缩工具，主要关注压缩算法本身的优化，例如通过改进压缩算法来提高压缩率和速度。然而，这些压缩算法往往忽略了算力终端的实际情况，如cpu和内存的使用率，以及网络环境，如上下行速率和丢包率。在资源受限的情况下，即使压缩算法本身效率很高，也可能因为资源不足而无法发挥出最佳性能，无法根据实时变化的资源状况和网络环境进行动态调整。此外，随着云计算和边缘计算的兴起，算力网络的概念也逐渐成为研究的热点，算力网络旨在通过分布式计算资源的协同工作，提供更加强大和灵活的计算能力。

3、将算力网络与算力终端数据压缩工具调度相结合、如何提高算力终端数据压缩效率，是需要解决的技术问题。

技术实现思路

1、本发明的技术任务是针对以上不足，提供基于算力网络的数据压缩工具动态调度方法及系统，来解决将算力网络与算力终端数据压缩工具调度相结合、如何提高算力终端数据压缩效率的计算问题。

2、第一方面，本发明一种基于算力网络的数据压缩工具动态调度方法，应用于算力终端集群，多台具有算力资源和网络连接功能的算力终端组合成一个协同工作的算力终端集群，算力终端部署有监控客户端，算力终端集群部署有数据压缩工具调度器，所述方法包括如下步骤：

3、数据采集：通过监控客户端采集算力终端的性能指标数据、并定时将性能指标数据上报数据压缩工具调度器，性能指标数据包括资源状态数据和网络环境数据；

4、匹配分析：基于性能指标数据、通过数据压缩工具调度器对算力终端的数据压缩工具进行调度，调度时，计算算力终端和数据压缩工具的匹配度，根据匹配度从部署于算力终端的数据压缩工具库中选择匹配的数据压缩工具；

5、资源监控：实时监控资源状态数据，当资源状况恶化时，触发数据资源调度工具进行重新调度。

6、作为优选，基于性能指标数据、通过数据压缩工具调度器对算力终端的数据压缩工具进行调度，包括如下步骤：

7、通过数据压缩工具调度器获取算力终端的数据压缩工具库；

8、为每种数据压缩工具建立性能基线，性能基线包括理想条件下的性能、一般条件下的性能、资源受限条件下的性能；

9、基于上一个时间序列的性能指标数据、通过数据压缩工具调度器对下一个时间序列的性能指标数据进行预测，得到性能指标数据预测值；

10、基于性能指标数据预测值和数据压缩工具的性能基线，根据数据压缩工具的资源消耗与当前资源可用性的匹配程度，为算力终端数据压缩工具库中每种数据压缩工具计算一个匹配度评分；

11、比较不同数据压缩工具的匹配度评分，根据匹配度评分从算力终端的数据压缩工具库中选择并调度最适合算力终端状况的数据压缩工具。

12、作为优选，基于上一个时间序列的性能指标数据、采用简单指数平滑的时间序列预测方法对下一个时间序列的性能指标数据进行预测。

13、作为优选，资源状态数据包括cpu使用率以及内存使用率，网络环境数据包括上下行速率、丢包率以及抖动。

14、第二方面，本发明一种基于算力网络的数据压缩工具动态调度系统，应用于算力终端集群，多台具有算力资源和网络连接功能的算力终端组合成一个协同工作的算力终端集群，所述系统包括监控客户端、数据压缩工具调度器和资源监控模块；

15、监控客户端用于采集算力终端的性能指标数据、并定时将性能指标数据上报数据压缩工具调度器，性能指标数据包括资源状态数据和网络环境数据；

16、数据压缩工具调度器用于基于性能指标数据对算力终端的数据压缩工具进行调度，调度时，用于计算算力终端和数据压缩工具的匹配度，根据匹配度从部署于算力终端的数据压缩工具库中选择匹配的数据压缩工具；

17、资源监控模块用于实时监控资源状态数据，当资源状况恶化时，触发数据资源调度工具进行重新调度。

18、作为优选，数据压缩工具调度器用于执行如下对算力终端的数据压缩工具进行调度：

19、获取算力终端的数据压缩工具库；

20、为每种数据压缩工具建立性能基线，性能基线包括理想条件下的性能、一般条件下的性能、资源受限条件下的性能；

21、基于上一个时间序列的性能指标数据、对下一个时间序列的性能指标数据进行预测，得到性能指标数据预测值；

22、基于性能指标数据预测值和数据压缩工具的性能基线，根据数据压缩工具的资源消耗与当前资源可用性的匹配程度，为算力终端数据压缩工具库中每种数据压缩工具计算一个匹配度评分；

23、比较不同数据压缩工具的匹配度评分，根据匹配度评分从算力终端的数据压缩工具库中选择并调度最适合算力终端状况的数据压缩工具。

24、作为优选，基于上一个时间序列的性能指标数据、数据压缩工具调度器用于采用简单指数平滑的时间序列预测方法对下一个时间序列的性能指标数据进行预测。

25、作为优选，资源状态数据包括cpu使用率以及内存使用率，网络环境数据包括上下行速率、丢包率以及抖动。

26、本发明的基于算力网络的数据压缩工具动态调度方法及系统具有以下优点：

27、1、通过实时采集算力终端的资源使用情况和网络环境，根据算力终端的实时状况进行动态调整，智能地选择和调度最适合的数据压缩工具；

28、2、在资源紧张的情况下，选择资源消耗较少的数据压缩工具，而在资源充足时，则选择压缩效果更好的数据压缩工具，当资源状况恶化时，能够及时响应并重新调度数据压缩工具，可以显著提高数据压缩的效率，缩短数据压缩时间。

技术特征：

1.一种基于算力网络的数据压缩工具动态调度方法，其特征在于，应用于算力终端集群，多台具有算力资源和网络连接功能的算力终端组合成一个协同工作的算力终端集群，算力终端部署有监控客户端，算力终端集群部署有数据压缩工具调度器，所述方法包括如下步骤：

2.根据权利要求1所述的基于算力网络的数据压缩工具动态调度方法，其特征在于，基于性能指标数据、通过数据压缩工具调度器对算力终端的数据压缩工具进行调度，包括如下步骤：

3.根据权利要求2所述的基于算力网络的数据压缩工具动态调度方法，其特征在于，基于上一个时间序列的性能指标数据、采用简单指数平滑的时间序列预测方法对下一个时间序列的性能指标数据进行预测。

4.根据权利要求1-3任一项所述的基于算力网络的数据压缩工具动态调度方法，其特征在于，资源状态数据包括cpu使用率以及内存使用率，网络环境数据包括上下行速率、丢包率以及抖动。

5.一种基于算力网络的数据压缩工具动态调度系统，其特征在于，应用于算力终端集群，多台具有算力资源和网络连接功能的算力终端组合成一个协同工作的算力终端集群，所述系统包括监控客户端、数据压缩工具调度器和资源监控模块；

6.根据权利要求5所述的基于算力网络的数据压缩工具动态调度系统，其特征在于，数据压缩工具调度器用于执行如下对算力终端的数据压缩工具进行调度：

7.根据权利要求5所述的基于算力网络的数据压缩工具动态调度系统，其特征在于，基于上一个时间序列的性能指标数据、数据压缩工具调度器用于采用简单指数平滑的时间序列预测方法对下一个时间序列的性能指标数据进行预测。

8.根据权利要求5所述的基于算力网络的数据压缩工具动态调度系统，其特征在于，资源状态数据包括cpu使用率以及内存使用率，网络环境数据包括上下行速率、丢包率以及抖动。

技术总结本发明公开了基于算力网络的数据压缩工具动态调度方法及系统，属于云计算技术领域，要解决的技术问题为将算力网络与算力终端数据压缩工具调度相结合、如何提高算力终端数据压缩效率。包括如下步骤：通过监控客户端采集算力终端的性能指标数据、并定时将性能指标数据上报数据压缩工具调度器；基于性能指标数据、通过数据压缩工具调度器对算力终端的数据压缩工具进行调度，调度时，计算算力终端和数据压缩工具的匹配度，根据匹配度从部署于算力终端的数据压缩工具库中选择匹配的数据压缩工具；实时监控资源状态数据，当资源状况恶化时，触发数据资源调度工具进行重新调度。技术研发人员：杨科,耿飞,李强受保护的技术使用者：浪潮通信技术有限公司技术研发日：技术公布日：2024/9/29