一种Prometheus远程写优化方法和装置与流程

本申请涉及监控，尤其涉及一种prometheus远程写优化方法和装置。

背景技术：

1、prometheus监控解决方案已被业内广泛采用，其具有丰富数据模型，采用拉模型策略设计，对各种场景数据均能做到较好的描述。被监控对象通过本地http服务暴露监控数据，由prometheus收集监控数据并存储至本地或远端时序数据库中。prometheus默认方式为本地存储数据，此方式较适合短时间的数据存储，当数据规模逐渐庞大时，单实例单节点资源限制便成为其瓶颈。虽然prometheus提供了将采集数据存储至远端数据库的解决办法，但其本身备份存储逻辑与prometheus主体监控程序逻辑进行了绑定，当二者任一方异常崩溃时，也将影响另一方的正常服务。因此，如何克服上述问题，实现主体监控程序与监控数据备份至远端解耦合，同时可支持存储逻辑高可用，是需要解决的技术问题。

技术实现思路

1、本申请意在提供一种prometheus远程写优化方法和装置、电子设备、存储介质，所要解决的技术问题通过以下技术方案来实现。

2、本实施例第一方面，提出了一种prometheus远程写优化方法，包括：

3、解析prometheus配置文件，获得数据存储位置信息；

4、依据数据存储位置信息，实时监听prometheus监控数据变化，采集更新数据；

5、将更新数据进行数据处理后，写入远程存储；

6、依据预设周期，计算数据处理压力，以便依据所述数据处理压力，调整配置算力资源。

7、进一步地，依据数据存储位置信息，实时监听prometheus监控数据变化，采集更新数据，包括：

8、依据预设监听周期，查看prometheus监控数据的日志文件；

9、当所述日志文件的内容更新时，解析所述日志文件，获得监控数据最近一次更新数据。

10、进一步地，依据数据存储位置信息，实时监听prometheus数据存储事件，采集更新数据，还包括：

11、获取最近一次更新的监控指标数量和更新时间；

12、发送所述监控指标数量和所述更新时间至prometheus监控系统。

13、进一步地，依据预设周期，计算数据处理压力，包括：

14、获取对所述更新数据进行数据处理的条目数和处理时长；

15、获取处理时长内的数据处理速度；

16、依据预设周期，采用数据处理速度和处理时长的比值作为所述数据处理压力。

17、进一步地，依据所述数据处理压力，调整配置算力资源，包括：

18、当所述数据处理压力大于预设压力阈值时，增加处理线程，直至达到最大处理线程数；

19、当所述数据处理压力小于等于预设压力阈值时，销毁处理线程。

20、进一步地，获取处理线程数量和处理线程时间，发送至prometheus监控系统。

21、进一步地，还包括：

22、当更新数据进行数据处理后写入远程存储失败时，进行重新写入并记录告警信息；和/或，

23、利用分布式锁，同步已部署的prometheus实例运行状态，当发生异常宕机时，由正常运行的prometheus实例继续进行数据处理。

24、本实施例第二方面，提出了一种prometheus远程写优化装置，包括：

25、配置解析模块，用于解析prometheus配置文件，获得数据存储位置信息；

26、数据监听模块，用于依据数据存储位置信息，实时监听prometheus监控数据变化，采集更新数据；

27、数据处理模块，用于将更新数据进行数据处理后，写入远程存储；

28、算力调整模块，用于依据预设周期，计算数据处理压力，以便依据所述数据处理压力，调整配置算力资源。

29、本实施例第三方面，提出了一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，所述处理器在执行所述计算机程序时，实现如第一方面所述方法的步骤。

30、本实施例第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述方法的步骤。

31、本申请实施例包括以下优点：

32、本申请实施例提供的prometheus远程写优化方法，首先解析prometheus配置文件，获得数据存储位置信息；然后，依据数据存储位置信息，实时监听prometheus监控数据变化，采集更新数据；将更新数据进行数据处理后，写入远程存储；依据预设周期，计算数据处理压力，以便依据所述数据处理压力，调整配置算力资源。本申请优化了将prometheus监控数据备份存储至远端数据库的方法，不与prometheus主体监控程序耦合，二者可独立维护和升级，不影响对方的正常服务，同时可扩展支持不同时序数据库。

技术特征：

1.一种prometheus远程写优化方法，其特征在于，包括：

2.根据权利要求1所述的prometheus远程写优化方法，其特征在于，依据数据存储位置信息，实时监听prometheus监控数据变化，采集更新数据，包括：

3.根据权利要求2所述的prometheus远程写优化方法，其特征在于，依据数据存储位置信息，实时监听prometheus数据存储事件，采集更新数据，还包括：

4.根据权利要求1所述的prometheus远程写优化方法，其特征在于，依据预设周期，计算数据处理压力，包括：

5.根据权利要求4所述的prometheus远程写优化方法，其特征在于，依据所述数据处理压力，调整配置算力资源，包括：

6.根据权利要求5所述的prometheus远程写优化方法，其特征在于，获取处理线程数量和处理线程时间，发送至prometheus监控系统。

7.根据权利要求1至6任一项所述的prometheus远程写优化方法，其特征在于，还包括：

8.一种prometheus远程写优化装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1至7任一项所述方法的步骤。

技术总结本申请涉及一种Prometheus远程写优化方法和装置，其中Prometheus远程写优化方法包括解析Prometheus配置文件，获得数据存储位置信息；依据数据存储位置信息，实时监听Prometheus监控数据变化，采集更新数据；将更新数据进行数据处理后，写入远程存储；依据预设周期，计算数据处理压力，以便依据所述数据处理压力，调整配置算力资源。本申请优化了将Prometheus监控数据备份存储至远端数据库的方法，不与Prometheus主体监控程序耦合，二者可独立维护和升级，不影响对方的正常服务，同时可扩展支持不同时序数据库。技术研发人员：韩丰景受保护的技术使用者：联通在线信息科技有限公司技术研发日：技术公布日：2024/11/21