数据处理方法及相关产品与流程

本技术涉及数据处理，尤其涉及一种数据处理方法及相关产品。

背景技术：

1、服务的响应时间(reaction time，rt)会影响请求该服务的用户的体验，因此出于对用户体验的考虑，需要使服务的rt满足预设需求。而服务的每秒查询率(queries persecond，qps)会影响服务的rt。因此，如何确定服务的qps的上限值，具有非常重要的意义。

技术实现思路

1、本技术提供一种数据处理方法及相关产品，以确定服务的qps的上限值。其中，相关产品包括数据处理装置、电子设备、计算机可读存储介质、计算机程序产品。

2、第一方面，提供了一种数据处理方法，所述方法包括：

3、获取目标服务的qps在参考时间段的参考上限值；

4、获取第一关系和第二关系，所述第一关系为目标硬件资源的利用率与所述目标服务的qps在所述参考时间段的关系，所述第二关系为所述目标硬件资源的利用率与所述目标服务的qps在所述当前时间段的关系，所述目标硬件资源为用于实现所述目标服务的硬件资源；

5、基于所述参考上限值、所述第一关系和所述第二关系，得到所述目标服务的每秒查询率在所述当前时间段的上限的预测值，所述当前时间段为所述参考时间段之后的时间段，所述第一关系与所述第二关系的差异为第一差异，所述第一差异与第二差异匹配，所述第二差异为所述参考上限值与所述预测值的差异。

6、结合本技术任一实施方式，在所述基于所述参考上限值、所述第一关系和所述第二关系，得到所述目标服务的每秒查询率在所述当前时间段的上限的预测值之前，所述方法还包括：

7、获取参考实例数和当前实例数，所述参考实例数为所述目标服务在所述参考时间段的实例的数量，所述当前实例数为所述目标服务在当前时间段的实例的数量，所述参考时间段早于所述当前时间段；

8、所述基于所述参考上限值、所述第一关系和所述第二关系，得到所述目标服务的每秒查询率在所述当前时间段的上限的预测值，包括：

9、基于所述参考上限值、所述参考实例数、所述当前实例数、所述第一关系和所述第二关系，得到所述预测值；所述第一差异与第三差异匹配，所述第三差异为所述第二差异与第四差异的差异为差异，所述第四差异为所述当前实例数与所述当前实例数的差异。

10、结合本技术任一实施方式，所述获取第一关系，包括：

11、获取所述目标服务在所述参考时间段的参考qps；

12、从所述参考qps中确定低于第一阈值的目标qps；

13、基于所述目标qps，以及所述目标qps所对应的所述目标硬件资源的利用率，得到所述第一关系。

14、结合本技术任一实施方式，在所述从所述参考qps中确定低于第一阈值的目标qps之前，所述方法还包括：

15、从所述参考qps中确定预设百分位的qps作为所述第一阈值。

16、结合本技术任一实施方式，所述第一关系与所述第二关系均为线性关系，所述第一关系通过第一斜率和第一截距确定，所述第二关系通过第二斜率和第二截距确定；

17、所述基于所述参考上限值、所述参考实例数、所述当前实例数、所述第一关系和所述第二关系，得到所述目标服务的qps在所述当前时间段的上限的预测值，包括：

18、确定所述第二斜率与所述第一斜率的第一比值；

19、确定所述第二截距与所述第一截距的目标差值；

20、基于所述第一比值、所述目标差值、所述参考上限值、所述参考实例数和所述当前实例数，得到所述预测值。

21、结合本技术任一实施方式，所述基于所述第一比值、所述目标差值、所述参考上限值、所述参考实例数和所述当前实例数，得到所述预测值，包括：

22、确定所述第一比值与所述参考上限值的第一乘积；

23、确定所述第一乘积与所述目标差值的和；

24、确定所述当前实例数与所述参考实例数的第二比值；

25、确定所述和与所述第二比值的乘积，得到所述预测值。

26、结合本技术任一实施方式，所述目标硬件资源包括处理器。

27、结合本技术任一实施方式，在存在早于所述参考时间段的历史时间段的情况下，所述获取目标服务的qps在参考时间段的参考上限值，包括：

28、获取所述目标服务在所述参考时间段的参考qps；

29、获取历史实例数和所述目标服务在所述历史时间段的历史每秒查询率，所述历史实例数为所述目标服务在所述历史时间段的实例的数量；

30、基于所述历史qps，确定所述目标服务的qps在所述历史时间段的第一峰值；

31、基于所述第一峰值、所述历史实例数和所述参考实例数，确定所述参考上限值，所述参考上限值与所述第一峰值的关系为第三关系，所述参考实例数与所述历史实例数的关系为第四关系，所述第三关系与所述第四关系满足第一预设条件。

32、结合本技术任一实施方式，所述第一预设条件为所述第三关系是所述第四关系的a倍，所述a大于1；

33、所述基于所述第一峰值、所述历史实例数和所述参考实例数，确定所述参考上限值，包括：

34、确定所述参考实例数与所述历史例数的第二比值；

35、确定所述第二比值与所述a的第二乘积；

36、确定所述第二乘积与所述第一峰值的乘积，得到所述参考上限值。

37、结合本技术任一实施方式，在所述目标服务开始运行的时间为所述参考时间段的情况下，所述获取目标服务的每秒查询率在参考时间段的参考上限值，包括：

38、基于所述参考每秒查询率，确定所述目标服务的每秒查询率在所述参考时间段的参考峰值；

39、根据所述参考峰值，得到所述参考上限值，所述参考上限值大于所述参考峰值。

40、结合本技术任一实施方式，在得到所述预测值之后，所述方法还包括：

41、获取所述目标服务在所述当前时间段的当前qps；

42、基于所述当前qps，确定所述目标服务的qps在所述当前时间段的第二峰值；

43、获取当前成功率，所述当前成功率为目标请求中被所述目标服务成功响应的请求的比例，所述目标请求为所述当前时间段内用于请求所述目标服务的请求；

44、在基于所述当前qps和所述当前成功率确定满足第二预设条件的情况下，确定所述第二峰值与所述预测值中的最大值，为所述目标服务的qps在所述当前时间段的目标上限值，所述第二预设条件为：在所述当前qps由未达到第二阈值增长为达到所述第二阈值的情况下，所述当前成功率未出现下降。

45、结合本技术任一实施方式，所述方法还包括：

46、获取所述目标服务在所述当前时间段的当前qps和当前成功率，所述当前成功率为目标请求中被所述目标服务成功响应的请求的比例，所述目标请求为所述当前时间段内用于请求所述目标服务的请求；

47、在基于所述当前qps和所述当前成功率确定满足第三预设条件的情况下，确定所述目标服务在目标时间的qps为所述目标服务的qps在所述当前时间段的目标上限值，所述第三预设条件为：在所述当前qps由未达到第二阈值增长为达到所述第二阈值的情况下，所述当前成功率出现下降，且所述目标服务的响应时间大于或等于第三阈值，所述目标时间为所述当前成功率出现下降的时间。

48、结合本技术任一实施方式，在所述基于所述参考上限值、所述参考实例数、所述当前实例数、所述第一关系和所述第二关系，得到所述目标服务的qps在所述当前时间段的上限的预测值之后，所述方法还包括：

49、在连续m个参考时间段均不存在所述目标服务的qps的已观测校正上限值的情况下，将所述预测值放大r倍，得到所述目标服务的qps在所述当前时间段的目标上限值，所述m个参考时间段中最晚的时间段与所述当前时间段相邻，所述已观测校正上限值为与所述目标上限值对应的上限值，所述r大于1。

50、第二方面，提供了一种数据处理装置，所述数据处理装置包括：

51、获取单元，用于获取目标服务的qps在参考时间段的参考上限值；

52、所述获取单元，用于获取第一关系和第二关系，所述第一关系为目标硬件资源的利用率与所述目标服务的qps在所述参考时间段的关系，所述第二关系为所述目标硬件资源的利用率与所述目标服务的qps在所述当前时间段的关系，所述目标硬件资源为用于实现所述目标服务的硬件资源；

53、预测单元，用于基于所述参考上限值、所述第一关系和所述第二关系，得到所述目标服务的每秒查询率在所述当前时间段的上限的预测值，所述当前时间段为所述参考时间段之后的时间段，所述第一关系与所述第二关系的差异为第一差异，所述第一差异与第二差异匹配，所述第二差异为所述参考上限值与所述预测值的差异。

54、结合本技术任一实施方式，所述获取单元，还用于：

55、获取参考实例数和当前实例数，所述参考实例数为所述目标服务在所述参考时间段的实例的数量，所述当前实例数为所述目标服务在当前时间段的实例的数量，所述参考时间段早于所述当前时间段；

56、所述预测单元，具体用于：

57、基于所述参考上限值、所述参考实例数、所述当前实例数、所述第一关系和所述第二关系，得到所述预测值；所述第一差异与第三差异匹配，所述第三差异为所述第二差异与第四差异的差异为差异，所述第四差异为所述当前实例数与所述当前实例数的差异。

58、结合本技术任一实施方式，所述获取单元，具体用于：

59、获取所述目标服务在所述参考时间段的参考qps；

60、从所述参考qps中确定低于第一阈值的目标qps；

61、基于所述目标qps，以及所述目标qps所对应的所述目标硬件资源的利用率，得到所述第一关系。

62、结合本技术任一实施方式，所述数据处理装置，还包括：确定单元，用于从所述参考qps中确定预设百分位的qps作为所述第一阈值。

63、结合本技术任一实施方式，所述第一关系与所述第二关系均为线性关系，所述第一关系通过第一斜率和第一截距确定，所述第二关系通过第二斜率和第二截距确定；

64、所述预测单元，具体用于：

65、确定所述第二斜率与所述第一斜率的第一比值；

66、确定所述第二截距与所述第一截距的目标差值；

67、基于所述第一比值、所述目标差值、所述参考上限值、所述参考实例数和所述当前实例数，得到所述预测值。

68、结合本技术任一实施方式，所述预测单元，具体用于：

69、确定所述第一比值与所述参考上限值的第一乘积；

70、确定所述第一乘积与所述目标差值的和；

71、确定所述当前实例数与所述参考实例数的第二比值；

72、确定所述和与所述第二比值的乘积，得到所述预测值。

73、结合本技术任一实施方式，所述目标硬件资源包括处理器。

74、结合本技术任一实施方式，在存在早于所述参考时间段的历史时间段的情况下，所述获取单元，具体用于：

75、获取所述目标服务在所述参考时间段的参考qps；

76、获取历史实例数和所述目标服务在所述历史时间段的历史每秒查询率，所述历史实例数为所述目标服务在所述历史时间段的实例的数量；

77、基于所述历史qps，确定所述目标服务的qps在所述历史时间段的第一峰值；

78、基于所述第一峰值、所述历史实例数和所述参考实例数，确定所述参考上限值，所述参考上限值与所述第一峰值的关系为第三关系，所述参考实例数与所述历史实例数的关系为第四关系，所述第三关系与所述第四关系满足第一预设条件。

79、结合本技术任一实施方式，所述第一预设条件为所述第三关系是所述第四关系的a倍，所述a大于1；

80、所述获取单元，具体用于：

81、确定所述当前实例数与所述参考例数的第二比值；

82、确定所述第二比值与所述a的第二乘积；

83、确定所述第二乘积与所述第一峰值的乘积，得到所述参考上限值。

84、结合本技术任一实施方式，在所述目标服务开始运行的时间为所述参考时间段的情况下，所述获取单元具体用于：

85、基于所述参考每秒查询率，确定所述目标服务的每秒查询率在所述参考时间段的参考峰值；

86、根据所述参考峰值，得到所述参考上限值，所述参考上限值大于所述参考峰值。

87、结合本技术任一实施方式，所述获取单元，还用于获取所述目标服务在所述当前时间段的当前qps；

88、所述数据处理装置，还包括：确定单元，用于基于所述当前qps，确定所述目标服务的qps在所述当前时间段的第二峰值；

89、所述获取单元，还用于获取当前成功率，所述当前成功率为目标请求中被所述目标服务成功响应的请求的比例，所述目标请求为所述当前时间段内用于请求所述目标服务的请求；

90、所述确定单元，还用于在基于所述当前qps和所述当前成功率确定满足第二预设条件的情况下，确定所述第二峰值与所述预测值中的最大值，为所述目标服务的qps在所述当前时间段的目标上限值，所述第二预设条件为：在所述当前qps由未达到第二阈值增长为达到所述第二阈值的情况下，所述当前成功率未出现下降。

91、结合本技术任一实施方式，所述获取单元，还用于获取所述目标服务在所述当前时间段的当前qps和当前成功率，所述当前成功率为目标请求中被所述目标服务成功响应的请求的比例，所述目标请求为所述当前时间段内用于请求所述目标服务的请求；

92、所述数据处理装置，还包括：确定单元，用于在基于所述当前qps和所述当前成功率确定满足第三预设条件的情况下，确定所述目标服务在目标时间的qps为所述目标服务的qps在所述当前时间段的目标上限值，所述第三预设条件为：在所述当前qps由未达到第二阈值增长为达到所述第二阈值的情况下，所述当前成功率出现下降，且所述目标服务的响应时间大于或等于第三阈值，所述目标时间为所述当前成功率出现下降的时间。

93、结合本技术任一实施方式，所述数据处理装置，还包括：放大单元，用于在连续m个参考时间段均不存在所述目标服务的qps的已观测校正上限值的情况下，将所述预测值放大r倍，得到所述目标服务的qps在所述当前时间段的目标上限值，所述m个参考时间段中最晚的时间段与所述当前时间段相邻，所述已观测校正上限值为与所述目标上限值对应的上限值，所述r大于1。

94、第三方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

95、第四方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任一实施方式。

96、第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任一实施方式。

97、第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一实施方式。

98、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。

99、由于在目标服务的运行过程中，目标资源可能会发生变化，其中，目标资源包括目标硬件资源和目标软件资源，目标软件资源为用于实现目标服务的软件资源。而目标资源的变化，会导致目标硬件资源的利用率与目标服务的qps的关系发生变化。因此，在本技术中，数据处理装置基于目标硬件资源的利用率与目标服务的qps的关系的变化，预测目标服务的qps的上限值，可提高预测准确度。

100、具体的，数据处理装置在获取目标服务的qps在参考时间段的参考上限值、目标硬件资源的利用率与目标服务的qps在参考时间段的第一关系、目标硬件资源的利用率与目标服务的qps在当前时间段的第二关系后，在第一差异与第二差异匹配的情况下，基于参考上限值、第一关系和第二关系，得到目标服务的qps在当前时间段的上限的预测值，其中，第一差异为第一关系与第二关系的差异，第二差异为参考上限值与预测值的差异。这样可利用目标硬件资源与目标服务的qps的变化，确定目标服务的qps在当前时间段的上限的预测值，进而可在考虑了目标资源的动态变化的情况下，确定该预测值，从而可提高该预测值的准确度。