数据处理方法及装置、电子设备、计算机可读存储介质及计算机程序产品与流程

本技术涉及微服务，尤其涉及一种数据处理方法及装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术：

1、服务的响应时间(reaction time，rt)会影响请求该服务的用户的体验，因此出于对用户体验的考虑，需要使服务的rt满足预设需求。而服务的每秒查询率(queries persecond，qps)会影响服务的rt。因此，如何确定服务的qps的上限值，具有非常重要的意义。

技术实现思路

1、本技术提供一种数据处理方法及装置、电子设备、计算机可读存储介质及计算机程序产品，以确定服务的qps的上限值。

2、第一方面，提供了一种数据处理方法，所述方法包括：

3、获取目标服务的历史qps和所述目标服务的历史rt；

4、利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标服务的qps与所述目标服务的rt的第一关系，所述特性包括：在所述目标服务接收到至少一个请求的情况下，按接收请求的时间顺序依次处理所述至少一个请求，任意两个请求的处理时长的差小于或等于第一阈值，所述第一关系中的qps的第一最大值大于所述历史qps的第二最大值；

5、基于所述第一关系，确定所述目标服务的qps的第一上限值，在所述目标服务的qps小于或等于所述第一上限值的情况下，所述目标服务的rt满足预设需求。

6、结合本技术任一实施方式，所述预设需求为在所述目标服务的qps增大第一预设值的情况下，所述目标服务的rt的增长量小于或等于第二预设值；

7、所述基于所述第一关系，确定所述目标服务的qps的第一上限值，包括：

8、确定所述第一关系的第一拐点；

9、基于所述第一拐点所对应的所述目标服务的qps，确定所述第一上限值。

10、结合本技术任一实施方式，在所述获取目标服务的历史qps之后，在所述确定所述第一关系的第一拐点之前，所述方法还包括：

11、获取第二关系，所述第二关系为所述目标服务的qps与目标硬件资源的利用率的关系，所述目标硬件资源为用于实现所述目标服务的硬件资源；

12、获取所述目标硬件资源的利用率的预设范围；

13、从所述第二关系中确定与所述预设范围对应的qps的范围，得到参考范围；

14、所述确定所述第一关系的第一拐点，包括：

15、对所述第一关系中qps位于所述参考范围内的数据进行拐点检测，得到所述第一拐点。

16、结合本技术任一实施方式，所述获取第二关系，包括：

17、获取所述目标硬件资源的历史利用率；

18、对所述历史利用率和所述历史qps进行拟合，得到所述第二关系，所述第二关系中的qps的第三最大值大于所述第一最大值。

19、结合本技术任一实施方式，所述第二关系为指数函数表征的函数关系。

20、结合本技术任一实施方式，在所述对所述历史利用率和所述历史qps进行拟合，得到所述第二关系之前，所述方法还包括：

21、基于所述历史利用率和所述历史qps，确定所述目标服务的qps与所述目标硬件资源的利用率的第一相关性；

22、所述对所述历史利用率和所述历史qps进行拟合，得到所述第二关系，包括：

23、在所述第一相关性大于第二阈值的情况下，对所述历史利用率和所述历史qps进行拟合，得到所述第二关系。

24、结合本技术任一实施方式，所述基于所述第一拐点所对应的所述目标服务的qps，确定所述第一上限值，包括：

25、从所述第二关系中确定与所述第一拐点的qps对应的所述目标硬件资源的利用率，得到参考利用率；

26、在所述参考利用率大于第三阈值的情况下，依据所述第二关系，确定在所述目标硬件资源的利用率为所述第三阈值的情况下所述目标服务的qps，作为所述第一上限值。

27、结合本技术任一实施方式，所述目标硬件资源包括处理器。

28、结合本技术任一实施方式，在所述利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标服务的qps与所述目标服务的rt的第一关系之前，所述方法还包括：

29、基于所述历史qps和所述历史rt，确定所述目标服务的qps与所述目标服务的rt的第二相关性；

30、所述利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标服务的qps与所述目标服务的rt的第一关系，包括：

31、在所述第二相关性大于第四阈值的情况下，执行利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标服务的qps与所述目标服务的rt的第一关系的步骤。

32、结合本技术任一实施方式，所述第一关系包括第一参数和第二参数，所述第一参数表征请求处于待处理状态的几率，所述第二参数表征所述目标服务处理请求的速率，所述第一参数的取值范围为小于或等于1的非负数，所述第二参数为正数。

33、结合本技术任一实施方式，在所述利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标服务的qps与所述目标服务的rt的第一关系之后，在所述基于所述第一关系，确定所述目标服务的qps的第一上限值之前，所述方法还包括：

34、基于所述第一最大值、所述第一关系中的所述目标服务的qps的最小值，以及所述第二参数，确定所述第一关系的渐近线的位置；

35、所述基于所述第一关系，确定所述目标服务的qps的第一上限值，包括：

36、在所述位置所对应的所述目标服务的qps大于或等于所述第二最大值，且所述位置所对应的所述目标服务的qps小于或等于所述第二最大值的n倍的情况下，执行基于所述第一关系，确定所述目标服务的qps的第一上限值的步骤，所述n为大于1的正数。

37、结合本技术任一实施方式，所述预设需求为在所述目标服务的qps增大第一预设值的情况下，所述目标服务的rt的增长量小于或等于第二预设值；

38、所述基于所述第一关系，确定所述目标服务的qps的第一上限值，包括：

39、将所述第一关系中的所述目标服务的rt减少第三预设值，得到第三关系；

40、对所述第三关系进行拐点检测，得到第二拐点；

41、确定所述第二拐点所对应的所述目标服务的rt，得到参考rt；

42、将所述参考rt放大m倍，得到目标rt，所述m大于1；

43、从所述第一关系中确定与所述目标rt对应的所述目标服务的qps，作为所述第一上限值。

44、结合本技术任一实施方式，所述预设需求为所述目标服务的rt小于或等于第二上限值，所述基于所述第一关系，确定所述目标服务的qps的第一上限值，包括：

45、依据所述第一关系，确定在所述目标服务的rt为所述第二上限值的情况下所述目标服务的qps，作为所述第一上限值。

46、结合本技术任一实施方式，在确定所述目标服务的qps的第一上限值之后，所述方法还包括：

47、基于所述第一上限值，确定调整所述目标服务的实例的数量的方案。

48、第二方面，提供了一种数据处理方法，所述方法包括：

49、获取目标服务的历史qps和所述目标服务的历史rt；

50、获取目标关系的渐近线所对应的qps的先验值，所述目标关系为所述目标服务的qps与所述目标服务的rt的关系；

51、将所述先验值作为约束条件，利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标关系；

52、所述特性包括：在所述目标服务接收到至少一个请求的情况下，按接收请求的时间顺序依次处理所述至少一个请求，任意两个请求的处理时长的差小于或等于第一阈值，所述目标关系中的qps的最大值大于所述历史qps的最大值；

53、基于所述目标关系，确定所述目标服务的qps的第一上限值，在所述目标服务的qps小于或等于所述第一上限值的情况下，所述目标服务的rt满足预设需求。

54、结合本技术任一实施方式，所述将所述先验值作为约束条件，利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标关系，包括：

55、利用所述特性，对所述历史qps和所述历史rt进行拟合，得到所述目标关系，以使所述目标差异小于或等于参考阈值，所述目标差异是通过对第一差异与第二差异进行加权求和得到的，所述第一差异为所述渐近线所对应的qps与所述先验值的差异，所述第二差异为所述第一rt估算值与所述历史rt的差异，所述第一rt估算值为根据所述目标关系和所述历史qps确定的所述目标服务的rt的估算值。

56、结合本技术任一实施方式，在所述利用所述特性，对所述历史qps和所述历史rt进行拟合，得到所述目标关系，以使所述目标差异小于或等于参考阈值之前，所述方法还包括：

57、利用所述特性，对所述历史qps和所述历史rt进行拟合，得到所述目标服务的qps与所述目标服务的rt的第一关系；

58、根据所述第一关系和所述历史qps，确定所述目标服务的rt的估算值，得到第二rt估算值；

59、根据所述第二rt估算值与所述历史rt的差异，得到第一中间值；

60、将所述第一中间值的r倍作为所述第一差异的权重，对所述第一差异与所述第二差异进行加权求和得到所述目标差异，所述r为正实数。

61、结合本技术任一实施方式，所述第二差异为第二中间值的范数，所述第二中间值为估算差的s次方，所述估算差为所述第一rt估算值与所述历史rt的差，所述s为正整数。

62、结合本技术任一实施方式，所述获取目标关系的渐近线所对应的qps的先验值，包括：

63、获取第二关系，所述第二关系为所述目标服务的qps与目标硬件资源的利用率的关系，所述目标硬件资源为用于实现所述目标服务的硬件资源；

64、根据所述第二关系的斜率的倒数，得到所述先验值，所述先验值与所述斜率的倒数呈正相关。

65、结合本技术任一实施方式，所述预设需求为在所述目标服务的qps增大第一预设值的情况下，所述目标服务的rt的增长量小于或等于第二预设值；

66、所述基于所述目标关系，确定所述目标服务的qps的第一上限值，包括：

67、确定所述目标关系的目标拐点；

68、基于所述目标拐点所对应的所述目标服务的qps，确定所述第一上限值。

69、结合本技术任一实施方式，在确定所述目标服务的qps的第一上限值之后，所述方法还包括：

70、基于所述第一上限值，确定调整所述目标服务的实例的数量的方案。

71、结合本技术任一实施方式，在所述基于所述第一上限值，确定调整所述目标服务的实例的数量的方案之前，所述方法还包括：

72、确定所述目标关系的渐近线所对应的qps与所述先验值的差异；

73、确定所述差异与所述目标关系的渐近线所对应的qps的比值，得到第三中间值；

74、所述基于所述第一上限值，确定调整所述目标服务的实例的数量的方案，包括：

75、在所述第三中间值小于或等于目标阈值的情况下，基于所述第一上限值，确定调整所述目标服务的实例的数量的方案。

76、结合本技术任一实施方式，在得到第三中间值之后，所述方法还包括：

77、在所述目标服务的实际qps与所述第一上限值的差小于或等于安全阈值，且所述第三中间值大于所述目标阈值的情况下，确定目标原因是由下游服务造成的，所述目标原因为导致所述实际rt与所述第一上限值的差小于或等于所述安全阈值的原因，所述下游服务为下游链路中的服务，所述下游链路为所述目标服务实现目标业务的链路，所述目标业务用于响应针对所述目标服务的请求。

78、第三方面，提供了一种数据处理装置，所述数据处理装置包括：

79、获取单元，用于获取目标服务的历史qps和所述目标服务的历史rt；

80、拟合单元，用于利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标服务的qps与所述目标服务的rt的第一关系，所述特性包括：在所述目标服务接收到至少一个请求的情况下，按接收请求的时间顺序依次处理所述至少一个请求，任意两个请求的处理时长的差小于或等于第一阈值，所述第一关系中的qps的第一最大值大于所述历史qps的第二最大值；

81、确定单元，用于基于所述第一关系，确定所述目标服务的qps的第一上限值，在所述目标服务的qps小于或等于所述第一上限值的情况下，所述目标服务的rt满足预设需求。

82、结合本技术任一实施方式，所述预设需求为在所述目标服务的qps增大第一预设值的情况下，所述目标服务的rt的增长量小于或等于第二预设值；

83、所述确定单元，具体用于：

84、确定所述第一关系的第一拐点；

85、基于所述第一拐点所对应的所述目标服务的qps，确定所述第一上限值。

86、结合本技术任一实施方式，所述获取单元，还用于：

87、获取第二关系，所述第二关系为所述目标服务的qps与目标硬件资源的利用率的关系，所述目标硬件资源为用于实现所述目标服务的硬件资源；

88、获取所述目标硬件资源的利用率的预设范围；

89、所述确定单元，还用于从所述第二关系中确定与所述预设范围对应的qps的范围，得到参考范围；

90、所述确定单元，具体用于对所述第一关系中qps位于所述参考范围内的数据进行拐点检测，得到所述第一拐点。

91、结合本技术任一实施方式，所述获取单元，具体用于：

92、获取所述目标硬件资源的历史利用率；

93、对所述历史利用率和所述历史qps进行拟合，得到所述第二关系，所述第二关系中的qps的第三最大值大于所述第一最大值。

94、结合本技术任一实施方式，所述第二关系为指数函数表征的函数关系。

95、结合本技术任一实施方式，所述确定单元，还用于基于所述历史利用率和所述历史qps，确定所述目标服务的qps与所述目标硬件资源的利用率的第一相关性；

96、所述拟合单元，具体用于在所述第一相关性大于第二阈值的情况下，对所述历史利用率和所述历史qps进行拟合，得到所述第二关系。

97、结合本技术任一实施方式，所述确定单元，具体用于：

98、从所述第二关系中确定与所述第一拐点的qps对应的所述目标硬件资源的利用率，得到参考利用率；

99、在所述参考利用率大于第三阈值的情况下，依据所述第二关系，确定在所述目标硬件资源的利用率为所述第三阈值的情况下所述目标服务的qps，作为所述第一上限值。

100、结合本技术任一实施方式，所述目标硬件资源包括处理器。

101、结合本技术任一实施方式，所述确定单元，具体用于基于所述历史qps和所述历史rt，确定所述目标服务的qps与所述目标服务的rt的第二相关性；

102、所述拟合单元，具体用于在所述第二相关性大于第四阈值的情况下，执行利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标服务的qps与所述目标服务的rt的第一关系的步骤。

103、结合本技术任一实施方式，所述第一关系包括第一参数和第二参数，所述第一参数表征请求处于待处理状态的几率，所述第二参数表征所述目标服务处理请求的速率，所述第一参数的取值范围为小于或等于1的非负数，所述第二参数为正数。

104、结合本技术任一实施方式，所述确定单元，还用于：

105、基于所述第一最大值、所述第一关系中的所述目标服务的qps的最小值，以及所述第二参数，确定所述第一关系的渐近线的位置；

106、所述确定单元，具体用于：

107、在所述位置所对应的所述目标服务的qps大于或等于所述第二最大值，且所述位置所对应的所述目标服务的qps小于或等于所述第二最大值的n倍的情况下，执行基于所述第一关系，确定所述目标服务的qps的第一上限值的步骤，所述n为大于1的正数。

108、结合本技术任一实施方式，所述预设需求为在所述目标服务的qps增大第一预设值的情况下，所述目标服务的rt的增长量小于或等于第二预设值；

109、所述确定单元，具体用于：

110、将所述第一关系中的所述目标服务的rt减少第三预设值，得到第三关系；

111、对所述第三关系进行拐点检测，得到第二拐点；

112、确定所述第二拐点所对应的所述目标服务的rt，得到参考rt；

113、将所述参考rt放大m倍，得到目标rt，所述m大于1；

114、从所述第一关系中确定与所述目标rt对应的所述目标服务的qps，作为所述第一上限值。

115、结合本技术任一实施方式，所述确定单元，具体用于：

116、依据所述第一关系，确定在所述目标服务的rt为所述第二上限值的情况下所述目标服务的qps，作为所述第一上限值。

117、结合本技术任一实施方式，所述确定单元，还用于：

118、基于所述第一上限值，确定调整所述目标服务的实例的数量的方案。

119、第四方面，提供了一种数据处理装置，所述数据处理装置包括：

120、获取单元，用于获取目标服务的历史qps和所述目标服务的历史rt；

121、所述获取单元，用于获取目标关系的渐近线所对应的qps的先验值，所述目标关系为所述目标服务的qps与所述目标服务的rt的关系；

122、拟合单元，用于将所述先验值作为约束条件，利用所述目标服务处理请求的特性，对所述历史qps和所述历史rt进行拟合，得到所述目标关系；

123、所述特性包括：在所述目标服务接收到至少一个请求的情况下，按接收请求的时间顺序依次处理所述至少一个请求，任意两个请求的处理时长的差小于或等于第一阈值，所述目标关系中的qps的最大值大于所述历史qps的最大值；

124、确定单元，用于基于所述目标关系，确定所述目标服务的qps的第一上限值，在所述目标服务的qps小于或等于所述第一上限值的情况下，所述目标服务的rt满足预设需求。

125、结合本技术任一实施方式，所述拟合单元，具体用于：

126、利用所述特性，对所述历史qps和所述历史rt进行拟合，得到所述目标关系，以使所述目标差异小于或等于参考阈值，所述目标差异是通过对第一差异与第二差异进行加权求和得到的，所述第一差异为所述渐近线所对应的qps与所述先验值的差异，所述第二差异为所述第一rt估算值与所述历史rt的差异，所述第一rt估算值为根据所述目标关系和所述历史qps确定的所述目标服务的rt的估算值。

127、结合本技术任一实施方式，所述拟合单元，还用于：

128、利用所述特性，对所述历史qps和所述历史rt进行拟合，得到所述目标服务的qps与所述目标服务的rt的第一关系；

129、所述确定单元，还用于根据所述第一关系和所述历史qps，确定所述目标服务的rt的估算值，得到第二rt估算值；

130、所述确定单元，还用于根据所述第二rt估算值与所述历史rt的差异，得到第一中间值；

131、所述确定单元，还用于将所述第一中间值的r倍作为所述第一差异的权重，对所述第一差异与所述第二差异进行加权求和得到所述目标差异，所述r为正实数。

132、结合本技术任一实施方式，所述第二差异为第二中间值的范数，所述第二中间值为估算差的s次方，所述估算差为所述第一rt估算值与所述历史rt的差，所述s为正整数。

133、结合本技术任一实施方式，所述获取单元，具体用于：

134、获取第二关系，所述第二关系为所述目标服务的qps与目标硬件资源的利用率的关系，所述目标硬件资源为用于实现所述目标服务的硬件资源；

135、根据所述第二关系的斜率的倒数，得到所述先验值，所述先验值与所述斜率的倒数呈正相关。

136、结合本技术任一实施方式，所述预设需求为在所述目标服务的qps增大第一预设值的情况下，所述目标服务的rt的增长量小于或等于第二预设值；

137、所述确定单元，具体用于：

138、确定所述目标关系的目标拐点；

139、基于所述目标拐点所对应的所述目标服务的qps，确定所述第一上限值。

140、结合本技术任一实施方式，所述确定单元，还用于：

141、基于所述第一上限值，确定调整所述目标服务的实例的数量的方案。

142、结合本技术任一实施方式，所述确定单元，还用于：

143、确定所述目标关系的渐近线所对应的qps与所述先验值的差异；

144、确定所述差异与所述目标关系的渐近线所对应的qps的比值，得到第三中间值；

145、所述确定单元，具体用于：

146、在所述第三中间值小于或等于目标阈值的情况下，基于所述第一上限值，确定调整所述目标服务的实例的数量的方案。

147、结合本技术任一实施方式，所述确定单元，还用于：

148、在所述目标服务的实际qps与所述第一上限值的差小于或等于安全阈值，且所述第三中间值大于所述目标阈值的情况下，确定目标原因是由下游服务造成的，所述目标原因为导致所述实际rt与所述第一上限值的差小于或等于所述安全阈值的原因，所述下游服务为下游链路中的服务，所述下游链路为所述目标服务实现目标业务的链路，所述目标业务用于响应针对所述目标服务的请求。

149、第五方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任一实施方式的方法，所述电子设备或者执行如上述第二方面及其任一实施方式的方法。

150、第六方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任一实施方式，所述电子设备或者执行如上述第二方面及其任一实施方式。

151、第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任一实施方式，或者使所述处理器执行如上述第二方面及其任一实施方式。

152、第八方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一实施方式，或者使得所述计算机执行上述第一方面及其任一实施方式。

153、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。

154、本技术中，数据处理装置在获取目标服务的历史qps和目标服务的历史rt后，将先验值作为约束条件，利用目标服务处理请求的特性，对历史qps和历史rt进行拟合，可得到目标服务的qps与目标服务的rt的目标关系。由于是利用目标服务处理请求的数据特性拟合得到目标关系的，目标关系与该数据特性的匹配度高，而且可通过该约束条件，可缩小目标关系的渐近线所对应的qps与先验值的差距，由此可减小目标关系的渐近线所对应的qps的误差，进而降低对历史qps和历史rt的拟合出现过拟合的几率，从而可提高目标关系的准确度。而且目标关系中的qps的最大值大于历史qps的最大值，即目标关系中的数据范围比历史数据的范围大，其中，历史数据包括历史qps和历史rt。最后数据处理装置基于目标关系，确定目标服务的qps的第一上限值，可提高第一上限值的准确度。