资源使用评价方法、装置、设备、介质和程序产品与流程

本公开涉及大数据，更具体地涉及一种资源使用评价方法、装置、设备、介质和程序产品。

背景技术：

1、租户是指在大数据环境中存储、处理和分析大量数据的个人、组织或企业。在使用大数据服务时，需要考虑租户资源使用是否合理的问题，并在租户资源使用不合理的情况下，采取一定的治理措施以保证资源合理使用。

2、现有技术中，针对租户资源是否合理使用的问题，往往通过租户资源利用率进行资源评价，进而通过资源利用率的评价结果，执行一定的治理措施。例如，若管理方将较多资源分配至某一租户后，实际租户使用量较少，则判定为该租户存在资源利用率偏低的行为，后续分配较少的资源。仅针对资源利用率这一单一指标已经无法满足复杂的租户应用场景，亟需一种新的资源使用评价方法来对租户的资源使用进行评价，进而可以帮助租户提升资源使用的效率。

技术实现思路

1、鉴于上述问题，本公开提供了提高租户资源使用效率的资源使用评价方法、装置、设备、介质和程序产品。

2、根据本公开的第一个方面，提供了一种资源使用评价方法，其特征在于，所述方法包括：获取第一用户的n个技术指标，n为正整数，其中，所述n个技术指标包括存储类技术指标和计算类技术指标；按照与所述n个技术指标一一对应的低效资源判断条件，计算所述n个技术指标，得到n个指标结果；以及基于所述n个指标结果，计算指标评价值。

3、根据本公开的实施例，所述按照与所述n个技术指标一一对应的低效资源判断条件，计算所述n个技术指标，得到n个指标结果，包括：对于任一技术指标，获取对应的所述低效资源判断条件；判断所述技术指标是否符合所述低效资源判断条件；以及在所述技术指标符合所述低效资源判断条件的情况下，判定所述指标结果为低效资源；或者，在所述技术指标不符合所述低效资源判断条件的情况下，判定所述指标结果为非低效资源。

4、根据本公开的实施例，所述基于所述n个指标结果，计算指标评价值，包括：对所述n个指标结果，分配对应的指标基数，得到n个指标基数；以及基于所述n个指标基数一一对应的预设权重，结合所述n个指标基数，计算指标评价值。

5、根据本公开的实施例，所述对所述n个指标结果，分配对应的指标基数，得到n个指标基数，包括：在所述指标结果为低效资源的情况下，分配对应的第一指标基数；以及在所述指标结果为非低效资源的情况下，分配对应的第二指标基数。

6、根据本公开的实施例，其中，所述存储类技术指标包括：备份表未清理空间占用、无生命周期管理空间占用、未压缩空间占用、数据冗存空间占用、长期未访问表空间占用、碎片表数、倾斜表空间占用、碎片表表空间占用以及小于预设行数表空间占用；以及所述计算类技术指标包括：第一低效查询计算消耗占比、第二低效查询计算消耗占比以及低资源使用率。

7、根据本公开的实施例，所述判断所述技术指标是否符合所述低效资源判断条件，包括：对于所述备份表未清理空间占用，判断备份表是否超过第一预设时间阈值；对于所述无生命周期管理空间占用，判断数据表是否存在生命周期管理；对于所述未压缩空间占用，判断数据表是否为预设的压缩格式；对于所述数据冗存空间占用，判断是否存在相同的数据表；对于所述长期未访问表空间占用，判断数据表是否在第一预设时间周期内的结构化查询语句中出现；对于所述碎片表数，判断数据表中文件的平均文件大小是否小于预设文件大小阈值，且判断数据表的文件数与分区数的比值是否大于第一预设比率阈值；对于所述倾斜表空间占用，判断数据表的表倾斜率是否大于第一预设倾斜率阈值；对于所述碎片表表空间占用，判断数据表的大小与表中文件的数量的比值是否小于第二预设比率阈值；以及对于所述小于预设行数表空间占用，判断数据表的行数是否小于预设行数阈值。

8、根据本公开的实施例，所述判断所述技术指标是否符合所述低效资源判断条件，还包括：对于所述第一低效查询计算消耗占比，确定所述第一低效查询语句；获取所述第一低效查询语句的第一计算资源消耗；判断所述第一计算资源消耗是否超过第一预设资源消耗阈值；对于所述第二低效查询计算消耗占比，确定所述第二低效查询语句；获取所述第二低效查询语句的第二计算资源消耗；判断所述第二计算资源消耗是否超过第二预设资源消耗阈值；以及对于所述低资源使用率，判断在第二预设时间周期内资源使用量低于预设资源使用率是否大于第二预设时间阈值。

9、根据本公开的实施例，所述确定所述第一低效查询语句，包括：在查询语句满足第一低效查询语句条件集中至少一条时，则判定为所述第一低效查询语句，其中，所述第一低效查询语句条件集包括：查询语句的输出数据大于输入数据的预设倍数，且查询语句的执行时间超过第一预设执行时间；查询语句存在倾斜，且执行时间超过第二预设执行时间；查询语句中包含预设目标关键字，并且执行时间超过第三预设执行时间；以及查询语句涉及表分区数超过预设分区数阈值，且执行时间超过第四预设执行时间。

10、根据本公开的实施例，所述确定所述第二低效查询语句，包括：在查询语句满足第二低效查询语句条件集中至少一条时，则判定为所述第二低效查询语句，其中，所述第二低效查询语句条件集包括：查询语句对应的单节点最大落盘超过预设落盘阈值，且执行时间超过第五预设执行时间；以及查询语句对应的数据节点之间的数据倾斜比例超过第二预设倾斜率阈值，且执行时间超过第六预设执行时间。

11、本公开的第二方面提供了一种资源使用评价装置，包括：技术指标获取模块，用于获取第一用户的n个技术指标，n为正整数，其中，所述n个技术指标包括存储类技术指标和计算类技术指标；指标结果计算模块，用于按照与所述n个技术指标一一对应的低效资源判断条件，计算所述n个技术指标，得到n个指标结果；以及指标评价值计算模块，用于基于所述n个指标结果，计算指标评价值。

12、根据本公开的实施例，所述指标结果计算模块，包括：判断条件获取单元、低效指标判断单元以及指标结果计算单元，所述判断条件获取单元，用于对于任一技术指标，获取对应的所述低效资源判断条件；所述低效指标判断单元，用于判断所述技术指标是否符合所述低效资源判断条件；以及所述指标结果计算单元，用于在所述技术指标符合所述低效资源判断条件的情况下，判定所述指标结果为低效资源；或者，在所述技术指标不符合所述低效资源判断条件的情况下，判定所述指标结果为非低效资源。

13、根据本公开的实施例，所述指标评价值计算模块，包括：指标基数分配单元和指标评价值计算单元，所述指标基数分配单元，用于对所述n个指标结果，分配对应的指标基数，得到n个指标基数；以及所述指标评价值计算单元，用于基于所述n个指标基数一一对应的预设权重，结合所述n个指标基数，计算指标评价值。

14、根据本公开的实施例，所述指标基数分配单元，具体地用于，在所述指标结果为低效资源的情况下，分配对应的第一指标基数；以及在所述指标结果为非低效资源的情况下，分配对应的第二指标基数。

15、根据本公开的实施例，其中，所述存储类技术指标包括：备份表未清理空间占用、无生命周期管理空间占用、未压缩空间占用、数据冗存空间占用、长期未访问表空间占用、碎片表数、倾斜表空间占用、碎片表表空间占用以及小于预设行数表空间占用；以及所述计算类技术指标包括：第一低效查询计算消耗占比、第二低效查询计算消耗占比以及低资源使用率。

16、根据本公开的实施例，所述低效指标判断单元，具体用于，对于所述备份表未清理空间占用，判断备份表是否超过第一预设时间阈值；对于所述无生命周期管理空间占用，判断数据表是否存在生命周期管理；对于所述未压缩空间占用，判断数据表是否为预设的压缩格式；对于所述数据冗存空间占用，判断是否存在相同的数据表；对于所述长期未访问表空间占用，判断数据表是否在第一预设时间周期内的结构化查询语句中出现；对于所述碎片表数，判断数据表中文件的平均文件大小是否小于预设文件大小阈值，且判断数据表的文件数与分区数的比值是否大于第一预设比率阈值；对于所述倾斜表空间占用，判断数据表的表倾斜率是否大于第一预设倾斜率阈值；对于所述碎片表表空间占用，判断数据表的大小与表中文件的数量的比值是否小于第二预设比率阈值；以及对于所述小于预设行数表空间占用，判断数据表的行数是否小于预设行数阈值。

17、根据本公开的实施例，所述低效指标判断单元，还具体用于，对于所述第一低效查询计算消耗占比，确定所述第一低效查询语句；获取所述第一低效查询语句的第一计算资源消耗；判断所述第一计算资源消耗是否超过第一预设资源消耗阈值；对于所述第二低效查询计算消耗占比，确定所述第二低效查询语句；获取所述第二低效查询语句的第二计算资源消耗；判断所述第二计算资源消耗是否超过第二预设资源消耗阈值；以及对于所述低资源使用率，判断在第二预设时间周期内资源使用量低于预设资源使用率是否大于第二预设时间阈值。

18、根据本公开的实施例，所述确定所述第一低效查询语句，包括：在查询语句满足第一低效查询语句条件集中至少一条时，则判定为所述第一低效查询语句，其中，所述第一低效查询语句条件集包括：查询语句的输出数据大于输入数据的预设倍数，且查询语句的执行时间超过第一预设执行时间；查询语句存在倾斜，且执行时间超过第二预设执行时间；查询语句中包含预设目标关键字，并且执行时间超过第三预设执行时间；以及查询语句涉及表分区数超过预设分区数阈值，且执行时间超过第四预设执行时间。

19、根据本公开的实施例，所述确定所述第二低效查询语句，包括：在查询语句满足第二低效查询语句条件集中至少一条时，则判定为所述第二低效查询语句，其中，所述第二低效查询语句条件集包括：查询语句对应的单节点最大落盘超过预设落盘阈值，且执行时间超过第五预设执行时间；以及查询语句对应的数据节点之间的数据倾斜比例超过第二预设倾斜率阈值，且执行时间超过第六预设执行时间。

20、本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述资源使用评价方法。

21、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述资源使用评价方法。

22、本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述资源使用评价方法。

23、在本公开的实施例中，为了解决资源使用评价指标单一的技术问题，本公开的实施例至少从存储类技术指标和计算类技术指标出发，获取到多个技术指标，并针对每一技术指标按照其对应的是否为低效指标的判断方案，生成相应地指标结果，最后，综合每一指标结果形成指标评价值，可以通过指标评价值判断是否进行资源治理。

24、本公开的实施例至少可以达成以下有益效果：

25、1、从低效资源，即使用的资源无价值产出，或因应用使用不合理造成的资源浪费角度来评估资源是否浪费，并通过指标的方式来评价；

26、2、全面性：涉及大数据多个技术平台，从存储和计算两个维度来评价；

27、3、可实施性：根据指标背后的逻辑，通过计算运营数据，便可评估租户资源使用是否合理；

28、4、精确评估：提出的指标及计算出的结果，均可作为后续低效资源治理内容，给后续资源治理提供精确的指导；

29、5、节约成本：通过评估大数据租户资源是否合理，可以更好地掌握租户的资源使用情况，发起引导及治理，避免租户因资源使用不合理造成的资源浪费，并减少不必要的硬件投资。