一种基于java语言的大数据组件集群管理系统的制作方法

本发明涉及组件集群管理，特别是指一种基于java语言的大数据组件集群管理系统。

背景技术：

1、对于现有的组件集群管理系统中，无法对算力资源进行高效利用，提升组件集群管理的整体效率，也不能够处理复杂的功能组件需求和多种功能特征的调度需求，无法适应于各种复杂的应用场景，造成资源浪费，无法实现对大数据组件集群的高效管理和优化。

2、中国专利申请公开号cn115827008a公开了一种基于云原生平台kubernetes的云原生大数据组件管理系统，包括：镜像管理模块，用于从公共镜像仓库中拉取所需的大数据组件镜像以及将构建好的镜像存入私有镜像仓库；容器部署模块，用于根据用户配置生成临时镜像和自动化部署脚本，通过所述临时镜像和所述自动化部署脚本完成大数据组件的容器化部署；集群监控模块，用于管理kubernetes集群中的资源以及对已部署的容器化大数据组件进行状态监控；网络管理模块，用于对使用service资源实现kubernetes集群内组件的网络配置管理以及使用ingress资源实现服务的对外暴露。

3、由此可见，当前的组件集群管理系统无法实现对大数据组件集群的高效管理和优化。

技术实现思路

1、为此，本发明的目的是提供一种基于java语言的大数据组件集群管理系统，用于克服当前的组件集群管理系统无法实现对大数据组件集群的高效管理和优化的问题。

2、为实现上述目的，本发明提供一种基于java语言的大数据组件集群管理系统，包括：

3、组件分类模块，将大数据组件集群内的各大数据组件按照功能特征进行周期性分类，以得到若干功能集群，对分类结果依次进行验证、调整，根据调整后的分类结果进行相应的标记；

4、任务识别模块，用以对各实际功能集群内功能组件的历史性能参数进行识别，以确定各功能组件的第一评分；

5、运行识别模块，用以对所述功能组件的历史运行参数进行识别，以确定功能组件的历史运行状态等级；

6、管理调度模块，用以根据所述第一评分和所述历史运行状态等级确定各功能组件的整体评分，根据所述整体评分对各实际功能集群内的功能组件进行排序，以得到功能指标序列，并根据目标需求结合所述功能指标序列对各功能集群进行挑选，以得到实际执行集群；

7、联合修正模块，基于不同的算力分配顺序对所述实际执行集群进行多次联合调度，以得到若干联合执行结果；根据执行标准结合所述联合执行结果对实际执行集群进行修正，以得到所述目标执行集群。

8、进一步地，所述组件分类模块包括：执行单元和验证单元、调整单元、更新维护单元和标记单元；

9、所述执行单元，其按照功能分类方案对所述大数据组件集群进行分类，以得到若干初始功能集群；

10、所述验证单元，其用以选取部分初始功能集群进行试点运行，在试点运行过程中收集相关的验证数据，并根据所述验证数据进行功能分类评价，以得到功能分类评价结果；

11、所述调整单元，其用以根据所述功能分类评价结果对功能分类精度进行调整，以得到若干实际功能集群；

12、所述更新维护单元，其用以对所述功能分类方案进行周期性审查，并根据所述功能分类评价结果对初始审查周期进行实时修正；

13、所述标记单元，其用以根据所述功能特征对各实际功能集群进行相应的标记。

14、进一步地，所述任务识别模块包括：第一获取单元、判断单元和第一计算单元；

15、所述第一获取单元，其用以获取各功能组件的所述历史性能参数；所述历史性能参数包括：历史吞吐量和历史效率；

16、所述判断单元，其用以根据所述历史吞吐量判断所述功能组件的使用类型；并根据所述历史效率判断所述功能组件的历史工作强度等级；

17、所述第一计算单元，其用以根据所述使用类型和所述历史工作强度等级确定所述功能组件的所述第一评分。

18、进一步地，所述运行识别模块包括：第二获取单元和评估单元；

19、所述第二获取单元，其用以获取各功能组件的所述历史运行参数；所述历史运行参数包括：历史日志运行次数和历史异常运行次数；

20、所述评估单元，其用以根据所述历史日志运行次数和所述历史异常运行次数评估所述功能组件的所述历史运行状态等级。

21、进一步地，所述管理调度模块包括：确定单元、序列生成单元和选择单元；

22、所述确定单元，其用以根据所述第一评分和所述历史运行状态等级确定所述整体评分；

23、所述序列生成单元，其对于任一实际功能集群，按照所述整体评分从大到小的顺序，将任一实际功能集群内各功能组件进行排序，以得到所述功能指标序列；

24、所述选择单元，其用以根据所述目标需求确定不同功能特征的目标组件个数，并根据各目标组件个数结合所述功能指标序列对各功能集群进行挑选，以得到所述实际执行集群。

25、进一步地，所述验证单元根据agent反馈的执行失败个数和预设的标准评价个数判定所述功能分类评价结果，并根据功能分类评价结果发出第一调节信号，或，第二调节信号；

26、其中，所述agent为部署在各试点运行节点的客户端；

27、所述更新维护单元根据所述第一调节信号对所述初始审查周期进行修正；

28、所述调整单元根据所述第二调节信号对所述功能分类精度进行调整。

29、进一步地，对于任一功能组件，所述判断单元根据任一功能组件的所述历史吞吐量结合预设的标准吞吐量判定任一功能组件的适用类型为常用组件，或，不常用组件；

30、所述判断单元根据所述历史效率和预设的标准效率判定所述历史工作强度等级。

31、进一步地，所述评估单元根据所述历史日志运行次数和所述历史异常运行次数中符合单一评估条件的项目个数确定所述历史运行状态等级。

32、进一步地，所述评估单元根据第四差值绝对值结合预设的第四评价值确定所述历史日志运行次数是否符合所述单一评估条件；根据第五差值绝对值结合预设的第五评价值确定所述历史异常运行次数是否符合所述单一评估条件；

33、其中，所述第四差值绝对值为所述历史日志运行次数与预设的标准运行次数间的差值绝对值；所述第五差值绝对值为所述历史异常运行次数与预设的异常评价次数间的差值绝对值。

34、进一步地，所述联合修正模块包括：联合单元和比较修正单元；

35、所述联合单元根据各实际功能集群对应的目标组件个数和所述功能指标序列得到若干单个执行集群；并根据各单个执行集群内是否存有相同的所述功能组件确定，所述实际执行集群即为所述目标执行集群，或，根据不同的所述算力分配顺序进行多次联合；

36、所述比较修正单元将各联合执行结果进行比较，选择各联合执行结果中最大化吞吐量和最小化延迟的所述联合执行结果作为所述目标执行集群。

37、与现有技术相比，本发明的有益效果在于，通过对大数据组件进行周期性分类和调整，使得分类结果更加准确和适应实际需求；对分类方案进行定期审查和修正，确保系统能够及时响应变化和优化；通过试点运行收集数据，评估初始分类的效果，调整单元根据评价结果进行调整，提高分类精度，确保功能集群更贴近实际使用情况；通过分析历史性能参数（如吞吐量和效率）和运行参数（如日志运行次数和异常运行次数），为每个组件打分，提供精准的性能评价；根据第一评分和历史运行状态等级，确定组件的整体评分，提供一个综合性的评价标准；对组件进行排序，根据目标需求挑选组件，确保实际执行集群具有最优的功能组合；对实际执行集群进行多次联合调度，基于执行结果进行修正，最终得到优化的目标执行集群，提高整体系统的执行效率；通过定期审查和实时修正功能分类方案，能够快速适应变化，保持最佳状态；根据目标需求挑选不同功能特征的组件，确保系统能够满足特定的业务需求；通过分析历史异常运行次数，评估组件的运行状态，识别潜在问题，提升稳定性和可靠性；通过多次联合调度，确保组件在不同条件下都能稳定运行，进一步提高系统的可靠性；通过细致的分类和评估机制、灵活的调整和优化方法，实现了对大数据组件集群的高效管理和优化。

38、尤其，通过按照功能分类方案将大数据组件集群细分为多个初始功能集群，确保分类的细致性和针对性；选取若干初始功能集群作为试点集群进行试点运行，收集验证数据，通过实际运行验证初始分类的准确性；在试点运行过程中，通过部署在各试点集群节点的agent反馈命令执行情况，定位执行失败的组件，并反馈失败原因，提供实时动态的运行反馈；根据执行失败个数与预设标准评价个数之间的差值绝对值进行评价，量化功能分类的准确性；判断分类是否准确并采取相应措施；根据验证单元反馈的调节信号，及时对审查周期和分类精度进行修正和调整，确保分类方案的持续优化和准确性；能够根据运行反馈和分类结果进行持续的优化和调整，保持最佳状态，适应不断变化的环境和需求；通过agent反馈执行情况，及时发现并定位分类失败的组件，提高分类的准确性和效率，减少人工干预和误判；基于具体的验证数据进行评价和调整，确保每一步决策都有数据支持，提高决策的科学性和准确性；灵活调整评价标准，适应不同业务场景和需求，增强适应性和灵活性；通过细致的初始分类、动态的试点验证、精准的分类评价和实时的调整与维护，确保大数据组件集群的分类准确性和优化效率。

39、尤其，通过按照初始审查周期对功能分类方案进行定期审查，确保分类方案的持续更新和优化；精确修正初始审查周期，得到实际审查周期；根据实际情况动态调整审查周期，这种差异化调整机制确保能够快速响应分类精度变化，提高分类方案的适应性和灵活性；对经过功能分类后的大数据组件进行功能标记，确保每个组件都有明确的功能标签，便于后续管理和调度；将相同功能标记的组件分配至对应的实际功能集群中，确保功能集群的准确性和一致性，进一步提高组织和管理效率；按照功能将大数据组件分类为不同的实际功能集群，每类实际功能集群对应特定的功能，如存储、处理、查询、识别等；细致的功能分类机制能够更好地满足不同业务需求，提高灵活性和适应性；通过周期性审查和实时调整功能分类方案，能持续优化和改进，确保分类的准确性和系统效率；对每个组件进行精确的功能标记和分配，便于进行精准管理和调度，优化资源利用；确保调整过程的合理性和精确性，提高稳定性和可靠性；根据反馈进行实时调整，确保能够及时响应和修正潜在问题，提升整体可靠性；通过动态调整审查周期、精确的功能标记和分配机制，以及细致的功能分类，提高了大数据组件集群的管理效率。

40、尤其，通过对历史吞吐量和历史效率的评估，判断功能组件的适用类型和工作强度等级，实现智能的组件分类；根据历史吞吐量和历史效率与预设标准的差异，量化组件的适用类型和工作强度等级；确定组件的适用类型和工作强度等级，提高评估的准确性和一致性；根据适用类型判断组件的常用性，有助于优化资源调度，合理分配计算资源，提高效率和性能；根据历史数据对组件进行评估和分类，增强了智能化水平，减少了人工干预，提高了管理的智能性和自动化程度；通过智能的组件评估和分类机制，能够根据历史数据对功能组件进行精细化的分类和评价，有助于优化资源调度和提高效率。

41、尤其，通过对功能组件的运行次数和异常运行次数进行细致判断，这种灵活的条件判定机制能够更准确地反映组件的运行状态；不仅考虑功能组件的总运行次数，还考虑异常运行次数，确保评估结果的全面性和准确性；通过符合单一评估条件的项目个数，评估单元将历史运行状态等级分为三级，从而提供了多维度、多层次的评估结果；明确划分了历史运行状态等级，清晰的等级定义有助于快速了解功能组件的运行状态；能够根据实际的运行和异常数据动态调整评估结果，提供实时、准确的运行状态反馈，有助于及时优化和改进系统性能；通过对历史日志运行次数和异常运行次数的实时评估和反馈，可以快速响应和调整，提升整体的稳定性和可靠性；详细的历史数据评估和状态等级划分，提供了准确的决策支持依据，有助于在优化和资源管理方面做出更加精准和有效的决策；通过对功能组件的历史日志运行次数和异常运行次数进行精细化的评估，提供了一个多维度、多层次的评估机制；能确保评估结果的全面性和准确性，还能实时监控和优化系统性能，提高可靠性和决策支持能力。

42、尤其，通过综合考虑第一评分和历史运行状态等级，为功能组件提供了一个全面、综合的评估指标；考虑到不同历史运行状态等级的影响，采用不同的运行状态补偿参数，使得评分更加客观、准确；根据功能特征类型个数和集群管理应用场景的影响，动态调整各运行状态补偿参数，使评分更贴合实际情况，提高评估的准确性和适用性；通过将功能组件按照整体评分从大到小的顺序进行排序，生成功能指标序列，有助于用户快速了解功能组件的优先级和重要性；根据目标需求确定不同功能特征的目标组件个数，并结合功能指标序列，对各功能集群进行挑选，以得到实际执行集群，从而满足用户的具体需求；根据功能特征类型个数和应用场景的影响调整参数，能够适应不同的管理需求和业务场景，提高灵活性和适应性；根据设定的目标需求，选择合适的功能组件，有助于优化资源分配，提高效率和性能。

43、尤其，通过对实际执行集群进行多次联合调度，并在每次调度中使用不同的算力分配顺序，能够探索多种可能的资源分配方案，从而找到最优解；对于存在相同功能组件的单个执行集群，通过改变算力分配顺序，能够灵活地调度资源，确保各功能组件的算力资源得到最优配置；如果各单个执行集群内不存在相同的功能组件，直接将实际执行集群确定为目标执行集群，简化了调度过程，提高了效率；能够处理具有不同功能特征的功能组件，例如一个组件既有存储功能又有识别功能，并根据不同功能特征进行调度，这增加了系统的灵活性和适应性；通过对不同功能组件的算力分配顺序进行改变，得到若干联合执行结果，并选择其中最大化吞吐量和最小化延迟的结果作为目标执行集群，优化了整体性能；对各联合执行结果进行比较，选择最佳方案，确保在吞吐量和延迟方面达到最优性能，提升了整体效率和性能；根据实际运行情况和目标需求，动态调整算力分配顺序和联合调度策略，提供实时优化方案，提高响应能力和灵活性；通过多次联合调度和比较修正，能够实现高效的算力资源利用，减少资源浪费，提升整体计算效率；能够处理复杂的功能组件需求和多种功能特征的调度需求，适应各种复杂的应用场景，提高了适用性和实用性。