超算应用集群交互管理系统及方法与流程

本发明属于高性能计算，具体涉及超算应用集群交互管理系统及方法。

背景技术：

1、高性能计算又叫超算，是利用超级计算机实现并行计算的理论、方法、技术以及应用的一门技术科学，围绕利用不断发展的并行处理单元以及并行体系架构实现高性能并行计算这一核心问题，高性能计算(hpc)或超级计算和日常计算一样，区别只在于它的计算能力更强大。它能够通过聚合结构，使用多台计算机和存储设备，以极高速度处理大量数据，帮助人们探索科学、工程及商业领域中的一些世界级的重大难题。

2、随着科学研究和工程应用的深入，超算在解决复杂问题中发挥着越来越重要的作用。然而，传统的超算应用部署和管理方式复杂繁琐，资源利用率低，管理效率低下，严重制约了超算技术的发展和应用范围。

3、为了解决上述问题，提出了一些超算应用集群管理系统，但这些系统往往侧重于资源的分配和调度，忽视了应用的部署、管理和交互的便捷性，因此，开发一种能够简化超算应用部署、管理和交互过程的系统和方法，成为当前超算技术领域的迫切需求。

技术实现思路

1、本发明的目的在于提供超算应用集群交互管理系统及方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：超算应用集群交互管理系统，包括超算应用商店、应用部署模块、资源管理模块、交互管理模块、监控模块、安全管理模块和数据分析模块；

3、所述超算应用商店用于提供一站式解决系统，通过一站式解决系统提供丰富的超算应用资源供用户选择，并通过智能推荐算法为用户提供个性化的应用推荐；

4、所述应用部署模块用于将用户从超算应用商店选择的应用快速部署到超算集群中，并采用自动化部署技术，通过预配置的模板和脚本，实现应用的快速安装、配置和启动；

5、所述资源管理模块用于管理超算集群中的计算资源，根据应用的资源需求进行资源的分配和调度，所述计算资源包括cpu、内存、存储；

6、所述交互管理模块用于用户与所述超算应用之间进行交互，以及应用的输入输出管理，所述交互包括应用的启动、停止、重启操作；

7、所述监控模块用于实时监控超算集群的状态和应用的运行情况，进行实时监控和预警，并通过收集集群和应用的各种性能指标、日志信息，进行全面的监控和分析；

8、所述安全管理模块用于负责保障超算集群和应用的安全性，提供身份认证、访问控制、数据加密的功能，确保用户和应用的安全访问，所述安全管理模块还用于对用户的操作行为和系统的安全事件进行记录和分析，供用户进行追溯和调查；

9、所述数据分析模块用于对超算集群的运行数据和用户的使用数据进行收集、分析和挖掘，并利用机器学习、统计分析技术，对集群的性能、资源利用率、用户行为进行分析和预测，对资源调度进行优化。

10、优选的，所述超算应用商店模块内置智能推荐算法，基于用户行为、应用使用历史、应用性能评分的多维度数据，通过机器学习模型训练，进行精准的应用推荐，所述超算应用商店还用于存储和管理超算应用，并提供应用的搜索、下载和更新功能，同时，允许用户自定义应用标签、评分和评论，提高应用的可发现性和互动性。

11、优选的，所述应用部署模块包括版本控制和回滚功能，确保应用部署的可靠性和可恢复性，所述应用部署模块还用于监控应用的部署过程，提供实时反馈和日志记录，供用户了解部署状态和排查问题；所述应用部署模块支持多种部署方式和策略，并根据应用的特性和需求选择合适的部署方式，所述多种部署方式和策略包括容器化部署和虚拟机部署。

12、优选的，所述资源管理模块采用智能资源调度算法，根据应用的资源需求、集群的实时负载以及资源的能效比，实现资源的动态分配和优化，并通过收集和分析集群的监控数据，预测未来的资源需求，提前进行资源预分配和扩容，确保应用的稳定运行，所述资源管理模块还具备故障检测和恢复功能，用于发现和处理集群中的故障节点，保证集群的可用性。

13、优选的，所述交互管理模块利用自然语言处理、深度学习技术，解析用户的自然语言指令，生成相应的操作命令，并实时反馈执行结果，并通过自然语言与系统与用户进行交互，进行应用的启动、停止、监控操作，所述交互管理模块还支持多模态交互方式，所述多模态交互方式包括语音和手势。

14、优选的，所述监控模块利用大数据分析技术，对监控数据进行实时处理和挖掘，发现潜在的问题和异常，并通过可视化界面向用户展示监控结果和预警信息，所述监控模块还提供报警通知功能，当用户定义的报警条件触发时，通知用户进行处理。

15、优选的，还包括自动化运维模块和协作与共享模块；

16、所述自动化运维模块用于对超算集群进行自动化运维管理，通过自动化的脚本和工具，实现集群节点的批量配置、软件安装、系统升级的操作，所述自动化运维模块还具备自动化故障检测和恢复功能，用于及时发现和处理集群中的故障节点；

17、所述协作与共享模块用于用户与超算集群之间进行协作和资源共享，所述协作和资源共享包括项目管理、任务分配、文件共享。

18、优选的，所述智能推荐算法包括循环神经网络模型和卷积神经网络模型，所述循环神经网络模型和卷积神经网络模型中包括以下公式：

19、sigmoid函数：

20、

21、其中，σ(x)为sigmoid函数输出的值，范围在(0,1)之间，用于输出层，表示概率；x为输入到sigmoid函数的值；

22、tanh函数：

23、

24、其中，tanh(y)为tanh函数输出的值，范围在(-1,1)之间，具有零中心化的特点；y为输入到tanh函数的值。

25、优选的，所述循环神经网络模型和卷积神经网络模型中还包括以下公式：

26、神经网络前向传播公式：

27、z＝wx+b；

28、a＝\sigma(z)；

29、其中，w是权重矩阵，x是输入向量，b是偏置项，\sigma)是激活函数，如sigmoid函数和tanh函数，z是线性变换的结果，a是激活后的输出。

30、超算应用集群交互管理方法，包括以下步骤：

31、s1.建立超算应用商店，提供一站式解决系统，通过一站式解决系统提供丰富的超算应用资源供用户选择，并通过智能推荐算法为用户提供个性化的应用推荐；

32、s2.将用户从所述超算应用商店选择的应用快速部署到超算集群中，并采用自动化部署技术，通过预配置的模板和脚本，实现应用的快速安装、配置和启动；

33、s3.管理超算集群中的计算资源，根据应用的资源需求进行资源的分配和调度；

34、s4.使用户与所述超算应用之间进行交互，以及应用的输入输出管理；

35、s5.实时监控超算集群的状态和应用的运行情况，进行实时监控和预警，并通过收集集群和应用的各种性能指标、日志信息，进行全面的监控和分析；

36、s6.保障超算集群和应用的安全性，提供身份认证、访问控制、数据加密的功能，确保用户和应用的安全访问，对用户的操作行为和系统的安全事件进行记录和分析，供用户进行追溯和调查；

37、s7.对超算集群的运行数据和用户的使用数据进行收集、分析和挖掘，并利用机器学习、统计分析技术，对集群的性能、资源利用率、用户行为进行分析和预测，对资源调度进行优化。

38、与现有技术相比，本发明的有益效果是：

39、(1)本发明通过建立超算应用商店，提供一站式解决系统，通过超算应用商店提供应用的存储和管理，同时完成应用的搜索、下载和更新，使得用户可以通过应用商店方便地获取所需的超算应用，另外建立的超算应用商店还根据应用的依赖关系和版本信息，自动处理应用的安装、配置和启动操作，大大简化了应用的部署、管理和交互过程，提高了超算集群的资源利用率和管理效率；

40、(2)本发明通过设置资源管理模块和交互管理模块，实现了对超算集群中计算资源的有效管理和用户与超算应用之间的便捷交互，通过设置监控模块，能够实时监控超算集群的状态和应用的运行情况，保障了系统的稳定性和可靠性；

41、(3)本发明通过设置安全管理模块，能够保障超算集群和应用的安全性，通过提供身份认证、访问控制、数据加密，确保用户和应用的安全访问，并且能够对用户的操作行为和系统的安全事件进行记录和分析，方便用户进行追溯和调查。