一种试验训练评估系统以及方法与流程

1.本技术属于计算机技术领域，具体涉及一种试验训练评估系统以及方法。


背景技术：

2.基地化试验训练，是指以试验训练基地为平台，在立足试验训练基地装备试验任务的基础上，作战部队参与装备试验开展训练的一种基地化训练模式。该训练便于发挥试验训练基地科研试验任务的实战优势作用，使作战部队参与新（改）制装备的试验训练，以利于装备尽早形成战斗力和保障力。
3.国内外军队正在大力开展武器装备试验训练理论研究与工程实践，试验训练体系评估作为试验训练设计、实施和综合评估的基点，其构建过程是否科学，内容设置是否全面、合理，直接关系到武器装备试验训练的成败。为了将好用、管用的武器装备真实评估出来并高效服务与部队，科学有效的评估训练效果，提高部队在战场环境下装备使用效能，体系化评估需要综合考虑多方面因素。当前，试验训练体系评估问题已成为军事装备领域的研究重点。


技术实现要素：

4.为此，本技术提供一种试验训练评估系统以及方法，有助于提高试验训练的评估效率。
5.为实现以上目的，本技术采用如下技术方案：第一方面，本技术提供一种试验训练评估系统，所述系统包括任务新建模块、算法确定模块、指标确定模块、指标赋权模块、评估计算模块以及评估反馈模块；其中，所述任务新建模块，用于新建试验训练评估任务；所述算法确定模块，用于确定所述试验训练评估任务对应的评估算法；其中，所述评估算法至少包括以下一项：打分评估算法、层次分析算法、灰色评估算法和模糊综合评估算法；所述指标确定模块，用于确定所述试验训练评估任务对应的评估指标；所述指标赋权模块，用于基于所述试验训练评估任务对应的指标赋权类别，确定所述评估指标对应的指标权重；其中，所述指标赋权类别至少包括以下一项：主观赋权类别、等距离赋权类别和层次赋权类别；所述评估计算模块，用于基于所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的评估结果；所述评估反馈模块，用于输出所述评估结果。
6.进一步的，所述指标赋权模块具体用于：响应于所述指标赋权类别为所述主观赋权类别，将所述评估指标对应的主观权重，确定为所述指标权重；或者响应于所述指标赋权类别为所述等距离赋权类别，根据所述评估指标对应的指标
数量以及每个所述评估指标的位置信息，生成所述指标权重；或者响应于所述指标赋权类别为所述层次赋权类别，根据所述评估指标之间的层次结构，生成所述指标权重。
7.进一步的，所述指标确定模块具体用于：响应于所述试验训练评估任务对应的指标配置类别为专家配置类别，确定与所述试验训练评估任务对应的专家名单；向所述专家名单相匹配的电子设备发送指标内容咨询信息；接收所述电子设备基于所述指标内容咨询信息返回的指标内容；基于所述指标内容，确定与所述试验训练评估任务对应的所述评估指标。
8.进一步的，所述评估计算模块具体用于：确定所述试验训练评估任务对应的定量数据和定性数据；基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果。
9.进一步的，所述评估计算模块具体用于：响应于所述评估算法为所述打分评估算法，基于所述评估指标和所述指标权重，确定所述定量数据的第一得分以及所述定性数据的第二得分；基于所述第一得分和所述第二得分，生成所述评估结果。
10.进一步的，所述评估计算模块具体用于：响应于所述评估算法为所述层次分析算法，基于所述评估指标之间的层次结构和所述指标权重，生成与所述定量数据和所述定性数据相匹配的所述评估结果。
11.进一步的，所述评估计算模块具体用于：响应于所述评估算法为所述灰色评估算法，基于所述定性数据、所述定量数据、所述评估指标和所述评估权重，确定灰色关联系数和灰色关联度；基于所述灰色关联系数和所述灰色关联度，生成所述评估结果。
12.进一步的，所述评估计算模块具体用于：响应于所述评估算法为所述模糊综合评估算法，基于所述评估指标、所述指标权重、所述定性数据和所述定量数据，生成模糊关系矩阵；基于所述模糊关系矩阵，生成所述评估结果。
13.进一步的，所述评估反馈模块还用于：根据所述试验训练评估任务和所述评估结果，生成评估报表；输出所述评估报表。
14.第二方面，本技术提供一种试验训练评估方法，所述方法包括：新建试验训练评估任务；确定所述试验训练评估任务对应的评估算法；其中，所述评估算法至少包括以下一项：打分评估算法、层次分析算法、灰色评估算法和模糊综合评估算法；确定所述试验训练评估任务对应的评估指标；基于所述试验训练评估任务对应的指标赋权类别，确定所述评估指标对应的指标权重；其中，所述指标赋权类别至少包括以下一项：主观赋权类别、等距离赋权类别和层次赋权类别；
基于所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的评估结果；输出所述评估结果。
15.进一步的，所述基于所述试验训练评估任务对应的指标赋权类别，确定所述评估指标对应的指标权重，包括：响应于所述指标赋权类别为所述主观赋权类别，将所述评估指标对应的主观权重，确定为所述指标权重；或者响应于所述指标赋权类别为所述等距离赋权类别，根据所述评估指标对应的指标数量以及每个所述评估指标的位置信息，生成所述指标权重；或者响应于所述指标赋权类别为所述层次赋权类别，根据所述评估指标之间的层次结构，生成所述指标权重。
16.进一步的，所述确定所述试验训练评估任务对应的评估指标，包括：响应于所述试验训练评估任务对应的指标配置类别为专家配置类别，确定与所述试验训练评估任务对应的专家名单；向所述专家名单相匹配的电子设备发送指标内容咨询信息；接收所述电子设备基于所述指标内容咨询信息返回的指标内容；基于所述指标内容，确定与所述试验训练评估任务对应的所述评估指标。
17.进一步的，所述基于所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的评估结果，包括：确定所述试验训练评估任务对应的定量数据和定性数据；基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果。
18.进一步的，所述基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果，包括：响应于所述评估算法为所述打分评估算法，基于所述评估指标和所述指标权重，确定所述定量数据的第一得分以及所述定性数据的第二得分；基于所述第一得分和所述第二得分，生成所述评估结果。
19.进一步的，所述基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果，包括：响应于所述评估算法为所述层次分析算法，基于所述评估指标之间的层次结构和所述指标权重，生成与所述定量数据和所述定性数据相匹配的所述评估结果。
20.进一步的，所述基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果，包括：响应于所述评估算法为所述灰色评估算法，基于所述定性数据、所述定量数据、所述评估指标和所述评估权重，确定灰色关联系数和灰色关联度；基于所述灰色关联系数和所述灰色关联度，生成所述评估结果。
21.进一步的，所述基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果，包括：响应于所述评估算法为所述模糊综合评估算法，基于所述评估指标、所述指标权
重、所述定性数据和所述定量数据，生成模糊关系矩阵；基于所述模糊关系矩阵，生成所述评估结果。
22.进一步的，还包括：根据所述试验训练评估任务和所述评估结果，生成评估报表；输出所述评估报表。
23.第三方面，本技术提供一种试验训练评估设备，包括：一个或者多个存储器，其上存储有可执行程序；一个或者多个处理器，用于执行所述存储器中的所述可执行程序，以实现上述试验训练评估方法的步骤。
24.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述试验训练评估方法的步骤。
25.本技术采用以上技术方案，至少具备以下有益效果：本技术通过试验训练评估系统，对多个试验训练评估任务进行管理，确定各试验训练评估任务对应的评估算法、评估指标、指标权重，并根据评估算法、评估指标和指标权重，智能化地生成评估结果，能够提高试验训练评估的自动化程度，从而提高试验训练的评估效率。
26.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
27.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1是根据一示例性实施例示出的试验训练评估系统的框图结构示意图；图2是根据一示例性实施例示出的试验训练评估系统的应用示意图；图3是根据一示例性实施例示出的试验训练评估方法的流程图；图4是根据一示例性实施例示出的试验训练评估设备的框图结构示意图；图5是根据一示例性实施例示出的试验训练评估方法的流程示意图；图6是根据一示例性实施例示出的试验训练评估系统的功能框架示意图；图7是根据一示例性实施例示出的评估指标层次结构示意图。
具体实施方式
29.为使本技术的目的、技术方案和优点更加清楚，下面将对本技术的技术方案进行详细的描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本技术所保护的范围。
30.请参阅图1，图1是根据一示例性实施例示出的试验训练评估系统的框图结构示意图，如图1所示，该试验训练评估系统包括任务新建模块101、算法确定模块102、指标确定模
块103、指标赋权模块104、评估计算模块105以及评估反馈模块106；其中，所述任务新建模块101，用于新建试验训练评估任务；所述算法确定模块102，用于确定所述试验训练评估任务对应的评估算法；其中，所述评估算法至少包括以下一项：打分评估算法、层次分析算法、灰色评估算法和模糊综合评估算法；所述指标确定模块103，用于确定所述试验训练评估任务对应的评估指标；所述指标赋权模块104，用于基于所述试验训练评估任务对应的指标赋权类别，确定所述评估指标对应的指标权重；其中，所述指标赋权类别至少包括以下一项：主观赋权类别、等距离赋权类别和层次赋权类别；所述评估计算模块105，用于基于所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的评估结果；所述评估反馈模块106，用于输出所述评估结果。
31.其中，试验训练评估系统可以运行在服务器、终端等电子设备中，用于管理各个试验训练评估任务，对每个试验训练评估任务，确定相对应的评估方案。其中，评估方案可以包括但不限于评估算法、评估指标、指标权重等，本实施例对此不做限定。之后，按照对应的评估方案，对各个试验训练评估任务进行评估，得到评估结果，并输出。
32.具体的，上述试验训练评估系统可以包括任务新建模块101、算法确定模块102、指标确定模块103、指标赋权模块104、评估计算模块105以及评估反馈模块106。任务新建模块101能够新建试验训练评估任务，在新建试验训练评估任务的过程中，可以新建训练评估任务对应的系统节点，并在该系统节点存储试验训练评估任务的名称、评估目的、被评估对象、评估要求、主要关注点、相关通知、公文等信息，本实施例对此不做限定。以及，在新建试验训练评估任务之后，任务新建模块101还用于创建试验训练评估任务对应的任务流程，任务流程可以包括评估方案确定、评估方案实施以及评估结果获取。以及，对于任务流程，任务新建模块101还可以实时监测任务流程的进展和状态信息，并将进展和状态信息发送给相应的评估人员。
33.之后，算法确定模块102可以对每个试验训练评估任务，确定该试验训练评估任务对应的评估算法。评估算法可以包括但不限于打分评估算法、层次分析算法、灰色评估算法和模糊综合评估算法。其中，打分评估算法是指对指标直接打分，结合打分和指标权重，生成评估结果的算法。具体可以由专家根据自己的经验和对实际情况的主观判断，给打分指标项进行赋值，并结合指标权值，对评估数据加权求和得到评估目标的评估结果。层次分析算法是指按照评估指标之间的层次关系，确定评估指标的重要性权重，并同时对指标打分，结合重要性权重和打分，生成评估结果。这里的重要性权重可以为指标权重，也可以为不同于指标权重的其他权重。对于不同于指标权重的其他权重的情况，可以结合该重要性权重和指标权重共同进行加权运算。灰色评估算法是指按照灰色系统理论，结合上述评估指标之间的层次结构，以及指标权重，计算评估结果。具体可以按灰色系统理论运用灰数和白化权函数取得评估结果。模糊综合评估算法是指基于模糊数学的综合评价方法。该综合评价法根据模糊数学的隶属度理论把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价。
34.并且，指标确定模块103可以确定与每个试验训练评估任务对应的评估指标内容
以及评估指标层次结构，得到评估指标体系。其中，评估指标的层次结构对应的最高层可以为决策目标对应的指标，层次结构对应的最底层指标可以为评分点对应的指标，最底层指标可以通过业务系统数据或专家打分得到分值。其中，在确定每个试验训练评估任务对应的评估指标体系时，可以选择完全复用已有指标体系，可选的，已有指标体系中的每个指标可以对应包含有指标权值，此时无需指标赋权模块104再执行赋权操作，而可以直接使用已有的指标权值，作为指标权重。可选的，在确定每个试验训练评估任务对应的评估指标体系时，可以选择部分修改已有指标体系，此时可以对已有指标体系进行部分修改，其中，部分修改可以包括修改部分指标、调整层次结构和调整指标权值等，本实施例对此不做限定。使用此方式，在评估过程中将产生新的指标体系和指标权值，这些新的指标体系和指标权值可以存入评估任务数据库和指标体系数据库。可选的，在确定每个试验训练评估任务对应的评估指标体系时，可以选择重新搭建已有指标体系，此时需要重新搭建指标体系的层次结构、指标，以及指标权值。使用此方式，在评估过程中将产生新的指标体系和指标权值，这些新的指标体系和指标权值可以存入评估任务数据库和指标体系数据库。可选的，在部分修改和重新搭建评估指标体系过程中，可以根据评估方案信息和指标信息，用指标推荐算法对评估系统指标库中的指标项进行相关性排序和推荐。进一步可选的，在部分修改和重新搭建评估指标体系过程中，可以标注指标项的数据来源和数据类别，数据类别可以包括定量指标、定性指标。
35.其中，由于同一个指标体系在不同试验训练评估任务中很可能具有不同的指标权值，因此，在指标体系数据库中可以仅保存具有层次结构的指标体系，不保存指标体系的指标权值，而把指标体系的指标权值保存在评估任务数据库中，与试验训练评估任务关联。
36.其中，对于每个评估指标，可以包括名称、描述、标签、关联表和字段等内容。其中，名称指的是一个概括指标项含义的名词性短语，标识指的是指标项的唯一标识，描述指的是包含指标项的分类、导向要求、主要关注点、指标性质（定量或者定性）、评价方法和要求、数据要求等信息。标签可以包括父级指标、别名等信息。关联表和字段可以根据业务在评估流程的获取评估数据阶段设置。
37.请一并参照图7，图7是根据一示例性实施例示出的评估指标层次结构示意图，如图7所示，对于决策目标，可以对应有多个指标，例如图7中的一级指标c1、一级指标c2以及一级指标c3，并且，对于每个一级指标可以具有相对应的多个二级指标。例如，与一级指标c1对应的有二级指标u11、二级指标u12、二级指标u13，与一级指标c2对应的有二级指标u21、二级指标u22、二级指标u23，与一级指标c3对应的有二级指标u31、二级指标u32、二级指标u33。
38.之后，指标赋权模块104可以确定与试验训练评估任务对应的指标赋权类别，再按照该指标赋权类别确定所述评估指标对应的指标权重。其中，指标赋权类别可以包括主观赋权类别、等距离赋权类别、比例赋权类别和层次赋权类别等，本实施例对此不做限定。其中，主观赋权类别可以为专家直接主观赋予指标权重，等距离赋权类别可以为基于评估指标的分布距离赋予权重，比例赋权类别可以为专家主观赋权的比例分布计算得到权重，层次赋权类别可以为根据评估指标的层次结构确定对应的权重。具体的，对于主观赋权类别，可以生成指标权值咨询表，并将指标权值咨询表发送给对应的专家，接收专家填写后的指标权值咨询表，从而根据各个填写后的指标权值咨询表生成专家判断矩阵，再基于专家判
断矩阵计算得到权重。对于等距离赋权类别，可以基于各个填写后的指标权值咨询表，对指标进行排序，再基于排序结果进行等距离赋权。优选的，对于等距离赋权类别，可以将其与比例赋权类别相结合，结合上述排序结果和指标权值的分布比例，确定指标权重。对于层次赋权类别，可以结合上述专家判断矩阵和评估指标的层次结果，确定指标权重。
39.之后，评估计算模块105可以先判断评估算法是否合理、判断评估指标是否合理、判断专家结构是否合理，在这些均合理的情况下，利用上述评估算法，按照评估指标和指标权重，对试验训练评估任务对应的评估数据进行评估，生成评估结果并输出。可选的，在判断出评估算法不合理、评估指标不合理或者专家结构不合理的情况下，可以适应性调整评估算法、评估指标、专家结构。具体的，判断评估指标体系结构的合理性是指通过算法判断评估指标体系中是否有孤立或重复指标项、是否存在包含多个父级指标的指标项、是否有循环结构等。具体的，评估算法选择的合理性是指评估算法是否适用于评估指标体系、指标赋值方法和综合评估算法是否匹配等。具体的，专家组成的合理性是专家人数是否能符合评估算法要求、专家结构是否合理等。以及，在评估计算模块105进行计算的过程中，可以监测评估计算过程中的进度和数据状态，为体系评估人员提供及时准确的计算进度数据和计算状态数据。
40.进一步的，所述指标赋权模块104具体用于：响应于所述指标赋权类别为所述主观赋权类别，将所述评估指标对应的主观权重，确定为所述指标权重；或者响应于所述指标赋权类别为所述等距离赋权类别，根据所述评估指标对应的指标数量以及每个所述评估指标的位置信息，生成所述指标权重；或者响应于所述指标赋权类别为所述层次赋权类别，根据所述评估指标之间的层次结构，生成所述指标权重。
41.在本实施例中，对于主观赋权类别，可以将所述评估指标对应的主观权重，确定为所述指标权重。其中，主观权重可以为基于专家经验主观设定的权重。可以向专家发送指标权值咨询表，用以接收专家返回的权重信息。可选的，还可以对指标权值咨询表的反馈进行统计分析，可针对指标进行统计，针对单个专家进行统计，针对装备进行统计。可选的，对指标权值咨询表的反馈可将统计分析结果以雷达图进行展现，也可以柱状图进行展示，也可以折线图进行展示，还可以追溯至具体清单。可选的，对指标权值咨询表的反馈可选择两次或者多次统计进行对比分析，可选择两个或者多个专家进行对比分析。其中，对于等距离赋权类别，每个评估指标的位置信息对应有相应的等级。可以先对评估指标进行排序，再基于排序后的位置信息生成指标权重。
42.可选的，主观权重还可以根据向一定数量的评价主体发放问卷调查，对问卷调查数据进行计算确定得到。其中，调查对象包括领域专家、被评价对象等，通过回收并统计有效问卷，得到调查数据统计表。其中，在调查数据统计表中，每一行和每一列的元素的和均等于回收的有效问卷数量。类似地，得到二级和三级指标调查数据统计表。
43.其中，参与者从m项指标中最多选出一半数量的影响评估目标最关键的因素，再统计有效问卷中对每项指标的支持数，基于如下公式计算各指标的权重：
其中，指的是第i项指标的权重，指的是有效问卷中第i项指标的支持数，m是指标的总数量。
44.可选的，对于等距离赋权类别，可以将其和比例法融合计算指标权重。具体的，在回收有效问卷之后，可以基于如下公式计算各级指标的等级权重：其中，指的是第j个等级对应的指标权重，k是指标的总数量。
45.之后，可以基于如下公式计算各级指标的比例权重：其中，指的是第i个指标的第j个等级的权重，指的是有效问卷中第i个指标为第j个等级的数量。
46.之后，可以基于等级权重和比例权重，计算综合权重，具体计算公式如下：其中，指的是第i项指标的综合权重，指的是第i项指标的等级权重和比例权重的乘积。
47.对于层次赋权类别，可以根据评估指标之间的层次，构造判断矩阵，并对各层评估指标，进行层次单排序及一致性检验。之后，对于判断矩阵，计算最大特征值和相应的特征向量，并根据最大特征值和相应的特征向量计算一致性指标和一致性比率，根据一致性指标和一致性比率修正判断矩阵。根据修正后的判断矩阵计算评估指标对应的权重。其中，可以利用判断矩阵计算每层评估指标对应的权重。
48.可选的，指标赋权类别还可以为熵值法，熵值法是信息论中用于测度系统不确定性的量，可以用于判断某个指标的离散程度，熵值越大，离散程度越大，该指标对综合评价的影响也越大，从而权值越大。熵值法是一种客观赋权法，依据原始数据之间的关系，在一定程度上避免了主观随意性，是一种客观赋权法。
49.优选的，对于一个专家的情况，优选采用主观赋权类别和层次赋权类别。对于多个专家的情况，优选主观赋权类别、等距离赋权类别与比例赋权类别的结合，以及优选层次赋权类别。
50.进一步的，所述指标确定模块103具体用于：响应于所述试验训练评估任务对应的指标配置类别为专家配置类别，确定与所述试验训练评估任务对应的专家名单；
向所述专家名单相匹配的电子设备发送指标内容咨询信息；接收所述电子设备基于所述指标内容咨询信息返回的指标内容；基于所述指标内容，确定与所述试验训练评估任务对应的所述评估指标。
51.在本实施例中，如果试验训练评估任务对应的指标配置类别指示需要对已有指标体系进行修改，或者需要重建已有指标体系，则确定指标配置类别为专家配置类别。对此，可以确定需要结合专家经验的专家名单。专家名单中通常包括多个专家，每个专家可以预先绑定有常用的电子设备。之后，可以向每个专家预先绑定的电子设备发送指标内容咨询信息，用以咨询专家需要设置的指标内容。之后，可以接收各个电子设备返回的指标内容，基于这些指标内容，修改或者重建已有指标体系，得到上述评估指标。其中，对于部分修改和重新搭建的评估指标体系，在系统中可以选择评估指标体系是否需要专家咨询，以及咨询的次数。具体的，若评估指标体系需要专家咨询，则评估系统根据评估任务和方案信息，用专家推荐算法对评估系统专家库中的专家进行排序和推荐。具体的，若评估指标体系需要专家咨询，则评估系统根据评估评估指标体系自动生成指标体系咨询表。这里的指标体系咨询表即为上述指标内容咨询信息。
52.可选的，指标体系咨询表可以由评估系统根据试验训练装备类型匹配评估指标体系自动生成，既可以通过线上方式给咨询专家发送指标体系咨询表相关内容，也可以将指标体系咨询表导出并打印，通过线下方式发放给专家。专家通过线上或线下方式对指标体系咨询进行应答，对于线下问卷，通过图像识别技术将专家应答结果导入评估系统，评估系统实时监测问卷应答率、完成率、有效率等情况。此外，还可以根据所收集到的专家咨询应答情况，对指标体系咨询表的反馈进行统计分析，以备形成体系。具体的，反馈统计分析包括问卷应答率、完成率、有效率、信度等，针对有效问卷分析应答分布情况，包括均值、方差、偏差等，用于指导评估指标体系的调整。
53.可选的，对指标体系咨询表的反馈进行统计分析，可针对指标进行统计，针对单个专家进行统计，针对装备进行统计。可选的，对指标体系咨询表的反馈可将统计分析结果以雷达图进行展现，也可以柱状图进行展示，也可以折线图进行展示，还可以追溯至具体清单。可选的，对指标体系咨询表的反馈可选择两次或者多次统计进行对比分析，可选择两个或者多个专家进行对比分析。调整评估指标体系的部分指标项，具体可以根据咨询统计情况的的结果，修改指标体系叶子节点的指标项内容。可选的，调整评估指标体系的层次结构，可以根据咨询统计情况的结果，调整指标体系的父子层级关系。可选的，还可以产生指标体系咨询表的体系咨询反馈报表、数据质量报表、指标体系报表等各类应用报表。产生指标体系咨询表的专家反馈报表、数据质量报表等各类应用报表，在系统展现的基础上导出可以文档格式，作为存档材料。
54.进一步的，所述评估计算模块105具体用于：确定所述试验训练评估任务对应的定量数据和定性数据；基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果。
55.在本实施例中，试验训练评估任务对应的评估数据可以包括定量数据和定性数据。其中，定性数据没有非常严格的标准，经常出于主观认识的评判，可以包括但不限于保障性、安全性、易用性等。定量数据有明确的数据来源和数据支持，可以包括但不限于飞行
高度、航行速度、续航时间等。
56.并且，在对试验训练评估任务进行评估，生成评估结果的过程中，可以基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，共同确定评估结果。
57.进一步的，所述评估计算模块105具体用于：响应于所述评估算法为所述打分评估算法，基于所述评估指标和所述指标权重，确定所述定量数据的第一得分以及所述定性数据的第二得分；基于所述第一得分和所述第二得分，生成所述评估结果。
58.在本实施例中，对于打分评估算法，可以获取专家对定性数据进行打分所得到的的第二得分，以及确定业务系统对定量数据进行打分所得到的第一得分。之后，可以基于第一得分和第二得分共同生成评估结果。其中，评估系统可以根据评估指标体系自动生成定性指标评估打分表，通过线上方式给专家发送定性指标评估打分表咨询表链接，也可以将定性指标评估打分表导出并打印，通过线下方式发放给专家。
59.进一步的，所述评估计算模块105具体用于：响应于所述评估算法为所述层次分析算法，基于所述评估指标之间的层次结构和所述指标权重，生成与所述定量数据和所述定性数据相匹配的所述评估结果。
60.在本实施例中，对于层次分析算法，可以基于所述评估指标之间的层次结构和所述指标权重，生成与所述定量数据和所述定性数据相匹配的所述评估结果。其中，基于层次结构可以得到各评估指标的层次权重，可以根据层次权重和指标权重，确定目标权重，再根据定量数据和定性数据对应的评估指标的指标值，和目标权重，加权计算，得到最终的评估得分。其中，评估结果可以为总的评估得分。
61.进一步的，所述评估计算模块105具体用于：响应于所述评估算法为所述灰色评估算法，基于所述定性数据、所述定量数据、所述评估指标和所述评估权重，确定灰色关联系数和灰色关联度；基于所述灰色关联系数和所述灰色关联度，生成所述评估结果。
62.在本实施例中，对于灰色评估算法，可以确定灰度类和灰度函数，再基于所述定性数据、所述定量数据、所述评估指标和所述评估权重，确定灰色关联系数和灰色关联度，基于所述灰色关联系数和所述灰色关联度，生成所述评估结果。其中，灰色关联系数和灰色关联度用于描述每个评估指标对于评估数据（定性数据和定量数据）的影响程度，灰色关联系数和灰色关联度越高，确定评估指标的灰色评估加权系数越高。之后，再基于灰色评估加权系数和评估权重，确定目标权重，加权计算，得到最终的评估得分。其中，评估结果可以为总的评估得分。
63.进一步的，所述评估计算模块105具体用于：响应于所述评估算法为所述模糊综合评估算法，基于所述评估指标、所述指标权重、所述定性数据和所述定量数据，生成模糊关系矩阵；基于所述模糊关系矩阵，生成所述评估结果。
64.在本实施例中，对于模糊综合评估算法，可以确定针对定性数据和定量数据的因素集和评判集，再确定指标权重的权重向量。基于对因素集、评判集和权重向量，构建模糊关系矩阵。再基于对模糊关系矩阵进行多指标的综合分析，得到评估结果。其中，模糊综合评估算法优选适用于多个专家的评估情况。其中，因素集可以为从评估指标中确定的多个
指标，评判集可以为评估数据对于评估指标的指标值。模糊关系矩阵用于描述每个评估指标对于评估数据（定性数据和定量数据）的影响程度。通过对对模糊关系矩阵进行多指标的综合分析，可以确定各个评估指标对用户的影响程度，得到模糊关系对应的权重，再结合评估权重，得到目标权重，加权计算得到最终的评估得分。
65.进一步的，所述评估反馈模块106还用于：根据所述试验训练评估任务和所述评估结果，生成评估报表；输出所述评估报表。
66.在本实施例中，评估反馈模块106还可以将试验训练评估任务和评估结果汇总生成评估报表，并以可视化的各类展示方式输出该评估报表。其中，评估报表可以包括评估方案、评估结论、评估过程分析、数据质量分析、评估质量分析等，基于此，能够对评估任务全生命周期进行分析和生成总结报告。
67.可选的，根据试验训练任务类型，将指标体系、评估算法选择、任务流程数据进行关联，存储到指标体系表、评估方案表、算法信息表、算法评估任务表，形成任务流程模板，以备后续任务复用。
68.请一并参阅图2，图2是根据一示例性实施例示出的试验训练评估系统的应用示意图，如图2所示，试验训练评估系统的应用过程可以包括选择指标体系21、新建指标体系22、选择指标赋权方法23以及选择综合评估算法24。首选，在选择指标体系21的过程中，可以选择完全复用已有指标体系，此时可以直接复用已有指标体系中的指标权值。或者，也可以选择对已有指标体系进行部分修改。或者，也可以选择新建指标体系22，来重新搭建指标体系。其中，对于部分修改已有指标体系或者重新搭建指标体系的两种情况，均可以标注修改后的指标体系的数据来源，如指标内容的来源。例如，指标内容可以来源于预先建立连接的业务系统，也可以来源于历史专家打分的指标内容，本实施例对此不做限定。其中，业务系统可以部署于装备采集器、手持终端中。之后，在需要向专家咨询指标体系调整的情况下，可以确定专家名单以及指标体系咨询问卷，向专家名单对应的电子设备发送指标体系咨询问卷，基于n轮与专家所使用的电子设备之间的交互，对指标体系进行调整，得到最终的指标体系层次结构。以及，对于选择指标赋权方法23，可以向专家名单对应的电子设备发送指标权值咨询表，以使专家对指标权值做出初步配置，后续基于对专家初步配置的权值进行相应的数学运算，可以计算得到权值，并将该权值关联到指标体系，建立指标体系与权值之间的对应关系。对于选择综合评估算法24，对于定量数据，可以由业务系统进行初步评估，得到评估数据。对于定性数据，可以向专家名单对应的电子设备发送指标打分表，以使专家对定性数据进行打分，得到评估数据。之后，可以将评估数据代入预设的评估算法计算，得到最终的评估结果。
69.请一并参阅图6，图6是根据一示例性实施例示出的试验训练评估系统的功能框架示意图，如图6所示，该试验训练评估系统可以包括运行环境层、数据资源层、应用支撑层以及应用层。其中，运行环境层可以包括操作系统、应用中间件、数据库管理系统以及主机及网络基础设施。数据资源层可以包括基础数据、业务专题数据和交换数据，其中，基础数据可以包括基础信息，业务专题数据可以包括业务库、实力库以及成果库，交换数据可以包括交换信息。应用支撑层可以包括安全访问控制、文件上传下载、数据导入导出、统计分析、认证与授权服务、日志服务、事务处理以及ui服务等功能模块。应用层可以包括评估任务新
建、评估方案制定、指标体系咨询、指标赋权、评估数据获取、评估算法计算、反馈评估结果等功能模块。具体的，评估任务新建模块可以包括新建评估任务子模块、评估流程搭建子模块、评估流程监测子模块；评估方案制定模块可以包括评估方案制定子模块、指标体系规划子模块、评估算法选择子模块；指标体系咨询模块可以包括专家咨询子模块、指标体系报表子模块、专家咨询应答子模块、咨询统计分析子模块以及指标体系调整子模块；指标赋权模块可以包括专家问卷发放子模块、专家问卷应答子模块、专家经验报表子模块、问卷统计分析子模块以及指标赋值管理子模块；评估数据获取模块可以包括定量数据引入子模块、定性数据问卷应答子模块、定量数据处理子模块、评估数据统计子模块、定性数据问卷发放子模块以及评估数据存储子模块；评估算法计算模块可以包括综合评估子模块、报表产生子模块以及计算过程监测子模块；反馈评估结果模块可以包括评估结论子模块、评估过程分析子模块、数据质量分析子模块。其中，对于各个模块以及子模块的详细描述，请一并参照上述对试验训练评估系统的详细描述，在此不再赘述。
70.本技术通过试验训练评估系统，对多个试验训练评估任务进行管理，确定各试验训练评估任务对应的评估算法、评估指标、指标权重，并个根据评估算法、评估指标和指标权重，智能化地生成评估结果，能够提高试验训练评估的自动化程度，从而提高试验训练的评估效率。
71.综上，本技术的试验训练评估系统还可以支持多型装备评估的横向对比与纵向对比，能够对多次不同类型的军事训练结果开展多角度分析，以及，能够将军事领域专家的经验应用到试验训练任务中，从而对试验训练任务做出全面的评估。
72.请参阅图3，图3是根据一示例性实施例示出的试验训练评估方法的流程图，该试验训练评估方法包括如下步骤：步骤s31、新建试验训练评估任务；步骤s32、确定所述试验训练评估任务对应的评估算法；其中，所述评估算法至少包括以下一项：打分评估算法、层次分析算法、灰色评估算法和模糊综合评估算法；步骤s33、确定所述试验训练评估任务对应的评估指标；步骤s34、基于所述试验训练评估任务对应的指标赋权类别，确定所述评估指标对应的指标权重；其中，所述指标赋权类别至少包括以下一项：主观赋权类别、等距离赋权类别和层次赋权类别；步骤s35、基于所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的评估结果；步骤s36、输出所述评估结果。
73.进一步的，所述基于所述试验训练评估任务对应的指标赋权类别，确定所述评估指标对应的指标权重，包括：响应于所述指标赋权类别为所述主观赋权类别，将所述评估指标对应的主观权重，确定为所述指标权重；或者响应于所述指标赋权类别为所述等距离赋权类别，根据所述评估指标对应的指标数量以及每个所述评估指标的位置信息，生成所述指标权重；或者响应于所述指标赋权类别为所述层次赋权类别，根据所述评估指标之间的层次结构，生成所述指标权重。
74.进一步的，所述确定所述试验训练评估任务对应的评估指标，包括：响应于所述试验训练评估任务对应的指标配置类别为专家配置类别，确定与所述试验训练评估任务对应的专家名单；向所述专家名单相匹配的电子设备发送指标内容咨询信息；接收所述电子设备基于所述指标内容咨询信息返回的指标内容；基于所述指标内容，确定与所述试验训练评估任务对应的所述评估指标。
75.进一步的，所述基于所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的评估结果，包括：确定所述试验训练评估任务对应的定量数据和定性数据；基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果。
76.进一步的，所述基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果，包括：响应于所述评估算法为所述打分评估算法，基于所述评估指标和所述指标权重，确定所述定量数据的第一得分以及所述定性数据的第二得分；基于所述第一得分和所述第二得分，生成所述评估结果。
77.进一步的，所述基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果，包括：响应于所述评估算法为所述层次分析算法，基于所述评估指标之间的层次结构和所述指标权重，生成与所述定量数据和所述定性数据相匹配的所述评估结果。
78.进一步的，所述基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果，包括：响应于所述评估算法为所述灰色评估算法，基于所述定性数据、所述定量数据、所述评估指标和所述评估权重，确定灰色关联系数和灰色关联度；基于所述灰色关联系数和所述灰色关联度，生成所述评估结果。
79.进一步的，所述基于所述定量数据、所述定性数据、所述评估算法、所述评估指标和所述指标权重，生成所述试验训练评估任务对应的所述评估结果，包括：响应于所述评估算法为所述模糊综合评估算法，基于所述评估指标、所述指标权重、所述定性数据和所述定量数据，生成模糊关系矩阵；基于所述模糊关系矩阵，生成所述评估结果。
80.进一步的，还包括：根据所述试验训练评估任务和所述评估结果，生成评估报表；输出所述评估报表。
81.本技术对多个试验训练评估任务进行管理，确定各试验训练评估任务对应的评估算法、评估指标、指标权重，并个根据评估算法、评估指标和指标权重，智能化地生成评估结果，能够提高试验训练评估的自动化程度，从而提高试验训练的评估效率。
82.关于上述实施例中的试验训练评估方法，其中方法的实施例的具体实施方式已经在上述相关系统的实施例中进行了详细描述，此处将不做详细阐述说明。
83.请一并参阅图5，图5是根据一示例性实施例示出的试验训练评估方法的流程示意
图，如图5所示，执行主体在获取评估任务之后，可以针对评估任务制定评估方案，并针对评估方案选择或者搭建指标体系。同时，执行主体还可以针对评估任务选择评估算法。在选择或者搭建指标体系之后，执行主体可以基于与专家之间的人机交互，实现专家咨询，对指标体系进行调整。在此过程中，可以结合专家经验，实现基于研讨模式的指标体系搭建。之后，执行主体可以对指标进行赋权，并获取评估数据，确定针对评估数据的系统数据和专家打分，将系统数据和专家打分输入评估算法进行计算，得到最终的评估结果。
84.请参阅图4，图4是根据一示例性实施例示出的一种试验训练评估设备的框图结构示意图，该试验训练评估设备包括：一个或者多个存储器401，其上存储有可执行程序；一个或者多个处理器402，用于执行所述存储器401中的所述可执行程序，以实现上述试验训练评估方法的步骤。
85.关于上述实施例中的试验训练评估设备，在实际应用中可以为服务器，其处理器402执行存储器401中程序的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
86.此外，本技术提供还一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述试验训练评估方法的步骤。
87.其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
88.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
89.需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”、“多”的含义是指至少两个。
90.应该理解，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者可能同时存在居中元件；当一个元件被称为“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件,此外，这里使用的“连接”可以包括无线连接；使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
91.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为：表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
92.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场
可编程门阵列（fpga）等。
93.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
94.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
95.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
96.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
97.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。