融合图灵测试和专家经验的智能算法评价方法与流程

本发明涉及智能算法评价，尤其涉及一种融合图灵测试和专家经验的智能算法评价方法。

背景技术：

1、在人工智能技术向各个领域推广的过程中，面临的一个主要挑战就是缺少统一的评测标准。传统的评价指标，如准确率、召回率、精确率、f1值等，往往不足以全面评价智能算法生成的业务方案的质量。这是因为领域业务中的解决方案并非唯一的最优方案，而且每个方案的优劣往往需要根据具体场景和业务目标来判断。以勘察设计行业为例，具体问题为：(1)非唯一最优解：勘察设计领域的问题往往具有多样性和独特性，导致针对同一项目的解决方案可能因设计理念、工程要求等因素而有所不同。人工智能算法生成的设计方案可能只是众多可能方案中的一个，而且很难保证是最优解。例如，人工智能算法可能在某个项目中生成了一个经济成本较低的设计方案，但在另一个项目中，由于环境因素和工程要求的差异，同样的方案可能不再适用。(2)传统评价指标的局限性：传统的评价指标如成本、周期、质量等，往往只能从一个或几个维度来评价设计方案，难以全面反映方案的优劣。在勘察设计行业中，例如，一个设计方案可能在成本和周期上表现优秀，但由于忽略了某些特殊工程要求，可能导致质量问题。(3)专业知识的依赖性：勘察设计工作高度依赖专业知识和经验，人工智能算法生成的方案需要由专业工程师进行评估。例如，人工智能算法可能在结构布局上提出创新方案，但能否满足结构安全和功能需求，需要由具有丰富经验的结构工程师来判断。(4)实际应用的复杂性：勘察设计工作的实际应用场景复杂多变，人工智能算法生成的方案需要在实际项目中得到验证。例如，一个在模拟环境中表现良好的设计方案，在实际施工中可能面临意想不到的挑战，如施工条件限制、材料供应问题等。(5)评价方法的创新需求：针对勘察设计行业的特点，需要探索新的评价方法，如结合专家知识和人工智能算法的混合评价体系。例如，可以利用专家系统来辅助评价人工智能生成的设计方案，专家系统可以整合领域知识和算法生成的数据，提供更全面的评价。(6)案例库的重要性：建立一个包含各类勘察设计案例的案例库，可以帮助人工智能算法学习和借鉴过去的优秀设计方案。例如，通过分析案例库中的成功案例，人工智能算法可以学习到哪些设计元素在不同项目中取得了良好的效果，从而在生成新方案时借鉴这些元素。

2、总之，勘察设计领域的设计方案具有方案复杂、非唯一最优解、专业依赖性强等特点，当前的智能算法评价指标无法适应由智能算法生成的勘察设计方案的质量，进而也无法评价智能算法的优劣性。

技术实现思路

1、本发明的主要目的在于提供一种融合图灵测试和专家经验的智能算法评价方法，旨在解决现有技术当前智能算法评价指标无法评价勘察设计领域的智能算法的优劣性的技术问题。

2、为实现上述目的，本发明提供了一种融合图灵测试和专家经验的智能算法评价方法，所述方法包括以下步骤：

3、构建方案样本库，其中，所述方案样本库中包括基于预设智能算法生成的算法设计方案；

4、对所述方案样本库中的方案样本进行类型预测和评分，得到各方案样本的预测方案类型和方案评分；

5、基于所述各方案样本的预测方案类型和方案评分对所述预设智能算法进行评价，得到评价结果。

6、可选地，所述基于预设智能算法进行方案设计，生成方案样本库，包括：

7、获取业务场景，基于预设智能算法生成所述业务场景的算法设计方案；

8、获取所述业务场景下的人工设计方案；

9、基于所述算法设计方案和所述人工设计方案生成方案样本组；

10、基于所述方案样本组构建方案样本库。

11、可选地，所述基于所述各方案样本的预测方案类型和方案评分对所述预设智能算法进行评价，得到评价结果：

12、基于所述各方案样本的预测方案类型确定初始评价指标；

13、基于所述方案评分对所述初始评价指标进行修正，得到目标评价指标；

14、基于所述目标评价指标对所述预设智能算法进行等级评定，得到预设智能算法的评价等级；

15、基于所述评价等级确定评价结果。

16、可选地，所述基于所述各方案样本的预测方案类型确定初始评价指标，包括：

17、将所述各方案样本的预测方案类型与对应方案样本的预设方案类型进行比较，得到比较结果，其中，所述方案样本包括算法设计方案样本和人工设计方案样本；

18、根据所述比较结果确定预测正确的算法设计方案样本数量、预测正确的人工设计方案样本数量、预测错误的算法设计方案样本数量和预测错误的人工设计方案样本数量；

19、根据所述预测正确的算法设计方案样本数量、所述预测正确的人工设计方案样本数量、所述预测错误的算法设计方案样本数量和所述预测错误的人工设计方案样本数量进行计算，得到图灵准确率；

20、根据所述预测正确的算法设计方案样本数量和所述预测错误的算法设计方案样本数量进行计算，得到图灵精确率；

21、根据所述预测错误的算法设计方案样本数量和所述预测错误的人工设计方案样本数量进行计算，得到图灵召回率；

22、根据所述图灵准确率和所述图灵精确率进行计算，得到图灵综合指标；

23、根据所述图灵准确率、所述图灵精确率、所述图灵召回率和所述图灵综合指标确定初始评价指标。

24、可选地，所述基于所述方案评分对所述初始评价指标进行修正，得到目标评价指标，包括：

25、基于所述方案评分对所述图灵准确率、所述图灵精确率和所述图灵召回率进行修正，得到综合图灵准确率、综合图灵精确率和综合图灵召回率；

26、基于所述综合图灵准确率、综合图灵精确率确定目标图灵综合指标；

27、根据所述综合图灵准确率、综合图灵召回率和目标图灵综合指标确定目标评价指标。

28、可选地，所述基于所述目标评价指标对所述预设智能算法进行等级评定，得到预设智能算法的评价等级，包括：

29、获取预设等级评定规则，其中，所述预设等级评定规则包括各评价等级对应的图灵准确率区间、图灵召回率区间和图灵综合指标区间；

30、根据所述综合图灵准确率、综合图灵召回率和目标图灵综合指标分别与所述图灵准确率区间、图灵召回率区间和图灵综合指标区间进行匹配，得到预设智能算法的评价等级。

31、可选地，所述基于所述评价等级确定评价结果，包括：

32、将所述评价等级与预设等级进行比较，得到比较结果；

33、在所述比较结果为所述评价等级达到预设等级时，确定所述评价结果为所述预设智能算法满足需求；

34、在所述比较结果为所述评价等级未达到预设等级时，确定所述评价结果为所述预设智能算法不满足需求。

35、此外，为实现上述目的，本发明还提出一种融合图灵测试和专家经验的智能算法评价装置，所述融合图灵测试和专家经验的智能算法评价装置包括：

36、构建模块，用于构建方案样本库，其中，所述方案样本库中包括基于预设智能算法生成的算法设计方案；

37、预测模块，用于对所述方案样本库中的方案样本进行类型预测和评分，得到各方案样本的预测方案类型和方案评分；

38、评价模块，用于基于所述各方案样本的预测方案类型和方案评分对所述预设智能算法进行评价，得到评价结果。

39、此外，为实现上述目的，本发明还提出一种融合图灵测试和专家经验的智能算法评价设备，所述融合图灵测试和专家经验的智能算法评价设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的融合图灵测试和专家经验的智能算法评价程序，所述融合图灵测试和专家经验的智能算法评价程序配置为实现如上文所述的融合图灵测试和专家经验的智能算法评价方法的步骤。

40、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有融合图灵测试和专家经验的智能算法评价程序，所述融合图灵测试和专家经验的智能算法评价程序被处理器执行时实现如上文所述的融合图灵测试和专家经验的智能算法评价方法的步骤。

41、本发明通过构建方案样本库，其中，方案样本库中包括基于预设智能算法生成的算法设计方案；对方案样本库中的方案样本进行类型预测和评分，得到各方案样本的预测方案类型和方案评分；基于各方案样本的预测方案类型和方案评分对预设智能算法进行评价，得到评价结果。通过上述方式，通过根据方案样本库中各方案样本的预测方案类型和方案评分，对预设智能算法进行评价，解决了当前智能算法评价指标无法评价勘察设计领域的智能算法的优劣性的问题，实现了对勘察设计领域的智能算法的评价，提高了智能算法的质量。