一种基于因果效应图的底层视觉模型的解释方法及系统

本发明涉及计算机视觉，尤其涉及一种基于因果效应图的底层视觉模型的解释方法及系统。

背景技术：

1、随着深度学习技术的飞速发展，深度神经网络在底层视觉任务中展现出了卓越的性能。这些网络通过集成多样化的精细设计模块，实现了从低质量图像到高质量图像的转换，显著提升了图像处理的效果。然而，尽管深度模型在性能上取得了显著进步，但其内部机制的理解仍然是一个巨大的挑战。特别是，我们无法确保这些网络是否真的按照我们的预期和期望在运行，也无法全面理解各个模块在不同任务上的效果及其相互作用。

2、为了应对这一挑战，研究者们逐渐开始关注底层视觉模型的可解释性。传统的可解释性方法往往侧重于相关性分析，即通过观察输入与输出之间的统计关联来推断模型的决策依据。然而，这种方法忽略了变量之间潜在的因果关系，导致结论可能存在偏差，无法深入揭示模型的内部机制和决策过程。

3、更重要的是，随着通用模型在底层视觉领域的兴起，这些模型采用统一的架构来处理多种不同的任务。这种设计虽然提高了模型的灵活性和泛化能力，但也使得其可解释性变得更加复杂和困难。通用模型需要一种能够跨任务解释其内部机制的方法，而传统的相关性分析方法显然无法满足这一需求。

4、为了克服这些缺陷，本申请提出了一种基于因果效应图的底层视觉模型的解释方法及系统。

技术实现思路

1、本申请的目的是提供一种基于因果效应图的底层视觉模型的解释方法及系统，旨在解决上述的问题。

2、为实现上述目的，本申请提供如下技术方案：

3、本申请提供一种基于因果效应图的底层视觉模型的解释方法，包括：

4、获取输入图片，对所述输入图片进行干预后生成第一干预图片；

5、将所述输入图片和所述第一干预图片分别输入网络模型进行处理，得到第一结果和第二结果；

6、通过计算所述输入图片在干预前后感兴趣区域的重建差异大小，基于所述重建差异大小、第一结果和第二结果，定位得到敏感区域；

7、在所述敏感区域内进行干预后生成第二干预图片，将所述第二干预图片输入所述网络模型后得到第三结果；

8、将所述第三结果与所述第一结果进行比较，得到因果效应值，基于所述因果效应值输出因果效应图。

9、进一步的，所述通过计算所述输入图片在干预前后感兴趣区域的重建差异大小，基于所述重建差异大小、第一结果和第二结果，定位得到敏感区域的步骤中，具体包括下述步骤：

10、对所述输入图片干预c次，若干预c次中感兴趣区域的重建差异大小小于预设阈值τ，则判断该输入图片为不敏感区域，反之则判断为敏感区域。

11、进一步的，所述将所述第三结果与所述第一结果进行比较，得到因果效应值，基于所述因果效应值输出因果效应图的步骤中，具体包括下述步骤：

12、计算所述输入图片通过网络模型输出结果o和干预后的第二干预图片通过网络模型输出结果o’之间的差异，得到因果效应值；

13、公式表达为：

14、

15、

16、其中，为评估图像中roi区域重建质量的指标函数；φm(i)为输出的因果效应图。

17、进一步的，所述网络模型为底层视觉网络，包括但不限于：srcnn、srresnet、swinir。

18、本申请提供一种基于因果效应图的底层视觉模型的解释系统，包括：

19、获取模块：获取输入图片，对所述输入图片进行干预后生成第一干预图片；

20、处理模块：将所述输入图片和所述第一干预图片分别输入网络模型进行处理，得到第一结果和第二结果；

21、计算模块：通过计算所述输入图片在干预前后感兴趣区域的重建差异大小，基于所述重建差异大小、第一结果和第二结果，定位得到敏感区域；在所述敏感区域内进行干预后生成第二干预图片，将所述第二干预图片输入所述网络模型后得到第三结果；

22、输出模块：将所述第三结果与所述第一结果进行比较，得到因果效应值，基于所述因果效应值输出因果效应图。

23、本申请提供一种设备，所述设备包括处理器、与所述处理器耦接的存储器，其中，所述存储器存储有用于实现一种基于因果效应图的底层视觉模型的解释方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令以实现一种基于因果效应图的底层视觉模型的解释。

24、本申请提供一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行一种基于因果效应图的底层视觉模型的解释方法。

25、本申请提供了一种基于因果效应图的底层视觉模型的解释方法及系统，具有以下有益效果：

26、(1)通过构建因果效应图，能够直观地展示视觉特征之间的因果关系，从而帮助用户更好地理解底层视觉模型的决策过程；

27、(2)基于因果分析，能够更好地理解模型在不同输入区域上的敏感性，从而进行更精准的优化，通过底层视觉lv(low-level vision)干预分析输入图片与输出感兴趣区域roi(region ofinterest)之间的因果关系，最终得到的因果效应图能够提供量化的正负因果效应，对底层视觉模型的分析和优化过程中具有极高的实用价值；

28、(3)本申请不依赖于特定的模型架构或先验知识，使得在各种应用场景中都能发挥作用；同时，因果效应图cem(causal effect map)作为一个通用框架，能够在多种底层视觉任务中进行跨任务的解释。

技术特征：

1.一种基于因果效应图的底层视觉模型的解释方法，其特征在于，包括：

2.根据权利要求1所述的一种基于因果效应图的底层视觉模型的解释方法，其特征在于，所述通过计算所述输入图片在干预前后感兴趣区域的重建差异大小，基于所述重建差异大小、第一结果和第二结果，定位得到敏感区域的步骤中，具体包括下述步骤：

3.根据权利要求1所述的一种基于因果效应图的底层视觉模型的解释方法，其特征在于，所述将所述第三结果与所述第一结果进行比较，得到因果效应值，基于所述因果效应值输出因果效应图的步骤中，具体包括下述步骤：

4.根据权利要求1所述的一种基于因果效应图的底层视觉模型的解释方法，其特征在于，所述网络模型为底层视觉网络，包括但不限于：srcnn、srresnet、swinir。

5.一种根据权利要求1所述的一种基于因果效应图的底层视觉模型的解释方法的系统，其特征在于，包括：

6.一种设备，其特征在于，所述设备包括处理器、与所述处理器耦接的存储器，其中，所述存储器存储有用于实现权利要求1-4任一项所述的一种基于因果效应图的底层视觉模型的解释方法的程序指令；所述处理器用于执行所述存储器存储的所述程序指令以实现一种基于因果效应图的底层视觉模型的解释。

7.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1-4任一项所述的一种基于因果效应图的底层视觉模型的解释方法。

技术总结本申请公开了一种基于因果效应图的底层视觉模型的解释方法及系统，运用于计算机视觉技术领域，其方法包括：获取输入图片，对所述输入图片进行干预后生成第一干预图片；将所述输入图片和所述第一干预图片分别输入网络模型进行处理，得到第一结果和第二结果；通过计算所述输入图片在干预前后感兴趣区域的重建差异大小，基于所述重建差异大小、第一结果和第二结果，定位得到敏感区域；在所述敏感区域内进行干预后生成第二干预图片，将所述第二干预图片输入所述网络模型后得到第三结果；将所述第三结果与所述第一结果进行比较，得到因果效应值，基于所述因果效应值输出因果效应图。技术研发人员：胡锦帆,顾津锦,于士尧,喻方桦,李哲远,尤志远,陆超超,董超受保护的技术使用者：中国科学院深圳先进技术研究院技术研发日：技术公布日：2024/12/2