一种医学影像AI模型测试方法、装置、设备及存储介质

本发明涉及模型测试，具体是涉及一种医学影像ai模型测试方法、装置、设备及存储介质。

背景技术：

1、将ai模型植入至医学影像设备上，医学影像设备便可以对患者的医学影像进行分析，以辅助医生进行疾病诊断。为了保障ai模型的安全性，也就是保障ai模型的准确性和稳定性，需要对ai模型进行安全性的评估和测试。现有技术只使用常规的原始图像测试ai模型，而医学影像在采集的过程中会因采集设备因此而导致医学影像上出现噪声以及清晰度下降，也就是采集设备会影像医学影像的质量。由于现有技术只使用常规的原始图像测试ai模型，会导致测试结果具有局限性。

2、综上所述，现有技术中的ai模型测试方法具有局限性。

3、因此，现有技术还有待改进和提高。

技术实现思路

1、为解决上述技术问题，本发明提供了一种医学影像ai模型测试方法、装置、设备及存储介质，解决了现有技术中的ai模型测试方法具有局限性的问题。

2、为实现上述目的，本发明采用了以下技术方案：

3、第一方面，本发明提供一种医学影像ai模型测试方法，其中，包括：

4、采集原始医学图像集，并对所述原始医学图像集内的每个原始图像应用图像攻击算法，以得到医学攻击图像集；

5、使用所述原始医学图像集内的每个原始图像测试所述ai模型，以得到所述ai模型的第一预测正确率；使用所述医学攻击图像集内的每个图像测试所述ai模型，以得到所述ai模型的第二预测正确率；

6、依据所述第一预测正确率和所述第二预测正确率，得到所述ai模型的测试结果。

7、在一种实现方式中，所述对所述原始医学图像集内的每个原始图像应用图像攻击算法，以得到医学攻击图像集，包括：

8、确定所述图像攻击算法中的扰动攻击算法和对抗攻击算法；

9、对所述原始医学图像集内的每个原始图像均应用扰动攻击算法，以得到扰动攻击图像子集；

10、对所述原始医学图像集内的每个原始图像均应用对抗攻击算法，以得到对抗攻击图像子集，并组合所述对抗攻击图像子集和所述扰动攻击图像子集，以得到医学攻击图像集。

11、在一种实现方式中，所述对所述原始医学图像集内的每个原始图像均应用对抗攻击算法，以得到对抗攻击图像子集，包括：

12、对每个原始图像均应用有目标的对抗攻击算法，以得到对抗攻击图像第一子集；

13、对每个原始图像均应用无目标的对抗攻击算法，以得到对抗攻击图像第二子集，并将所述对抗攻击图像第二子集和所述对抗攻击图像第一子集作为对抗攻击图像子集。

14、在一种实现方式中，所述对所述原始医学图像集内的每个原始图像应用图像攻击算法，以得到医学攻击图像集，包括：

15、为所述图像攻击算法设置各种强度值，并确定每个原始图像在所述图像攻击算法以每种所述强度值攻击下所形成的每个攻击图像样本，以得到每种强度值所对应的每个攻击图像样本子集，并所有所述强度值所对应的攻击图像样本子集所形成的集合作为医学攻击图像集。

16、在一种实现方式中，所述使用所述医学攻击图像集内的每个图像测试所述ai模型，以得到所述ai模型的第二预测正确率，包括：

17、确定所述ai模型的模型类别，并依据所述模型类别，确定所述ai模型的正确率计算公式；

18、使用每种所述强度值所对应的每个所述攻击图像样本子集的每个图像测试所述ai模型，并通过所述正确率计算公式，计算每种所述强度值所对应的所述ai模型的第二预测正确率。

19、在一种实现方式中，所述依据所述第一预测正确率和所述第二预测正确率，得到所述ai模型的测试结果，包括：

20、计算所述第二预测正确率和所述第一预测正确率的l1范数距离，并依据所述l1范数距离，确定所述ai模型针对所述图像攻击算法的平整度得分；

21、依据所述第一预测正确率，确定所述ai模型的安全阈值；

22、将所有所述第二预测正确率与所述安全阈值进行比较，从所有所述第二预测正确率筛选出优选正确率；

23、统计所述优选正确率所对应的所述强度值的数量，并将所述数量除以所述第二预测正确率，得到极端值得分；

24、依据所述极端值得分和所述平整度得分，得到所述ai模型的测试结果。

25、在一种实现方式中，所述依据所述极端值得分和所述平整度得分，得到所述ai模型的测试结果，包括：

26、将每个所述图像攻击算法所对应的所述极端值得分和每个所述图像攻击算法所对应的所述平整度得分相加，得到每个所述图像攻击算法所对应的测试子分数；

27、将所有的所述图像攻击算法所对应的所述测试子分数进行加权计算，得到测试总分数，并将所述测试总分数作为所述ai模型的测试结果。

28、第二方面，本发明实施例还提供一种医学影像ai模型测试装置，其中，所述装置包括如下组成部分：

29、攻击图像生成模块，用于采集原始医学图像集，并对所述原始医学图像集内的每个原始图像应用图像攻击算法，以得到医学攻击图像集；

30、测试模块，用于使用所述原始医学图像集内的每个原始图像测试所述ai模型，以得到所述ai模型的第一预测正确率；使用所述医学攻击图像集内的每个图像测试所述ai模型，以得到所述ai模型的第二预测正确率；

31、测试结果计算模块，用于依据所述第一预测正确率和所述第二预测正确率，得到所述ai模型的测试结果。

32、第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的医学影像ai模型测试程序，所述处理器执行所述医学影像ai模型测试程序时，实现上述所述的医学影像ai模型测试方法的步骤。

33、第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有医学影像ai模型测试程序，所述医学影像ai模型测试程序被处理器执行时，实现上述所述的医学影像ai模型测试方法的步骤。

34、有益效果：本发明首先采集原始医学图像集，并对原始医学图像集内的每个原始图像应用图像攻击算法，以得到医学攻击图像集，然后分别使用原始医学图像集和医学攻击图像集测试ai模型，以分别得到ai模型的第一预测正确率和第二预测正确率，最后根据第一预测正确率和第二预测正确率，得到ai模型的测试结果。从上述分析可知，本发明不仅使用原始医学图像测试ai模型，还使用攻击图像测试ai模型，从而增大了图像的种类，使得本发明的测试结果能够更加全面的反映ai模型的准确性。

技术特征：

1.一种医学影像ai模型测试方法，其特征在于，包括：

2.如权利要求1所述的医学影像ai模型测试方法，其特征在于，所述对所述原始医学图像集内的每个原始图像应用图像攻击算法，以得到医学攻击图像集，包括：

3.如权利要求2所述的医学影像ai模型测试方法，其特征在于，所述对所述原始医学图像集内的每个原始图像均应用对抗攻击算法，以得到对抗攻击图像子集，包括：

4.如权利要求1所述的医学影像ai模型测试方法，其特征在于，所述对所述原始医学图像集内的每个原始图像应用图像攻击算法，以得到医学攻击图像集，包括：

5.如权利要求4所述的医学影像ai模型测试方法，其特征在于，所述使用所述医学攻击图像集内的每个图像测试所述ai模型，以得到所述ai模型的第二预测正确率，包括：

6.如权利要求5所述的医学影像ai模型测试方法，其特征在于，所述依据所述第一预测正确率和所述第二预测正确率，得到所述ai模型的测试结果，包括：

7.如权利要求6所述的医学影像ai模型测试方法，其特征在于，所述依据所述极端值得分和所述平整度得分，得到所述ai模型的测试结果，包括：

8.一种医学影像ai模型测试装置，其特征在于，所述装置包括如下组成部分：

9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的医学影像ai模型测试程序，所述处理器执行所述医学影像ai模型测试程序时，实现如权利要求1-7任一项所述的医学影像ai模型测试方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有医学影像ai模型测试程序，所述医学影像ai模型测试程序被处理器执行时，实现如权利要求1-7任一项所述的医学影像ai模型测试方法的步骤。

技术总结本发明涉及模型测试技术领域，具体是涉及一种医学影像AI模型测试方法、装置、设备及存储介质。本发明首先采集原始医学图像集，并对原始医学图像集内的每个原始图像应用图像攻击算法，以得到医学攻击图像集，然后分别使用原始医学图像集和医学攻击图像集测试AI模型，以分别得到AI模型的第一预测正确率和第二预测正确率，最后根据第一预测正确率和第二预测正确率，得到AI模型的测试结果。从上述分析可知，本发明不仅使用原始医学图像测试AI模型，还使用攻击图像测试AI模型，从而增大了图像的种类，使得本发明的测试结果能够更加全面的反映AI模型的准确性。技术研发人员：伍子康,林炯亮,林绮思,杨鑫受保护的技术使用者：深圳大学技术研发日：技术公布日：2024/10/10