实现人工智能互联互通功能与性能评测处理的方法、装置、处理器及其计算机可读存储介质

本发明涉及人工智能，尤其涉及计算机视觉领域，具体是指一种实现人工智能互联互通功能与性能评测处理的方法、装置、处理器及其计算机可读存储介质。

背景技术：

1、人工智能近年来发展迅速，已经应用于各行各业。在当前比较热门的计算机视觉领域，随着各种神经网络框架模型的应用，使得图像处理技术大大提升，以至许多不法分子利用图像处理技术，伪造生成大量虚假图像，并在互联网上传播。在法庭、案件分析等重要领域，伪造图像的出现极大程度上让案件、法庭负责人的判断出现差错。

2、当前主流的伪造图像方法为复制-粘贴伪造。在这项伪造技术中，图像的一部分区域(源区域)被复制粘贴到同一张图像的其他区域(目标区域)，以隐藏部分内容或增加部分内容，这改变了图像原本的语义信息，进一步向人们传递错误信息。

3、与传统的检测方法相比，神经网络能够很好的提取图像特征，能够极大的提升检测正确率和性能。chen等人在卷积神经网络(cnn)中通过添加一个低通滤波器层进行源-目标区域的检测。ouyang等人使用迁移学习，把将alex net在imagenet数据集上的预训练模型配置到cmfd数据集上，并作一定的微调，该方法在简单的复制-粘贴伪造图像上表现良好。zhang等人采用一种堆叠自动编码器来检测伪造图像过程的上下文特征。将图像伪造检测视为异常检测任务，并使用基于提取特征的自动编码器来区分伪造区域。hsu等人提出一种基于判别器的深度学习框架，对5种由gan网络生成的伪造图片进行检测；同时resnet50、xception以及inception v3也被应用于伪造图像检测任务中，并取得不错的效果。

4、但是，以上用于伪造图像检测的方法所选取的神经网络模型不够轻量化，对硬件和训练时间的要求过高，需要投入大量的成本。为了解决模型不够轻量化，训练困难等问题。本技术方案则通过现有的伪造检测方法的研究进展及存在的问题进行分析，提出了一种基于多模型融合的轻量化伪造图像检测方法，选取了当前较为流行的三种轻量化神经网络模型，通过对不同模型采用的不同特征提取方式进行特征融合，能够更好的进行特征提取，通过实验验证了该方法的有效性。

技术实现思路

1、本发明的目的是克服了上述现有技术的缺点，提供了一种实现人工智能互联互通功能与性能评测处理的方法、装置、处理器及其计算机可读存储介质。

2、为了实现上述目的，本发明的实现人工智能互联互通功能与性能评测处理的方法、装置、处理器及其计算机可读存储介质如下：

3、该实现人工智能互联互通功能与性能评测处理的方法，其主要特点是，所述的方法包括以下步骤：

4、(1)将获取到的原始图像数据经过图像预处理后，输入至模型评估模块；

5、(2)所述的模型评估模块根据获取到的图像数据进行模型评估，用于评估相应模型的功能完整性；

6、(3)使用者根据特定需求场景，择优选择模型评估结果，以供使用。

7、较佳地，步骤(1)具体为：

8、基于公开数据集forgerynet和micc-f220，获取人脸伪造图像、伪造视频、以及自然景色篡改数据，其中包括训练数据集以及验证数据集。

9、较佳地，步骤(2)包括：

10、使用者根据不同需求，将获取到的数据信息通过squeezenet、mobilenet和shufflenet或用户自定义神经网络模型进行系统评估。

11、较佳地，所述的系统评估具体包括：

12、评测当前所选模型的全部的神经网络模型框架，以获取当前模型的完整性；

13、按照当前模型所支持的硬件类型，选择需要进行训练的硬件资源，包括cpu模式、gpu模式，用于计算当前选择的网络模型在不同硬件下，分辨伪造图像的正确率。

14、较佳地，步骤(2)还包括：

15、基于当前已选择的神经网络模型，对所述的训练数据集进行硬件占用率性能评估，用于评估神经网络模型的推理响应时间性能；

16、对当前已选择的神经网络模型进行参数量统计，用于评估模型的flops性能；

17、对当前已选择的神经网络模型进行稀疏度评估，以确保该模型具有较好的泛化能力和更改的计算效率。

18、较佳地，所述的模型评估模块具体进行以下处理：

19、基于当前已选择的模型对输入的数据进行预测，并根据预测值获取模型输出的准确率；

20、使用计时器预测数据集中每个样本遍历所需的时间，并获取平均推理响应时间；

21、使用flops计算工具计算当前模型中的flops值；

22、使用内存占有率计算工具计算当前模型的内存占有率；

23、通过计算稀疏度，获取当前模型权重的稀疏度。

24、较佳地，步骤(3)包括：

25、通过所述的模型评估模块所得的评估结果，得到经过真假验证的真实图像以及伪造图像。

26、该实现人工智能互联互通功能与性能评测处理的装置，其主要特点是，所述的装置包括：

27、处理器，被配置成执行计算机可执行指令；

28、存储器，存储一个或多个计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的人工智能互联互通功能与性能评测处理的方法的步骤。

29、该实现人工智能互联互通功能与性能评测处理的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的人工智能互联互通功能与性能评测处理的方法的步骤。

30、该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的人工智能互联互通功能与性能评测处理的方法的步骤。

31、采用了本发明的该实现人工智能互联互通功能与性能评测处理的方法、装置、处理器及其计算机可读存储介质，通过可视化实际运行结果，可以清楚的看到每个模型的各种性能指标，轻量级神经网络模型的部署需要综合考虑多个方面，在正确率方面，正确率越高越好；在硬件占用率方面，如使用cpu训练，则占用率不要太高，若使用gpu训练，则占用率较高比较好；在模型稀疏度方面，稀疏度越高，意味着模型的泛化能力强，因此稀疏度的选择也是越高越好；在flops方面，flops指的是神经网络的计算量，在轻量级神经网络中，计算量应该保持在一个低水平比较好。

技术特征：

1.一种实现人工智能互联互通功能与性能评测处理的方法，其特征在于，所述的方法包括以下步骤：

2.根据权利要求1所述的实现人工智能互联互通功能与性能评测处理的方法，其特征在于，步骤(1)具体为：

3.根据权利要求2所述的实现人工智能互联互通功能与性能评测处理的方法，其特征在于，步骤(2)包括：

4.根据权利要求3所述的实现人工智能互联互通功能与性能评测处理的方法，其特征在于，所述的系统评估具体包括：

5.根据权利要求3所述的实现人工智能互联互通功能与性能评测处理的方法，其特征在于，步骤(2)还包括：

6.根据权利要求3所述的实现人工智能互联互通功能与性能评测处理的方法，其特征在于，所述的模型评估模块具体进行以下处理：

7.根据权利要求6所述的实现人工智能互联互通功能与性能评测处理的方法，其特征在于，步骤(3)包括：

8.一种实现人工智能互联互通功能与性能评测处理的装置，其特征在于，所述的装置包括：

9.一种实现人工智能互联互通功能与性能评测处理的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求1～7中任一项所述的人工智能互联互通功能与性能评测处理的方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求1～7中任一项所述的人工智能互联互通功能与性能评测处理的方法的步骤。

技术总结本发明涉及一种实现人工智能互联互通功能与性能评测处理的方法，其中，该方法包括：(1)将获取到的原始图像数据经过图像预处理后，输入至模型评估模块；(2)所述的模型评估模块根据获取到的图像数据进行模型评估，用于评估相应模型的功能完整性；(3)使用者根据特定需求场景，择优选择模型评估结果，以供使用。本发明还涉及一种相应的装置、处理器及其计算机可读存储介质。采用了本发明的该实现人工智能互联互通功能与性能评测处理的方法、装置、处理器及其计算机可读存储介质，通过可视化实际运行结果，可以清楚的看到每个模型的各种性能指标，能够提供较为直观性能评测数据。技术研发人员：孟苏豫,仵大奎,薛嘉宁,刘亚军受保护的技术使用者：上海大学技术研发日：技术公布日：2024/9/29