基于多粒度模型的图片违规检测方法、装置、系统及介质与流程

本发明涉及金融科技，尤其涉及基于多粒度模型的图片违规检测方法、装置、系统及介质。

背景技术：

1、为了监控金融场景中的违规行为，利用人工智能提供客服聊天监控是一种有效的方法。然而，由于异常标签难以获取，采用少次学习的人工智能模型变得尤为重要。这种模型在金融领域的客服违规行为检测方面具有广泛需求。通过采用少次学习的人工智能技术，可以简化客服违规行为检测的过程，从而帮助金融行业保护相关场景，提升安全水平和客户信任度。

2、目前，基于人工智能模型可以实现对违规行为的监控，自动检测客服与客户的沟通内容是否有违规行为，流程通常为：收集正常的以及违规的聊天样本数据，并对其进行标注和预处理，通过训练模型来建立其人工智能模型，收集用于测试的聊天样本数据，并对其进行标注和预处理，测试样本通过人工智能模型，得到测试样本的预测违规行为类别与预测违规行为分数，根据测试结果，对用于金融场景的客服违规行为检测的人工智能模型进行判定，判断它是否可用，若可用则部署到生产环境中对客服的违规行为进行监控。

3、然而，在实际应用中，客服与客户聊天过程涉及的图片具有多样性，并且常常包含文字信息，这对于人工智能模型来说是一个巨大的挑战，如何对多样性的图片进行准确可靠的违规质检，是目前亟待解决的问题。

技术实现思路

1、鉴于上述现有技术的不足，本发明的目的在于提供可应用于金融科技或其它相关领域的基于多粒度模型的图片违规检测方法、装置、系统及介质，其主要目的在于解决图片多样性带来的问题，提升图片违规检测的质量和性能。

2、本发明的技术方案如下：

3、本发明第一方面提供一种基于多粒度模型的图片违规检测方法，包括：

4、获取待检测的图片数据；

5、将所述图片数据输入到训练好的特征提取模型中，提取得到所述图片数据的特征信息；

6、根据所述图片数据的特征信息调用训练好的多粒度模型中的目标处理模块，对所述图片数据的特征信息进行特征向量化处理，得到所述图片数据的特征向量；

7、将所述图片数据的特征向量与预设的特征向量池进行特征对比，得到所述图片数据的异常分数，所述特征向量池中包括常规特征向量和违规特征向量；

8、根据所述异常分数输出相应的图片违规检测结果。

9、在一个实施例中，所述将所述图片数据输入到训练好的特征提取模型中，提取得到所述图片数据的特征信息，包括：

10、对所述图片数据进行布局分析，获得所述图片数据的整体分布特征；

11、根据所述整体分布特征对所述图片数据进行区域分割，并识别所述图片数据中的连通域；

12、根据识别到的连通域对区域分割结果进行合并优化，得到若干个图片区域；

13、对每个图片区域进行特征提取，得到每个图片区域的特征信息。

14、在一个实施例中，所述对每个图片区域进行特征提取，得到每个图片区域的特征信息，包括：

15、识别各个图片区域的长宽比以及各个图片区域中的关键视觉元素，所述关键视觉元素包括表格元素、文本元素和子图元素中的至少一种；

16、根据各个图片区域的长宽比以及各个图片区域的关键视觉元素的识别结果，按预设提取策略对各个图片区域进行特征提取，得到每个图片区域的特征信息。

17、在一个实施例中，所述根据所述图片数据的特征信息调用训练好的多粒度模型中的目标处理模块，对所述图片数据的特征信息进行特征向量化处理，得到所述图片数据的特征向量，包括：

18、根据每个图片区域的特征信息分别调用所述多粒度模型中对应的目标处理模块，对各个图片区域进行并行的特征向量化处理，得到各个图片区域的特征向量；

19、将所有图片区域的特征向量进行特征融合处理，得到所述图片数据的特征向量。

20、在一个实施例中，所述将所述图片数据的特征向量与预设的特征向量池进行特征对比，得到所述图片数据的异常分数，具体包括：

21、调用相似向量检索库中的目标特征对比方法，对所述图片数据的特征向量与预设的特征向量池中各个特征向量进行特征对比；

22、根据特征对比结果计算所述图片数据的异常分数。

23、在一个实施例中，所述获取待检测的图片数据之前，方法还包括：

24、采集历史图片数据，并将所述历史图片数据标注为常规图片或违规图片；

25、将所述常规图片和违规图片输入到训练好的特征提取模型和多粒度模型中，依次进行特征提取和特征向量化处理，得到常规特征向量和违规特征向量；

26、根据所述常规特征向量和违规特征向量构建得到特征向量池。

27、在一个实施例中，所述根据所述常规特征向量和违规特征向量构建得到特征向量池之后，方法还包括：

28、响应于特征向量更新指令，在所述特征向量池中动态插入新的特征向量或者删除相应的特征向量。

29、本发明第二方面提供一种基于多粒度模型的图片违规检测装置，包括：

30、获取模块，用于获取待检测的图片数据；

31、特征提取模块，用于将所述图片数据输入到训练好的特征提取模型中，提取得到所述图片数据的特征信息；

32、多粒度处理模块，用于根据所述图片数据的特征信息调用训练好的多粒度模型中的目标处理模块，对所述图片数据的特征信息进行特征向量化处理，得到所述图片数据的特征向量；

33、特征对比模块，用于将所述图片数据的特征向量与预设的特征向量池进行特征对比，得到所述图片数据的异常分数，所述特征向量池中包括常规特征向量和违规特征向量；

34、检测输出模块，用于根据所述异常分数输出相应的图片违规检测结果。

35、本发明第三方面提供一种基于多粒度模型的图片违规检测系统，所述系统包括至少一个处理器；以及，

36、与所述至少一个处理器通信连接的存储器；其中，

37、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于多粒度模型的图片违规检测方法。

38、本发明第四方面提供一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于多粒度模型的图片违规检测方法。

39、有益效果：本发明公开了基于多粒度模型的图片违规检测方法、装置、系统及介质，相比于现有技术，本发明实施例获取待检测的图片数据；将图片数据输入到训练好的特征提取模型中，提取得到图片数据的特征信息；根据图片数据的特征信息调用训练好的多粒度模型中的目标处理模块，对特征信息进行特征向量化处理，得到图片数据的特征向量；将特征向量与预设的特征向量池进行特征对比，得到图片数据的异常分数，特征向量池中包括常规特征向量和违规特征向量；根据异常分数输出相应的图片违规检测结果。通过多粒度模型针对图片数据中不同层次的特征进行处理，同时在向量空间中进行高效的特征向量对比，加强资源利用效率的同时也解决图片多样性的问题，提升图片违规检测的质量和性能。