一种基于多模态的导流广告识别方法、系统、设备及介质与流程

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品，因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、互联网平台上通常都会存在很多导流广告内容，这些由私人或者黑产发布的导流广告通常有以下几大危害：1、存在虚假诈骗等信息，危害平台用户权益。2、其它平台的导流信息，导致平台用户流失。3、用户绕过平台进行私下交易。进行基于导流广告内容的审核非常有必要。

2、然而导流广告发布者为了绕过机器审核系统通常会把导流广告内容写在图片上，且往往具有对抗性(例如：把联系方式拆开写或者把联系方式插入到正常的文字中)。这种对抗性给机器内容审核系统带来极大的挑战。只从图像或者文本维度都不能很好的识别这种对抗性导流广告的问题。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，具体提供了一种基于多模态的导流广告识别方法、系统、设备及介质，具体如下：

2、1)第一方面，本发明提供一种基于多模态的导流广告识别方法，具体技术方案如下：

3、提取待识别广告图片中的文本内容，以及提取所述待识别广告图片中的图像特征；

4、提取所述文本内容的文本特征，对所述文本特征以及所述图像特征进行拼接确定所述待识别广告图片的识别结果。

5、本发明提供的一种基于多模态的导流广告识别方法有益效果如下：

6、通过对待识别广告图片以及待识别广告图片中的文本内容进行特征提取的方式，实现了图片数据以及文字数据分别处理的目的，分别处理不仅可以减少数据信息之间的干扰，还可以提升处理的针对性。此外，分别处理提取到图像特征以及文本特征后，通过拼接的方式共同进行待识别广告图片的识别可以提升识别的准确性。

7、通过文本特征和图像特征的优势互补来提升广告识别效果。文本特征可以有效识别广告内容，但对抗性较差；图片特征可以提供一些视觉上的对抗特征，如文本插入干扰、广告内容拆分发。

8、在上述方案的基础上，本发明还可以做如下改进。

9、进一步，提取所述待识别广告图片中的文本内容具体为：通过psenet分割技术从所述待识别广告图片中切割出文本区域，对文本区域进行文字提取，得到所述待识别广告图片中的文本内容。

10、进一步，提取所述待识别广告图片中的图像特征的过程为：

11、对所述待识别广告图片进行初提取，得到初图像特征，对所述初图像特征进行全局平均池化处理后得到所述待识别广告图片中的图像特征。

12、进一步，提取所述文本内容的文本特征的过程为：对所述文本内容进行初提取，得到初文本特征，对所有初文本特征进行编码，并选取满足预设数量的初文本特征进行平均池化处理，得到所述文本内容的文本特征。

13、2)第二方面，本发明还提供一种基于多模态的导流广告识别系统，具体技术方案如下：

14、提取模块用于：提取待识别广告图片中的文本内容，以及提取所述待识别广告图片中的图像特征；

15、识别模块用于：提取所述文本内容的文本特征，对所述文本特征以及所述图像特征进行拼接确定所述待识别广告图片的识别结果。

16、在上述方案的基础上，本发明还可以做如下改进。

17、进一步，所述提取模块中提取所述待识别广告图片中的文本内容的过程具体为：通过psenet分割技术从所述待识别广告图片中切割出文本区域，对文本区域进行文字提取，得到所述待识别广告图片中的文本内容。

18、进一步，所述提取模块中提取所述待识别广告图片中的图像特征的过程为：

19、对所述待识别广告图片进行初提取，得到初图像特征，对所述初图像特征进行全局平均池化处理后得到所述待识别广告图片中的图像特征。

20、进一步，所述识别模块中提取所述文本内容的文本特征的过程为：对所述文本内容进行初提取，得到初文本特征，对所有初文本特征进行编码，并选取满足预设数量的初文本特征进行平均池化处理，得到所述文本内容的文本特征。

21、3)第三方面，本发明还提供一种计算机设备，所述计算机设备包括处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如上任一项方法。

22、4)第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现如上任一项方法。

23、需要说明的是，本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果，可以参见上述对第一方面及其对应的可能的实现方式的技术效果，此处不再赘述。

技术特征：

1.一种基于多模态的导流广告识别方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多模态的导流广告识别方法，其特征在于，提取所述待识别广告图片中的文本内容具体为：通过psenet分割技术从所述待识别广告图片中切割出文本区域，对文本区域进行文字提取，得到所述待识别广告图片中的文本内容。

3.根据权利要求1所述的一种基于多模态的导流广告识别方法，其特征在于，提取所述待识别广告图片中的图像特征的过程为：

4.根据权利要求1所述的一种基于多模态的导流广告识别方法，其特征在于，提取所述文本内容的文本特征的过程为：对所述文本内容进行初提取，得到初文本特征，对所有初文本特征进行编码，并选取满足预设数量的初文本特征进行平均池化处理，得到所述文本内容的文本特征。

5.一种基于多模态的导流广告识别系统，其特征在于，包括：

6.根据权利要求5所述的一种基于多模态的导流广告识别系统，其特征在于，所述提取模块中提取所述待识别广告图片中的文本内容的过程具体为：通过psenet分割技术从所述待识别广告图片中切割出文本区域，对文本区域进行文字提取，得到所述待识别广告图片中的文本内容。

7.根据权利要求5所述的一种基于多模态的导流广告识别系统，其特征在于，所述提取模块中提取所述待识别广告图片中的图像特征的过程为：

8.根据权利要求5所述的一种基于多模态的导流广告识别系统，其特征在于，所述识别模块中提取所述文本内容的文本特征的过程为：对所述文本内容进行初提取，得到初文本特征，对所有初文本特征进行编码，并选取满足预设数量的初文本特征进行平均池化处理，得到所述文本内容的文本特征。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述计算机设备实现如权利要求1至4任一项权利要求所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行，以使计算机实现如权利要求1至4任一项权利要求所述的方法。

技术总结本发明公开了一种基于多模态的导流广告识别方法、系统、设备及介质，涉及广告识别技术领域，方法包括：提取待识别广告图片中的文本内容，以及提取所述待识别广告图片中的图像特征；提取所述文本内容的文本特征，对所述文本特征以及所述图像特征进行拼接确定所述待识别广告图片的识别结果。本发明通过文本特征和图像特征的优势互补来提升广告识别效果。文本特征可以有效识别广告内容，但对抗性较差；图片特征可以提供一些视觉上的对抗特征，如文本插入干扰、广告内容拆分发。技术研发人员：王少将受保护的技术使用者：北京数美时代科技有限公司技术研发日：技术公布日：2024/8/5