电视内容的表示方法、装置、设备、存储介质及产品与流程

本技术涉及人工智能，尤其涉及一种电视内容的表示方法、装置、设备、存储介质及产品。

背景技术：

1、电视内容推荐任务，就是在海量电视内容中，从用户的播放、点击、搜藏、订购等序列中找到用户感兴趣的内容，进行用户的个性化推荐，从而进一步提升用户活跃性，增强用户粘性。因此，电视内容的准确表示是至关重要的。

2、相关技术中，提取电视内容的模态信息，通过深度学习模型如cnn模型提取模态信息对应的特征，进而得到电视内容表示。

3、但是，cnn模型适用于处理单一模态的图像数据，当应用于其他模态数据时，无法很好地捕捉不同模态之间复杂的关联和交互信息，从而影响电视内容表示的准确性。

技术实现思路

1、本技术实施例通过提供一种电视内容的表示方法、装置、设备、存储介质及产品，旨在提高电视内容表示的准确性。

2、本技术实施例提供了一种电视内容的表示方法，所述电视内容的表示方法，包括：

3、对电视内容的各模态信息分别进行编码，得到各模态信息对应的图表示；

4、基于所述图表示进行图内节点的特征交互，得到图内节点特征集合；

5、基于所述图表示和所述图内节点特征集合进行图间特征交互，得到图间特征交互信息；

6、对各个图间特征交互信息进行融合，得到电视内容表示。

7、可选地，所述模态信息包括视频信息、摘要信息和类别信息；所述对电视内容的各模态信息分别进行编码，得到各模态信息对应的图表示的步骤包括：

8、提取所述视频信息中的视频关键帧；

9、检测每个所述视频关键帧中的检测区域，并获取每个所述检测区域对应的图像特征；

10、根据所述检测区域、每个检测区域之间的连接关系和每个检测区域对应的图像特征，得到视觉图的图表示，其中，所述视觉图中的每个节点对应一个检测区域，每条边对应两个检测区域之间的连接关系；

11、对所述摘要信息和所述类别信息分别进行词性标注，得到所述摘要信息和所述类别信息中每个词的词性；

12、根据每个词的词性对所述摘要信息和所述类别信息分别进行句法分析，得到所述摘要信息和所述类别信息各自对应的各个词对应的词向量；

13、根据两个词的词向量计算得到的平均向量，得到词与词之间的依存关系；

14、根据各个词对应的词向量和词与词之间的依存关系，得到摘要图的图表示和类别图各自对应的图表示，其中，所述摘要图和所述类别图中的每个节点对应一个词，每条边对应词与词之间的依存关系。

15、可选地，所述基于所述图表示进行图内节点的特征交互，得到图内节点特征集合的步骤包括：

16、针对所述视觉图、所述摘要图和所述类别图中的每个节点，获取每个节点的各个邻居节点的特征表示；

17、对每个节点对应的各个邻居节点的特征表示进行拼接，得到每个节点对应的邻居特征的聚合表示；

18、将每个节点的原始特征与该节点对应的邻居特征的聚合表示进行结合后，通过非线性转换，得到所述视觉图、所述摘要图和所述类别图各自对应的图内节点特征集合。

19、可选地，所述基于所述图表示和所述图内节点特征集合进行图间特征交互，得到图间特征交互信息的步骤包括：

20、将所述视觉图中的视觉实体和所述类别图中的类别实体进行相加，基于相加后的视觉实体和类别实体，计算得到所述视觉实体对所述类别实体的注意力值，根据所述视觉实体对所述类别实体的注意力值和所述视觉图对应的图内节点特征集合，得到所述视觉图到所述类别图的互补信息；

21、将所述摘要图中的视觉实体和所述类别图中的类别实体进行相加，基于相加后的摘要实体和类别实体，计算得到所述摘要实体对所述类别实体的注意力值，根据所述摘要实体对所述类别实体的注意力值和所述摘要图对应的图内节点特征集合，得到所述摘要图到所述类别图的互补信息；

22、通过门操作将所述视觉图到所述类别图的互补信息、所述摘要图到所述类别图的互补信息和所述类别图对应的图内节点特征集合进行融合，得到所述类别图到所述类别图的互补信息；

23、将所述视觉图到所述类别图的互补信息、所述摘要图到所述类别图的互补信息和所述类别图到所述类别图的互补信息，确定为所述图间特征交互信息。

24、可选地，所述对各个图间特征交互信息进行融合，得到电视内容表示的步骤包括：

25、将各个所述图间特征交互信息分别输入对应的全连接层，得到各个所述全连接层对应的输出结果；

26、将各个所述全连接层对应的输出结果进行相加，得到所述电视内容表示。

27、可选地，所述对各个图间特征交互信息进行融合，得到电视内容表示的步骤之后，还包括：

28、将所述电视内容表示通过用户多兴趣特征编码器的多头注意力机制进行处理，得到上下文特征向量；

29、通过所述用户多兴趣特征编码器的门控循环单元中的每个通道分别处理一个上下文特征向量的子空间特征向量，得到每个通道对应的输出结果，其中，每个通道用于捕获一种用户兴趣；

30、通过所述用户多兴趣特征编码器的连接层连接各个通道对应的输出结果，得到连接结果；

31、将所述连接结果经过所述用户多兴趣特征编码器的加性注意力机制进行处理，得到用户多兴趣特征向量表示。

32、此外，为实现上述目的，本技术还提供了一种电视内容的推荐装置，包括：

33、电视内容编码器和用户多兴趣特征编码器；

34、其中，所述电视内容编码器至少包括：图构造模块、图内节点特征集成模块、图间特征交互模块和信息融合模块；

35、所述用户多兴趣特征编码器至少包括：多头注意力机制、门控循环单元、连接层和加性注意力机制，所述门控循环单元包括多个通道，每个通道用于捕获一种用户兴趣。

36、此外，为实现上述目的，本技术还提供了一种电视内容的表示设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的电视内容的表示程序，所述电视内容的表示程序被所述处理器执行时实现上述的电视内容的表示方法的步骤。

37、此外，为实现上述目的，本技术还提供了一种计算机可读存储介质，其上存储有电视内容的表示程序，所述电视内容的表示程序被处理器执行时实现上述的电视内容的表示方法的步骤。

38、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括电视内容的表示程序，所述电视内容的表示程序被处理器执行时实现如上文所述的电视内容的表示方法的步骤。

39、本技术实施例中提供的一种电视内容的表示方法、装置、设备、存储介质及产品的技术方案，相比于相关技术由于cnn模型适用于处理单一模态的图像数据，当应用于其他模态数据时，无法很好地捕捉不同模态之间复杂的关联和交互信息的缺陷，导致电视内容表示不准确的缺陷，本技术通过对电视内容的各模态信息分别进行编码，将各模态信息用图进行统一表示，使得不同模态信息的操作可以统一，基于各个模态信息对应的图表示能够很好的捕捉不同模态之间复杂的关联和交互信息，得到图内节点特征集合和图间特征交互信息，提高电视内容表示的准确性。