视频识别方法、装置、电子设备及存储介质与流程

1.本公开涉及视频处理技术领域，尤其涉及一种视频识别方法、装置、电子设备及存储介质。


背景技术：

2.随着互联网技术及智能移动终端设备的发展，近年来，出现了各种用于视频上传、下载或观看的技术。越来越多的用户也会通过观看视频来获取信息。然而，随着视频行业的不断繁荣，出现了很多在视频封面添加夸张或诱导性文字或图像的行为，用以吸引浏览者注意。对于此种封面与视频内容不一致的情况，传统技术中，一般是通过用户浏览后的反馈，来判断视频封面是否能准确反映视频内容。
3.然而，传统技术中通过用户反馈来判断视频封面是否能准确反映视频内容的方法，高度依赖用户反馈的信息，而用户反馈的信息的随意性非常大，因此，采用传统技术，会使得判断视频封面是否能准确反映视频内容的误判率非常高。


技术实现要素：

4.本公开提供一种视频识别方法、装置、电子设备及存储介质，以至少解决相关技术中判断视频封面是否能准确反映视频内容的误判率非常高的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种视频识别方法，包括：
6.对获取到的目标视频进行检测，得到所述目标视频对应的至少两个目标视频特征；其中，所述目标视频特征为视觉特征、文本特征或音频特征；
7.提取每一所述目标视频特征与其他目标视频特征之间的目标交互特征，得到所述目标视频对应的至少两个目标交互特征；
8.检测所述至少两个目标交互特征与目标封面的相关程度；其中，所述目标封面为所述目标视频当前的封面；
9.当所述相关程度大于预设阈值时，判定所述目标封面为所述目标视频的封面。
10.在一示例性实施例中，所述提取每一所述目标视频特征与其他目标视频特征之间的目标交互特征，得到所述目标视频对应的至少两个目标交互特征，包括：
11.对于每一目标视频特征，将所述至少两个目标视频特征中的一个目标视频特征确定为主特征，将所述至少两个目标视频特征中的其他目标视频特征拼接得到的特征确定为辅助特征；
12.将所述辅助特征融入所述主特征，得到所述目标交互特征；所述至少两个目标视频特征对应至少两个目标交互特征。
13.在一示例性实施例中，所述检测所述至少两个目标交互特征与目标视频封面的相关程度，包括：
14.将所述至少两个目标交互特征和所述目标视频封面输入预设的视频识别模型，得
到所述相关程度；
15.其中，所述视频识别模型为根据历史视频对应的封面类别和至少两个历史视频特征之间的历史交互特征训练得到，用于识别视频与所述视频的封面的相关程度。
16.在一示例性实施例中，所述视频识别模型的确定方式，包括：
17.获取所述历史视频对应的至少两个历史交互特征；
18.以所述至少两个历史交互特征为预设的初始视频识别模型的输入，所述历史视频对应的历史视频封面为监督信息，对所述初始视频识别模型进行训练，得到所述视频识别模型。
19.在一示例性实施例中，所述检测所述至少两个目标交互特征与目标视频封面的相关程度，之后包括：
20.将所述相关程度输入预设的视频推荐模型，以对所述目标视频进行推荐。
21.根据本公开实施例的第二方面，提供一种视频识别装置，包括：
22.视频检测单元，被配置为执行对获取到的目标视频进行检测，得到所述目标视频对应的至少两个目标视频特征；其中，所述目标视频特征为视觉特征、文本特征或音频特征；
23.交互特征提取单元，被配置为执行提取每一所述目标视频特征与其他目标视频特征之间的目标交互特征，得到所述目标视频对应的至少两个目标交互特征；
24.相关程度检测单元，被配置为执行检测所述至少两个目标交互特征与目标封面的相关程度；其中，所述目标封面为所述目标视频当前的封面；
25.视频识别单元，被配置为执行当所述相关程度大于预设阈值时，判定所述目标封面为所述目标视频的封面。
26.在一示例性实施例中，所述交互特征提取单元还被配置为执行：
27.对于每一目标视频特征，将所述至少两个目标视频特征中的一个目标视频特征确定为主特征，将所述至少两个目标视频特征中的其他目标视频特征拼接得到的特征确定为辅助特征；
28.将所述辅助特征融入所述主特征，得到所述目标交互特征；所述至少两个目标视频特征对应至少两个目标交互特征。
29.在一示例性实施例中，所述相关程度检测单元还被配置为执行：
30.将所述至少两个目标交互特征和所述目标视频封面输入预设的视频识别模型，得到所述相关程度；
31.其中，所述视频识别模型为根据历史视频对应的封面类别和至少两个历史视频特征之间的历史交互特征训练得到，用于识别视频与所述视频的封面的相关程度。
32.在一示例性实施例中，所述相关程度检测单元还被配置为执行：
33.获取所述历史视频对应的至少两个历史交互特征；
34.以所述至少两个历史交互特征为预设的初始视频识别模型的输入，所述历史视频对应的历史视频封面为监督信息，对所述初始视频识别模型进行训练，得到所述视频识别模型。
35.在一示例性实施例中，所述视频识别装置还包括视频推荐单元，被配置为执行：
36.将所述相关程度输入预设的视频推荐模型，以对所述目标视频进行推荐。
37.根据本公开实施例的第三方面，提供一种电子设备，包括：
38.处理器；
39.用于存储所述处理器可执行指令的存储器；
40.其中，所述处理器被配置为执行所述指令，以实现第一方面的任一项实施例中所述的视频识别方法。
41.根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行第一方面的任一项实施例中所述的视频识别方法。
42.根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行第一方面的任一项实施例中所述的视频识别方法。
43.本公开的实施例提供的技术方案至少带来以下有益效果：
44.通过对获取到的目标视频进行检测，得到目标视频对应的视觉特征、文本特征或音频特征中的至少两个目标视频特征，并提取每一目标视频特征与其他目标视频特征之间的目标交互特征，得到目标视频对应的至少两个目标交互特征。检测至少两个目标交互特征与目标封面的相关程度，当相关程度大于预设阈值时，判定目标封面为目标视频的封面。从而可以脱离对随意性较大的用户反馈信息的依赖，通过目标视频本身的至少两个目标视频特征，判定目标封面是否为目标视频的封面，大大提高对目标视频与目标视频封面是否对应进行判断的准确率。
45.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
46.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
47.图1是根据一示例性实施例示出的一种视频识别方法的流程图。
48.图2是根据一示例性实施例示出的步骤s200的一种可实施方式的流程图。
49.图3是根据一示例性实施例示出的co-attention网络的系统框图。
50.图4是根据一示例性实施例示出的步骤s200的一种可实施方式的流程图。
51.图5是根据一具体示例性实施例示出的封面党视频识别系统框图。
52.图6是根据一示例性实施例示出的一种视频识别装置的框图。
53.图7是根据一示例性实施例示出的一种用于视频识别的电子设备的内部结构图。
具体实施方式
54.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
55.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
56.图1是根据一示例性实施例示出的一种视频识别方法的流程图，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现，具体包括以下步骤：
57.在步骤s100中，对获取到的目标视频进行检测，得到目标视频对应的至少两个目标视频特征；其中，目标视频特征为视觉特征、文本特征或音频特征。
58.在步骤s200中，提取每一目标视频特征与其他目标视频特征之间的目标交互特征，得到目标视频对应的至少两个目标交互特征。
59.在步骤s300中，检测至少两个目标交互特征与目标封面的相关程度；其中，目标封面为目标视频当前的封面。
60.在步骤s400中，当相关程度大于预设阈值时，判定目标封面为目标视频的封面。
61.其中，目标视频特征为基于目标视频的内容和属性确定出的特征，可选地，至少两个目标视频特征包括视觉特征、文本特征或音频特征中的至少两种，还可以包括目标视频对应的画质信息、存储格式等信息，需要说明的是，此处仅为示例性说明，并不对目标视频特征进行限定。目标交互特征是指至少两个目标视频特征之间的相互学习的特征。相关程度是衡量目标视频对应的目标交互特征与该目标视频对应的目标封面之间的关联程度的数值指标，相关程度越大说明目标封面越能较为真实全面地反应目标视频的内容，相反地，相关程度越小说明目标封面与目标视频的关联程度越小，该目标封面无法真实准确地反应目标视频的内容。可选地，相关程度的归一化表现可以为0.6、0.7、0.8、0.9等。预设阈值是指界定相关程度的一个数值，可以为0.6、0.7、0.8、0.9不等。当预设阈值为0.6时，认为相关程度大于0.6的目标封面是目标视频的封面，相关程度小于或等于0.6的目标封面不是目标视频的封面。
62.具体地，获取目标视频，并对目标视频特征进行检测，得到与目标视频对应的至少两个目标视频特征，例如视觉特征、文本特征或音频特征。接着，提取每一目标视频特征与其他目标视频特征之间相互学习的交互特征，得到至少两个特征表征目标视频，即目标视频对应的至少两个目标交互特征。检测至少两个表征目标视频内容的目标交互特征与目标视频之间的相关程度，相关程度越大说明目标封面越能较为真实全面地反应目标视频的内容，相反地，相关程度越小说明目标封面与目标视频的关联程度越小，该目标封面无法真实准确地反应目标视频的内容。因此，判断相关程度与预设阈值之间的大小关系，当相关程度大于预设阈值时，判定目标封面为目标视频的封面。
63.上述视频识别方法，通过对获取到的目标视频进行检测，得到目标视频对应的视觉特征、文本特征或音频特征中的至少两个目标视频特征，并提取每一目标视频特征与其他目标视频特征之间的目标交互特征，得到目标视频对应的至少两个目标交互特征。检测至少两个目标交互特征与目标封面的相关程度，当相关程度大于预设阈值时，判定目标封面为目标视频的封面。从而可以脱离对随意性较大的用户反馈信息的依赖，通过目标视频本身的至少两个目标视频特征，判定目标封面是否为目标视频的封面，大大提高对目标视
频与目标视频封面是否对应进行判断的准确率。
64.在一示例性实施例中，为步骤s100的一种可实施方式，具体包括：
65.对目标视频进行关键帧检测，得到至少一个关键帧；对至少一个关键帧进行目标检测，得到至少一个关键帧对应的视觉特征。
66.其中，关键帧是指与角色或者物体运动或变化中的关键动作相关的图像帧。目标检测也称作目标提取，是一种基于目标几何和统计特征的图像分割，可以将目标的分割和识别合二为一，是计算机视觉和数字图像处理的一个热门方向。
67.具体地，对目标视频进行关键帧检测，得到目标视频对应的至少一个关键帧。并采用相应的特征提取器(例如，faster-rcnn检测网络)在每一关键帧上进行目标检测，并将检测网络对应的图像特征的集合确定为至少一个关键帧对应的视觉特征。
68.可选地，对每一关键帧进行目标检测，得到关键帧对应的图像特征；对至少一个关键帧对应的至少一个图像特征进行拼接，得到视觉特征。
69.具体地，对每一关键帧进行目标检测，得到每一关键帧对应的图像特征，将至少一个关键帧对应的至少一个图像特征拼接待一起得到一个特征向量，并将该特征向量确定为目标视频对应的视觉特征。
70.示例地，对目标视频进行关键帧检测，在关键帧上使用faster-rcnn进行目标检测，提取图像中有重要语义的区域，并以检测网络最后一层的fc特征作为这些重要区域的图像特征，最后将所有重要区域的图像特征拼接在一起，作为目标视频的视觉特征。其中，拼接就是对所有检测到重要语义信息的区域，提取faster-rcnn检测网络中对应区域的fc特征作为重要语义区域的embeding feature，将所有重要语义区域的embeding feature串接在一起。例如，通过faster-rcnn网络，检测到10个重要语义区域，每个区域提到到1024维的embeding feature，那么通过拼接，将最终得到1024*10＝10240维的embeding feature作为视频的视觉特征。
71.可选地，对与目标视频相关的文本信息(包括但不仅限于视频标题、字幕、文案等)进行停用词过滤、结巴分词等处理，最后通过word2vector提取处理后的文本信息的特征，并将该文本特征确定为至少两个目标视频特征中的其中一个特征。
72.可选地，采用梅尔频率倒谱系数(mfcc)，对目标视频中的音频特征进行提取，并将提取到的音频特征确定为至少两个目标视频特征中的其中一个特征。
73.上述示例性实施例中，通过对目标视频进行关键帧检测，得到至少一个关键帧，并对至少一个关键帧进行目标检测，得到至少一个关键帧对应的视觉特征。进一步对目标视频的文本特征、音频特征等进行特征提取，得到至少两个目标视频特征。从而可以使得后续视频识别过程中，可以脱离对随意性较大的用户反馈信息的依赖，通过目标视频本身的至少两个目标视频特征，判定目标封面是否为目标视频的封面，大大提高对目标视频与目标视频封面是否对应进行判断的准确率。
74.在一示例性实施例中，如图2所示，是根据一示例性实施例示出的步骤s200的一种可实施方式的流程图，具体包括以下步骤：
75.在步骤s210中，对于每一目标视频特征，将至少两个目标视频特征中的一个目标视频特征确定为主特征，将至少两个目标视频特征中的其他目标视频特征拼接得到的特征确定为辅助特征。
76.在步骤s220中，将辅助特征融入主特征，得到目标交互特征；至少两个目标视频特征对应至少两个目标交互特征。
77.具体地，对于至少两个目标视频特征中的每一目标视频特征，将该目标视频特征作为主特征，至少两个目标视频特征中的其他目标视频特征拼接得到的特征作为辅助特征。并通过采用训练好的可以对两个特征进行学习的模型学习主特征与辅助特征之间的交互特征，将辅助特征融入主特征，得到目标交互特征。每一目标视频特征对应一个目标交互特征，至少两个目标视频特征对应至少两个目标交互特征。
78.示例地，如图3所示，是根据一示例性实施例示出的co-attention网络的系统框图。具体地，将co-attention网络作为特征融合模型，在transformer网络的基础上，增加多流输入，同时输入至少两个视频特征(例如，视觉特征、文本特征、音频特征等)，通过transformer的self-attention机制学习到不同模态的至少两个视频特征之间的目标交互特征，实现更好的特征对齐和融合。图3中，最底下的两条虚线的意思是将当前模态(主特征)的feature作为q，其余模态(辅助特征)的feature作为v和k，通过co-attention的结构，学习出当前模态和剩余模型相互学习之后得到的新的目标交互特征。
79.上述示例性实施例中，对于每一目标视频特征，将至少两个目标视频特征中的一个目标视频特征确定为主特征，将至少两个目标视频特征中的其他目标视频特征拼接得到的特征确定为辅助特征，并将辅助特征融入主特征，得到目标交互特征；至少两个目标视频特征对应至少两个目标交互特征。从而可以脱离对随意性较大的用户反馈信息的依赖，得到目标视频本身的至少两个目标视频特征，后续通过目标视频本身的至少两个目标视频特征，判定目标封面是否为目标视频的封面，相较于传统方法，不存在根据用户反馈信息判断的滞后性问题，能及时为判断提供信息。
80.在一示例性实施例中，为步骤s300的一种可实施方式，具体包括：
81.将至少两个目标交互特征和目标视频封面输入预设的视频识别模型，得到相关程度。
82.其中，视频识别模型为根据历史视频对应的封面类别和至少两个历史视频特征之间的历史交互特征训练得到，用于识别视频与视频的封面的相关程度。
83.具体地，将能够反映目标视频内容的至少两个目标交互特征和目标视频封面输入预设的视频识别模型，该视频识别模型可以输出至少两个目标交互特征与目标视频封面的相关程度。
84.可选地，如图4所示，是根据一示例性实施例示出的步骤s300的一种可实施方式，视频识别模型的获取，具体包括以下步骤：
85.在步骤s310中，获取历史视频对应的至少两个历史交互特征。
86.在步骤s320中，以至少两个历史交互特征为预设的初始视频识别模型的输入，历史视频对应的历史视频封面为监督信息，对初始视频识别模型进行训练，得到视频识别模型。
87.具体地，获取历史视频对应的至少两个历史视频特征，提取至少两个历史视频特征对应的至少两个历史交互特征。示例地，通过co-attention网络(特征融合模型)，得到历史视频各个模态(至少两个历史视频特征)间相互学习的至少两个历史交互特征。
88.并以至少两个历史交互特征为预设的初始视频识别模型的输入，历史视频对应的
封面为监督信息，对初始视频识别模型进行训练，得到初始视频识别模型对应的视频识别模型。可选地，将该至少两个目标交互特征输入多层感知机(mlp)学习分类目标，以是否是封面党(封面无法准确地反应视频内容)的label作为学习目标，实现封面党视频的识别。
89.上述示例性实施例中，获取历史视频对应的至少两个历史交互特征；以至少两个历史交互特征为预设的初始视频识别模型的输入，历史视频对应的历史视频封面类别为监督信息，对初始视频识别模型进行训练，得到视频识别模型。从而，可以脱离对随意性较大的用户反馈信息的依赖，通过历史视频本身的至少两个历史视频特征，得到能够识别历史视频与历史视频封面是否对应的视频识别模型，为后续实现对视频与视频封面之间相关程度的判断提供基础。
90.在一示例性实施例中，在步骤s400之后包括：
91.将相关程度输入预设的视频推荐模型，以对目标视频进行推荐。
92.其中，视频推荐模型是指可以根据目标视频封面是否能正确反应目标视频内容这一视频识别结果，对目标视频进行推荐的模型。
93.具体地，在得到至少两个目标交互特征与目标视频封面的相关程度后，可以判断一个视频的封面是否能正确反应目标视频内容，并将视频封面无法正确反应目标视频内容作为负向观观感信号，接入视频推荐模型或系统的触发和排序环节，协助视频推荐模型或系统大幅降低了视频观感的负向指标。
94.上述示例性实施例中，将相关程度输入预设的视频推荐模型，以对目标视频进行推荐。能够协助视频推荐模型或系统大幅降低了视频观感的负向指标，提高视频推荐的准确性。
95.图5是根据一具体示例性实施例示出的封面党视频识别系统框图，包括以下步骤：
96.其中，短视频的封面党问题是指短视频的生产者刻意在视频封面添加夸张诱导性的文字或者图像内容以吸引浏览者的注意来骗取点击，而实际的视频内容往往与封面内容不一致或者相差比较大(相当于视频识别结果为目标视频与目标视频封面不对应)。例如，一个视频的视频质量并不高，视频中的每一帧的画质都非常的低，然而视频封面却是一张高清图像，看到该高清图像的用户可能会误将质量低下的视频认作是一个高清视频，使用户基于对高质量视频的追求错误地浏览本不该点开的低质量视频。或者，一个视频的内容主要为风景，然而视频封面却是一个卡通人物，看到该卡通人物的用户可能会误将风景视频认作是一个动画片等卡通视频，使用户基于对动画片等卡通视频的期待错误地浏览本不该点开的风景视频。这种恶意骗取流量的行为极大的伤害了短视频社区用户的浏览体验，对短视频社区平台也造成了比较大的流量浪费。
97.为解决上述问题，分别通过各自模态的特征提取器抽取各个模态的特征构建表征集合(至少两个目标视频特征)，采用不同模态对应的表征集合(例如，视觉特征visual、文本特征text、音频特征audio)信息来表征视频的内容，例如，并在特征表征集合内通过co-attention transformer网络进行不同模态的特征对齐和自融合，得到至少两个目标交互特征，最后将该至少两个目标交互特征输入多层感知机(mlp)学习分类目标，以是否是封面党(封面无法准确地反应视频内容)的label作为学习目标，实现封面党视频的识别。
98.上述示例性实施例中，通过目标视频本身的至少两个目标视频特征，得到目标视频与目标视频封面是否对应的视频识别结果，实现对目标视频与目标视频封面是否对应的
判断，可以脱离对随意性较大的用户反馈信息的依赖，大大提高对目标视频与目标视频封面是否对应进行判断的准确率。同时，上述视频识别方法不依赖于用户反馈信息，可以在源头阻断封面与视频内容不对应的视频的流传，减少用户对不感兴趣的视频的浏览，节省不必要视频浏览带来的流量浪费。
99.应该理解的是，虽然图1-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
100.图6是根据一示例性实施例示出的一种视频识别装置框图。参照图6，该装置包括视频检测单元601、交互特征提取单元602、相关程度检测单元603和视频识别单元604。
101.视频检测单元601，被配置为执行对获取到的目标视频进行检测，得到目标视频对应的至少两个目标视频特征；其中，目标视频特征为视觉特征、文本特征或音频特征；
102.交互特征提取单元602，被配置为执行提取每一目标视频特征与其他目标视频特征之间的目标交互特征，得到目标视频对应的至少两个目标交互特征；
103.相关程度检测单元603，被配置为执行检测至少两个目标交互特征与目标封面的相关程度；其中，目标封面为目标视频当前的封面；
104.视频识别单元604，被配置为执行当相关程度大于预设阈值时，判定目标封面为目标视频的封面。
105.在一示例性实施例中，交互特征提取单元602还被配置为执行：对于每一目标视频特征，将至少两个目标视频特征中的一个目标视频特征确定为主特征，将至少两个目标视频特征中的其他目标视频特征拼接得到的特征确定为辅助特征；将辅助特征融入主特征，得到目标交互特征；至少两个目标视频特征对应至少两个目标交互特征。
106.在一示例性实施例中，相关程度检测单元603还被配置为执行：将至少两个目标交互特征和目标视频封面输入预设的视频识别模型，得到相关程度；其中，视频识别模型为根据历史视频对应的封面类别和至少两个历史视频特征之间的历史交互特征训练得到，用于识别视频与视频的封面的相关程度。
107.在一示例性实施例中，相关程度检测单元603还被配置为执行：获取历史视频对应的至少两个历史交互特征；以至少两个历史交互特征为预设的初始视频识别模型的输入，历史视频对应的历史视频封面为监督信息，对初始视频识别模型进行训练，得到视频识别模型。
108.在一示例性实施例中，视频识别装置还包括视频推荐单元，被配置为执行：将相关程度输入预设的视频推荐模型，以对目标视频进行推荐。
109.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
110.图7是根据一示例性实施例示出的一种用于视频识别的电子设备700的内部结构图。例如，设备700可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
111.参照图7，设备700可以包括以下一个或多个组件：处理组件702、存储器704、电力组件706、多媒体组件708、音频组件710、输入/输出(i/o)的接口712、传感器组件714以及通信组件716。
112.处理组件702通常控制设备700的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
113.存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在设备700上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘或光盘。
114.电源组件706为设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为设备700生成、管理和分配电力相关联的组件。
115.多媒体组件708包括在所述设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
116.音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(mic)，当设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
117.i/o接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
118.传感器组件714包括一个或多个传感器，用于为设备700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为设备700的显示器和小键盘，传感器组件714还可以检测设备700或设备700一个组件的位置改变，用户与设备700接触的存在或不存在，设备700方位或加速/减速和设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
119.通信组件716被配置为便于设备700和其他设备之间有线或无线方式的通信。设备700可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(nfc)模块，以促进短程通信。
120.在示例性实施例中，设备700可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
121.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
122.在示例性实施例中，还提供了一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行上述方法。
123.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
124.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。