轨迹预测方法、轨迹预测装置及存储介质与流程

1.本公开涉及智能驾驶技术领域，尤其涉及轨迹预测方法、轨迹预测装置及存储介质。


背景技术：

2.在机器人导航、自动驾驶等领域中，在动态变化的交通环境中进行预测，规划实体对象的行驶路线，对实体对象的行驶进行引导。
3.当前对象的移动轨迹会受到交通场景下其他实体对象行为的影响。故，在对实体对象的驾驶行为进行引导的过程中，需要对周围实体的行驶轨迹进行预测，作为对于当前对象行驶指引的基础，对当前对象的行驶进行合理避障。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提供轨迹预测方法、轨迹预测装置及存储介质。
5.根据本公开实施例的第一方面，提供轨迹预测方法，轨迹预测方法包括：获取地图图像，所述地图图像中包括车道中心线，所述车道中心线上具有等间距设置的若干个节点，每一节点具有距离特征，所述节点的距离特征中融合有与所述节点具有不同距离的其他车道中心线节点的距离特征；基于车辆在所述地图图像中的位置，确定与所述车辆位置最近的车道中心线节点，作为目标节点；将所述目标节点的距离特征与所述车辆的历史轨迹特征进行向量合并，得到轨迹预测向量；基于所述轨迹预测向量，预测所述车辆在所述地图图像中的行驶轨迹。
6.在一些实施例中，每一节点的距离特征，采用如下方式确定：在所述地图图像上确定第一节点；基于所述第一节点的位置，确定区域地图图像，所述区域地图图像中包括所述第一节点，以及与所述第一节点之间具有不同距离的多个第二节点；基于所述多个第二节点与所述第一节点之间的距离，提取所述多个第二节点的距离特征，并将所述多个第二节点的距离特征进行合并，得到所述第一节点的距离特征。
7.在一些实施例中，基于所述多个第二节点与所述第一节点之间的距离，提取所述多个第二节点的距离特征，并将所述多个第二节点的距离特征进行合并，得到所述第一节点的距离特征，包括：将所述多个第二节点，按照与所述第一节点之间的距离，划分为多个类别，其中，同一类别中的第二节点与所述第一节点之间的距离相同；分别提取所述多个类别中同一类别的第二节点的距离特征，并将提取到的不同类别的距离特征拼接后，得到所述第一节点的距离特征。
8.在一些实施例中，基于所述第一节点的位置，确定区域地图图像，包括：以所述第一节点为中心，确定具有预设范围的区域地图图像，在所述预设范围内至少包括与所述第一节点直接相邻的第二节点，以及与所述第一节点间接相邻的第二节点。
9.在一些实施例中，提取所述多个第二节点的距离特征，包括：基于点云数据的深度
学习模型提取所述多个第二节点的距离特征。
10.在一些实施例中，所述车辆的历史轨迹特征采用如下方式确定：获取所述车辆的历史轨迹；基于长短时记忆回归神经网络提取所述历史轨迹的特征，得到所述车辆的历史轨迹特征。
11.根据本公开实施例的第二方面，提供轨迹预测装置，轨迹预测装置包括：获取单元，用于获取地图图像，所述地图图像中包括车道中心线，所述车道中心线上具有等间距设置的若干个节点，每一节点具有距离特征，所述节点的距离特征中融合有与所述节点具有不同距离的其他车道中心线节点的距离特征；确定单元，用于基于车辆在所述地图图像中的位置，确定与所述车辆位置最近的车道中心线节点，作为目标节点，并将所述目标节点的距离特征与所述车辆的历史轨迹特征进行向量合并，得到轨迹预测向量；预测单元，用于基于所述轨迹预测向量，预测所述车辆在所述地图图像中的行驶轨迹。
12.在一些实施例中，每一节点的距离特征，采用如下方式确定：在所述地图图像上确定第一节点；基于所述第一节点的位置，确定区域地图图像，所述区域地图图像中包括所述第一节点，以及与所述第一节点之间具有不同距离的多个第二节点；基于所述多个第二节点与所述第一节点之间的距离，提取所述多个第二节点的距离特征，并将所述多个第二节点的距离特征进行合并，得到所述第一节点的距离特征。
13.在一些实施例中，所述确定单元采用如下方式基于所述多个第二节点与所述第一节点之间的距离，提取所述多个第二节点的距离特征，并将所述多个第二节点的距离特征进行合并，得到所述第一节点的距离特征：将所述多个第二节点，按照与所述第一节点之间的距离，划分为多个类别，其中，同一类别中的第二节点与所述第一节点之间的距离相同；分别提取所述多个类别中同一类别的第二节点的距离特征，并将提取到的不同类别的距离特征拼接后，得到所述第一节点的距离特征。
14.在一些实施例中，所述确定单元采用如下方式基于所述第一节点的位置，确定区域地图图像：以所述第一节点为中心，确定具有预设范围的区域地图图像，在所述预设范围内至少包括与所述第一节点直接相邻的第二节点，以及与所述第一节点间接相邻的第二节点。
15.在一些实施例中，所述确定单元采用如下方式提取所述多个第二节点的距离特征：基于点云数据的深度学习模型提取所述多个第二节点的距离特征。
16.在一些实施例中，所述车辆的历史轨迹特征采用如下方式确定：获取所述车辆的历史轨迹；基于长短时记忆回归神经网络提取所述历史轨迹的特征，得到所述车辆的历史轨迹特征。
17.根据本公开实施例的第三方面，提供一种轨迹预测装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：执行前述任意一项所述的轨迹预测方法。
18.根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行前述任意一项所述的轨迹预测方法。
19.本公开的实施例提供的技术方案可以包括以下有益效果：通过本公开实施例，在地图图像中确定车辆所在位置的目标节点，并确定目标节点的距离特征，距离特征融合有
与节点具有不同距离的其他节点的特征，将距离特征与车辆历史轨迹合并得到的轨迹预测向量，预测车辆行驶轨迹，能够保留地图图像中车道线的拓扑结构，提高轨迹预测的准确性。
20.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
22.图1是根据本公开一示例性实施例示出的一种轨迹预测方法的流程图。
23.图2是根据本公开一示例性实施例示出的一种地图图像中车道中心线以及节点示意图。
24.图3是根据本公开一示例性实施例示出的一种确定节点的距离特征方法的流程图。
25.图4是根据本公开一示例性实施例示出的一种基于多个第二节点与第一节点之间的距离，提取多个第二节点的距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征方法的流程图。
26.图5是根据本公开一示例性实施例示出的确定第一节点的距离特征示意图。
27.图6是根据本公开一示例性实施例示出的一种确定节点的距离特征方法的流程图。
28.图7是根据本公开一示例性实施例示出的一种确定车辆的历史轨迹特征方法的流程图。
29.图8是根据本公开一示例性实施例示出的一种轨迹预测装置框图。
30.图9是根据本公开一示例性实施例示出的一种用于轨迹预测的装置的框图。
具体实施方式
31.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
32.自动驾驶领域中，需要进行自体以及周边运动物体的运动预测，由于在实际道路行驶中，自动驾驶汽车不可避免地会与其他交通参与者进行交互，自动驾驶车辆的行车策略规划与周围车辆的驾驶行为有着密切的关系。在进行行车策略规划时，对周边范围内运动物体进行未来一段时间内行为意图的预测，并将预测的结果转化为时间维度和空间维度的轨迹。以障碍车、行人、非机动车等运动物体的预测轨迹作为输入，以使自动驾驶车辆做出合理的驾驶决策，规划合理、安全的车辆运动行为。例如，预测到其它车辆要并入到当前车所在的行车车道，就需要提前考虑减速，预测的准确性越高，决策就越准确，无人驾驶的可靠性也就越高。
33.运动预测结合运动物体的属性信息、历史运行轨迹信息以及高精地图信息，给出
运动物体在未来一段时间内的运动行为的预测。将地图渲染成俯视图图片，会丢失地图的拓扑结构，无法体现对向车道和车辆所在车道的区别，影响轨迹预测的准确性。
34.由此，本公开提供一种轨迹预测方法，能够保留车辆所在地图图像中车道线的拓扑结构，从而提高轨迹预测的准确性。
35.图1是根据本公开一示例性实施例示出的一种轨迹预测方法的流程图，如图1所示，轨迹预测方法包括以下步骤。
36.在步骤s101中，获取地图图像，地图图像中包括车道中心线，车道中心线上具有等间距设置的若干个节点，每一节点具有距离特征，节点的距离特征中融合有与节点具有不同距离的其他车道中心线节点的距离特征。
37.在步骤s102中，基于车辆在地图图像中的位置，确定与车辆位置最近的车道中心线节点，作为目标节点。
38.在步骤s103中，将目标节点的距离特征与车辆的历史轨迹特征进行向量合并，得到轨迹预测向量。
39.在步骤s104中，基于轨迹预测向量，预测车辆在地图图像中的行驶轨迹。
40.在本公开实施例中，在对车辆进行行驶轨迹预测时，获取包括车辆所在位置的地图图像，地图图像可以是对地图进行渲染，得到地图俯视图图片。
41.图2是根据本公开一示例性实施例示出的一种地图图像中车道中心线以及节点示意图，如图2所示，地图图像中包括多个车道，以车辆所在位置为准，多个车道中可以包括与行驶方向一直的车道以及对向车道。车道具有车道中心线，车道中心线上以预设间距设置有若干个节点，相邻的节点之间的距离相等。以任一节点作为当前节点为例，当前节点周边具有不同于当前节点的其他车道中心线节点，其他车道中心线节点可以是多个，其他车道中心线节点与当前节点之间的距离可以是不同，将不同距离的其他车道中心线节点的距离特征融合，作为当前节点的距离特征。
42.基于车辆在地图图像中的位置，确定与车辆位置最近的车道中心线节点，作为目标节点，将目标节点处的距离特征与车辆的历史轨迹特征进行向量合并，得到轨迹预测向量，作为对车辆进行行驶轨迹预测的依据。
43.在本公开实施例中，可以通过多层感知器(multilayer perceptron，mlp)神经网络等，输入车辆的轨迹预测向量，输出车辆可能出现的位置以及出现在该位置的概率，从而实现预测车辆在地图图像中的行驶轨迹。
44.根据本公开实施例，在地图图像中确定车辆所在位置的目标节点，并确定目标节点的距离特征，距离特征融合有与节点具有不同距离的其他节点的特征，将距离特征与车辆历史轨迹合并得到的轨迹预测向量，预测车辆行驶轨迹，能够保留地图图像中车道线的拓扑结构，提高轨迹预测的准确性。
45.图3是根据本公开一示例性实施例示出的一种确定节点的距离特征方法的流程图，如图3所示，确定节点的距离特征方法包括以下步骤。
46.在步骤s201中，在地图图像上确定第一节点。
47.在步骤s202中，基于第一节点的位置，确定区域地图图像，区域地图图像中包括第一节点，以及与第一节点之间具有不同距离的多个第二节点。
48.在步骤s203中，基于多个第二节点与第一节点之间的距离，提取多个第二节点的
距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征。
49.在本公开实施例中，在对车辆进行行驶轨迹预测时，获取的地图图像中包括有车道中心线，车道中心线上具有等间距设置的若干个节点，节点的距离特征中融合有与节点具有不同距离的其他车道中心线节点的距离特征。在地图图像中确定每一节点的距离特征时，需要选定一定的区域，在区域范围对应的区域地图图像中确定其中的节点距离特征。区域地图图像中包括第一节点，以及与第一节点之间具有不同距离的多个第二节点。
50.可以理解地，在本公开实施例中，第一节点可以理解为当前节点，即当前车所在的位置，相对当前车具有周围其它车辆，对于周围其它车辆的行驶轨迹进行预测，以对当前车的行驶进行合理的指引规划。
51.仍参照图2，图2中示出了当前节点，即第一节点，椭圆区域中包括第一节点，以及与第一节点直接相邻的第二节点，即椭圆区域中包括的第二节点与第一节点的距离为1。在椭圆区域以外，依次示出了与第一节点间接相邻、距离为2的第二节点，以及与第一节点间接相邻、距离为3的第二节点等。对于多个第二节点，基于其与第一节点之间的距离，提取第二节点的距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征，使得第一节点具有的距离特征中融合有与第一节点具有不同距离的第二节点的距离特征。
52.根据本公开实施例，在地图图像中，确定第一节点，并确定区域地图图像，提取区域地图图像中包括的多个第二节点的距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征，保留车道线的拓扑结构，为车辆行驶轨迹预测提供保证。
53.图4是根据本公开一示例性实施例示出的一种基于多个第二节点与第一节点之间的距离，提取多个第二节点的距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征方法的流程图，如图4所示，该方法包括以下步骤。
54.在步骤s301中，将多个第二节点，按照与第一节点之间的距离，划分为多个类别，其中，同一类别中的第二节点与第一节点之间的距离相同。
55.在步骤s302中，分别提取多个类别中同一类别的第二节点的距离特征，并将提取到的不同类别的距离特征拼接后，得到第一节点的距离特征。
56.在本公开实施例中，在地图图像中确定每一节点的距离特征时，在地图图像中确定包括第一节点，以及与第一节点之间具有不同距离的多个第二节点的区域地图图像，以确定的区域地图图像中每一节点的距离特征。
57.将第一节点周边的多个第二节点，按照与第一节点之间的距离，划分为多个类别，将与第一节点之间的距离相同的第二节点划分为同一类别。对于同一类别的第二节点进行距离特征提取，并将提取到的不同类别的距离特征拼进行拼接，得到第一节点的距离特征，可以理解地，拼接得到的第一节点的距离特征融合有与其相邻的第二节点的距离特征。
58.图5是根据本公开一示例性实施例示出的确定第一节点的距离特征示意图，参照图2，以及图5，图2中示出了区域地图图像中包括的第一节点以及与第一节点直接相邻的第二节点，与第一节点直接相邻的第二节点与第一节点的距离为1。与第一节点间接相邻、距离为2的第二节点，以及与第一节点间接相邻、距离为3的第二节点等。对于多个第二节点，按照其与第一节点之间的距离不同，划分为不同类别。
59.图5中示出了第二节点被划分为三个类别，即与第一节点的距离为1的第二节点、与第一节点的距离为2的第二节点以及与第一节点的距离为3的第二节点。分别提取三个类
别中每个类别的第二节点的距离特征，即提取与第一节点的距离为1的第二节点的距离特征、与第一节点的距离为2的第二节点的距离特征，以及与第一节点的距离为3的第二节点的距离特征，将提取到的不同类别的距离特征拼接后，得到第一节点的距离特征。可以理解地，每个类别的第二节点的距离特征可以是以向量表示，将不同类别的距离特征拼接，即将不同类别的距离特征对应的向量进行合并。
60.根据本公开实施例，在地图图像中确定第一节点，并确定区域地图图像，提取区域地图图像中包括的多个第二节点的距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征，保留车道线的拓扑结构，为车辆行驶轨迹预测提供保证。
61.图6是根据本公开一示例性实施例示出的一种确定节点的距离特征方法的流程图，如图6所示，确定节点的距离特征方法包括以下步骤。
62.在步骤s401中，在地图图像上确定第一节点。
63.在步骤s402中，以第一节点为中心，确定具有预设范围的区域地图图像，在预设范围内至少包括与第一节点直接相邻的第二节点，以及与第一节点间接相邻的第二节点。
64.在步骤s403中，基于多个第二节点与第一节点之间的距离，提取多个第二节点的距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征。
65.在本公开实施例中，区域地图图像可以是以第一节点为中心，具有预设范围的区域对应的图像，预设范围内包括第一节点，以及与第一节点之间具有不同距离的多个第二节点。第二节点与第一节点之间的相邻关系可以是直接相邻，也可以是间接相邻。预设范围可以是以第一节点为中心，以预设距离为边长组成的规则图形或者不规则图形。在地图图像中确定每一节点的距离特征时，在地图图像中确定包括第一节点，以及与第一节点之间具有不同距离的多个第二节点的区域地图图像，以确定的区域地图图像中每一节点的距离特征。
66.根据本公开实施例，在地图图像中确定区域地图图像，在区域地图图像中，基于多个第二节点与第一节点之间的距离，提取第二节点的距离特征，进行合并得到第一节点的距离特征，能够提高计算速度，提高计算效率。
67.在本公开实施例中，第一节点周围具有不同距离的多个第二节点，基于多个第二节点与第一节点之间的距离，提取多个第二节点的距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征。提取第二节点的距离特征，可以是利用点云数据的深度学习模型(pointnet)进行提取。点云数据为无序的数据点构成的集合，特定空间内一定数量的、具有空间关系的点云构成物体，基于pointnet能够提取点云数据的整体特征，为车辆行驶轨迹预测提供保证。
68.图7是根据本公开一示例性实施例示出的一种确定车辆的历史轨迹特征方法的流程图，如图7所示，确定车辆的历史轨迹特征方法包括以下步骤。
69.在步骤s501中，获取车辆的历史轨迹。
70.在步骤s502中，基于长短时记忆回归神经网络提取历史轨迹的特征，得到车辆的历史轨迹特征。
71.在本公开实施例中，基于车辆在地图图像中的位置，确定与车辆位置最近的车道中心线节点，作为目标节点，将目标节点处的距离特征与车辆的历史轨迹特征进行向量合并，得到轨迹预测向量，作为对车辆进行行驶轨迹预测的依据，基于轨迹预测向量，预测车
辆在地图图像中的行驶轨迹。获取车辆的历史轨迹，可以是以车辆的中心所在位置的形成的移动轨迹进行描述，基于长短时记忆回归神经网络(long short-term memory，lstm)提取车辆历史轨迹的特征。lstm神经网络是基于循环神经网络(recurrent neural network，rnn)的一种变体，能实现上一时刻信息传递到下一时刻，同时有效解决训练过程中出现的梯度消失和梯度爆炸问题。
72.根据本公开实施例，在地图图像中确定车辆所在位置的目标节点，并确定目标节点的距离特征，距离特征融合有与节点具有不同距离的其他节点的特征，将距离特征与车辆历史轨迹合并得到的轨迹预测向量，预测车辆行驶轨迹，能够保留地图图像中车道线的拓扑结构，提高轨迹预测的准确性。
73.基于相同的构思，本公开实施例还提供一种轨迹预测装置。
74.图8是根据本公开一示例性实施例示出的一种轨迹预测装置框图。参照图8，轨迹预测装置100包括：获取单元101、确定单元102和预测单元103。
75.获取单元101，用于获取地图图像，地图图像中包括车道中心线，车道中心线上具有等间距设置的若干个节点，每一节点具有距离特征，节点的距离特征中融合有与节点具有不同距离的其他车道中心线节点的距离特征。
76.确定单元102，用于基于车辆在地图图像中的位置，确定与车辆位置最近的车道中心线节点，作为目标节点，并将目标节点的距离特征与车辆的历史轨迹特征进行向量合并，得到轨迹预测向量。
77.预测单元103，用于基于轨迹预测向量，预测车辆在地图图像中的行驶轨迹。
78.在一些实施例中，每一节点的距离特征，采用如下方式确定：在地图图像上确定第一节点；基于第一节点的位置，确定区域地图图像，区域地图图像中包括第一节点，以及与第一节点之间具有不同距离的多个第二节点；基于多个第二节点与第一节点之间的距离，提取多个第二节点的距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征。
79.在一些实施例中，确定单元102采用如下方式基于多个第二节点与第一节点之间的距离，提取多个第二节点的距离特征，并将多个第二节点的距离特征进行合并，得到第一节点的距离特征：将多个第二节点，按照与第一节点之间的距离，划分为多个类别，其中，同一类别中的第二节点与第一节点之间的距离相同；分别提取多个类别中同一类别的第二节点的距离特征，并将提取到的不同类别的距离特征拼接后，得到第一节点的距离特征。
80.在一些实施例中，确定单元102采用如下方式基于第一节点的位置，确定区域地图图像：以第一节点为中心，确定具有预设范围的区域地图图像，在预设范围内至少包括与第一节点直接相邻的第二节点，以及与第一节点间接相邻的第二节点。
81.在一些实施例中，确定单元102采用如下方式提取多个第二节点的距离特征：基于点云数据的深度学习模型提取多个第二节点的距离特征。
82.在一些实施例中，车辆的历史轨迹特征采用如下方式确定：获取车辆的历史轨迹；基于长短时记忆回归神经网络提取历史轨迹的特征，得到车辆的历史轨迹特征。
83.可以理解的是，本公开实施例提供的装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以
硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
84.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
85.图9是根据本公开一示例性实施例示出的一种用于轨迹预测的装置的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
86.参照图9，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(i/o)的接口212，传感器组件214，以及通信组件216。
87.处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
88.存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
89.电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
90.多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
91.音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(mic)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
92.i/o接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
93.传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
94.通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
95.在示例性实施例中，装置200可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
96.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
97.可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
98.进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
99.进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。
100.进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
101.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的
权利范围指出。
102.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。