一种增强现实的引导方法及装置、电子设备、存储介质与流程

1.本技术涉及电子设备技术领域，涉及但不限定于一种增强现实的引导方法及装置、电子设备、存储介质。


背景技术：

2.随着技术的进步，增强现实(augmented reality，ar)技术更多地走进了用户的生活中，为用户带来了全新的体验。ar技术能够将虚拟的物体应用到真实的环境，使得真实的环境和虚拟的物体实时地叠加到同一个画面或空间中。将ar技术结合计算机视觉算法应用在ar设备中，能够对显示在ar设备中的场景进行物体识别和环境识别，增加了ar设备的智能化和科技感。相关技术通过在ar设备中，例如，ar眼镜中，显示需要识别的二维场景图片或者三维场景模型，引导用户观察环境。然而，该过程需要对不同场景制作二维场景图片或者三维场景模型，工作量大；同时，由于ar设备的视场角(field of view，fov)较小，展示二维场景图片或者三维场景模型会占用视场角中的大部分区域，导致用户体验差。


技术实现要素：

3.本技术实施例提供一种增强现实的引导方法及装置、电子设备、存储介质。
4.本技术实施例的技术方案是这样实现的：
5.第一方面，本技术实施例提供一种增强现实的引导方法，应用于增强现实设备，所述方法包括：
6.获取实时的环境图像和所述环境图像中用户视线的焦点；
7.基于所述实时的环境图像，确定引导标识序列；
8.基于所述引导标识序列，显示至少一个引导动画；每一所述引导动画用于引导所述用户视线的焦点从当前引导标识移动至下一引导标识。
9.第二方面，本技术实施例提供一种增强现实的引导装置，所述装置包括：
10.获取模块，用于获取实时的环境图像和所述环境图像中用户视线的焦点；
11.确定模块，用于基于所述实时的环境图像，确定引导标识序列；
12.显示模块，用于基于所述引导标识序列，显示至少一个引导动画；每一所述引导动画用于引导所述用户视线的焦点从当前引导标识移动至下一引导标识。
13.第三方面，本技术实施例提供一种电子设备，一个或多个处理器；存储器；安装有多个应用程序的模块；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，当所述一个或者多个程序被所述处理器执行时，使得所述电子设备执行所述程序时实现上述方法中的步骤。
14.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令配置为执行上述提供的智能服务共享的方法。
15.本技术实施例提供的技术方案带来的有益效果至少包括：
16.在本技术实施例中，基于所述实时的环境图像，确定引导标识序列；基于所述引导标识序列，显示至少一个引导动画；每一所述引导动画用于引导所述用户视线的焦点从当前引导标识移动至下一引导标识。这样，一方面，能够通过显示的引导动画，引导用户视线的焦点观察实时的环境图像中环境特征点丰富的区域，从而提升用户视觉体验。另一方面，通过显示的引导动画引导用户，不需要增加指示性的二维场景图像或者三维场景模型、减少图像编辑和制作的工作量和屏幕的拥挤感，提升场景识别的效率，从而提升了用户ar场景识别的体验。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
18.图1a为本技术实施例提供的一种增强现实的引导方法的流程示意图；
19.图1b为本技术实施例提供的一种增强现实的引导方法的应用场景示意图；
20.图1c为本技术实施例提供的一种增强现实的引导方法的应用场景示意图；
21.图1d为本技术实施例提供的一种增强现实的引导方法的应用场景示意图；
22.图1e为本技术实施例提供的一种增强现实的引导方法的应用场景示意图；
23.图1f为本技术实施例提供的一种增强现实的引导方法的应用场景示意图；
24.图1g为本技术实施例提供的一种增强现实的引导方法的应用场景示意图；
25.图2为本技术实施例提供的一种增强现实的引导方法的流程示意图；
26.图3为本技术实施例提供的一种增强现实的引导方法的流程示意图；
27.图4a为本技术实施例提供的一种增强现实的引导方法的逻辑流程图；
28.图4b为本技术实施例提供的一种增强现实的引导方法的应用场景示意图；
29.图5为本技术实施例提供的一种增强现实的引导方法的流程示意图；
30.图6为本技术实施例提供的一种增强现实的引导方法的应用场景示意图；
31.图7为本技术实施例提供的一种增强现实的引导装置的组成结构示意图；
32.图8为本技术实施例提供的一种电子设备的硬件实体示意图。
具体实施方式
33.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。以下实施例用于说明本技术，但不用来限制本技术的范围。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
34.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
35.需要指出，本技术实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对
象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
36.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术实施例所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
37.图1a为本技术实施例提供的一种增强现实的引导方法的流程示意图，如图1a所示，所述方法至少包括以下步骤：
38.步骤s101，获取实时的环境图像和所述环境图像中用户视线的焦点；
39.这里，所述实时的环境图像可以为：通过ar设备的摄像头实时采集的设备视场角(field of view，fov)内的环境图像。示例性地，开始场景识别，ar设备启动摄像头，实时拍摄环境图像，环境图像中包括摄像头采集到的ar设备周围的环境，例如，产品生产线上的机器、正在生产的产品、产品生产线上的安全标识和生产标语等。
40.这里，所述用户视线的焦点可以为fov中的任意一点。示例性地，如图1b所示，开始场景识别，在fov中心有个视觉识别的聚焦点，引导用户视线的焦点关注。
41.步骤s102，基于所述实时的环境图像，确定引导标识序列；
42.这里，所述引导标识序列中的引导标识用于引导用户视线的焦点停留在环境图像中环境特征点密度较高的区域，提升用户的ar使用体验。这里，所述环境特征点可以包括；产品生产线上的机器、正在生产的产品、产品生产线上的安全标识和生产标语中的边(edges)、角(corners)和斑点(blobs)。
43.这里，所述基于所述实时的环境图像，确定引导标识序列包括：将所述实时的环境图像划分为至少一个图像区域，确定所述至少一个图像区域的环境特征点的密度，基于所述密度，确定引导标识序列。
44.示例性地，如图1d所示，环境图像中包括4个图像区域：区域11、区域12、区域13和区域14；其中，4个图像区域中环境特征点的密度从高到低的排序为：区域11、区域12、区域13和区域14；如图1e所示，引导标识的顺序为：区域11为序列中的1标识、区域12为序列中的2标识、区域13为序列中的3标识、区域14为序列中的4标识。
45.步骤s103，基于所述引导标识序列，显示至少一个引导动画；每一所述引导动画用于引导所述用户视线的焦点从当前引导标识移动至下一引导标识。
46.这里，所述引导动画为可以基于用户界面(user interface，ui)的动画效果。如图1f所示，所述动画效果可以包括在图像区域上显示的圆圈15；如图1g所示，所示动画效果还可以包括用户指示用户视线的焦点从1标识移动到2标识的弧线16。
47.在上述实施例中，基于所述实时的环境图像，确定引导标识序列；基于所述引导标识序列，显示至少一个引导动画；每一所述引导动画用于引导所述用户视线的焦点从当前引导标识移动至下一引导标识。这样，一方面，能够通过显示的引导动画，引导用户视线的焦点观察实时的环境图像中环境特征点丰富的区域，从而提升用户视觉体验。另一方面，通过显示的引导动画引导用户，不需要增加指示性的二维场景图像或者三维场景模型、减少
图像编辑和制作的工作量和屏幕的拥挤感，提升场景识别的效率，从而提升了用户ar场景识别的体验。
48.图2为本技术实施例提供的一种增强现实的引导方法的流程示意图，如图2所示，所述方法至少包括以下步骤：
49.步骤s201，获取实时的环境图像和所述环境图像中用户视线的焦点；
50.步骤s202，对所述实时的环境图像进行图像识别，得到第一环境特征点集合；
51.这里，可以通过深度学习的方法进行图像识别，获取第一环境特征点。例如，对实时的环境图像进行卷积神经网络，残差网络的学习，识别出场景中生产标识的边和角等特征点。
52.步骤s203，基于所述第一环境特征点集合，确定引导标识序列；
53.在一种可以实现的方式中，可以通过第一环境特征点集合重建二维图像平面，将重建后的二维图像平面划分为至少一个图像区域，在每一所示图像区域上生成一个引导标识；确定每个区域对应的特征点的密度，基于所述密度对至少一个引导标识进行排序，得到引导标识序列。
54.在另一种可以实现的方式中，可以通过对第一环境特征点集合中的特征点进行筛选，得到筛选后的第二环境特征点集合；基于所述第二环境特征点集合，确定引导标识序列。
55.步骤s204，基于所述引导标识序列，显示至少一个引导动画；每一所述引导动画用于引导所述用户视线的焦点从当前引导标识移动至下一引导标识。
56.在上述实施例中，通过对所述实时的环境图像进行图像识别，得到第一环境特征点集合；基于所述第一环境特征点集合，确定引导标识序列。这样，能够引导用户查看环境特征点丰富的图像区域，提升场景识别效率。
57.图3为本技术实施例提供的一种增强现实的引导方法的流程示意图，如图3所示，所述方法至少包括以下步骤：
58.步骤s301，获取实时的环境图像和所述环境图像中用户视线的焦点；
59.步骤s302，对所述实时的环境图像进行图像识别，得到第一环境特征点集合；
60.步骤s303，获取与所述实时环境图像对应的标记样本图像；
61.这里，所述标记样本图像可以为标记了环境特征点的样本环境图像，例如，可以为标记了生产标语中的边和角的图像。
62.步骤s304，基于所述标记样本图像，对所述第一环境特征点集合中的环境特征点进行筛选，得到第二环境特征点集合；
63.在一种可以实施的方式中，所述步骤s304，包括：
64.s3041，确定所述标记样本图像中每一环境特征点的特征描述子，得到第一特征描述子集合；
65.这里，所述特征描述子为用于描述特征点的向量，例如，在描述角特征点时，所述特征描述子可以包括角度等参数的向量。
66.这里，所述第一特征描述子集合中每一特征描述子用于对应的描述所述标记样本图像中每一环境特征点。
67.s3042，确定所述第一环境特征点集合中每一所述环境特征点的特征描述子，得到
第二特征描述子集合；
68.s3043，确定所述第一特征描述子集合中每一特征描述子与所述第二特征描述子集合中每一特征描述子的相似度；
69.在一种可以实现的方式中，可以通过相似度计算的方式匹配同一个场景中的标记样本图像和实时的环境图像；将标记样本图像中的每一个特征描述子与实时的环境图像中的每一个特征描述子进行比较，例如，计算特征描述子之间的欧式距离，得分最高的一对特征描述子，就是距离最近的两个环境特征点，即为最匹配的特征。
70.s3044，将每一所述相似度满足相似度阈值的环境特征点确定为所述第二环境特征点集合中的元素。
71.在一种可以实现的方式中，可以将相似度大于阈值的特征点保留，筛选掉相似度不满足阈值的特征点，从而过滤掉相似度不满足相似度阈值的环境特征点，只保留相似度更高的环境特征点，得到第二环境特征点集合。
72.步骤s305，基于所述第二环境特征点集合，确定第一环境图像；所述第一环境图像包括至少一个图像区域；每一所述图像区域中环境特征点的密度大于密度阈值；
73.在一种可以实施的方式中，所述步骤s305，包括：
74.步骤s3051，基于所述第二环境特征点集合，重建第二环境图像；
75.示例性地，通过第二环境特征点集合中的环境特征点数据建立二维图像平面，在所述二维图像平面中过滤掉了相似度不高的环境特征点，从而过滤了非标记的环境特征点。
76.步骤s3052，将所述第二环境图像划分为至少一个图像区域；
77.在一种可以实现的方式中，对二维图像平面进行区域划分之后，可以对每一所述图像区域添加索引，以通过所述索引确定不同的图像区域。
78.步骤s3053，确定所述至少一个图像区域中环境特征点的密度；
79.步骤s3054，将每一所述环境特征点的密度大于密度阈值的区域确定为所述第一环境图像的图像区域。
80.在一种可以实现的方式中，可以通过稀疏度计算过滤非核心的图像区域；然后基于密度聚类算法进一步对获取的环境特征点满足密度阈值的核心图像区域进行聚合和边界优化，过滤边缘样本和图像噪点，得到环境特征点在二维图像上密集的图像区域。
81.步骤s306，基于所述至少一个图像区域，确定引导标识序列；
82.在一种可以实施的方式中，每一所述图像区域对应一个引导标识；所述步骤s306，包括：
83.步骤s3061，基于每一所述图像区域中环境特征点的密度对所述至少一个图像区域进行排序，得到所述至少一个图像区域的观察顺序；
84.步骤s3062，基于所述观察顺序，确定所述引导标识的顺序，得到引导标识序列。
85.步骤s307，基于所述引导标识序列，显示至少一个引导动画；每一所述引导动画用于引导所述用户视线的焦点从当前引导标识移动至下一引导标识。
86.示例性地，通过图像区域的环境特征点的密集程度，将每个图像区域按照密集程度从大到小排序，从而确定引导标识的顺序，得到一个密集到稀疏的引导标识序列，从而通过可实时变换的ui的动画效果引导用户通过根据标识序列观察相应的图像区域，引导用户
查看环境特征点丰富的方向，这样可以有效的提高场景识别的准确度。
87.在上述实施例中，通过基于所述标记样本图像，对所述第一环境特征点集合中的环境特征点进行筛选，得到第二环境特征点集合；基于所述第二环境特征点集合，确定第一环境图像；所述第一环境图像包括至少一个图像区域；每一所述图像区域中环境特征点的密度大于密度阈值；基于所述至少一个图像区域，确定引导标识序列。这样，能够通过对环境特征点的筛选、对图像区域的筛选对特征点不丰富的图像区域进行过滤，降低图像的早点，得到特征点密集的区域，引导用户观察环境特征点丰富的方向，增强引导的有效性，优化用户对场景识别的体验感。
88.图4a为本技术实施例提供的一种增强现实的引导方法的流程示意图，如图4a所示，所述方法至少包括以下步骤：
89.步骤s401，获取所述用户视线的焦点的目标位置；
90.步骤s402，获取所述目标位置上的环境图像；
91.步骤s403，在检测到所述目标位置上的环境图像中不包括环境特征点的情况下，输出移动位置的提示信息。
92.示例性地，如图4b所示，当实时环境图像中环境特征点密度低，展示提示信息41，提示加载失败，引导用户移动位置。
93.在一种可以实现的方式中，所述方法还包括：步骤s404，在检测到所述用户视线的焦点与所述目标位置重合的情况下，输出定位成功的提示信息。
94.步骤s405，获取实时的环境图像和所述环境图像中用户视线的焦点；
95.步骤s406，基于所述实时的环境图像，确定引导标识序列；
96.在一种可以实现的方式中，所述方法还包括：基于所述引导标识序列，显示至少一个引导动画；每一所述引导动画用于引导所述用户视线的焦点从当前引导标识移动至下一引导标识；
97.在一种可以实现的方式中，所述方法还包括：在所述用户视线的焦点从所述当前引导标识移动至所述下一引导标识的情况下，环境识别成功，停止显示所述引导动画。
98.步骤s407，在所述用户视线的焦点未从所述当前引导标识移动至所述下一引导标识的情况下，循环显示所述至少一个引导动画。
99.在上述实施例中，通过在所述用户视线的焦点未从所述当前引导标识移动至所述下一引导标识的情况下，循环显示所述至少一个引导动画，能够重复提示用户视线移动的方向，增强用户场景识别的体验。
100.随着技术的进步，增强现实技术更多地走进了用户的生活中，为用户带来了全新的体验。ar技术能够将虚拟的物体应用到真实的环境，使得真实的环境和虚拟的物体实时地叠加到同一个画面或空间中。将ar技术结合计算机视觉算法应用在ar设备中，能够对显示在ar设备中的场景进行物体识别和环境识别，增加了ar设备的智能化和科技感。相关技术通过在ar设备中，例如，ar眼镜中，显示需要识别的二维场景图片或者三维场景模型，引导用户观察环境。
101.然而，上述过程需要对不同场景制作二维场景图片或者三维场景模型，工作量大；同时，由于ar设备的视场角(field of view，fov)较小，展示二维场景图片或者三维场景模型会占用视场角中的大部分区域，导致用户体验差。
102.为解决上述问题，本技术提供一种增强现实的引导方法，应用于增强现实设备，如图5所示，所述方法包括：
103.步骤s501，启动增强现实设备，开始识别场景；
104.步骤s502，获取实时的环境图像；
105.步骤s503，环境特征点分析；
106.这里，通过对所述实时的环境图像进行环境特征点分析，得到第一环境特征点集合；
107.在一种可以实现的方式中，所述步骤s503，包括：对所述实时的环境图像进行图像识别，得到第一环境特征点集合。
108.步骤s504，环境特征点筛选；
109.这里，通过对所述第一环境特征点集合中的环境特征点进行筛选，得到第二环境特征点集合；
110.步骤s505，稀疏度过滤和密度聚类；
111.这里，通过基于稀疏度和/或密度聚类，确定第二环境特征点集合；
112.步骤s506，确定引导标识序列；
113.步骤s507，显示ui引导动画；
114.步骤s508，完成场景识别。
115.这里，所述步骤s501至步骤s505通过算法层实现；所述步骤s505至步骤s508通过应用层实现。
116.这里，所述算法层：开始场景识别时，ar设备启动摄像头，实时拍摄环境图像，环境图像中包括摄像头采集到的ar设备周围的环境，例如，产品生产线上的机器、正在生产的产品、产品生产线上的安全标识和生产语等。通过深度学习获取环境特征点，可以为边、角或斑点，再针对各环境特征点提取相应的特征描述子，最后进行环境特征点匹配，通过欧氏距离比较，过滤掉欧式距离比较结果不满足距离阈值的环境特征点，保留欧式距离比较结果满足距离阈值的环境特征点，得到第二环境特征点集合。
117.所述应用层：实时获取来自算法层的第二环境特征点集合，通过第二环境特征点集合中的环境特征点数据建立二维图像平面，对2d图像平面进行区域划分，对每一图像区域添加索引，并通过稀疏度计算过滤非核心的图像区域；然后基于密度聚类算法进一步对获取的环境特征点满足密度阈值的核心图像区域进行聚合和边界优化，过滤边缘样本和图像噪点，得到环境特征点在二维图像上密集的图像区域。通过图像区域的环境特征点的密集程度，将每个图像区域按照密集程度从大到小排序，从而确定出引导标识的顺序，得到一个密集到稀疏的引导标识序列，从而通过可实时变换的ui的动画效果引导用户通过根据标识序列观察相应的图像区域，引导用户查看环境特征点丰富的方向，这样可以有效的提高场景识别的准确度，同时也能优化用户对场景识别的体验感。
118.示例性地，如图1b所示，开始场景识别，在fov101中心有个视觉识别的聚焦点，引导用户视线的焦点关注。同时算法层开始分析实时环境图像，获取环境特征点，并传递给应用层。引导动画如图1c中圆圈17所示。
119.示例性地，通过环视引导，判断当前环境质量，同时让用户自然的完成左右头动查看动作，环视引导：环境图像中信息展示类型为c类：追随视野，应用层根据取到的环境特征
点密度排序，密度最高的位置为引导标识起始点，在界面显示引导动画，用户视线焦点注视引导动画后，引导动画向对角线位置指引。
120.示例性地，环视过程中能够拓展用户视线的区域，在完成环视后，根据新拓展的环境特征点密度确定后续的指引位置，引导用户跟随ui引导动画向特征丰富区域查看，环境图像中信息展示类型为a类：追随空间时，在前方视角120
°
的范围内，如图6所示，根据环境特征点反馈在空间中出现圆圈61，引导用户视线的焦点移动，如用户未跟随查看，2秒后射线引导动画循环指引。
121.在上述实施例中，通过对实时的环境图像进行图像识别，或者，环境识别，得到环境特征点；对环境特征点进行过滤；将过滤后的特征点通过界面(ui)设计显示在屏幕上，引导用户查看特征点丰富的位置，提升用户体验。
122.基于前述的实施例，本技术实施例再提供一种增强现实的引导装置，所述控制装置包括所包括的各模块，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(central processing unit，cpu)、微处理器(micro processing unit，mpu)、数字信号处理器(digital signal processor，dsp)或现场可编程门阵列(field programmable gate array，fpga)等。
123.图7为本技术实施例提供的一种增强现实的引导装置的组成结构示意图，如图7所示，所述装置700包括获取模块701、确定模块702和显示模块703，其中：
124.所述获取模块701，用于获取实时的环境图像和所述环境图像中用户视线的焦点；
125.所述确定模块702，用于基于所述实时的环境图像，确定引导标识序列；
126.所述显示模块703，用于基于所述引导标识序列，显示至少一个引导动画；每一所述引导动画用于引导所述用户视线的焦点从当前引导标识移动至下一引导标识。
127.在一些可能的实施例中，所述确定模块702，还用于：对所述实时的环境图像进行图像识别，得到第一环境特征点集合；基于所述第一环境特征点集合，确定引导标识序列。
128.在一些可能的实施例中，所述确定模块702，包括：获取子模块，用于获取与所述实时环境图像对应的标记样本图像；筛选子模块，用于基于所述标记样本图像，对所述第一环境特征点集合中的环境特征点进行筛选，得到第二环境特征点集合；第一确定子模块，用于基于所述第二环境特征点集合，确定第一环境图像；所述第一环境图像包括至少一个图像区域；每一所述图像区域中环境特征点的密度大于密度阈值；第二确定子模块，用于基于所述至少一个图像区域，确定引导标识序列。
129.在一些可能的实施例中，所述筛选子模块，还用于：确定所述标记样本图像中每一环境特征点的特征描述子，得到第一特征描述子集合；确定所述第一环境特征点集合中每一所述环境特征点的特征描述子，得到第二特征描述子集合；确定所述第一特征描述子集合中每一特征描述子与所述第二特征描述子集合中每一特征描述子的相似度；将每一所述相似度满足相似度阈值的环境特征点确定为所述第二环境特征点集合中的元素。
130.在一些可能的实施例中，所述第一确定子模块，还用于：基于所述第二环境特征点集合，重建第二环境图像；将所述第二环境图像划分为至少一个图像区域；确定所述至少一个图像区域中环境特征点的密度；将每一所述环境特征点的密度大于密度阈值的区域确定为所述第一环境图像的图像区域。
131.在一些可能的实施例中，每一所述图像区域对应一个引导标识；所述第二确定子
circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。
143.上述计算机存储介质/存储器可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
144.这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质和设备实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
145.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
146.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
147.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
148.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本技术实施例方案的目的。
149.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述
集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
150.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得设备自动测试线执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
151.本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
152.本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
153.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。