室内导航方法、装置与电子设备

1.本发明涉及数据处理技术领域，尤其涉及一种室内导航方法、装置与电子设备。


背景技术：

2.随着室内环境规模的不断增大，布局的日趋复杂，室内导航在大型超市、仓库管理等场景中越来越成为基础性的服务。
3.近年来，随着移动设备计算能力的提升以及视觉同步定位与建图(visual simultaneous localization and mapping,visual slam)技术的成熟，视觉导航以其更高的精度和更加丰富的语义信息，受到越来越多的青睐。目前已经出现了基于视觉的点对点导航系统。
4.但是，由于主流设备只能支持单目图像应用，目前纯粹的基于视觉的点对点导航在地图合并时，面临单目视觉尺度不确定性的挑战。


技术实现要素：

5.本发明实施例提供一种室内导航方法、装置与电子设备，用以解决现有技术中采用单目视觉技术进行室内导航尺度不确定性的缺陷，实现导航过程中计算尺度的统一的目标。
6.本发明实施例提供一种室内导航方法，包括：
7.基于惯性测量单元imu预积分和匹配特征点的相对位置关系，获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化；
8.基于所述位姿变化和所述速度变化，获取匹配的导航路径，并基于所述导航路径，引导跟随者前往目标地点；
9.所述惯性测量单元imu预积分为所述跟随者设备检测到的imu测量值在所述上一时刻至所述当前时刻时间段内的积分结果，所述匹配特征点为在所述当前时刻与所述上一时刻分别采集的图像中成功匹配的特征点。
10.根据本发明一个实施例的室内导航方法，在所述获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化之前，还包括：
11.采用单目相机，采集所述跟随者设备周围环境的第一图像，并基于imu，获取所述跟随者设备运动过程的imu测量值；
12.按照相同的时间戳，对所述imu测量值进行对齐处理，并对对齐处理后的imu测量值在所述上一时刻至所述当前时刻时间段内进行求积分运算，获取所述惯性测量单元imu预积分；
13.分别对所述当前时刻和所述上一时刻采集到的所述第一图像进行特征点提取，并对提取的特征点进行匹配运算，获取所述当前时刻和所述上一时刻分别对应的第一图像中成功匹配的特征点。
14.根据本发明一个实施例的室内导航方法，还包括：
15.基于所述上一时刻至所述当前时刻采集到的第一图像，采用光流法进行追踪，获取相邻两帧图像的特征点匹配结果，并基于所述特征点匹配结果，采用基于基本矩阵的随机采样一致性检验法，验证所述成功匹配的特征点。
16.根据本发明一个实施例的室内导航方法，所述基于所述位姿变化和所述速度变化，获取匹配的导航路径，包括：
17.基于所述位姿变化、所述速度变化和所述当前时刻采集的周围环境的第一图像，与预存的领航者的运动轨迹数据进行匹配运算，获取所述导航路径。
18.根据本发明一个实施例的室内导航方法，还包括：
19.基于所述跟随者设备的运动轨迹与预存的所有领航者的运动轨迹，进行重定位检测并进行轨迹拼接和优化，获取导航区域的全局地图。
20.根据本发明一个实施例的室内导航方法，还包括：
21.采集领航者运动轨迹起点和终点处标志性建筑的第二图片，并将所述第二图片加入到所述全局地图中。
22.根据本发明一个实施例的室内导航方法，
23.利用所述跟随者设备，采集所述imu测量值和所述跟随者设备周围环境的图像，并对所述当前时刻与所述上一时刻分别采集的图像进行特征点匹配运算，获取所述匹配特征点并上传到云端；
24.利用所述云端，基于所述imu测量值计算所述惯性测量单元imu预积分，并基于所述匹配特征点计算所述相对位置关系，以及，基于所述惯性测量单元imu预积分和所述相对位置关系，执行所述获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化至所述获取匹配的导航路径的步骤，并将所述导航路径下发到所述跟随者设备；
25.利用所述跟随者设备，基于所述导航路径，引导跟随者前往目标地点。
26.本发明实施例还提供一种室内导航装置，包括：
27.计算模块，用于基于惯性测量单元imu预积分和匹配特征点的相对位置关系，获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化；
28.导航模块，用于基于所述位姿变化和所述速度变化，获取匹配的导航路径，并基于所述导航路径，引导跟随者前往目标地点；
29.所述惯性测量单元imu预积分为所述跟随者设备检测到的imu测量值在所述上一时刻至所述当前时刻时间段内的积分结果，所述匹配特征点为在所述当前时刻与所述上一时刻分别采集的图像中成功匹配的特征点。
30.本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述任一种所述的室内导航方法的步骤。
31.本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机指令，所述计算机指令被计算机执行时，实现如上述任一种所述的室内导航方法的步骤。
32.本发明实施例提供的室内导航方法、装置与电子设备，通过将imu和视觉测量融合起来，借助于imu为单目视觉提供统一的尺度，能够有效解决单目视觉尺度不确定性的问题，实现导航过程中计算尺度的统一。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明实施例提供的室内导航方法的流程示意图；
35.图2为本发明实施例提供的室内导航方法应用的系统架构示意图；
36.图3为本发明另一实施例提供的室内导航方法的流程示意图；
37.图4为本发明实施例提供的室内导航方法与部分现有导航方法的定位误差cdf对比示意图；
38.图5为本发明实施例提供的室内导航装置的结构示意图；
39.图6为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
40.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本发明实施例针对现有技术中采用单目视觉技术进行室内导航尺度不确定性的问题，通过将imu和视觉测量融合起来，借助于imu为单目视觉提供统一的尺度，能够有效解决单目视觉尺度不确定性的问题，实现导航过程中计算尺度的统一。以下将具体通过多个实施例对本发明实施例进行展开说明和介绍。
42.图1为本发明一实施例提供的室内导航方法的流程示意图，如图1所示，该方法包括：
43.s101，基于惯性测量单元imu预积分和匹配特征点的相对位置关系，获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化。
44.其中，所述惯性测量单元imu预积分为所述跟随者设备检测到的imu测量值在所述上一时刻至所述当前时刻时间段内的积分结果，所述匹配特征点为在所述当前时刻与所述上一时刻分别采集的图像中成功匹配的特征点。
45.可以理解为，本发明实施例采用视觉-惯性里程计(visual inertial odometry，vio)来记录单个用户的轨迹并进行定位。视觉-惯性里程计采用单目相机作为外源，感受器连续拍摄图片；采用惯性测量单元(inertial measurement unit，imu)作为内源，感受器采集高频率的加速度和角速度值。
46.相邻两个时刻设备的位姿和速度变化可以同时被这一小段时间内的imu测量值的数值积分结果(称为预积分)和这两个时刻采集图片中成功匹配的特征点的相对位置关系所约束。基于上述约束关系，用非线性优化的方法，可以求出满足这些约束的设备位姿变化和速度变化。
47.s102，基于所述位姿变化和所述速度变化，获取匹配的导航路径，并基于所述导航路径，引导跟随者前往目标地点。
48.应理解的是，在每一位用户(包括领航者和跟随者)的轨迹都包含一系列用户移动过程中设备的位姿、经过筛选的彼此之间具有一定视差的图片(称为关键帧)以及图片中被成功追踪的特征点所对应的空间中的一系列三维点(即slam术语中的地图)。
49.在根据上述步骤计算得到跟随者设备的位姿变化和速度变化的基础上，可以根据跟随者设备在移动过程中拍摄的周围环境的图片进行特征匹配得到一些关键帧，并将这些关键帧与预存的领航者的轨迹中的关键帧进行匹配运算，并基于匹配的结果，进行设备位姿变化和速度变化的匹配运算，最终得到跟随者从始发地到目的地的导航轨迹。
50.之后，可以将匹配到的领航者的运动轨迹反馈到跟随者设备，并通过跟随者设备引导跟随者到达目的地，如可以显示导航地图或者语音导航的形式引导用户到达目的地。
51.本发明实施例提供的室内导航方法，通过将imu和视觉测量融合起来，借助于imu为单目视觉提供统一的尺度，能够有效解决单目视觉尺度不确定性的问题，实现导航过程中计算尺度的统一。
52.应理解的是，对不同领路者的轨迹进行合并依赖于slam中的回环检测技术，这是目前相对比较成熟的用来检测时间上不存在依赖关系的若干张图片是否拍摄了同一个地方的方法，在回环检测之后，通常会进行被称为位姿图优化的过程来对整条轨迹进行优化。
53.然而，回环检测需要构建比较庞大的关键帧数据库，移动设备无法负担这样的存储开销；位姿图优化涉及到非常高维度的变量的jacobi运算，移动设备的计算能力不能实时完成。
54.因此，根据上述各实施例提供的室内导航方法可选的，利用所述跟随者设备，采集所述imu测量值和所述跟随者设备周围环境的图像，并对所述当前时刻与所述上一时刻分别采集的图像进行特征点匹配运算，获取所述匹配特征点并上传到云端；利用所述云端，基于所述imu测量值计算所述惯性测量单元imu预积分，并基于所述匹配特征点计算所述相对位置关系，以及，基于所述惯性测量单元imu预积分和所述相对位置关系，执行所述获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化至所述获取匹配的导航路径的步骤，并将所述导航路径下发到所述跟随者设备；利用所述跟随者设备，基于所述导航路径，引导跟随者前往目标地点。
55.可以理解为，本发明实施例中不仅需要对单个用户做融合视觉和imu测量的vio，还需要对多个用户的轨迹进行拼接，移动设备本身不能提供足够的计算和存储支持。因此，本发明实施例将整个系统分解成前端和后端两个部分，如图2所示，为本发明实施例提供的室内导航方法应用的系统架构示意图，前端负责单个用户的数据采集和预处理，后端负责完成vio的优化以及轨迹拼接任务。一方面降低了移动端的计算负担，另一方面也显著节约了带宽。
56.在移动端完成特征点的提取，并使用光流法进行追踪，对于光流法得到的相邻两帧的匹配结果，使用基于基本矩阵的随机采样一致性检验以减少误匹配。
57.移动端可以以30fps的速率回传处理过后的特征点，在每张图包含100个特征点的情况下带宽占用只有180kb/s，远远低于按照相同速率直接回传图片的6.1mb/s。考虑到相当一部分移动设备可以以更高的速率拍摄图片(如60hz甚至120hz)，系统可以只回传一部分图片提取出的特征点，保证最低图片频率而对每一张图片都做光流追踪，这样可以保证回传图片中特征点的质量。
58.考虑到imu预积分需要在优化的过程中随着偏置的变化反复调整，故前端只完成简单的数据对齐的操作，即生成具有相同时间戳的加速度计和陀螺仪读数。
59.借助于前端提供的imu数据以及特征点，后端可以对单个用户做短时的vio，完整的轨迹记录还需要提供一系列图片作为关键帧，计算这些图片中特征点的描述子并构建词袋模型。
60.考虑到关键帧主要被用来做重定位，不属于时间敏感内容，系统以更低的频率(1hz)回传图片作为关键帧，同样不会对带宽造成压力。
61.本发明实施例在系统实现上，将整个系统分成负责图像和imu数据预处理的前端以及负责轨迹融合和优化的后端，前端运行在移动设备上，后端运行在云端，有效减轻了移动设备的计算负担，在建立全局一致地图的同时保证了实时性。
62.其中，根据上述各实施例提供的室内导航方法可选的，在所述获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化之前，还包括：采用单目相机，采集所述跟随者设备周围环境的第一图像，并基于imu，获取所述跟随者设备运动过程的imu测量值；按照相同的时间戳，对所述imu测量值进行对齐处理，并对对齐处理后的imu测量值在所述上一时刻至所述当前时刻时间段内进行求积分运算，获取所述imu预积分；分别对所述当前时刻和所述上一时刻采集到的所述第一图像进行特征点提取，并对提取的特征点进行匹配运算，获取所述当前时刻和所述上一时刻分别对应的第一图像中成功匹配的特征点。
63.具体而言，如图3所示，为本发明另一实施例提供的室内导航方法的流程示意图，其中本发明实施例在根据上述各实施例进行导航运算之前，需要先计算得到imu预积分和匹配特征点的相对位置关系。本发明实施例在前端采用视觉-惯性里程计vins-mono来记录单个用户的轨迹并进行定位。视觉-惯性里程计采用单目相机作为外源，感受器连续拍摄图片，得到的图像可称为第一图像；采用imu作为内源，感受器采集高频率的加速度和角速度值，可称为imu测量值。
64.之后，根据采集到的图片进行特征点匹配，得到匹配特征点。同时，根据imu测量值进行在上一时刻到当前时刻这一小段时间内求积分运算，得到imu预积分。
65.其中，根据上述各实施例提供的室内导航方法可选的，还包括：基于所述上一时刻至所述当前时刻采集到的第一图像，采用光流法进行追踪，获取相邻两帧图像的特征点匹配结果，并基于所述特征点匹配结果，采用基于基本矩阵的随机采样一致性检验法，验证所述成功匹配的特征点。
66.可以理解为，在对采集到的第一图像进行特征点匹配后，可进一步对匹配的特征点进行验证有效性。也即，在移动端完成特征点的提取，并使用光流法进行追踪，对于光流法得到的相邻两帧的匹配结果，使用基于基本矩阵的随机采样一致性检验以减少误匹配。
67.其中，根据上述各实施例提供的室内导航方法可选的，所述基于所述位姿变化和所述速度变化，获取匹配的导航路径，包括：基于所述位姿变化、所述速度变化和所述当前时刻采集的周围环境的第一图像，与预存的领航者的运动轨迹数据进行匹配运算，获取所述导航路径。
68.可以理解为，本发明实施例中当一个新的用户打开摄像头，开始运行系统，系统会根据当前拍摄到的图片在所有已存储轨迹的关键帧中进行搜索，借助于描述子匹配和词袋模型来推断用户所处全局地图的位置。在用户移动的过程中，系统会不断地将用户拍摄的
图片和已经保存的图片进行比对，找到新的特征点对应关系，所有的对应关系被用来求解优化问题：
[0069][0070]
其中，r、t表示该用户借助vio建立的局部地图变换到全局地图的旋转和平移，序对(l,v)表示在第v个查找到的关键帧中观测到的第l个特征，表示其观测值，表示在全局地图中该观测结果所对应的地图点的位置。
[0071]
优化问题的目标就是求解使得全局地图和用户观测到地图的差别最小的坐标变换。有了该坐标变换之后，就可以将用户的轨迹合并到全局地图中。
[0072]
其中，根据上述各实施例提供的室内导航方法可选的，还包括：基于所述跟随者设备的运动轨迹与预存的所有领航者的运动轨迹，进行重定位检测并进行轨迹拼接和优化，获取导航区域的全局地图。
[0073]
可以理解为，本发明实施例中跟随者在出发点打开摄像头并适当移动，系统借助重定位将跟随者定位到全局地图中。也即，首先查找跟随者目标所在的轨迹，根据当前全局地图中的轨迹拼接关系，确定包含当前用户位置的领路者轨迹到目标轨迹之间要经过哪些其他领路者提供的轨迹。
[0074]
系统进一步依据不同轨迹内关键帧之间的距离，对拼接出的导航路径做修正，去掉其中可能存在的绕行以获得一条尽量简短的路径。
[0075]
一旦系统检测到当前场景和之前的场景存在对应关系，就会通过重定位消除累计位置的漂移。跟随者在到达目的地后，其轨迹也会加入全局地图中，进一步丰富关键帧数据库。
[0076]
也就是说，云端会将每一条新加入的轨迹都与所有之前存储的轨迹进行重定位检测，这样一条新加入的轨迹可以将多条之前没有被合并的轨迹加入到全局地图中。
[0077]
如图4所示，为本发明实施例提供的室内导航方法与部分现有导航方法的定位误差cdf对比示意图。本发明实施例中在跟随者移动的过程中始终运行vio，由于用户在开始使用系统时已经被定位到全局地图中，即使是在没有重定位的情况下(比如跟随者沿着领路者提供轨迹的反方向进行移动时)用户也能对当前所处的位置有相对准确的估计，因此导航计算更准确，效果更好。
[0078]
应理解的是，尽管视觉测量具有更高的精度，却对方向性更加敏感，即使在同一个地点，如果用户面对的方向不同也可能会有完全不同的视觉测量结果。这使得在纯视觉导航中追随者只能跟随领路者从起点走到终点而不能反过来从终点到起点。
[0079]
因此，根据上述各实施例提供的室内导航方法可选的，还包括：采集领航者运动轨迹起点和终点处标志性建筑的第二图片，并将所述第二图片加入到所述全局地图中。
[0080]
具体而言，除了借助移动过程中自动检测到的重定位进行轨迹合并以建立全局地图外，本发明实施例要求领路者在出发和到达目的地时对标志性建筑或门面进行拍摄，这样当两段轨迹具有相同的起点或终点但是具有不同方向时也能够被合并到全局地图中。
[0081]
本发明实施例能够充分利用轨迹之间重叠性构建全局地图并对跟随者进行导航，适用性更强。
[0082]
基于相同的发明构思，本发明实施例根据上述各实施例提供一种室内导航装置，
该装置用于在上述各实施例中实现室内导航。因此，在上述各实施例的室内导航方法中的描述和定义，可以用于本发明实施例中各个执行模块的理解，具体可参考上述实施例，此处不在赘述。
[0083]
根据本发明的一个实施例，室内导航装置的结构如图5所示，为本发明实施例提供的室内导航装置的结构示意图，该装置可以用于实现上述各方法实施例中室内导航，该装置包括：计算模块501和导航模块502。其中：
[0084]
计算模块501用于基于惯性测量单元imu预积分和匹配特征点的相对位置关系，获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化；导航模块502用于基于所述位姿变化和所述速度变化，获取匹配的导航路径，并基于所述导航路径，引导跟随者前往目标地点。
[0085]
其中，所述惯性测量单元imu预积分为所述跟随者设备检测到的imu测量值在所述上一时刻至所述当前时刻时间段内的积分结果，所述匹配特征点为在所述当前时刻与所述上一时刻分别采集的图像中成功匹配的特征点。
[0086]
具体而言，本发明实施例中相邻两个时刻设备的位姿和速度变化可以同时被这一小段时间内的imu测量值的数值积分结果(称为惯性测量单元imu预积分)和这两个时刻采集图片中成功匹配的特征点的相对位置关系所约束。计算模块501基于上述约束关系，用非线性优化的方法，可以求出满足这些约束的设备位姿变化和速度变化。
[0087]
之后，导航模块502可以根据跟随者设备在移动过程中拍摄的周围环境的图片进行特征匹配得到一些关键帧，并将这些关键帧与预存的领航者的轨迹中的关键帧进行匹配运算，并基于匹配的结果，进行设备位姿变化和速度变化的匹配运算，最终得到跟随者从始发地到目的地的导航轨迹。
[0088]
再之后，导航模块502可以将匹配到的领航者的运动轨迹反馈到跟随者设备，并通过跟随者设备引导跟随者到达目的地，如可以显示导航地图或者语音导航的形式引导用户到达目的地。
[0089]
本发明实施例提供的室内导航装置，通过将imu和视觉测量融合起来，借助于imu为单目视觉提供统一的尺度，能够有效解决单目视觉尺度不确定性的问题，实现导航过程中计算尺度的统一。
[0090]
可以理解的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现上述各实施例的装置中的各相关程序模块。并且，本发明实施例的室内导航装置利用上述各程序模块，能够实现上述各方法实施例的室内导航流程，在用于实现上述各方法实施例中室内导航时，本发明实施例的装置产生的有益效果与对应的上述各方法实施例相同，可以参考上述各方法实施例，此处不再赘述。
[0091]
作为本发明实施例的又一个方面，本实施例根据上述各实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，该处理器执行该计算机程序时，实现如上述各实施例所述的室内导航方法的步骤。
[0092]
进一步的，本发明实施例的电子设备还可以包括通信接口和总线。参考图6，为本发明实施例提供的电子设备的实体结构示意图，包括：至少一个存储器601、至少一个处理器602、通信接口603和总线604。
[0093]
其中，存储器601、处理器602和通信接口603通过总线604完成相互间的通信，通信
接口603用于该电子设备与跟随者设备之间的信息传输；存储器601中存储有可在处理器602上运行的计算机程序，处理器602执行该计算机程序时，实现如上述各实施例所述的室内导航方法的步骤。
[0094]
可以理解为，该电子设备中至少包含存储器601、处理器602、通信接口603和总线604，且存储器601、处理器602和通信接口603通过总线604形成相互间的通信连接，并可完成相互间的通信，如处理器602从存储器601中读取室内导航方法的程序指令等。另外，通信接口603还可以实现该电子设备与跟随者设备之间的通信连接，并可完成相互间信息传输，如通过通信接口603实现图像数据和imu数据的读取等。
[0095]
电子设备运行时，处理器602调用存储器601中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：基于惯性测量单元imu预积分和匹配特征点的相对位置关系，获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化；基于所述位姿变化和所述速度变化，获取匹配的导航路径，并基于所述导航路径，引导跟随者前往目标地点等。
[0096]
上述的存储器601中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0097]
本发明实施例还根据上述各实施例提供一种非暂态计算机可读存储介质，其上存储有计算机指令，该计算机指令被计算机执行时，实现如上述各实施例所述的室内导航方法的步骤，例如包括：基于惯性测量单元imu预积分和匹配特征点的相对位置关系，获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化；基于所述位姿变化和所述速度变化，获取匹配的导航路径，并基于所述导航路径，引导跟随者前往目标地点等。
[0098]
作为本发明实施例的再一个方面，本实施例根据上述各实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的室内导航方法，该方法包括：基于惯性测量单元imu预积分和匹配特征点的相对位置关系，获取跟随者设备当前时刻相对上一时刻的位姿变化和速度变化；基于所述位姿变化和所述速度变化，获取匹配的导航路径，并基于所述导航路径，引导跟随者前往目标地点。
[0099]
本发明实施例提供的电子设备、非暂态计算机可读存储介质和计算机程序产品，通过执行上述各实施例所述的室内导航方法的步骤，将imu和视觉测量融合起来，借助于imu为单目视觉提供统一的尺度，能够有效解决单目视觉尺度不确定性的问题，实现导航过程中计算尺度的统一。
[0100]
可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0101]
通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如u盘、移动硬盘、rom、ram、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。
[0102]
另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0103]
本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。
[0104]
最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。