飞行员仪表监控执行度的自动识别方法、系统、设备与流程

1.本发明属于图像处理、自动识别技术领域，具体涉及了一种飞行员仪表监控执行度的自动识别方法、系统、设备。


背景技术：

2.在飞行训练/检查中，教员/检查员需要关注受训学员仪表监控是否到位。目前，这项任务主要由教员/检查员人工观察记录。然而，随着中国民航cbta（基于胜任能力的训练和评估）建设的推进及ebt（循证训练）的推广，飞行训练/检查对教员和检查员的要求大大提高。例如，目前制定的飞行员九大核心胜任力包含了知识、程序应用、沟通、领导力和团队工作、情境意识、工作负荷、问题解决与决策、自动化和人工操纵。教员和检查员仅依靠个人观察在动态飞行中同时对2名飞行学员的多项核心胜任能力进行追踪评价，难免顾此失彼。同时，过度依赖主观评价也不利于训练出口标准的把控。
3.仪表监控执行度是对受训飞行员程序应用、情境意识等核心胜任能力的进行评价的重要输入，若能采取方法对飞行员仪表监控执行度的进行智能追踪和量化评价，将有效减轻教员/检查员工作负荷，提升训练质量。其中，追踪受训飞行员的仪表监控执行度，首要的是确定受训飞行员在关键时刻是否有注视对应仪表区域，这涉及到视觉追踪技术。现有主流的视觉追踪技术包括几何法和监督学习方法。而在飞行员训练场景下，现有方法存在以下不足：1）实际飞行训练场景的特点是光照条件复杂，飞行员座椅前后高低因人而异，加之驾驶舱有多名机组导致图像背景复杂，几何法对图像质量要求较高，难以胜任；2）监督学习方法对复杂场景的图像识别有较好效果，但其前提是要获取带标签的样本，这将直接影响有效飞行训练时间。同时，目前主流的监督学习方法如深度神经网络等还存在运算量大，模型物理含义不明确的问题。
4.基于此，本发明提出了一种飞行员仪表监控执行度的自动识别方法。


技术实现要素：

5.为了解决现有技术中的上述问题，即为了解决现有几何法的视觉追踪技术对图像质量要求高、基于监督学习方法的视觉追踪技术需要获取带标签的样本且训练时间长，导致飞行员仪表监控执行度自动识别的识别结果鲁棒性较差的问题，本发明提供了一种飞行员仪表监控执行度的自动识别方法，该方法包括以下步骤：s100，分别采集待进行仪表监控执行度自动识别的飞行员在、时刻的眼部视线区域图像，作为第一区域图像、第二区域图像；其中，为飞行设备发生关键状态改变的时刻，为在关键状态下，设定的飞行员反应时延；所述关键状态为根据设定要求提取出飞行员需要关注仪表变换时对应的飞行设备操纵状态；所述设定要求包括飞行训练大纲、sop；s200，提取所述第一区域图像、所述第二区域图像的特征并合并，合并后进行预处
理，得到预处理特征；所述预处理包括去中心化；s300，对所述预处理特征进行线性变换，得到所述预处理特征在线性变换后的新坐标系中的投影；s400，对所述投影进行尺度变换，得到尺度变换后的特征向量；s500，基于所述尺度变换后的特征向量，结合预获取的超球球心，计算决策值；所述决策值为尺度变换后的特征向量到超球球心的距离；若所述决策值大于等于设定的超球半径，则判定飞行员的仪表监控执行度不到位。
6.在一些优选的实施方式中，对所述预处理特征进行线性变换，得到所述预处理特征在线性变换后的新坐标系中的投影，其方法为：其方法为：其中，表示投影，表示预处理特征，表示转换，表示一组标准正交基向量，满足且，为线性变换后的新坐标系，表示特征维数。
7.在一些优选的实施方式中，所述其计算方法为：获取投影点的方差：，记，则构建的优化目标函数为：数为：通过拉格朗日乘法对所述优化目标函数求解，可得：通过对进行特征值分解即可得到。
8.在一些优选的实施方式中，对所述投影进行尺度变换，得到尺度变换后的特征向量，其方法为：其方法为：其方法为：其中，表示尺度变换后的特征向量，、表示中第维特征的样本均值和方差，表示样本容量。
9.在一些优选的实施方式中，所述超球球心及所述超球半径，获取方法为：a100，遍历所有飞行阶段及飞行训练科目，生成飞行训练关键节点的规则树；所述规则树各节点包括：飞行训练器关键状态改变，设置的飞行员反应时延，记录期望监控
的仪表区域位置，，表示需要监控的仪表区域的数目，表示飞行设备发生第类关键状态改变；所述关键节点为关键状态对应的节点；a200，当在时刻飞行设备发生了关键状态改变，采集、时刻的眼部视线区域图像，作为第一区域图像、第二区域图像；提取所述第一区域图像的特征，作为第一特征，提取所述第二区域图像的特征，作为第二特征；a300，将所述规则树中的对应的，作为所述第一特征、所述第二特征的伪标签；并将具有相同伪标签的第一特征、第二特征分别组合为样本集；a400，将所述样本集进行合并去中心化，得到特征向量集，即预处理特征；a500，执行s300、s400中的方法，得到尺度变换后的特征向量；a600，对尺度变换后的特征向量取均值作为超球球心，并根据三西格玛准则设置距离阈值作为超球半径；a700，执行s500中的方法，获取飞行员的仪表监控执行度不到位对应的样本，将其归类为异常样本，并从伪标签正常的样本集中剔除；a800，循环a400-a700，直至没有发现新的异常样本，然后基于伪标签正常的样本集，执行步骤a400-a600，得到超球球心以及超球半径，作为最终获取的超球球心以及超球半径。
10.在一些优选的实施方式中，所述决策值，其计算方法为：其中，表示决策值，表示超球球心，。
11.本发明的第二方面，提出了一种飞行员仪表监控执行度的自动识别系统，该系统包括：区域图像获取模块、预处理模块、线性变换模块、尺度变换模块、执行度判断模块；所述区域图像获取模块，配置为分别采集待进行仪表监控执行度自动识别的飞行员在、时刻的眼部视线区域图像，作为第一区域图像、第二区域图像；其中，为飞行设备发生关键状态改变的时刻，为在关键状态下，设定的飞行员反应时延；所述关键状态为根据设定要求提取出飞行员需要关注仪表变换时对应的飞行设备操纵状态；所述设定要求包括飞行训练大纲、sop；所述预处理模块，配置为提取所述第一区域图像、所述第二区域图像的特征并合并，合并后进行预处理，得到预处理特征；所述预处理包括去中心化；所述线性变换模块，配置为对所述预处理特征进行线性变换，得到所述预处理特征在线性变换后的新坐标系中的投影；所述尺度变换模块，配置为对所述投影进行尺度变换，得到尺度变换后的特征向量；所述执行度判断模块，配置为基于所述尺度变换后的特征向量，结合预获取的超球球心，计算决策值；所述决策值为尺度变换后的特征向量到超球球心的距离；若所述决策值大于等于设定的超球半径，则判定飞行员的仪表监控执行度不到位。
12.本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的飞行员仪表监控执行度的自动识别方法。
13.本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的飞行员仪表监控执行度的自动识别方法。
14.本发明的有益效果：本发明提高了飞行员仪表监控执行度自动识别结果的鲁棒性。
15.1）本发明用自动方法替代飞行教员/检查员的人工判别，有利于减轻教员工作负荷，提升飞行训练质量；2）本发明对图像多维特征进行融合，相比几何法能够更充分利用图像的信息；3）本发明通过充分利用特定场景下的先验知识，以“伪标签”的半监督方式解决了传统监督方法获取“带标签”样本的困难；4）本发明通过超球优化距离判别实现分类，计算简单，物理含义明确。
附图说明
16.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：图1是本发明一种实施例的飞行员仪表监控执行度的自动识别方法的流程示意图；图2是本发明一种实施例的飞行员仪表监控执行度的自动识别系统的框架示意图；图3是本发明一种实施例的剔除异常样本的流程示意图；图4是本发明一种实施例的采用超球化判别分析法确定样本归类的训练以及测试流程示意图；图5是本发明一种实施例的二维特征向量的分布示意图；图6是本发明一种实施例的超球优化后的样本分布示意图；图7是本发明一种实施例的距离判别分析示意图；图8是本发明一种实施例的适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便
于描述，附图中仅示出了与有关发明相关的部分。
19.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
20.本发明的一种飞行员仪表监控执行度的自动识别方法，如图1所示，该方法包括：s100，分别采集待进行仪表监控执行度自动识别的飞行员在、时刻的眼部视线区域图像，作为第一区域图像、第二区域图像；其中，为飞行设备发生关键状态改变的时刻，为在关键状态下，设定的飞行员反应时延；所述关键状态为根据设定要求提取出飞行员需要关注仪表变换时对应的飞行设备操纵状态；所述设定要求包括飞行训练大纲、sop；s200，提取所述第一区域图像、所述第二区域图像的特征并合并，合并后进行预处理，得到预处理特征；所述预处理包括去中心化；s300，对所述预处理特征进行线性变换，得到所述预处理特征在线性变换后的新坐标系中的投影；s400，对所述投影进行尺度变换，得到尺度变换后的特征向量；s500，基于所述尺度变换后的特征向量，结合预获取的超球球心，计算决策值；所述决策值为尺度变换后的特征向量到超球球心的距离；若所述决策值大于等于设定的超球半径，则判定飞行员的仪表监控执行度不到位。
21.为了更清晰地对本发明飞行员仪表监控执行度的自动识别方法进行说明，下面结合附图对本发明方法一种实施例中各步骤进行展开详述。
22.在下述的实施例中，先对训练过程中异常样本的剔除、超球球心和超球半径的获取进行详述，再对飞行员仪表监控执行度的自动识别方法判定飞行员的仪表监控执行度是否到位的过程进行详述。
23.1、异常样本的剔除、超球球心和超球半径的获取，如图3、4所示a100，遍历所有飞行阶段及飞行训练科目，生成飞行训练关键节点的规则树；所述规则树各节点包括：飞行训练器关键状态改变，设置的飞行员反应时延，记录期望监控的仪表区域位置，，表示需要监控的仪表区域的数目，表示飞行设备发生第类关键状态改变；所述关键节点为关键状态对应的节点；在本实施例中，根据飞行训练大纲、sop（标准操作程序）等要求，提取出某次训练中受训飞行员需要关注仪表变化的关键节点。当飞行训练器发生关键状态改变时，设置允许的飞行员反应时延，记录期望监控的仪表区域位置；其中，代表飞行训练器发生第类关键状态改变，，用于对不同区域的仪表进行标记区分，某次训练中共有个需要监控的仪表区域。例如，当发生（推力手柄调置起飞位时），设置允许的飞行员反应时延=1s，此时期望受训飞行员监控的仪表区域位置为（fma，飞行方式信号牌）。
24.根据以上方法，遍历所有飞行阶段及飞行训练科目，生成飞行训练关键节点的规则树。由于sop的标准化和共通性，由此生成的规则树应适用所有训练场景。
25.a200，当在时刻飞行设备发生了关键状态改变，采集、时刻的眼部视线区域图像，作为第一区域图像、第二区域图像；提取所述第一区域图像的特征，作为第一特征，提取所述第二区域图像的特征，作为第二特征；在本实施例中，对于某次训练，在若某时刻飞行训练器（或称之为飞行设备）发生了关键状态改变，记录时刻，并在时刻和 时刻通过摄像头采集受训飞行员面部信息和（即采集受训飞行员眼部视线集中的区域，得到眼部视线区域图像），对眼部视线区域图像进行特征提取，得到特征向量（即第一特征）和（即第二特征）。
26.a300，将所述规则树中的对应的，作为所述第一特征、所述第二特征的伪标签；并将具有相同伪标签的第一特征、第二特征分别组合为样本集；在本实施例中，a100得到了关键状态改变时对应的。将赋予对应对特征向量和作为伪标签。将本次训练中具有相同伪标签的所有特征向量和分别组合为样本集和。最终，得到的样本集有,,
……
,和,,
……
,。
27.本方法假定受训飞行员出现差错的概率是较低的，因此，除少数异常值，和中大多数特征向量的分布在空间上应是稠密的，对应的物理含义是受训飞行员视线大都应集中在仪表区域。为便于说明，图5给出了二维特征向量的分布示意。
28.a400，将所述样本集进行合并去中心化，得到特征向量集，即预处理特征；在本实施例中，将和合并后去中心化得到特征向量集且。
29.去中心化后，每个特征的样本均值为0，去中心化的具体操作如下：假定在提取了特性向量；某次飞行训练完成后，共获取了n个样本；求样本集合{}的均值向量μ；去均值后的特征向量 =μ。
30.特征向量有个特征，即图5中特征1、特征2指的是其中2个特征，图示可以理解为当=2时，特征向量=(,)的空间分布。
31.a500，对所述预处理特征进行线性变换，得到所述预处理特征在线性变换后的新坐标系中的投影；对所述投影进行尺度变换，得到尺度变换后的特征向量；在本实施例中，在进行坐标系转换，即线性变换，具体为：设线性变换后的新坐标系为，其中，是一组标准正交基向量，应满足且。特征向量在新坐标系中的投影为：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，表示转换，表示特征维数。
32.如图5所示，椭球主轴方向样本点的分散程度应更大，即主轴方向上的投影点应有的更大的方差。投影点方差为：，记，则构建的优化目标函数为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）通过拉格朗日乘法对所述优化目标函数求解，可得：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）进一步通过特征值分解即可得到对应的特征向量。
33.由式（2）-式（3）确定投影矩阵，并由式（1）得到旋转后的特征向量集。
34.然后，按照公式（5）计算中第维特征的样本均值和方差：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）进一步，按式（6）计算，得到尺度变换后的特征向量：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）其中，，表示样本容量，即某次飞行训练期间采集得到的样本的总数。
35.图5示例经过步骤（1）至步骤（3）的线性变换后，得到的样本分布如图6所示。其中，图6中特征1、特征2可以理解为当=2时，特征向量=(,)的空间分布。
36.a600，对尺度变换后的特征向量取均值作为超球球心，并根据三西格玛准则设置距离阈值作为超球半径；在本实施例中，通过对取样本均值，得到超球球心，根据三西格玛准则设置距离阈值作为超球半径。
37.a700，基于所述尺度变换后的特征向量，结合预获取的超球球心，计算决策值；若所述决策值大于等于设定的超球半径，则判定飞行员的仪表监控执行度不到位；获取飞行员的仪表监控执行度不到位对应的样本，将其归类为异常样本，并从伪标签正常的样本集中剔除；在本实施例中，基于所述尺度变换后的特征向量，结合预获取的超球球心，计算决策值，决策值的物理含义是到正常样本均值的距离，具体如公式（7）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）将与设置的距离阈值进行比较，即可判断个体归属，如图7所示，当≥，认定此样本对应受训飞行员的仪表监控执行度不到位，将此样本从伪正常标签（即伪标签正常）的样本集中剔除，并归类为异常样本。
38.若所述决策值大于等于设定的超球半径，则判定飞行员的仪表监控执行度不到位。
39.a800，循环a400-a700，直至没有发现新的异常样本，然后基于伪标签正常的样本集，执行步骤a400-a600，得到超球球心以及超球半径，作为最终获取的超球球心以及超球半径。
40.在本实施例中，循环a400-a700，直至没有发现新的异常样本，得到的异常样本集
合即为受训飞行员仪表监控执行度不到位的场景集合。
41.基于伪标签正常的样本集，执行步骤a400-a600，得到超球球心以及超球半径，作为最终获取对应的超球球心以及超球半径。
42.2、飞行员仪表监控执行度的自动识别方法s100，分别采集待进行仪表监控执行度自动识别的飞行员在、时刻的眼部视线区域图像，作为第一区域图像、第二区域图像；其中，为飞行设备发生关键状态改变的时刻，为在关键状态下，设定的飞行员反应时延；所述关键状态为根据设定要求提取出飞行员需要关注仪表变换时对应的飞行设备操纵状态；所述设定要求包括飞行训练大纲、sop；在本实施例中，先获取飞行员在、时刻的眼部视线区域图像，作为第一区域图像、第二区域图像。
43.s200，提取所述第一区域图像、所述第二区域图像的特征并合并，合并后进行预处理，得到预处理特征；所述预处理包括去中心化；在本实施例中，提取第一区域图像、第二区域图像的特征并进行融合，融合后进行去中心化处理。
44.s300，对所述预处理特征进行线性变换，得到所述预处理特征在线性变换后的新坐标系中的投影；s400，对所述投影进行尺度变换，得到尺度变换后的特征向量；在本实施例中，通过上述公式（1）-（6），得到尺度变换后的特征向量。
45.s500，基于所述尺度变换后的特征向量，结合预获取的超球球心，计算决策值；所述决策值为尺度变换后的特征向量到超球球心的距离；若所述决策值大于等于设定的超球半径，则判定飞行员的仪表监控执行度不到位。
46.在本实施例中，基于上述公式（7），计算决策值，为了便于区分训练的测试，此处用表示，如图4右侧所示，另外图4中、、一样，只是为了区分训练和测试，左右两边的参数表示的意义一致。若所述决策值大于等于设定的超球半径，则判定飞行员的仪表监控执行度不到位。
47.本发明第二实施例的一种飞行员仪表监控执行度的自动识别系统，如图2所示，具体包括以：区域图像获取模块100、预处理模块200、线性变换模块300、尺度变换模块400、执行度判断模块500；所述区域图像获取模块100，配置为分别采集待进行仪表监控执行度自动识别的飞行员在、时刻的眼部视线区域图像，作为第一区域图像、第二区域图像；其中，为飞行设备发生关键状态改变的时刻，为在关键状态下，设定的飞行员反应时延；所述关键状态为根据设定要求提取出飞行员需要关注仪表变换时对应的飞行设备操纵状态；所述设定要求包括飞行训练大纲、sop；所述预处理模块200，配置为提取所述第一区域图像、所述第二区域图像的特征并合并，合并后进行预处理，得到预处理特征；所述预处理包括去中心化；所述线性变换模块300，配置为对所述预处理特征进行线性变换，得到所述预处理
特征在线性变换后的新坐标系中的投影；所述尺度变换模块400，配置为对所述投影进行尺度变换，得到尺度变换后的特征向量；所述执行度判断模块500，配置为基于所述尺度变换后的特征向量，结合预获取的超球球心，计算决策值；所述决策值为尺度变换后的特征向量到超球球心的距离；若所述决策值大于等于设定的超球半径，则判定飞行员的仪表监控执行度不到位。
48.所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
49.需要说明的是，上述实施例提供的飞行员仪表监控执行度的自动识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
50.本发明第三实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求上述的飞行员仪表监控执行度的自动识别方法。
51.本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求上述的飞行员仪表监控执行度的自动识别方法。
52.所述技术领域的技术人员可以清楚的了解到，未描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
53.下面参考图8，其示出了适于用来实现本技术系统、方法、设备实施例的服务器的计算机系统的结构示意图。图8示出的服务器仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
54.如图8所示，计算机系统包括中央处理单元（cpu，central processing unit）801，其可以根据存储在只读存储器（rom，read only memory）802中的程序或者从存储部分808加载到随机访问存储器（ram，random access memory）803中的程序而执行各种适当的动作和处理。在ram803中，还存储有系统操作所需的各种程序和数据。cpu801、rom 802以及ram803通过总线804彼此相连。输入/输出（i/o，input/output）接口805也连接至总线804。
55.以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分809。通讯部分809经由诸如因特网的网络执行通讯处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
56.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机
软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被cpu801执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、ram、rom、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆等等，或者上述的任意合适的组合。
57.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，如java、smalltalk、c ，还包括常规的过程式程序设计语言，如c语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网或广域网连接到用户计算机，或者可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
58.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
59.术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
60.术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
61.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。