行人识别方法、装置、电子设备和存储介质与流程

1.本发明实施例涉及图像识别技术领域，尤其涉及一种行人识别方法、装置、电子设备和存储介质。


背景技术：

2.对于具有共同可视域的摄像机组来说，行人会同时出现在摄像机组的画面中，如何确定摄像机组画面中的目标行人为同一人是目前的研究热点。利用行人再识别(也叫行人重识别)技术可以实现判断图像或者视频序列中是否存在目标行人，进而判断摄像机组画面中的目标行人是否是同一人。
3.但是行人再识别的精准度一直就是一个较大的难题。目前只能通过大量的固定行人数据集来进行训练，但是固定行人数据集的训练也只是针对特定的数据集来提高精准度，在实际应用时往往识别准确度不够高。


技术实现要素：

4.本发明实施例提供一种行人识别方法、装置、电子设备和存储介质，基于行人在图像中的位置信息和比例信息提高对行人相似度的确定准确度，并且基于可信信息增加行人再识别的辅助判断条件，提高行人再识别的精准度。
5.第一方面，本发明实施例提供了一种行人识别方法，包括：
6.确定通过第一图像采集设备采集的第一图像，和通过第二图像采集设备同时采集的第二图像；其中，所述第一图像采集设备和所述第二图像采集设备具有共同可视域；
7.若所述第一图像和所述第二图像中存在相似行人，则触发确定所述相似行人在所述第一图像和所述第二图像中的待识别位置信息和待识别比例信息；
8.若触发确定的待识别位置信息和待识别比例信息达到预设数量条件，则确定所述待识别位置信息和待识别比例信息为可信信息。
9.第二方面，本发明实施例还提供了一种行人识别装置，包括：
10.图像采集模块，用于确定通过第一图像采集设备采集的第一图像，和通过第二图像采集设备同时采集的第二图像；其中，所述第一图像采集设备和所述第二图像采集设备具有共同可视域；
11.相似行人信息确定模块，用于若所述第一图像和所述第二图像中存在相似行人，则触发确定所述相似行人在所述第一图像和所述第二图像中的待识别位置信息和待识别比例信息；
12.可信信息确定模块，用于若触发确定的待识别位置信息和待识别比例信息达到预设数量条件，则确定所述待识别位置信息和待识别比例信息为可信信息。
13.第三方面，本发明实施例还提供了一种电子设备，包括：
14.一个或多个处理器；
15.存储装置，用于存储一个或多个程序，
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的行人识别方法。
17.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的行人识别方法。
18.本发明实施例基于具有共同可视域的第一图像采集设备采集的第一图像和第二图像采集设备采集的第二图像，在第一图像和第二图像中具有相同待识别位置信息和待识别比例信息的相似行人的确定触发次数达到预设数量条件时，确定该待识别位置信息和待识别比例信息为可信信息。基于统计学思想根据行人在图像中的位置信息和比例信息确定相似行人的相似度，提高了对行人相似度的确定准确度，并且基于可信信息可以增加行人再识别的辅助判断条件，提高行人再识别的精准度。
附图说明
19.图1是本发明实施例一中的行人识别方法的流程图；
20.图2是本发明实施例一所提供的一种摄像机的布设地图；
21.图3是本发明实施例一所提供的cam1和cam2采集图像画面中相似行人的位置信息和身高信息确定示意图；
22.图4是本发明实施例二中的行人识别方法的流程图；
23.图5是本发明实施例三中的行人识别装置的结构示意图；
24.图6是本发明实施例四中的电子设备的结构示意图。
具体实施方式
25.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
26.实施例一
27.图1是本发明实施例一中的行人识别方法的流程图，本实施例可适用于确定在具有共同可视域的摄像机中同时出现的行人是否是同一人的情况。该方法可以由行人识别装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在电子设备中，例如电子设备可以是后台服务器等具有通信和计算能力的设备。如图1所示，该方法具体包括：
28.步骤101、确定通过第一图像采集设备采集的第一图像，和通过第二图像采集设备同时采集的第二图像；其中，第一图像采集设备和第二图像采集设备具有共同可视域。
29.其中，图像采集设备用于采集行人的监控图像，例如设置在行人活动区域的摄像机或者相机等。第一图像和第二图像为同时采集的，且第一图像和第二图像中具有共同可视域，即当第一图像中某行人出现在共同可视域范围内时，在第二图像中也会采集到该行人，有利于从各个角度确定行人的行动。
30.具体的，确定可视域存在重叠的摄像机信息，并对具有共同可视域的摄像机进行两两配对标记，如图2所示为摄像机的布设地图，根据地图中相机的可视域信息，可以得到cam1和cam2有共同可视域，cam3、cam4和cam5有共同可视域，若确定三个以上的摄像机的共同可视域会造成可视域范围缩小，因此采用两两绑定，cam1和cam2进行配对，cam3和cam4进
行配对，cam3和cam5进行配对，另外cam4和cam5进行配对；没有重叠可视域的相机不作考虑。
31.示例性的，以配对成功的cam1和cam2采集的图像为例，确定cam1采集的图像为第一图像，确定cam2采集的图像为第二图像，且第一图像和第二图像为在同一时间采集的。
32.步骤102、若第一图像和第二图像中存在相似行人，则触发确定相似行人在第一图像和第二图像中的待识别位置信息和待识别比例信息。
33.其中，相似行人是指可能为同一个人的目标，例如在两幅图像中各存在一个行人目标，判断其为相似行人表示这两个行人目标可能为同一个人。相似行人的确定可以根据行人再识别算法进行确定，即在第一图像采集设备中确定目标行人后，根据该目标行人的特征从第二图像采集设备中确定具有一定相似度的行人。或者相似行人可以依据行人的其他特征进行确定，例如人脸特征、身高特征、服饰特征等，在此不对相似行人的确定方式进行限定。
34.位置信息用于表征相似行人在各图像中的画面位置，比例信息用于表征相似行人之间的身高特征。
35.若第一图像和第二图像中存在相似行人即在这一对摄像机中同时出现具有一定相似度的行人为相似行人，则触发记录该行人在第一图像和第二图像中的位置信息和比例信息，并将该信息存储到数据库中，确定为待识别位置信息和待识别比例信息，以便后续根据其他相似行人确定后的触发进行可信信息的确定。
36.示例性的，在上述示例的基础上，以配对成功的cam1和cam2采集的图像为例，在cam1中确定第一行人目标，以第一行人目标的特征为模板，在cam2同时采集的图像中进行匹配，若确定存在与第一行人目标具有一定相似度的第二行人目标，则第一行人目标和第二行人目标为相似行人，并确定第一行人目标在第一图像中的第一位置信息和第一高度信息，以及第二行人目标在第二图像中的第二位置信息和第二高度信息，并根据第一高度信息和第二高度信息之比确定待识别比例信息，将第一位置信息、第二位置信息以及待识别比例信息存储到数据库中。
37.在一个可行的实施例中，触发确定相似行人在第一图像和第二图像中的待识别位置信息和待识别比例信息，包括：
38.确定相似行人的参考点在第一图像和第二图像中的位置信息，作为待识别位置信息；其中，参考点包括相似行人在图像中完整人体框的最低点或最高点；
39.确定相似行人在第一图像中完整人体框的第一高度和在第二图像中完整人体框的第二高度，根据第一高度和第二高度确定待识别比例信息。
40.若相似行人在图像中显示不完整时，会造成根据身高比例确定行人特征不准确，因此相似行人需要在图像中具有完整人体框，若不具有，则对该相似行人不作位置信息和比例信息的触发处理。
41.示例性的，在确定相似行人后，确定相似行人在各画面中的人体框并确定人体框的完整性，若完整，则触发确定相似行人在第一图像和第二图像中的待识别位置信息和待识别比例信息；若不完整，则不触发，继续进行相似行人的识别。
42.触发确定相似行人在第一图像和第二图像中的待识别位置信息和待识别比例信息时，在第一图像和第二图像中确定人体所在的完整人体框，并确定完整人体框的最低点
或最高点为参考点，以参考点在图像画面的位置作为相似行人在图像画面中的位置，并确定第一图像和第二图像中的完整人体框的第一高度和第二高度，第一高度和第二高度之比为待识别比例信息。
43.示例性的，在上述示例的基础上，以配对成功的cam1和cam2采集的图像为例，如图3所示为cam1和cam2采集图像画面中相似行人的位置信息和身高信息确定示意图。根据位置精度要求的不同，可以将摄像机采集视频画面进行100等分，则图像画面左上角位置信息为(0，0)，右下角位置信息为(100，100)，根据实际需求可以对等分比例的设置进行修改，在此不作限制。
44.当在cam1采集第一图像中检测到第一行人目标时，同时比对cam2采集的第二图像中是否有相似度达到阈值的第二行人目标，若存在则记录位置信息和比例信息。
45.在cam1采集的第一图像中框选人体，按人体框选最低点作为参考点，测量出该参考点在画面中的比例位置，记录下l1和w1，即第一行人目标的横向比例坐标和纵向比例坐标，由l1和w1确定第一位置信息，同时记录下人体框选的第一高度h1；同样在cam2采集的第二图像中框选人体，测量出该参考点在画面中的比例位置，记录下l2和w2，由l2和w2确定第二位置信息，同时记录下人体框选的第二高度h2；针对每一组相似行人生成一张位置数据表，将位置信息(l1，w1)、(l2，w2)以及比例信息h1/h2记录到数据表中，记录结果如表1所示。
46.表1
47.第一位置信息第二位置信息比例信息数量(l1，w1)(l2，w2)h1/h21
48.步骤103、若触发确定的待识别位置信息和待识别比例信息达到预设数量条件，则确定待识别位置信息和待识别比例信息为可信信息。
49.在第一图像采集设备和第二图像采集设备进行不断采集图像过程中，会确定大量的相似行人，并触发得到大量的待识别位置信息和待识别比例信息，若目标待识别位置信息和目标待识别比例信息的出现数量达到预设数量条件，则确定该目标待识别位置信息和目标待识别比例信息为可信信息。
50.示例性的，在上述示例的基础上，将相似行人的待识别位置信息和待识别比例信息存储在数据库中，当出现新的相似行人，触发得到新的待识别位置信息和待识别比例信息后，确定数据库中是否存在一致的待识别位置信息和待识别比例信息的记录，若存在，则在该条记录的数量数值加一，若不存在，则为该条待识别位置信息和待识别比例信息在数据库中新建一条数据记录。当该条记录的累加数量数值达到预设数量时，则认为该条记录中的数据为可信数据。例如当数量数值累加达到10时，即该待识别位置信息和待识别比例信息重复出现十次，则该识别位置信息和待识别比例信息为可信信息。示例性的，将可信信息添加到辅助信息表中，实现辅助信息表中均为可信信息。
51.因此，若在第一图像采集设备和第二图像采集设备中均检测到目标行人，且该目标行人在第一图像和第二图像中的位置信息和比例信息与可信信息一致，则表示该目标行人为同一个人。即可信信息从统计角度提高人体识别的精准度。此外，可以通过调整预设数量条件实现调整识别精度。
52.本发明实施例基于具有共同可视域的第一图像采集设备采集的第一图像和第二
图像采集设备采集的第二图像，在第一图像和第二图像中具有相同待识别位置信息和待识别比例信息的相似行人的确定触发次数达到预设数量条件时，确定该待识别位置信息和待识别比例信息为可信信息。基于统计学思想根据行人在图像中的位置信息和比例信息确定相似行人的相似度，提高了对行人相似度的确定准确度，并且基于可信信息可以增加行人再识别的辅助判断条件，提高行人再识别的精准度。
53.实施例二
54.图4是本发明实施例二中的行人识别方法的流程图，本实施例二在实施例一的基础上进行进一步地优化。如图4所示，该方法包括：
55.步骤401、确定通过第一图像采集设备采集的第一图像，和通过第二图像采集设备同时采集的第二图像；其中，第一图像采集设备和第二图像采集设备具有共同可视域。
56.步骤402、通过行人再识别模型确定第一图像和第二图像中行人相似度；根据行人相似度确定相似行人。
57.其中，行人再识别模型是指基于深度学习算法得到的对行人进行再识别的模型，具体的模型架构在本发明实施例中并不限制。示例性的，行人再识别模型为卷积神经网络模型。
58.具体的，确定第一图像中的目标行人，通过预先设置的行人再识别模型在第二图像中确定各行人目标与该目标行人的相似度，若相似度达到相似度阈值则确定为相似行人。
59.步骤403、若第一图像和第二图像中存在相似行人，则触发确定相似行人在第一图像和第二图像中的待识别位置信息和待识别比例信息。
60.步骤404、若触发确定的待识别位置信息和待识别比例信息达到预设数量条件，则确定待识别位置信息和待识别比例信息为可信信息。
61.在一个可行的实施例中，该方法还包括：根据可信信息对第一图像和第二图像中的行人进行识别，确定可信相似行人。
62.在确定可信信息后，根据可信信息即可对第一图像和第二图像中的行人进行识别，当第一图像和第二图像中同时出现目标行人的位置信息和比例信息和可信信息一致时，即可认为第一图像和第二图像中的目标行人为可信相似行人，即为同一个人。
63.在一个可行的实施例中，根据可信信息对第一图像和第二图像中的行人进行识别，确定可信相似行人，包括：
64.若第一图像和第二图像中存在相似行人的待识别位置信息和待识别比例信息与可信信息匹配成功，则确定相似行人为可信相似行人。
65.示例性的，当cam1和cam2画面中检测到人体时，将cam1和cam2采集到的第一位置信息和第二位置信息在辅助信息表中进行匹配，若匹配成功，即当前的第一位置信息和第二位置信息与辅助信息表中的目标可信信息中的第一位置信息和第二位置信息相同，并且比例信息也一致，确定是可信相似行人，即cam1和cam2中的人体为同一个人。
66.本发明实施例首先需要确定有共同可视域的摄像机信息，两两配对标记，如果在这一对摄像机中同时出现一定相似度的行人时，记录该行人在画面中的位置，和框选人体的高度比例，将该信息记录到数据库中，若再次出现具有一定相似度的行人的位置信息和比例信息相同的情况，将该位置信息和比例信息的记录计数加一，当累计计数达到一定阈
值后，将该位置信息和比例信息用于实际场景中实现对行人再识别的辅助判断。当再次有同位置和同比例的行人出现时，即便相似度未达到所设定阈值，也认为是同一个人，从而增加行人再识别的准确率和数据量。
67.步骤405、基于可信信息对行人再识别模型进行更新训练。
68.由于通过可信信息可以得到可信相似行人，基于该可信相似行人对行人再识别模型进行更新训练。示例性的，通过可信信息确定可信相似行人后，将可行性相似行人所对应的第一图像和第二图像作为训练样本，对行人再识别模型进行更新训练，以调整行人再识别模型的参数。
69.由于通过可信信息所确定的可信相似行人为同一个人的概率较大，因此将可行性相似行人所对应的第一图像和第二图像作为训练样本，既增加了训练集的样本量，同时也保证了训练样本的准确性，进而提高模型更新训练的准确性。
70.示例性的，若第一图像和第二图像中出现行人相似度小于相似度阈值的非相似行人，但是该非相似行人的位置信息和比例信息与可信信息一致，则将该非相似行人的第一图像和第二图像输入到行人再识别模型中进行训练学习，通过调节模型参数使得该样本的相似度计算结果提高，进而通过反复训练学习使得行人再识别模型的准确度得到提高。
71.在一个可行的实施例中，步骤405，包括：
72.根据可信信息确定第一图像和第二图像中的可信相似行人；
73.若可信相似行人的行人相似度小于相似度阈值，则基于可信相似行人对行人再识别模型进行更新训练。
74.具体的，在确定可信信息后，根据可信信息即可对第一图像和第二图像中的行人进行识别，当第一图像和第二图像中同时出现目标行人的位置信息和比例信息和可信信息一致时，即可认为第一图像和第二图像中的目标行人为可信相似行人，即为同一个人。当根据可信信息确定可信相似行人后，基于行人再识别模型对该可信相似行人进行确定相似度，若相似度大于相似度阈值，则表示两者检测结果一致，不用对行人再识别模型进行更新训练；若行人相似度小于相似度阈值，则基于可信相似行人建立正样本数据集，根据该正样本数据集对行人再识别模型进行更新训练，以调整模型参数，提高模型的准确度。
75.本发明实施例中在实战中不断的训练行人再识别模型，利用大量相似行人的位置信息和比例信息数据，确定可信信息，利用可信信息得到的可信相似行人训练行人再识别模型，训练后的模型再次应用到实战中，如此反复进行以提高人体再识别的精准度。
76.本发明实施例利用大量共同可视域摄像机采集到的行人识别数据，来辅助判定相似行人是否为同一人，既可以用于训练行人再识别模型的参数调整，也实现了在实战中增加相似行人的判定条件，提高行人识别的精确度。
77.实施例三
78.图5是本发明实施例三中的行人识别装置的结构示意图，本实施例可适用于确定在具有共同可视域的摄像机中同时出现的行人是否是同一人的情况。如图5所示，该装置包括：
79.图像采集模块510，用于确定通过第一图像采集设备采集的第一图像，和通过第二图像采集设备同时采集的第二图像；其中，所述第一图像采集设备和所述第二图像采集设备具有共同可视域；
80.相似行人信息确定模块520，用于若所述第一图像和所述第二图像中存在相似行人，则触发确定所述相似行人在所述第一图像和所述第二图像中的待识别位置信息和待识别比例信息；
81.可信信息确定模块530，用于若触发确定的待识别位置信息和待识别比例信息达到预设数量条件，则确定所述待识别位置信息和待识别比例信息为可信信息。
82.本发明实施例基于具有共同可视域的第一图像采集设备采集的第一图像和第二图像采集设备采集的第二图像，在第一图像和第二图像中具有相同待识别位置信息和待识别比例信息的相似行人的确定触发次数达到预设数量条件时，确定该待识别位置信息和待识别比例信息为可信信息。基于统计学思想根据行人在图像中的位置信息和比例信息确定相似行人的相似度，提高了对行人相似度的确定准确度，并且基于可信信息可以增加行人再识别的辅助判断条件，提高行人再识别的精准度。
83.可选的，相似行人信息确定模块520，具体用于：
84.确定所述相似行人的参考点在所述第一图像和所述第二图像中的位置信息，作为待识别位置信息；其中，所述参考点包括所述相似行人在图像中完整人体框的最低点或最高点；
85.确定所述相似行人在所述第一图像中完整人体框的第一高度和在第二图像中完整人体框的第二高度，根据所述第一高度和所述第二高度确定待识别比例信息。
86.可选的，所述装置还包括可信相似行人确定模块，用于：
87.根据所述可信信息对所述第一图像和所述第二图像中的行人进行识别，确定可信相似行人。
88.可选的，可信相似行人确定模块，具体用于：
89.若所述第一图像和所述第二图像中存在相似行人的待识别位置信息和待识别比例信息与所述可信信息匹配成功，则确定所述相似行人为可信相似行人。
90.可选的，所述装置还包括模型确定相似行人模块，用于：
91.通过行人再识别模型确定所述第一图像和所述第二图像中行人相似度；
92.根据所述行人相似度确定相似行人。
93.可选的，所述装置还包括模型更新模块，用于：
94.基于所述可信信息对所述行人再识别模型进行更新训练。
95.可选的，模型更新模块，具体用于：
96.根据所述可信信息确定所述第一图像和所述第二图像中的可信相似行人；
97.若所述可信相似行人的行人相似度小于相似度阈值，则基于所述可信相似行人对所述行人再识别模型进行更新训练。
98.本发明实施例所提供的行人识别装置可执行本发明任意实施例所提供的行人识别方法，具备执行行人识别方法相应的功能模块和有益效果。
99.实施例四
100.图6是本发明实施例四提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图6显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
101.如图6所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括
但不限于：一个或者多个处理器或者处理单元16，系统存储装置28，连接不同系统组件(包括系统存储装置28和处理单元16)的总线18。
102.总线18表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
103.电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
104.系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质，例如随机存取存储装置(ram)30和/或高速缓存存储装置32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
105.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储装置28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
106.电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图6所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
107.处理单元16通过运行存储在系统存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的行人识别方法，包括：
108.确定通过第一图像采集设备采集的第一图像，和通过第二图像采集设备同时采集的第二图像；其中，所述第一图像采集设备和所述第二图像采集设备具有共同可视域；
109.若所述第一图像和所述第二图像中存在相似行人，则触发确定所述相似行人在所述第一图像和所述第二图像中的待识别位置信息和待识别比例信息；
110.若触发确定的待识别位置信息和待识别比例信息达到预设数量条件，则确定所述待识别位置信息和待识别比例信息为可信信息。
111.实施例五
112.本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的行人识别方法，包括：
113.确定通过第一图像采集设备采集的第一图像，和通过第二图像采集设备同时采集的第二图像；其中，所述第一图像采集设备和所述第二图像采集设备具有共同可视域；
114.若所述第一图像和所述第二图像中存在相似行人，则触发确定所述相似行人在所述第一图像和所述第二图像中的待识别位置信息和待识别比例信息；
115.若触发确定的待识别位置信息和待识别比例信息达到预设数量条件，则确定所述待识别位置信息和待识别比例信息为可信信息。
116.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
117.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
118.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
119.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如java、smalltalk、c ，还包括常规的过程式程序设计语言诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
120.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。