植物叶片疾病检测模型训练方法和植物叶片疾病检测方法

1.本技术涉及图像处理领域技术领域，特别是涉及一种植物叶片疾病检测模型训练方法和植物叶片疾病检测方法。


背景技术：

2.农作物的疾病严重影响其生长与结果，导致其产量以及质量下降，造成极大的经济损失。根据统计，全世界范围内的农作物产量下降有20%-40%是由农作物疾病引起的。很多植物疾病可以在早期通过观察叶片进行诊断，从而在疾病早期进行有效的防治，这也是植物疾病检测中最有效的方法之一。
3.当前，叶片疾病检测通常采用视觉的方式，通过深度学习模型对植物叶片图像进行分类。现有叶片疾病检测技术可分为3类：传统深度学习方法、小样本学习方法以及自监督学习方法。传统深度学习方法采用监督学习的方式训练叶片疾病检测模型，需要大量具有标注的叶片疾病标准数据集进行训练；然而，训练所用的数据采集以及标注是非常耗时耗力的。小样本学习方法是通过在源域图像上以监督学习的方式对模型进行训练，让模型学会分辨图像的异同，然后在少量具有标签的支撑集的帮助下应用到未见过的类别上的疾病检测；然而，小样本学习的方法仍然无法摆脱大量有标签数据。自监督学习则是近年来兴起的技术，自监督学习主要是通过大量无标签的数据对模型进行预训练，而后采用少量有标签数据进行微调。
4.就叶片疾病检测而言，获取大量无标签的叶片图像是比较简单的，但是由于植物疾病专业知识缺乏等原因，对叶片图像进行标注则是非常困难的事情。然而，由于无标签叶片图像采集过程比较随意，导致预训练阶段使用的叶片图像拍摄角度与微调阶段的存在差异，并且无标签图像中可能混入与植物叶片无关的图像，进而导致预训练的数据集与微调阶段的数据集存在特征分布偏移，最终导致模型应用效果欠佳。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高植物叶片疾病监测的准确性的植物叶片疾病检测模型训练方法和植物叶片疾病检测方法。
6.一种植物叶片疾病检测模型训练方法，所述方法包括：获取关于植物叶片的源域数据集与目标域数据集；将源域数据集采用对比学习方法进行训练，得到编码器的模型参数和每张图像的源域特征表示；将目标域数据集输入确定了模型参数的编码器，再输入域自适应层，最后输入分类器，得到分类结果；根据分类结果调整域自适应层的参数和分类器的参数；在达到预定训练条件时，保存最终的域自适应层的参数和分类器的参数；根据最终的编码器的模型参数、域自适应层的参数和分类器的参数确定最终的植
物叶片疾病检测模型。
7.在其中一个实施例中，所述将源域数据集采用对比学习方法进行训练，得到编码器的模型参数和每张图像的源域特征表示，包括：按照孪生网络框架，构建编码器的模型与预测器的模型；对源域数据集中的图像，先进行数据增强，获得第一增强图和第二增强图；将第一增强图和第二增强图分别输入编码器得到第一编码特征向量、第二编码特征向量，公式如下：，公式如下：其中，f（
▪
）表示编码器的模型函数；将、分别输入预测器得到第一预测向量、第二预测向量，公式如下：，公式如下：其中，h（
▪
）表示预测器的模型函数；确定损失函数的计算公式如下：）表示预测器的模型函数；确定损失函数的计算公式如下：其中，l为损失函数，d为余弦相似度，stopgrad（
▪
）为去除梯度操作函数，||
▪
||2为l2范式；根据损失函数的值，采用梯度下降与反向传播算法更新编码器的模型参数与预测器的模型参数；重复根据源域数据集中的图像进行数据增强、输入编码器、预测器、计算损失函数和模型参数的过程，直到达到预设的训练次数；遍历源域数据集中每一张图像，重复数据增强、输入编码器、预测器、计算损失函数和模型参数的过程，直到达到预设的训练次数，前向传播得到每张图像的源域特征表示，保存编码器最终的模型参数。
8.在其中一个实施例中，所述将目标域数据集输入确定了模型参数的编码器，再输入域自适应层，最后输入分类器进行分类，得到分类结果，包括：加载编码器的模型参数、源域数据集的源域特征表示、自适应层和分类器；将目标域数据集中每张图像及其对应的标签，输入编码器，得到第一特征z
t
；将特征z
t
输入自适应层进行处理，得到第二特征z
´
t
；将第二特征z
´
t
输入分类器，得到分类结果。
9.在其中一个实施例中，所述根据分类结果调整域自适应层的参数和分类器的参
数，包括：根据分类结果计算多任务模型的模型总损失函数，公式如下：其中，l
total
为模型总损失函数，l
cls
为模型分类损失，模型分类损失表示分类标签与分类结果之间的差异，l
mmd
为域分布对齐损失，域分布对齐损失为源域数据集的源域特征表示与对齐后的目标域数据的特征表示之间的分布距离，α为域分布对齐损失的系数；根据模型总损失函数的值，利用梯度下降与反向传播算法更新域自适应层的参数和分类器的参数。
10.在其中一个实施例中，在达到预定训练条件时，保存最终的域自适应层的参数和分类器的参数，包括：在模型的训练此时达到训练次数或者模型总损失函数的值小于预设值时，保存最终的域自适应层的参数和分类器的参数。
11.在其中一个实施例中，所述标签为植物类型标签和/或是否存在疾病标签。
12.一种植物叶片疾病检测方法，包括：获取待检测的植物叶片图像；将所述待检测的植物叶片图像输入上述植物叶片疾病检测模型，得到植物类型和/或是否存在疾病。
13.一种植物叶片疾病检测模型训练装置，所述装置包括：数据集获取模块，用于获取关于植物叶片的源域数据集与目标域数据集；训练模块，用于将源域数据集采用对比学习方法进行训练，得到编码器的模型参数和每张图像的源域特征表示；分类模块，用于将目标域数据集输入确定了模型参数的编码器，再输入域自适应层，最后输入分类器，得到分类结果；参数调整模块，用于根据分类结果调整域自适应层的参数和分类器的参数；参数确定模块，用于在达到预定训练条件时，保存最终的域自适应层的参数和分类器的参数；模型确定模块，用于根据最终的编码器的模型参数、域自适应层的参数和分类器的参数确定最终的植物叶片疾病检测模型。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取关于植物叶片的源域数据集与目标域数据集；将源域数据集采用对比学习方法进行训练，得到编码器的模型参数和每张图像的源域特征表示；将目标域数据集输入确定了模型参数的编码器，再输入域自适应层，最后输入分类器，得到分类结果；根据分类结果调整域自适应层的参数和分类器的参数；在达到预定训练条件时，保存最终的域自适应层的参数和分类器的参数；根据最终的编码器的模型参数、域自适应层的参数和分类器的参数确定最终的植物叶片疾病检测模型。
15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取关于植物叶片的源域数据集与目标域数据集；将源域数据集采用对比学习方法进行训练，得到编码器的模型参数和每张图像的源域特征表示；将目标域数据集输入确定了模型参数的编码器，再输入域自适应层，最后输入分类器，得到分类结果；根据分类结果调整域自适应层的参数和分类器的参数；在达到预定训练条件时，保存最终的域自适应层的参数和分类器的参数；根据最终的编码器的模型参数、域自适应层的参数和分类器的参数确定最终的植物叶片疾病检测模型。
16.上述植物叶片疾病检测模型训练方法、植物叶片疾病检测方法、植物叶片疾病检测模型训练装置、计算机设备和存储介质，通过对比学习的方式进行编码器的自监督预训练，并且通过少量有标签的图像进行微调，加入域自适应层对齐源域数据集与目标域数据集的特征分布，本技术这种处理方式，在少量有标签数据的情况下实现叶片疾病检测模型的训练，增强了模型的鲁棒性。
附图说明
17.图1为一个实施例中植物叶片疾病检测模型训练方法的应用环境图；图2为一个实施例中植物叶片疾病检测模型训练方法的流程示意图；图3为一个实施例中植物叶片疾病检测模型结构示意图；图4为一个实施例中植物叶片疾病检测方法的流程示意图；图5为一个实施例中植物叶片疾病检测模型训练装置的结构框图；图6为一个实施例中计算机设备的内部结构图。
具体实施方式
18.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
19.本技术提供的植物叶片疾病检测模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104从终端102获取关于植物叶片的源域数据集与目标域数据集；将源域数据集采用对比学习方法进行训练，得到编码器的模型参数和每张图像的源域特征表示；将目标域数据集输入确定了模型参数的编码器，再输入域自适应层，最后输入分类器，得到分类结果；根据分类结果调整域自适应层的参数和分类器的参数；在达到预定训练条件时，保存最终的域自适应层的参数和分类器的参数；根据最终的编码器的模型参数、域自适应层的参数和分类器的参数确定最终的植物叶片疾病检测模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
20.在一个实施例中，如图2所示，提供了一种植物叶片疾病检测模型训练方法，包括以下步骤：s110，获取关于植物叶片的源域数据集与目标域数据集。
21.其中，源域数据集图像、目标域数据集图像通过安装在检测机器人的摄像头获取。通过摄像头获取的待检测的植物叶片图像发送至机器人内置服务器或者后台服务器进行处理。
22.其中，源域数据集为现实场景采集的无标签植物叶片图像数据，拍摄角度、光照、背景等无限制。另外，源域数据集中可能包含无植物叶片或者与植物叶片疾病检测任务无关的图像数据。目标域数据集为背景单一、正面拍摄且具有分类标签的图像数据。
23.其中，源域与目标域数据集可能存在分布偏移，分布偏移包括：源域数据集与目标域数据集中植物叶片的拍摄角度、光照、背景不同；源域数据集中包含无叶片或者与植物叶片疾病检测任务无关的图像数据。
24.s120，将源域数据集采用对比学习方法进行训练，得到编码器的模型参数和每张图像的源域特征表示。
25.其中，对比学习方法为simsiam，其思路是采用孪生网络框架，两个分支共享相同的编码器，对比学习的目的是最小化同一张图像的2张增强图特征之间相似度，以此来指导编码器模型的参数更新。编码器的模型包括backbone（resnet 50，残差网络）与映射mlp（3层全连接层）。
26.s130，将目标域数据集输入确定了模型参数的编码器，再输入域自适应层，最后输入分类器，得到分类结果。
27.其中，域自适应层用于对齐源域与目标域之间的特征分布，为分类器提供良好的特征表示，分类器根据特征表示对待检测植物叶片图像进行分类。
28.s140，根据分类结果调整域自适应层的参数和分类器的参数。
29.s150，在达到预定训练条件时，保存最终的域自适应层的参数和分类器的参数。
30.其中，步骤s130、步骤s140和步骤s150的目的是训练域自适应层与分类器。
31.s160，根据最终的编码器的模型参数、域自适应层的参数和分类器的参数确定最终的植物叶片疾病检测模型。
32.上述植物叶片疾病检测模型训练方法中，通过对比学习的方式进行编码器的自监督预训练，并且通过少量有标签的图像进行微调，加入域自适应层对齐源域数据集与目标域数据集的特征分布，本技术这种处理方式，在少量有标签数据的情况下实现叶片疾病检测模型的训练，增强了模型的鲁棒性。
33.在其中一个实施例中，如图3所示，所述将源域数据集采用对比学习方法进行训练，得到编码器的模型参数和每张图像的源域特征表示，包括：按照孪生网络框架，构建编码器的模型与预测器的模型；对源域数据集中的图像，先进行数据增强，获得第一增强图和第二增强图；
将第一增强图和第二增强图分别输入编码器得到第一编码特征向量、第二编码特征向量，公式如下：，公式如下：其中，f（
▪
）表示编码器的模型函数；将、分别输入预测器得到第一预测向量、第二预测向量，公式如下：下：其中，h（
▪
）表示预测器的模型函数；确定损失函数的计算公式如下：确定损失函数的计算公式如下：其中，l为损失函数，d为余弦相似度，stopgrad（
▪
）为去除梯度操作函数，||
▪
||2为l2范式；根据损失函数的值，采用梯度下降与反向传播算法更新编码器的模型参数与预测器的模型参数；重复根据源域数据集中的图像进行数据增强、输入编码器、预测器、计算损失函数和模型参数的过程，直到达到预设的训练次数；遍历源域数据集中每一张图像，重复数据增强、输入编码器、预测器、计算损失函数和模型参数的过程，直到达到预设的训练次数，前向传播得到每张图像的源域特征表示，保存编码器最终的模型参数。
34.其中，每遍历一张图像就得到一个源域特征表示（其实就是一个低维度特征向量）。如果有n张图像，且得到的源域特征表示是x维，则遍历完所有图像后得到的源域特征表达拼接在一起的尺寸就是n
×
x。为源域数据集中的图像（不特指某一张图像）。
35.其中，编码器f的模型包括backbone（resnet 50，残差网络）与映射mlp（3层全连接层），预测器h的模型为2层全连接层。其中，源域数据集的图像输入维度为256
×
256
×
3，编码器的模型的输出维度为2048，预测器的模型的输入、输出维度均为2048。
36.其中，机器人内置服务器或者后台服务器中部署了编码器的模型与预测器的模
型，通过前向传播得到特征并计算特征之间的相似度，然后以最小化特征之间的相似度为目的，通过反向传播与梯度下降算法更新模型参数，直到达到预设训练次数。
37.在其中一个实施例中，如图3所示，所述将目标域数据集输入确定了模型参数的编码器，再输入域自适应层，最后输入分类器进行分类，得到分类结果，包括：加载编码器的模型参数、源域数据集的源域特征表示、自适应层和分类器；将目标域数据集中每张图像及其对应的标签，输入编码器，得到第一特征z
t
；将特征z
t
输入自适应层进行处理，得到第二特征z
´
t
；将第二特征z
´
t
输入分类器，得到分类结果。
38.在其中一个实施例中，所述根据分类结果调整域自适应层的参数和分类器的参数，包括：根据分类结果计算多任务模型的模型总损失函数，公式如下：其中，l
total
为模型总损失函数，l
cls
为模型分类损失，模型分类损失表示分类标签与分类结果之间的差异，l
mmd
为域分布对齐损失，域分布对齐损失为源域数据集的源域特征表示与对齐后的目标域数据的特征表示之间的分布距离，α为域分布对齐损失的系数；根据模型总损失函数的值，利用梯度下降与反向传播算法更新域自适应层的参数和分类器的参数。
39.其中，α为超参数，取值范围为(0,1)。其中，域自适应层为单层全连接层，输入、输出维度均为2048，分类器为单层全连接层，输入维度为2048，输出维度为38。分类器输出维度即代表分类器所能分类的类别数量。其中，域分布对齐损失为最大均值差异（mmd，maximum mean discrepancy），mmd主要通过将两个分布映射到另一个空间计算分布之间的距离，计算公式如下：式中，l
mmd
（z,z
´
t
）表示源域特征表示z与第二特征z
´
t
之间的最大均值差异（即源域数据分布与目标域数据分布之间的距离），表示源域特征表示的样本数量，表示第二特征z
´
t
的样本数量，表示将特征从原始空间映射到另一个空间。
40.其中，机器人内置服务器或者后台服务器中部署了域自适应层与分类器的模型，通过前向传播得到特征并计算根据特征进行分类，然后以最小化总损失为目的，通过反向传播与梯度下降算法更新域自适应层与分类器参数，直到达到预设训练次数或者小于预设总损失。
41.本实施例中，由于对比学习方法进行训练阶段的无标签数据（源域数据集）可能比较杂乱，包括拍摄角度混乱、光照、背景混乱，甚至有一些图像根本就跟叶片无关，这样的数
据训练与我们在微调阶段的有标签数据（目标域数据集）不太一样，有标签数据就是很规整的实验室数据，正对着叶片拍摄，背景单一。这样导致的结果就是：预训练出来的编码器在微调阶段提取有标签数据的特征时效果不佳，简单来说是由于有标签数据与无标签数据特征分布不太一样，所以在无标签数据中训练的编码器在有标签数据中不太受用，进而导致分类器训练时找不到好的分类边界，本技术通过域自适应层对齐植物叶片图像的有、无标签数据特征分布，从而利用有标签数据特征进行分类器训练时可以找到较好的分类边界。
42.在其中一个实施例中，在达到预定训练条件时，保存最终的域自适应层的参数和分类器的参数，包括：在模型的训练此时达到训练次数或者模型总损失函数的值小于预设值时，保存最终的域自适应层的参数和分类器的参数。
43.在其中一个实施例中，所述标签为植物类型标签和/或是否存在疾病标签。
44.在一个实施例中，如图4所示，提供了一种植物叶片疾病检测方法，包括：s210，获取待检测的植物叶片图像。
45.其中，待检测的植物叶片图像为拍摄的葡萄图像，通过安装在采摘机器人的摄像头获取。通过摄像头获取的待检测的葡萄图像发送至机器人内置服务器或者后台服务器进行处理。
46.s220，将所述待检测的植物叶片图像输入上述植物叶片疾病检测模型，得到植物类型和/或是否存在疾病。
47.具体的，植物叶片疾病检测模型的处理过程为：将待检测的植物叶片图像输入植物叶片疾病检测模型的编码器中，通过编码器提取植物叶片图像的特征表示；将植物叶片图像的特征表示通过域自适应层进行特征分布对齐，使植物叶片图像的特征分布与预训练数据集的分布对齐；将对齐后的植物叶片图像特征通过分类器进行分类，获得植物类型和/或是否存在疾病。
48.其中，训练数据集（源域数据集、目标域数据集）通过相机或者网络上搜集植物叶片图像，图像的分辨率不限，而后均转换为256
×
256的分辨率，而后利用labelimg标注目标域数据集中每张图像的类别。共采集10000张源域数据集图像，500张目标域数据集图像，其中500张目标域数据集图像全部进行标注并且均为背景单一的正面拍摄。训练时，搭建好初始植物叶片疾病检测模型以及conda环境，通过训练数据集进行预训练以及微调，训练过程中利用nvidia titan trx (24 gb memory)加速训练；设置预训练的batch size为256，初始的学习率为0.01，epoch为300；设置微调的batch size为256，初始的学习率为0.01，epoch为100。
49.应该理解的是，虽然图2、图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
50.在一个实施例中，如图5所示，提供了一种植物叶片疾病检测模型训练装置，包括：数据集获取模块310，用于获取关于植物叶片的源域数据集与目标域数据集。
51.训练模块320，用于将源域数据集采用对比学习方法进行训练，得到编码器的模型参数和每张图像的源域特征表示。
52.分类模块330，用于将目标域数据集输入确定了模型参数的编码器，再输入域自适应层，最后输入分类器，得到分类结果。
53.参数调整模块340，用于根据分类结果调整域自适应层的参数和分类器的参数。
54.参数确定模块350，用于在达到预定训练条件时，保存最终的域自适应层的参数和分类器的参数。
55.模型确定模块360，用于根据最终的编码器的模型参数、域自适应层的参数和分类器的参数确定最终的植物叶片疾病检测模型。
56.在其中一个实施例中，所述训练模块320包括：模型构建单元，用于按照孪生网络框架，构建编码器的模型与预测器的模型；数据增强单元，用于对源域数据集中的图像，先进行数据增强，获得第一增强图和第二增强图；编码单元，用于将第一增强图和第二增强图分别输入编码器得到第一编码特征向量、第二编码特征向量，公式如下：，公式如下：其中，f（
▪
）表示编码器的模型函数；预测单元，用于将、分别输入预测器得到第一预测向量、第二预测向量，公式如下：，公式如下：其中，h（
▪
）表示预测器的模型函数；损失函数计算单元，用于确定损失函数的计算公式如下：公式如下：其中，l为损失函数，d为余弦相似度，stopgrad（
▪
）为去除梯度操作函数，||
▪
||2为l2范式；模型参数更新单元，用于根据损失函数的值，采用梯度下降与反向传播算法更新编码器的模型参数与预测器的模型参数；第一循环单元，用于重复根据源域数据集中的图像进行数据增强、输入编码器、预测器、计算损失函数和模型参数的过程，直到达到预设
的训练次数；第二循环单元，用于遍历源域数据集中每一张图像，重复数据增强、输入编码器、预测器、计算损失函数和模型参数的过程，直到达到预设的训练次数，前向传播得到每张图像的源域特征表示，保存编码器最终的模型参数。
57.在其中一个实施例中，所述分类模块330包括：加载单元，用于加载编码器的模型参数、源域数据集的源域特征表示、自适应层和分类器；第一特征计算单元，用于将目标域数据集中每张图像及其对应的标签，输入编码器，得到第一特征z
t
；第二特征计算单元，用于将特征z
t
输入自适应层进行处理，得到第二特征z
´
t
；分类单元，用于将第二特征z
´
t
输入分类器，得到分类结果。
58.在其中一个实施例中，所述参数调整模块340包括：损失函数计算单元，用于根据分类结果计算多任务模型的模型总损失函数，公式如下：其中，l
total
为模型总损失函数，l
cls
为模型分类损失，模型分类损失表示分类标签与分类结果之间的差异，l
mmd
为域分布对齐损失，域分布对齐损失为源域数据集的源域特征表示与对齐后的目标域数据的特征表示之间的分布距离，α为域分布对齐损失的系数；参数计算单元，用于根据模型总损失函数的值，利用梯度下降与反向传播算法更新域自适应层的参数和分类器的参数。
59.在其中一个实施例中，所述参数确定模块350，还用于在模型的训练此时达到训练次数或者模型总损失函数的值小于预设值时，保存最终的域自适应层的参数和分类器的参数。
60.在其中一个实施例中，所述标签为植物类型标签和/或是否存在疾病标签。
61.关于植物叶片疾病检测模型训练装置的具体限定可以参见上文中对于植物叶片疾病检测模型训练方法的限定，在此不再赘述。上述植物叶片疾病检测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
62.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储源域数据集与目标域数据集。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种植物叶片疾病检测模型训练方法。
63.本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结
构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
64.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
65.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
66.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。
67.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
68.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。