车道线检测模型的训练方法、图像处理方法及装置与流程

1.本技术涉及图像处理技术领域，具体涉及一种车道线检测模型的训练方法、图像处理方法及装置。


背景技术：

2.在自动驾驶领域中，对周围环境的了解对安全驾驶至关重要，其中实时的车道线位置检测是十分必要的一个环节，可提供车道偏离警告等功能。
3.基于传统图像处理的方法具有较大的局限性，随着道路场景复杂性的增加，如强光、能见度低、阴影、遮挡等问题，效果大打折扣，且计算复杂度高，运行效率低；基于深度学习的方法往往需要构建庞大的模型才能达到较高的检测精度，但是带来的额外计算开销无法满足实时的检测需求，而轻量级的小模型学习能力有限，无法很好地解决车道线检测问题中正负样本分布严重不平衡的问题，导致检测精度偏低。
4.也即，现有技术的图像处理方法，无法同时提高车道线图像检测精度和降低计算负荷。


技术实现要素：

5.本技术实施例提供一种车道线检测模型的训练方法、图像处理方法及装置，旨在解决如何同时提高图像检测精度和降低计算负荷。
6.第一方面，本技术提供一种车道线检测模型的训练方法，所述车道线检测模型的训练方法包括：
7.获取车道线样本标注图像；
8.基于第一卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
9.基于第二卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，所述第一卷积神经网络模型的卷积层数量大于所述第二卷积神经网络模型的卷积层数量；
10.基于所述第一车道线语义分割结果和所述第二车道线语义分割结果计算输出差距损失；
11.计算所述第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
12.基于所述输出差距损失和所述自注意力特征损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
13.其中，所述基于所述输出差距损失和所述自注意力特征损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型，包括：
14.基于所述第二车道线语义分割结果和所述车道线样本标注图像计算所述第二卷积神经网络模型的交叉熵损失；
15.基于所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失对所述第二
卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
16.其中，所述基于所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型，包括：
17.获取所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失的权重系数；
18.基于所述权重系数对所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失加权处理，得到综合损失；
19.基于所述综合损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
20.其中，所述计算所述第二卷积神经网络模型中多个卷积层之间的自注意力特征损失，包括：
21.获取所述第二卷积神经网络模型对所述车道线样本标注图像进行语义分割时多个卷积层的多个卷积层输出特征图；
22.基于预设映射函数分别对所述多个卷积层输出特征图的维度进行压缩处理，得到所述第二卷积神经网络模型中所述多个卷积层对应的多个注意力特征图；
23.基于所述多个注意力特征图计算所述自注意力特征损失。
24.其中，所述基于预设映射函数分别对所述多个卷积层输出特征图的维度进行压缩处理，得到所述第二卷积神经网络模型中所述多个卷积层对应的多个注意力特征图，包括：
25.以所述多个卷积层输出特征图中的预设卷积层输出特征图的尺寸为基准，对所述多个卷积层输出特征图进行调整，以使所述多个卷积层输出特征图的尺寸相同。
26.其中，所述基于所述第二车道线语义分割结果和所述车道线样本标注图像计算所述第二卷积神经网络模型的交叉熵损失，包括：
27.基于所述车道线样本标注图像中的标注数据获取所述车道线样本标注图像中各个像素点的真实概率分布；
28.基于所述第二车道线语义分割结果获取所述车道线样本标注图像中各个像素点的预测概率分布；
29.基于所述真实概率分布和所述预测概率分布计算所述第二卷积神经网络模型的交叉熵损失。
30.其中，所述获取车道线样本标注图像，包括：
31.获取车道线图像；
32.对所述车道线图像进行标注，得到所述车道线样本标注图像。
33.第二方面，本技术提供一种图像处理方法，所述图像处理方法，包括：
34.获取车道线图像；
35.通过车道线检测模型对所述车道线图像进行语义分割，得到语义分割结果，其中，所述车道线检测模型为根据第一方面任意一项所述的车道线检测模型的训练方法得到的车道线检测模型。
36.第三方面，本技术提供一种车道线检测模型的训练装置，所述训练装置包括：
37.获取单元，用于获取车道线样本标注图像；
38.第一语义分割单元，用于基于第一卷积神经网络模型对所述车道线样本标注图像
进行语义分割，得到第一车道线语义分割结果；
39.第二语义分割单元，用于基于第二卷积神经网络模型对所述车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，所述第一卷积神经网络模型的卷积层数量大于所述第二卷积神经网络模型的卷积层数量；
40.第一计算单元，用于基于所述第一车道线语义分割结果和所述第二车道线语义分割结果计算输出差距损失；
41.第二计算单元，用于计算所述第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
42.网络参数调整单元，用于基于所述输出差距损失和所述自注意力特征损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
43.其中，所述网络参数调整单元，还用于基于所述第二车道线语义分割结果和所述车道线样本标注图像计算所述第二卷积神经网络模型的交叉熵损失；
44.基于所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
45.其中，所述网络参数调整单元，还用于获取所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失的权重系数；
46.基于所述权重系数对所述输出差距损失、所述自注意力特征损失以及所述交叉熵损失加权处理，得到综合损失；
47.基于所述综合损失对所述第二卷积神经网络模型的网络参数进行调整，得到所述车道线检测模型。
48.其中，所述第二计算单元，还用于获取所述第二卷积神经网络模型对所述车道线样本标注图像进行语义分割时多个卷积层的多个卷积层输出特征图；
49.基于预设映射函数分别对所述多个卷积层输出特征图的维度进行压缩处理，得到所述第二卷积神经网络模型中所述多个卷积层对应的多个注意力特征图；
50.基于所述多个注意力特征图计算所述自注意力特征损失。
51.其中，所述第二计算单元，还用于以所述多个卷积层输出特征图中的预设卷积层输出特征图的尺寸为基准，对所述多个卷积层输出特征图进行调整，以使所述多个卷积层输出特征图的尺寸相同。
52.其中，所述网络参数调整单元，还用于基于所述车道线样本标注图像中的标注数据获取所述车道线样本标注图像中各个像素点的真实概率分布；
53.基于所述第二车道线语义分割结果获取所述车道线样本标注图像中各个像素点的预测概率分布；
54.基于所述真实概率分布和所述预测概率分布计算所述第二卷积神经网络模型的交叉熵损失。
55.其中，所述获取单元，还用于获取车道线图像；
56.对所述车道线图像进行标注，得到所述车道线样本标注图像。
57.第四方面，本技术提供一种车道线检测模型的训练装置，所述训练装置包括：
58.一个或多个处理器；
59.存储器；以及
60.一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求第一方面中任一项所述的车道线检测模型的训练方法。
61.第五方面，本技术提供一种图像处理装置，所述图像处理装置包括：
62.获取单元，用于获取车道线图像；
63.语义分割单元，用于通过车道线检测模型对所述车道线图像进行语义分割，得到语义分割结果，其中，所述车道线检测模型为根据第一方面任意一项所述的车道线检测模型的训练方法得到的车道线检测模型。
64.第六方面，本技术提供一种图像处理装置，所述图像处理装置包括：
65.一个或多个处理器；
66.存储器；以及
67.一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第二方面所述的图像处理方法。
68.第七方面，本技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行第一方面中任一项所述的车道线检测模型的训练方法中的步骤或者第二方面中任一项所述的图像处理方法中的步骤。
69.本技术中车道线检测模型的训练方法通过两个卷积神经网络模型对同一车道线样本标注图像进行语义分割，根据两个卷积神经网络模型的输出结果计算输出差距损失，输出差距损失可以让第二卷积神经网络模型模仿第一卷积神经网络模型的输出，获取第一卷积神经网络模型学到的知识，从而使最终得到的车道线检测模型具有较精确的图像检测能力，同时，通过计算自注意力特征损失可以让第二卷积神经网络模型较好地获取第一卷积神经网络模型学到的知识，避免出现模型差距过大导致无法学习的情况，因此，最终得到的第三卷积神经网络即可以具有第一卷积神经网络模型强大的学习能力，可以提高图像检测精度，又可以具有第二卷积神经网络模型较为简化的模型结构，可以降低计算负荷，从而可以同时提高图像检测精度和降低计算负荷。
附图说明
70.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
71.图1是本技术实施例提供的车道线检测模型的训练方法一个实施例流程示意图；
72.图2是本技术实施例提供的图像处理方法一个实施例流程示意图；
73.图3是本技术实施例中提供的车道线检测模型的训练装置一个实施例结构示意图；
74.图4是本技术实施例中提供的图像处理装置一个实施例结构示意图；
75.图5是本技术实施例中提供的车道线检测模型的训练装置另一个实施例结构示意图；
76.图6是本技术实施例中提供的图像处理装置另一个实施例结构示意图。
具体实施方式
77.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
78.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
79.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
80.本技术实施例提供一种车道线检测模型的训练方法、图像处理方法及装置。以下分别进行详细说明。
81.首先，本技术实施例中提供一种车道线检测模型的训练方法，该车道线检测模型的训练方法包括：
82.获取车道线样本标注图像；
83.基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
84.基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量；
85.基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失；
86.计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
87.基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
88.参阅图1，图1是本技术实施例提供的车道线检测模型的训练方法的一个实施例流程示意图。如图1所示，该车道线检测模型的训练方法包括：
89.s101、获取车道线样本标注图像。
90.本技术实施例中，获取车道线图像；对车道线图像进行标注，得到车道线样本标注图像。其中，车道线图像为通过安装在车辆上的摄像头所采集的前方路况图像，车道线图像
可以为任意尺寸的图像。可以通过人工标注或者机器标注的方式对车道线图像进行图像标注，得到车道线样本标注图像。例如，通过人工标注将车道线所在位置标记为
‘1’
，将非车道线的背景区域标记为
‘0’
，从而得到与车道线图像大小一致的二值化图像。
91.s102、基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果。
92.卷积神经网络(convolutional neural networks,cnn)是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification)，因此也被称为“平移不变人工神经网络(shift-invariant artificial neural networks,siann)”。卷积神经网络一般由输入层、卷积层、激活函数、池化层、全连接层组成。
93.本技术实施例中，语义分割的过程可以理解为在图像的每一个像素点上执行分类。第一车道线语义分割结果包括第一卷积神经网络模型预测的车道线样本标注图像中各个像素点属于车道线的概率和车道线样本标注图像中各个像素点属于非车道线的概率。当然，在其他实施例中，第一车道线语义分割结果也可以包括多个类别中每个类别对应的语义分割结果，某个类别对应的语义分割结果可以包括样本图像各个像素点属于该类别的概率，例如概率或者置信度，等等，本技术实施例对此不做限定。
94.s103、基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量。
95.本技术实施例中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量。卷积神经网络中每层卷积层(convolutional layer)由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。因此，第一卷积神经网络模型复杂度高但学习能力强，第二卷积神经网络模型学习能力弱但复杂度低。第一卷积神经网络模型和第二卷积神经网络模型为经过车道线样本标注图像训练集训练过的卷积神经网络模型。
96.本技术实施例中，第二车道线语义分割结果包括车道线样本标注图像中各个像素点属于车道线的概率和车道线样本标注图像中各个像素点属于非车道线的概率。当然，在其他实施例中，第二车道线语义分割结果也可以包括多个类别中每个类别对应的语义分割结果，某个类别对应的语义分割结果可以包括样本图像各个像素点属于该类别的概率，例如概率或者置信度，等等，本技术实施例对此不做限定。
97.s104、基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失。
98.本技术实施例中，基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失，包括：
99.(1)利用归一化指数函数对第一车道线语义分割结果进行归一化平滑处理，得到车道线样本标注图像中各个像素点的第一平滑概率。
100.在一个具体的实施例中，将车道线样本标注图像输入第一卷积神经网络模型进行计算，得到第一车道线语义分割结果o
t
，对第一车道线语义分割结果o
t
进行归一化平滑处理，得到车道线样本标注图像中各个像素点的第一平滑概率在数学，尤其是概率论和相关领域中，归一化指数函数，或称softmax函数，是逻辑函数的一种推广。它能将一个含任意实数的k维向量“压缩”到另一个k维实向量中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。第一平滑概率满足如公式(1)所示的关系，
[0101][0102]
其中，第一车道线语义分割结果o
t
的维度均为h*w*c，其中h和w分别为车道线样本标注图像的高度和宽度，t为控制平滑度的平滑系数，c为模型输出的通道数量，优选地，c的值为2，第一平滑概率表示第一卷积神经网络模型将像素点x预测为车道线和非车道线的平滑概率大小。
[0103]
(2)利用归一化指数函数对第二车道线语义分割结果进行归一化平滑处理，得到车道线样本标注图像中各个像素点的第二平滑概率。
[0104]
在一个具体的实施例中，将车道线样本标注图像输入第二卷积神经网络模型进行计算，得到第二车道线语义分割结果o
s
，对第二车道线语义分割结果o
s
进行归一化平滑处理，得到车道线样本标注图像中各个像素点的第二平滑概率第二平滑概率满足如公式(2)所示的关系，
[0105][0106]
其中，第二车道线语义分割结果o
s
的维度均为h*w*c，其中h和w分别为车道线样本标注图像的高度和宽度，t为控制平滑度的平滑系数，c为模型输出的通道数量，优选地，c的值为2，第二平滑概率表示第二卷积神经网络模型将像素点x预测为车道线和非车道线的平滑概率大小。
[0107]
(3)基于第一平滑概率和第二平滑概率计算输出差距损失。
[0108]
在一个具体的实施例中，输出差距损失l
p
满足如公式(3)所示的关系，
[0109][0110]
其中，l
p
表示输出差距损失，n表示车道线样本标注图像中像素点的数量。
[0111]
利用学习能力强的第一卷积神经网络模型更好地提取车道线图像的特征并得到更为准确的输出概率分布，计算输出差距损失l
p
来让第二卷积神经网络模型模仿第一卷积神经网络模型的输出，即对于任意一张图片，计算该图片经过两个不同的模型之后输出的差距，以此来更新第二卷积神经网络模型的模型参数，将第一卷积神经网络学到的知识转移给第二卷积神经网络模型，最终得到车道线检测模型，使得车道线检测模型既能克服第二卷积神经网络模型学习能力有限的缺点，也能在不增加额外计算量的情况下，提升检测
精度。
[0112]
s105、计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失。
[0113]
本技术实施例中，计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失，包括：
[0114]
(1)获取第二卷积神经网络模型对车道线样本标注图像进行语义分割时多个卷积层的多个卷积层输出特征图。
[0115]
在一个具体的实施例中，第二卷积神经网络模型包括多个卷积层，第二卷积神经网络模型对车道线样本标注图像进行语义分割时多个卷积层输出多个卷积层输出特征图，多个卷积层输出特征图的维度均为h
i
×
w
i
×
c
i
。例如，第二卷积神经网络模型包括4个卷积层，因此共得到4个卷积层输出特征图a1,a2,a3,a4。
[0116]
(2)通过预设映射函数分别对多个卷积层输出特征图的维度进行压缩处理，得到第二卷积神经网络模型中多个卷积层对应的多个注意力特征图。
[0117]
在一个具体的实施例中，以多个卷积层输出特征图中的预设卷积层输出特征图的尺寸为基准，对多个卷积层输出特征图进行调整，以使多个卷积层输出特征图的尺寸相同。预设卷积层输出特征图可以为多个卷积层输出特征图中的任意一个，例如第一个卷积层、最后一个卷积层或者尺寸最小的卷积层等。
[0118]
利用预设映射函数，将多个卷积层输出特征图的输出维度压缩成h
i
×
w
i
，用来表示该卷积层输出特征图中不同位置的像素点的重要程度，即注意力特征图。预设函数满足如(4)所示的关系；
[0119][0120]
其中，g(a
m
)为卷积层输出特征图a
m
对应的注意力特征图。
[0121]
在一个具体的实施例中，第二卷积神经网络模型包括4个卷积层，因此共得到4个注意力特征图g(a1),g(a2),g(a3),g(a4)。
[0122]
(3)基于多个注意力特征图构建自注意力特征损失。
[0123]
在一个具体的实施例中，自注意力特征损失l
a
满足如公式(5)所示的关系，
[0124][0125]
其中，l
a
表示自注意力特征损失，m表示第二卷积神经网络模型中卷积层的数量。
[0126]
利用自注意力特征损失l
a
引导第二卷积神经网络模型的浅层网络去学习深层网络的特征分布，将从第一卷积神经网络模型学到的知识迁移至浅层网络，解决第二卷积神经网络模型与第一卷积神经网络模型不匹配导致难以实现知识蒸馏的问题。
[0127]
s106、基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
[0128]
本技术实施例中，第二卷积神经网络模型的网络参数包括第二卷积神经网络模型中各个神经元的权重。
[0129]
基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进
行调整，得到车道线检测模型，包括：
[0130]
(1)基于第二车道线语义分割结果和车道线样本标注图像计算第二卷积神经网络模型的交叉熵损失。
[0131]
在一个具体的实施例中，基于车道线样本标注图像中的标注数据获取车道线样本标注图像中各个像素点的真实概率分布。具体的，车道线样本标注图像中各个像素点的真实概率分布包括像素点属于车道线的真实概率和像素点属于非车道线的真实概率。例如，像素点的标记数据为
‘1’
，表示像素点属于车道线的真实概率为1，像素点属于非车道线的真实概率为0。
[0132]
基于第二车道线语义分割结果获取车道线样本标注图像中各个像素点的预测概率分布。车道线样本标注图像中各个像素点的预测概率分布可以为车道线样本标注图像中各个像素点的第二平滑概率获取步骤参阅s24。车道线样本标注图像中各个像素点的预测概率分布也可以为没有经过归一化平滑处理的第二车道线语义分割结果，即车道线样本标注图像中各个像素点属于车道线的概率p
s,1
(x)和车道线样本标注图像中各个像素点属于非车道线的概率p
s,2
(x)。
[0133]
基于真实概率分布和预测概率分布计算第二卷积神经网络模型的交叉熵损失。具体的，交叉熵损失l
s
满足如公式(6)所示的关系，
[0134][0135]
其中，l
s
表示交叉熵损失，y
j
表示车道线样本标注图像中各个像素点的真实概率分布。
[0136]
(2)基于输出差距损失、自注意力特征损失以及交叉熵损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
[0137]
具体的，获取输出差距损失、自注意力特征损失以及交叉熵损失的权重系数；基于权重系数对输出差距损失、自注意力特征损失以及交叉熵损失加权处理，得到综合损失；基于综合损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。综合损失l
total
满足如公式(7)所示的关系，
[0138]
l
total
＝αl
s
βl
p
γl
a
ꢀꢀꢀꢀꢀꢀ
(7)
[0139]
其中，l
s
表示交叉熵损失，l
p
表示输出差距损失，l
a
表示自注意力特征损失，α表示交叉熵损失的权重系数，β表示输出差距损失的权重系数，γ表示自注意力特征损失的权重系数。
[0140]
本技术中车道线检测模型的训练方法通过两个卷积神经网络模型对同一车道线样本标注图像进行语义分割，根据两个卷积神经网络模型的输出结果计算输出差距损失，输出差距损失可以让第二卷积神经网络模型模仿第一卷积神经网络模型的输出，获取第一卷积神经网络模型学到的知识，从而使最终得到的车道线检测模型具有较精确的图像检测能力，同时，通过计算自注意力特征损失可以让第二卷积神经网络模型较好地获取第一卷积神经网络模型学到的知识，避免出现模型差距过大导致无法学习的情况，因此，最终得到的第三卷积神经网络即可以具有第一卷积神经网络模型强大的学习能力，可以提高图像检测精度，又可以具有第二卷积神经网络模型较为简化的模型结构，可以降低计算负荷，从而
可以同时提高图像检测精度和降低计算负荷。
[0141]
参阅图2，图2是本技术实施例提供的图像处理方法一个实施例流程示意图。如图2所示，该图像处理方法包括：
[0142]
s201、获取车道线图像。
[0143]
本技术实施例中，车道线图像为通过安装在车辆上的摄像头所采集的前方路况图像，车道线图像可以为任意尺寸的图像。
[0144]
s202、通过车道线检测模型对车道线图像进行语义分割，得到语义分割结果。
[0145]
本技术实施例中，车道线检测模型为上述任一实施例中的车道线检测模型。语义分割结果包括车道线图像各个像素点属于车道线的概率和车道线图像各个像素点属于非车道线的概率。
[0146]
为了更好实施本技术实施例中车道线检测模型的训练方法，在车道线检测模型的训练方法基础之上，本技术实施例中还提供一种车道线检测模型的训练装置，如图3所示，图3是本技术实施例中提供的车道线检测模型的训练装置一个实施例结构示意图，该车道线检测模型的训练装置包括获取单元301、第一语义分割单元302、第二语义分割单元303、第一计算单元304、第二计算单元305、网络参数调整单元306：
[0147]
获取单元301，用于获取车道线样本标注图像；
[0148]
第一语义分割单元302，用于基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
[0149]
第二语义分割单元303，用于基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量；
[0150]
第一计算单元304，用于基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失；
[0151]
第二计算单元305，用于计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
[0152]
网络参数调整单元306，用于基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
[0153]
其中，网络参数调整单元306，还用于基于第二车道线语义分割结果和车道线样本标注图像计算第二卷积神经网络模型的交叉熵损失；
[0154]
基于输出差距损失、自注意力特征损失以及交叉熵损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
[0155]
其中，网络参数调整单元306，还用于获取输出差距损失、自注意力特征损失以及交叉熵损失的权重系数；
[0156]
基于权重系数对输出差距损失、自注意力特征损失以及交叉熵损失加权处理，得到综合损失；
[0157]
基于综合损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
[0158]
其中，第二计算单元305，还用于获取第二卷积神经网络模型对车道线样本标注图像进行语义分割时多个卷积层的多个卷积层输出特征图；
[0159]
基于预设映射函数分别对多个卷积层输出特征图的维度进行压缩处理，得到第二卷积神经网络模型中多个卷积层对应的多个注意力特征图；
[0160]
基于多个注意力特征图计算自注意力特征损失。
[0161]
其中，第二计算单元305，还用于以多个卷积层输出特征图中的预设卷积层输出特征图的尺寸为基准，对多个卷积层输出特征图进行调整，以使多个卷积层输出特征图的尺寸相同。
[0162]
其中，网络参数调整单元306，还用于基于车道线样本标注图像中的标注数据获取车道线样本标注图像中各个像素点的真实概率分布；
[0163]
基于第二车道线语义分割结果获取车道线样本标注图像中各个像素点的预测概率分布；
[0164]
基于真实概率分布和预测概率分布计算第二卷积神经网络模型的交叉熵损失。
[0165]
其中，获取单元301，还用于获取车道线图像；
[0166]
对车道线图像进行标注，得到车道线样本标注图像。
[0167]
本技术实施例中还提供一种图像处理装置，如图4所示，图4是本技术实施例中提供的图像处理装置一个实施例结构示意图，该图像处理装置包括获取单401元、语义分割单元402：
[0168]
获取单元401，用于获取车道线图像；
[0169]
语义分割单元402，用于通过车道线检测模型对所述车道线图像进行语义分割，得到语义分割结果，其中，所述车道线检测模型为根据上述任一实施例中的车道线检测模型的训练方法得到的车道线检测模型。
[0170]
本技术实施例还提供一种车道线检测模型的训练装置。如图5所示，图5是本技术实施例中提供的车道线检测模型的训练装置另一个实施例结构示意图，具体来讲：
[0171]
该车道线检测模型的训练装置可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图5中示出的车道线检测模型的训练装置结构并不构成对车道线检测模型的训练装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0172]
处理器501是该车道线检测模型的训练装置的控制中心，利用各种接口和线路连接整个车道线检测模型的训练装置的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行车道线检测模型的训练装置的各种功能和处理数据，从而对车道线检测模型的训练装置进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
[0173]
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据车道线检测模型的训练装置的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易
失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
[0174]
车道线检测模型的训练装置还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0175]
该车道线检测模型的训练装置还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0176]
尽管未示出，车道线检测模型的训练装置还可以包括显示单元等，在此不再赘述。具体在本实施例中，车道线检测模型的训练装置中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：
[0177]
获取车道线样本标注图像；
[0178]
基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
[0179]
基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量；
[0180]
基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失；
[0181]
计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
[0182]
基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型。
[0183]
本技术实施例还提供一种图像处理装置。如图6所示，图6是本技术实施例中提供的图像处理装置另一个实施例结构示意图，具体来讲：
[0184]
该图像处理装置可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图6中示出的图像处理装置结构并不构成对图像处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0185]
处理器601是该图像处理装置的控制中心，利用各种接口和线路连接整个图像处理装置的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行图像处理装置的各种功能和处理数据，从而对图像处理装置进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
[0186]
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比
如声音播放功能、图像播放功能等)等；存储数据区可存储根据图像处理装置的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
[0187]
图像处理装置还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0188]
该图像处理装置还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0189]
尽管未示出，图像处理装置还可以包括显示单元等，在此不再赘述。具体在本实施例中，图像处理装置中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
[0190]
获取车道线图像；
[0191]
通过车道线检测模型对车道线图像进行语义分割，得到语义分割结果。
[0192]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读计算机可读存储介质中，并由处理器进行加载和执行。
[0193]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读计算机可读存储介质中，并由处理器进行加载和执行。
[0194]
为此，本技术实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本技术实施例所提供的任一种车道线检测模型的训练方法或者图像处理方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
[0195]
获取车道线样本标注图像；
[0196]
基于第一卷积神经网络模型对车道线样本标注图像进行语义分割，得到第一车道线语义分割结果；
[0197]
基于第二卷积神经网络模型对车道线样本标注图像进行语义分割，得到第二车道线语义分割结果，其中，第一卷积神经网络模型的卷积层数量大于第二卷积神经网络模型的卷积层数量；
[0198]
基于第一车道线语义分割结果和第二车道线语义分割结果计算输出差距损失；
[0199]
计算第二卷积神经网络模型中多个卷积层之间的自注意力特征损失；
[0200]
基于输出差距损失和自注意力特征损失对第二卷积神经网络模型的网络参数进行调整，得到车道线检测模型；
[0201]
或者，获取车道线图像；
[0202]
通过车道线检测模型对车道线图像进行语义分割，得到语义分割结果。
[0203]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
[0204]
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
[0205]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0206]
以上对本技术实施例所提供的一种车道线检测模型的训练方法、图像处理方法及装置进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。