一种基于双向注意力网络的街景图像分割方法及系统

1.本发明涉及图像分割处理领域，特别是涉及一种基于双向注意力网络的街景图像分割方法及系统。


背景技术：

2.图像分割是根据图像的颜色、纹理、形状等特征把图像划分成若干个互不相交的区域，使同一区域内特征表现出一致或相似性，不同区域表现出明显差异的图像处理方法。其中，针对道路场景的街景图像分割技术是自动驾驶领域中的核心技术之一。
3.针对道路场景的语义分割是将采集到的道路场景图像中的每个像素都划分到对应的类别，以实现街景图像在像素级别上的分类。实际上，街景图像分割中的准确性会受到不同行驶区域的影响，首先要克服不同目标对象的相异性和相似目标对象的相似性，其次还要注意分割对象所处场景的复杂性，最后还要注意如光照、拍摄条件、拍摄设备和拍摄距离等外界因素，这些外界因素也会使得目标物体与图片差异较大，影响图像分割的准确性。这些因素都极大提升了图像分割的难度，使得对复杂的街景图像的分割精度较低，导致自动驾驶车辆无法根据街景图像特征获取到准确的路况信息，影响自动驾驶技术的实现。
4.因此，如何提升对街景图像的分割精度，从而根据分割后的街景图像特征为自动驾驶汽车提供准确的路况信息，保证自动驾驶汽车能够安全行驶，是一个目前亟待解决的问题。


技术实现要素：

5.本发明的目的是提供一种基于双向注意力网络的街景图像分割方法及系统，能够提升街景图像分割的准确性，从而为自动驾驶汽车提供准确的路况信息，进而保证自动驾驶汽车能够安全行驶，解决现有技术中因对街景图像分割精度低导致的自动驾驶汽车无法获取到准确的路况信息，行驶不安全的问题。
6.为实现上述目的，本发明提供了如下方案：
7.一方面，本发明提出了一种基于双向注意力网络的街景图像分割方法，包括：
8.采集城市街道图像数据，预处理后构建训练数据集；
9.建立双向注意力网络分割模型；所述双向注意力网络分割模型包括多尺度融合模块、具有注意力机制的语义信息提取网络和具有注意力机制的空间信息提取网络，所述多尺度融合模块用于将语义信息提取网络提取的语义信息和空间信息提取网络提取的空间信息融合；所述双向注意力网络分割模型以街景图像为输入，以街景图像对应的预测图为输出；所述预测图为使用不同颜色标注出不同街景特征的图像，且同一类街景特征采用同一种颜色标注；
10.利用所述训练数据集对所述双向注意力网络分割模型进行训练，得到训练好的双向注意力网络分割模型；
11.采集待分割街景图像，将待分割街景图像输入到训练好的双向注意力网络分割模
型中，得到与所述待分割街景图像对应的预测图；
12.将所述预测图与所述待分割街景图像叠加，生成最终的街景分割叠加图像。
13.可选的，所述采集城市街道图像数据，预处理后构建训练数据集，具体包括：
14.利用车载摄像头采集城市街道视频，并按照预设频率从所述城市街道视频数据中提取出多张不同时刻下的城市街道图像；
15.根据提取的城市街道图像，确定城市街道场景下所有待语义分割的街景特征类别；
16.根据待语义分割的街景特征类别，利用开源工具包vott对每一张城市街道图像中的街景特征进行标注。
17.可选的，所述建立双向注意力网络分割模型，具体包括：
18.采用pytorch框架搭建resnet18神经网络作为语义信息提取网络，并利用开源数据集imgenet对所述resnet18神经网络进行预训练，得到并保存所述resnet18神经网络的最优参数；
19.基于现有的alexnet网络，将所述alexnet网络最后一层fc层替换为sigmoid层，得到所述空间信息提取网络；所述sigmoid层用于输出空间信息和语义信息；
20.采用线性变换的方法，将输入注意力模块的图像特征转化为q，k，v三组向量，并计算向量q与向量k的注意力权重矩阵；采用relu函数对所述注意力权重矩阵进行归一化后，对向量v赋予权重，完成注意力加权；
21.计算空间信息和语义信息的交叉注意力，并将其归一化作为权重赋予语义信息，将加权后的语义信息上采样到与空间信息同样大小，再将语义信息和空间信息进行累加融合，得到所述多尺度融合模块。
22.可选的，在得到所述语义信息提取网络和所述空间信息提取网络后，采用dice loss损失函数训练所述语义信息提取网络，采用交叉熵损失函数训练所述空间信息提取网络。
23.可选的，所述dice loss函数定义的二分类表示为：
[0024][0025]
其中，x和y分别表示网络的输入和输出，|x∩y|表示x和y之间的交集，|x|和|y|分别表示集合x和y中像素点的个数；
[0026]
所述交叉熵损失函数定义的二分类表示为：
[0027][0028]
其中，p表示每个街景特征类别预测得到的概率，yi表示样本i的标签，正类为1，负类为0；pi表示样本i预测为正类的概率；
[0029]
则最终的损失函数表示为：
[0030]
[0031]
其中，ly(x；w)表示语义信息的损失函数，表示空间信息的损失函数，n表示空间信息的层数，w表示分割网络的预测值。
[0032]
可选的，在所述利用车载摄像头采集城市街道视频，并按照预设频率从所述城市街道视频数据中提取出多张不同时刻下的城市街道图像的步骤之后，还包括：
[0033]
采用随机旋转角旋转、水平或垂直翻转以及随机裁剪的方式对提取的每一张城市街道图像进行扩充。
[0034]
可选的，所述待语义分割的街景特征类别包括公路、人行道、停车场、铁路、人、小车、卡车、公共汽车、火车、摩托车、自行车、大篷车、拖车、建筑物、墙壁、围栏、护栏、桥、隧道、杆、交通标志、交通信号灯、植物、天空和其他。
[0035]
可选的，标注格式采用coco数据集的json格式。
[0036]
可选的，在利用所述训练数据集对所述双向注意力网络分割模型进行训练的步骤之前，还包括：
[0037]
对所述训练数据集进行翻转变换、色彩抖动、平移变换以及对比度变换的数据增强处理。
[0038]
另一方面，本发明还提出了一种基于双向注意力网络的街景图像分割系统，包括：
[0039]
训练数据集构建模块，用于采集城市街道图像数据，预处理后构建训练数据集；
[0040]
模型建立模块，用于建立双向注意力网络分割模型；所述双向注意力网络分割模型包括多尺度融合模块、具有注意力机制的语义信息提取网络和具有注意力机制的空间信息提取网络，所述多尺度融合模块用于将语义信息提取网络提取的语义信息和空间信息提取网络提取的空间信息融合；所述双向注意力网络分割模型以街景图像为输入，以街景图像对应的预测图为输出；所述预测图为使用不同颜色标注出不同街景特征的图像，且同一类街景特征采用同一种颜色标注；
[0041]
模型训练模块，用于利用所述训练数据集对所述双向注意力网络分割模型进行训练，得到训练好的双向注意力网络分割模型；
[0042]
模型应用模块，用于采集待分割街景图像，将待分割街景图像输入到训练好的双向注意力网络分割模型中，得到与所述待分割街景图像对应的预测图；
[0043]
预测图和原图叠加模块，用于将所述预测图与所述待分割街景图像叠加，生成最终的街景分割叠加图像。
[0044]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0045]
本发明提供了一种基于双向注意力网络的街景图像分割方法及系统，通过构建出基于双向注意力网络的分割模型，利用语义信息提取网络和空间信息提取网络分别针对性地提取街景图像中的语义信息和空间信息，利用注意力机制能够保证模型提取街景图像中的语义信息和空间信息的准确性，进而提高双向注意力网络分割模型的分割精度。再利用多尺度融合模块对语义信息和空间信息进行融合，最终输出预测图，且预测图中针对街景图像中每一种类别的街景特征均有一种颜色与其对应，将不同类别的街景特征标注出来，最终再将预测图与原图进行叠加融合，使得分割效果更好，能够提高街景图像分割的准确性和分割效果，从而能够为自动驾驶汽车提供准确的路况信息，使自动驾驶汽车精准地识别出复杂街景路况中的人或物，进而能够保证自动驾驶汽车的安全行驶，解决现有技术中
因对街景图像分割精度低导致的自动驾驶汽车无法获取到准确的路况信息，行驶不安全的问题。
附图说明
[0046]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本发明的主旨。
[0047]
图1为本发明实施例1提供的街景图像分割方法的流程图；
[0048]
图2为本发明实施例1提供的街景图像分割方法的原理图；
[0049]
图3为本发明实施例1提供的双向注意力网络分割模型的结构示意图；
[0050]
图4为本发明实施例1提供的注意力机制的结构示意图；
[0051]
图5为本发明实施例1提供的多尺度融合模块的结构示意图；
[0052]
图6为本发明实施例2提供的街景图像分割系统的结构框图。
[0053]
附图标号说明：
[0054]
m1-训练数据集构建模块；m2-模型建立模块；m3-模型训练模块；m4-模型应用模块；m5-预测图和原图叠加模块。
具体实施方式
[0055]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
[0057]
虽然本发明对根据本发明的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
[0058]
本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0059]
在深度学习中，图像分割可以用具有语义标签(语义分割)或单个对象划分(实例分割)的像素分类问题来表示。语义分割使用所有图像像素的一组对象类别(例如人，汽车，树木，天空等)执行像素级标记。因此，与预测整个街景图像的单个标记相比，这种方法通常比图像分类更困难。实例分割通过检测并描绘图像中的每个感兴趣的对象进一步扩展了语
义分割的范围。
[0060]
现有的图像分割方法主要包括基于阈值的分割方法，基于边缘的分割方法，基于区域的分割方法以及无监督聚类、深度学习等基于特定理论的分割方法。其中，阈值法、边缘检测法、区域生长法与聚类法虽各具优点，但在图像分割过程中需要较多人机交互来完成目标提取，抗噪、抗干扰性较差，自我学习能力弱，分割精度较差。因此，这些传统图像分割方法并不适用于无人驾驶领域，无法达到无人驾驶的精度和实时性要求。
[0061]
本发明的目的是提供一种基于双向注意力网络的街景图像分割方法及系统，能够提升街景图像分割的准确性，从而为自动驾驶汽车提供准确的路况信息，进而保证自动驾驶汽车能够安全行驶，解决现有技术中因对街景图像分割精度低导致的自动驾驶汽车无法获取到准确的路况信息，行驶不安全的问题。
[0062]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0063]
实施例1
[0064]
如图1和图2所示，本实施例提供了一种基于双向注意力网络的街景图像分割方法，具体包括以下步骤：
[0065]
步骤s1、采集城市街道图像数据，预处理后构建训练数据集。具体包括：
[0066]
步骤s1.1、利用车载摄像头采集城市街道视频，并按照预设频率从所述城市街道视频数据中提取出多张不同时刻下的城市街道图像。
[0067]
本实施例中，在所述利用车载摄像头采集城市街道视频，并按照预设频率从所述城市街道视频数据中提取出多张不同时刻下的城市街道图像的步骤之后，还可以包括步骤s1.2：
[0068]
步骤s1.2、采用随机旋转角旋转、水平或垂直翻转以及随机裁剪的方式对提取的每一张城市街道图像进行扩充。
[0069]
步骤s1.3、根据扩充后的城市街道图像，确定城市街道场景下所有待语义分割的街景特征类别。
[0070]
本实施例中，所述待语义分割的街景特征类别包括公路、人行道、停车场、铁路、人、小车、卡车、公共汽车、火车、摩托车、自行车、大篷车、拖车、建筑物、墙壁、围栏、护栏、桥、隧道、杆、交通标志、交通信号灯、植物、天空和其他等，还可以根据不同街道的实际情况自行设定街景特征类别。
[0071]
步骤s1.4、根据待语义分割的街景特征类别，利用开源工具包vott对每一张城市街道图像中的街景特征进行标注，得到所述训练数据集。
[0072]
本实施例中，所述训练数据集包括训练集、验证集以及测试集，分别用于双向注意力网络分割模型的训练，以及模型分割效果的验证和测试。标注街景特征类别的作用是制作街景图像的真实标签(ground truth)，用于网络训练和测试网络分割效果。
[0073]
本实施例在对街景特征进行标注时，标注格式采用coco数据集的json格式，还可以采用pascal voc数据集格式。
[0074]
本发明在得到训练数据集后，还可以包括步骤s1.5：
[0075]
步骤s1.5、对所述训练数据集进行翻转变换、色彩抖动、平移变换以及对比度变换的数据增强处理。通过对训练数据集进行数据清洗和数据增强处理，能够有效提高训练数
据的鲁棒性，进而提升双向注意力网络分割模型的分割精度。
[0076]
步骤s2、建立双向注意力网络分割模型。
[0077]
本实施例中，所述双向注意力网络分割模型包括多尺度融合模块、具有注意力机制的语义信息提取网络和具有注意力机制的空间信息提取网络，所述多尺度融合模块用于将语义信息提取网络提取的语义信息和空间信息提取网络提取的空间信息融合；所述双向注意力网络分割模型以街景图像为输入，以街景图像对应的预测图为输出；所述预测图为使用不同颜色标注出不同街景特征的图像，且同一类街景特征采用同一种颜色标注。
[0078]
本发明建立的双向注意力网络分割模型如图3所示，双向注意力网络分割模型的构建过程具体包括：
[0079]
步骤s2.1、构建语义信息提取网络。具体包括：
[0080]
采用pytorch框架搭建resnet18神经网络作为语义信息提取网络，并利用开源数据集imgenet对所述resnet18神经网络进行预训练，得到并保存所述resnet18神经网络的最优参数。
[0081]
步骤s2.2、构建空间信息提取网络。具体包括：
[0082]
基于现有的alexnet网络，将所述alexnet网络最后一层全连接fc层替换为sigmoid层，得到所述空间信息提取网络；所述sigmoid层用于输出空间信息和语义信息。
[0083]
由于全连接fc层生成的是街景特征类别的概率，而本发明的任务是生成街景图像分割后的概率图(mask)，因此需要移除fc层，直接删除fc层即可，并以sigmoid层作为输出层替代删除的fc层。
[0084]
步骤s2.3、构建注意力机制。由于建立注意力机制是以注意力模块为基础的，因此，构建注意力机制具体包括以下步骤：
[0085]
采用线性变换的方法，将输入注意力模块的图像特征转化为q，k，v三组向量，并计算向量q与向量k的注意力权重矩阵；采用relu函数对所述注意力权重矩阵进行归一化后，对向量v赋予权重，完成注意力加权。在注意力模块中，使用一个经过白化的成对项wk和wq表示两个像素之间的关系，使用一个一元项wv表示每个像素的显著性，如图4所示。
[0086]
步骤s2.4、构建多尺度融合模块。具体包括：
[0087]
计算空间信息和语义信息的交叉注意力，并将其归一化作为权重赋予语义信息，将加权后的语义信息上采样到与空间信息同样大小，再将语义信息和空间信息进行累加融合，得到所述多尺度融合模块。多尺度融合模块的结构图如图5所示。
[0088]
本发明首先将自注意力结构与卷积神经网络进行结合，构建出了语义信息提取网络，在保留自注意力机制获取长距离依赖关系的同时，还保留了卷积神经网络对图片的归纳偏置作用。其次，利用通道注意力机制构造出了空间信息提取网络，单独提取空间信息。最后利用多尺度融合模块将空间信息和语义信息融合，实现全局语义和细节特征的完美结合，保证双向注意力网络分割模型的高分割精度和分割效果。
[0089]
步骤s3、利用所述训练数据集对所述双向注意力网络分割模型进行训练，得到训练好的双向注意力网络分割模型。
[0090]
本发明在建立双向注意力网络分割模型后，采用多尺度融合训练策略对双向注意力网络分割模型进行训练，多尺度融合训练策略具体包括：
[0091]
步骤s3.1、采用dice loss损失函数作为主损失函数，训练所述语义信息提取网
络；同时，采用交叉熵损失函数作为副损失函数，训练所述空间信息提取网络。
[0092]
其中，dice loss函数是一种用于评估两个样本之间相似性度量的函数，取值范围为0～1，该函数值越大表示两个样本的相似度越高。所述dice loss函数定义的二分类表示为：
[0093][0094]
其中，x和y分别表示网络的输入和输出，|x∩y|表示x和y之间的交集，|x|和|y|分别表示集合x和y中像素点的个数。
[0095]
交叉熵函数被定义为对给定随机变量或事件集的两个概率分布之间的差异的度量。交叉熵函数被广泛用于分类任务，由于图像分割是对图像特征的像素级分类，因此，交叉熵函数进行二分类时效果很好。所述交叉熵损失函数定义的二分类表示为：
[0096][0097]
其中，p表示每个街景特征类别预测得到的概率，yi表示样本i的标签，正类为1，负类为0；pi表示样本i预测为正类的概率。
[0098]
将dice loss函数和交叉熵函数结合后得到的最终的损失函数表示为：
[0099][0100]
其中，ly(x；w)表示语义信息的损失函数，表示空间信息的损失函数，n表示空间信息的层数，w表示分割网络的预测值。
[0101]
步骤s3.2、采用随机梯度下降法(stochastic gradient descent，sgd)训练网络，初始学习率设置为0.0001，动能为0.9，权重衰减为0.8。
[0102]
容易理解的是，本实施例设置的初始学习率、动能值以及权重衰减值等具体数值，仅仅是为了举例而列举的一组数值，还可以设置为其他值，可根据实际情况自行设定。
[0103]
步骤s3.3、采用warmup学习率调整策略调整学习率，设定每10个轮次(epoch)对学习率进行重置。通过对学习率进行动态调节，可以更好地适应网络参数的训练过程，加速双向注意力网络分割模型的收敛速度，提高神经网络算法的计算效率。
[0104]
在确定多尺度融合训练策略后，接着利用训练数据集对双向注意力网络分割模型进行训练，具体包括：
[0105]
步骤s3.4、将训练数据集按照预设比例划分为训练集、验证集和测试集。
[0106]
本实施例中的预设比例为7：2：1，即按照7：2：1的比例将训练数据集划分为训练集、验证集和测试集，预设比例可根据实际情况自行设定。
[0107]
步骤s3.5、将批量数据(batch size)优选为32，即每次训练向模型输入32张街景图片，当32张图片在模型中完成一次训练后，视为完成一个批次的训练。当训练数据集中所有街景图片样本全部完成一次训练后，则视为完成一个epoch的训练，本实施例epoch设置为5000，这是一个优选值，还可以设置为其他数值。
[0108]
步骤s3.6、当达到最大迭代次数后，即epoch＝5000时，此时停止训练，保存此时的双向注意力网络分割模型的训练参数，得到训练好的双向注意力网络分割模型。
[0109]
本发明通过建立双向注意力网络分割模型，利用双向注意力分割网络将复杂的端对端网络结构简化为具有注意力机制的语义信息提取网络和空间信息提取网络，从而不仅使模型结构更加简单，还有效简化了双向注意力网络分割模型的训练流程，提高了双向注意力网络分割模型的实时推理速度和分割精度，以及在复杂街道场景下的适应性。
[0110]
应说明的是，除了本技术采用的双向注意力网络分割模型，还可以采用现有的基于fcn网络、deeplab v1网络、u-net网络或者segnet网络的分割模型。其中，fcn网络分割模型使用了卷积神经网络中的池化层，池化层能够使得卷积神经网络增加感受野的同时进行融合特征，但其弊端在于连续的下采样会导致图像特征细节丢失，从而极大影响分割结果。而deeplab v1网络分割模型能够将空洞卷积应用到vgg16网络中，通过将vgg16网络的全连接层转换为卷积层，并将vgg16网络中第四个和第五个池化层之后的所有卷积层分别调整为不同扩张率的空洞卷积，恢复感受野至原图像大小，从而能够提升模型分割的准确率。u-net网络分割模型的编码结构和解码结构作用不同且相互配合，能够起到完善图像特征细节、恢复分割效果的作用，但其弊端在于只能处理2d图像，在u-net网络的基础上提出的v-net网络能够处理3d场景。segnet网络分割模型采用vgg16网络，能够利用vgg16网络输出稠密的特征图，通过对稀疏图像的卷积计算实现对稠密图分割后的恢复。这些不同网络的分割模型均可替代本技术中的双向注意力网络分割模型，具有不同的图像分割效果，可根据实际需求自行选择应用。
[0111]
步骤s4、采集待分割街景图像，将待分割街景图像输入到训练好的双向注意力网络分割模型中，得到与所述待分割街景图像对应的预测图。
[0112]
本实施例中，在得到训练好的双向注意力网络分割模型后，实时采集待分割街景图像，并可以将待分割街景图像调整为预设尺寸大小，以便于直接输入到训练好的双向注意力网络分割模型中，然后输出相应的预测图，该预测图实际上是对各个街景特征的类别的预测，并将各个类别的街景特征从街景图像整体中分割标注出来，主要体现为在预测图中使用不同颜色框出不同类别的街景特征。
[0113]
步骤s5、将所述预测图与所述待分割街景图像叠加，生成最终的街景分割叠加图像。
[0114]
本实施例中，最终的街景分割叠加图像以待分割街景图像原图和预测图叠加的形式呈现，在街景图像原图的基础上，结合使用不同颜色框出的不同类别的街景特征，更加立体、准确地展示出街道实景中不同的人或物，能够在自动驾驶汽车准确识别这些人或物特征后，保证自动驾驶汽车安全、稳定地行驶，有利于无人驾驶技术的发展。
[0115]
实施例2
[0116]
如图6所示，本实施例提供了一种基于双向注意力网络的街景图像分割系统，该系统与实施例1中的街景图像分割方法对应，该系统具体包括：
[0117]
训练数据集构建模块m1，用于采集城市街道图像数据，预处理后构建训练数据集；
[0118]
模型建立模块m2，用于建立双向注意力网络分割模型；所述双向注意力网络分割模型包括多尺度融合模块、具有注意力机制的语义信息提取网络和具有注意力机制的空间信息提取网络，所述多尺度融合模块用于将语义信息提取网络提取的语义信息和空间信息
提取网络提取的空间信息融合；所述双向注意力网络分割模型以街景图像为输入，以街景图像对应的预测图为输出；所述预测图为使用不同颜色标注出不同街景特征的图像，且同一类街景特征采用同一种颜色标注；
[0119]
模型训练模块m3，用于利用所述训练数据集对所述双向注意力网络分割模型进行训练，得到训练好的双向注意力网络分割模型；
[0120]
模型应用模块m4，用于采集待分割街景图像，将待分割街景图像输入到训练好的双向注意力网络分割模型中，得到与所述待分割街景图像对应的预测图；
[0121]
预测图和原图叠加模块m5，用于将所述预测图与所述待分割街景图像叠加，生成最终的街景分割叠加图像。
[0122]
本发明提出了一种基于双向注意力网络的街景图像分割方法及系统，首先，采集城市街道图像，并预处理，构建训练数据集；其次，建立双向注意力网络分割模型，优化网络训练时的损失函数，将模型进行更新优化求解，获取最优的模型权重；最后，重新采集待分割街景图像，利用训练好的双向注意力网络分割模型对待分割街景图像进行图像分割，得到预测图后与待分割街景图像进行叠加，生成最终的街景分割叠加图像。本发明可应用于无人驾驶领域，提高街景图像分割的准确率，为后续自动驾驶汽车的视觉感知系统决策提供更精确的数据，从而提升自动驾驶汽车的视觉感知系统对复杂环境的适应性和对行人、车辆和交通标志等的分割准确性和快速性，保证自动驾驶汽车安全行驶。
[0123]
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
[0124]
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。