语义分割方法、装置、电子设备及存储介质与流程

本发明实施例涉及计算机，尤其涉及一种语义分割方法、装置、电子设备及存储介质。

背景技术：

1、随着车辆自动驾驶技术的快速发展，如何对驾驶过程中复杂的道路场景进行理解成为自动驾驶的关键问题，因此，需分析感知和识别车辆周围的道路信息。

2、目前，通常采用深度学习算法卷积神经网络对道路信息进行逐像素语义分割，来理解图像中不同物体的位置和形状，将其分割成不同的语义区域，从该复杂环境中提取出有效的特征信息，从而实现对道路和周围环境的精确识别和理解。

3、然而，由于道路信息包括道路、车辆、行人、非机动车等多种目标元素，在深度学习算法训练过程中，类别占比多的元素会影响类别占比少的目标特征提取，这样模型学习效果会偏向于类别占比多的目标，且占比少或者粒度小的目标特征可能会逐渐减弱到消失，导致分割不连续、不准确的问题出现，影响语义分割效果，无法满足车辆高精度自动驾驶的需求。

技术实现思路

1、本发明的目的之一在于提供一种语义分割方法，以解决当前深度学习模型对目标识别分割不准确、不连续，影响语义分割效果的问题，实现自动化高精度的语义分割；目的之二在于提供一种语义分割装置；目的之三在于提供一种电子设备；目的之四在于提供一种存储介质。

2、为了实现上述目的，本发明采用的技术方案如下：

3、本发明实施例第一方面提供了一种语义分割方法，所述方法包括：

4、获取预先采集的图像数据，确定所述图像数据对应目标类型标签；

5、采用当前语义分割模型对所述图像数据进行特征提取，得到初始特征图；其中，所述当前语义分割模型包括密集连接块网络和注意力机制，每个所述密集块网络与所述注意力机制一一连接；

6、将所述初始特征图与多层语义池化金字塔进行通道拼接，生成预测特征图，并采用加权交叉熵函数确定所述预测特征图与所述目标类型标签之间的损失值；

7、采用深层监督对所述当前语义分割模型进行迭代训练，得到目标语义分割模型，并通过所述目标语义分割模型对待测驾驶图像进行语义分割。

8、可选地，所述获取预先采集的图像数据，确定所述图像数据对应目标类型标签，包括：

9、预先采集车辆行驶道路的图像数据，对所述图像数据进行标注，确定所述图像数据对应目标类型标签；

10、采用预设尺寸对所述图像数据以及所述图像数据对应目标类型标签进行裁剪；

11、将裁剪后的图像数据和目标类型标签按照比例随机划分为训练集以及测试集。

12、可选地，所述采用当前语义分割模型对所述图像数据进行特征提取，得到初始特征图；其中，所述当前语义分割模型包括密集连接块网络和注意力机制，每个所述密集块网络与所述注意力机制一一连接，包括：

13、将训练集中的图像数据输入至当前语义分割模型，通过所述当前语义分割模型中的密集块网络对所述图像数据进行特征提取，生成密集块网络特征图；

14、通过所述当前语义分割模型中的注意力机制对所述密集块网络特征图进行池化，提取所述密集块网络特征图的通道权重；

15、根据所述通道权重对所述特征图进行特征增强处理，输出初始特征图。

16、可选地，所述将所述初始特征图与多层语义池化金字塔进行通道拼接，生成预测特征图，并采用加权交叉熵函数确定所述预测特征图与所述目标类型标签之间的损失值，包括：

17、将所述初始特征图与多层语义池化金字塔进行通道拼接，采用所述多层语义池化金字塔确定所述初始特征图对应全局语义信息；

18、将所述全局语义信息和所述初始特征图进行拼接，得到预测特征图；

19、根据预先设定的所述图像数据中目标类型对应权重以及加权交叉熵函数，计算所述预测特征图与所述目标类型标签之间的损失值。

20、可选地，所述采用深层监督对所述当前语义分割模型进行迭代训练，得到目标语义分割模型，并通过所述目标语义分割模型对待测驾驶图像进行语义分割，包括：

21、采用深层监督监测所述当前语义分割模型输出的预测特征图与目标类型标签之间的损失值；

22、若所述损失值大于或等于预设阈值，则采用训练集中的图像数据对所述当前语义分割模型进行迭代训练；

23、监测到所述损失值小于所述预设阈值，则停止训练，得到目标语义分割模型；

24、通过所述目标语义分割模型，对测试集中的待测驾驶图像进行语义分割，得到所述待测驾驶图像对应全图预测结果。

25、本发明实施例第二方面提供了一种语义分割装置，所述装置包括：

26、获取数据模块，用于获取预先采集的图像数据，确定所述图像数据对应目标类型标签；

27、特征提取模块，用于采用当前语义分割模型对所述图像数据进行特征提取，得到初始特征图；其中，所述当前语义分割模型包括密集连接块网络和注意力机制，每个所述密集块网络与所述注意力机制一一连接；

28、特征处理模块，用于将所述初始特征图与多层语义池化金字塔进行通道拼接，生成预测特征图，并采用加权交叉熵函数确定所述预测特征图与所述目标类型标签之间的损失值；

29、语义分割模块，用于采用深层监督对所述当前语义分割模型进行迭代训练，得到目标语义分割模型，并通过所述目标语义分割模型对待测驾驶图像进行语义分割。

30、可选地，所述获取数据模块包括：

31、采集子模块，用于预先采集车辆行驶道路的图像数据，对所述图像数据进行标注，确定所述图像数据对应目标类型标签；

32、第一处理子模块，用于采用预设尺寸对所述图像数据以及所述图像数据对应目标类型标签进行裁剪；

33、第二处理子模块，用于将裁剪后的图像数据和目标类型标签按照比例随机划分为训练集、验证集以及测试集。

34、可选地，所述特征提取模块包括：

35、第一提取子模块，用于将训练集中的图像数据输入至当前语义分割模型，通过所述当前语义分割模型中的密集块网络对所述图像数据进行特征提取，生成密集块网络特征图；

36、第二提取子模块，用于通过所述当前语义分割模型中的注意力机制对所述密集块网络特征图进行池化，提取所述密集块网络特征图的通道权重；

37、第三处理子模块，用于根据所述通道权重对所述特征图进行特征增强处理，输出初始特征图。

38、可选地，所述特征处理模块包括：

39、第一确定子模块，用于将所述初始特征图与多层语义池化金字塔进行通道拼接，采用所述多层语义池化金字塔确定所述初始特征图对应全局语义信息；

40、拼接子模块，用于将所述全局语义信息和所述初始特征图进行拼接，得到预测特征图；

41、第二确定子模块，用于根据预先设定的所述图像数据中目标类型对应权重以及加权交叉熵函数，计算所述预测特征图与所述目标类型标签之间的损失值。

42、可选地，所述语义分割模块包括：

43、第一监测子模块，用于采用深层监督监测所述当前语义分割模型输出的预测特征图与目标类型标签之间的损失值；

44、训练子模块，用于若所述损失值大于或等于预设阈值，则采用训练集中的图像数据对所述当前语义分割模型进行迭代训练；

45、第二监测子模块，用于监测到所述损失值小于所述预设阈值，则停止训练，得到目标语义分割模型；

46、分割子模块，用于通过所述目标语义分割模型，对测试集中的待测驾驶图像进行语义分割，得到所述待测驾驶图像对应全图预测结果。

47、本发明实施例第三方面提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本发明实施例第一方面所述的语义分割方法的步骤。

48、本发明实施例第四方面提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例第一方面所述的语义分割方法的步骤。

49、本发明实施例提供的语义分割方法，通过获取预先采集的图像数据，确定图像数据对应目标类型标签，采用当前语义分割模型对图像数据进行特征提取，得到初始特征图，其中，当前语义分割模型包括密集连接块网络和注意力机制，每个密集块网络与注意力机制一一连接，将初始特征图与多层语义池化金字塔进行通道拼接，生成预测特征图，并采用加权交叉熵函数确定预测特征图与目标类型标签之间的损失值，采用深层监督对当前语义分割模型进行迭代训练，得到目标语义分割模型，并通过目标语义分割模型对待测驾驶图像进行语义分割。本发明实施例在密集连接块网络后加入注意力机制，提取到特征增强的特征图，经过多层语义池化金字塔完成多尺度语义信息融合，降低像素分类错误的可能，区分易混淆目标类别，并采用加权交叉熵损失以及深层监督加强网络对小目标分割的训练，得到目标区域集中，小尺度目标友好和多尺度特征信息深度融合的目标语义分割模型，提高语义分割精确度，从而基于目标语义分割模型实现车辆的自动化精确快速分割，满足车辆高精度自动驾驶的需求。