语义分割模型的训练方法、分割方法、装置、设备及介质与流程

本公开实施例涉及图像处理，尤其涉及一种语义分割模型的训练方法、分割方法、装置、设备及介质。

背景技术：

1、车辆的感知模块是车辆与外部世界沟通的重要窗口，车辆正是通过感知模块，才能感知周围的环境信息，从而结合地图模块、规划及控制模块畅行在各种复杂的道路场景之中。针对道路语义的图像语义分割是车辆驾驶系统中重要的功能模块，其目标是将图像中的每个像素分类为一个类或对象，生成图像的密集像素分割图。目前主流提取图像特征的深度学习模型有卷积神经网络和transformer模型。卷积神经网络使用共享权重的卷积核对整张图片的特征进行提取，其优点是具有平移不变形、权重共享、可多核逐层组合的特点，使其对于图片上不同位置、不同尺度的物体具有较好的鲁棒性；

2、transformer模型巧妙地应用多头自注意力机制，能够理解距离很远的元素之间的联系，对于输入的所有元素给予同样的关注，具有全局范围内的上下文理解能力，其可以解决卷积神经网络卷积核只关注局部信息、感受野有限的缺点。但是transformer模型的实际运算成本较大，并且对负载要求较高。

3、为了均衡在实际应用场景下的检测效率和检测准确度之间的关系，需要开发的模型不仅要拥有较强的提取感受野的能力和大范围上下文理解能力，也要具备速度优势。

技术实现思路

1、本公开实施例提供了一种语义分割模型的训练方法、分割方法、装置、设备及介质，提升了道路语义分割的速度和准确度。

2、第一方面，提供了一种道路语义分割模型的训练方法，包括：

3、获取样本输入数据，其中，所述样本输入数据包括图像采集设备采集的样本道路图像信息；

4、将所述样本输入数据输入至预设语义分割模型中进行处理，其中，所述预设语义分割模型用于提取所述样本输入数据的空间特征信息和语义特征信息，将所述空间特征信息和语义特征信息进行融合，并根据融合结果确定道路语义的分割结果；

5、根据所述预设语义分割模型输出的所述分割结果确定目标损失关系，并根据所述目标损失关系对所述预设语义分割模型进行训练。

6、第二方面，提供了一种道路语义分割方法，包括：

7、获取目标输入数据，其中，所述目标输入数据包括图像采集设备采集的道路图像信息；

8、将所述目标输入数据输入至目标道路语义分割模型，以通过所述道路语义分割模型对所述目标输入数据进行处理，得到所述目标输入数据对应的道路语义分割结果；

9、其中，所述目标道路语义分割模型通过上述第一方面所述的道路语义分割模型的训练方法训练得到。

10、第三方面，提供了一种道路语义分割模型的训练装置，包括：

11、样本数据获取模块，用于获取样本输入数据，其中，所述样本输入数据包括图像采集设备采集的样本道路图像信息；

12、数据处理模块，用于将所述样本输入数据输入至预设语义分割模型中进行处理，其中，所述预设语义分割模型用于提取所述样本输入数据的空间特征信息和语义特征信息，将所述空间特征信息和语义特征信息进行融合，并根据融合结果确定道路语义的分割结果；

13、训练模块，用于根据所述预设语义分割模型输出的所述分割结果确定目标损失关系，并根据所述目标损失关系对所述预设语义分割模型进行训练。

14、第四方面，提供了一种道路语义分割装置，其特征在于，包括：

15、目标数据获取模块，用于获取目标输入数据，其中，所述目标输入数据包括图像采集设备采集的道路图像信息；

16、分割结果获取模块，用于将所述目标输入数据输入至目标道路语义分割模型，以通过所述道路语义分割模型对所述目标输入数据进行处理，得到所述目标输入数据对应的道路语义分割结果；

17、其中，所述目标道路语义分割模型通过上述第一方面所述的道路语义分割模型的训练方法训练得到。

18、第五方面，提供了一种电子设备，所述电子设备包括：

19、一个或多个处理器；

20、存储装置，用于存储一个或多个程序；

21、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述第一方面所述的道路语义分割模型的训练方法，或实现上述第二方面所述的道路语义分割方法。

22、第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例上述第一方面所述的道路语义分割模型的训练方法，或实现上述第二方面所述的道路语义分割方法。

23、本公开实施例提供了一种语义分割模型的训练方法、分割方法、装置、设备及介质，包括：获取样本输入数据，其中，所述样本输入数据包括图像采集设备采集的样本道路图像信息；将所述样本输入数据输入至预设语义分割模型中进行处理，其中，所述预设语义分割模型用于提取所述样本输入数据的空间特征信息和语义特征信息，将所述空间特征信息和语义特征信息进行融合，并根据融合结果确定道路语义的分割结果；根据所述预设语义分割模型输出的所述分割结果确定目标损失关系，并根据所述目标损失关系对所述预设语义分割模型进行训练。本技术方案将预设语义分割模型提取的空间特征信息和语义特征信息进行融合，并根据融合结果确定道路语义的分割结果。与现有技术相比，本公开实施例的技术方案拥有较强的提取感受野的能力和大范围上下文理解能力，有效地提升了道路语义分割的速度和准确度。

24、应当理解，本部分所描述的内容并非旨在标识本公开实施例的关键或重要特征，也不用于限制本公开实施例的范围。本公开实施例的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种道路语义分割模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述预设语义分割模型中包括语义特征提取网络；所述预设语义分割模型通过以下方式提取所述样本输入数据的语义特征信息：

3.根据权利要求2所述的方法，其特征在于，所述预设语义分割模型中包括空间特征提取网络；所述预设语义分割模型通过以下方式提取所述样本输入数据的空间特征信息：

4.根据权利要求1所述的方法，其特征在于，所述预设语义分割模型通过以下方式将所述空间特征信息和语义特征信息进行融合：

5.根据权利要求2所述的方法，其特征在于，所述根据所述预设语义分割模型输出的所述分割结果确定目标损失关系包括：

6.一种道路语义分割方法，其特征在于，包括：

7.一种道路语义分割模型的训练装置，其特征在于，包括：

8.一种道路语义分割装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的道路语义分割模型的训练方法，或实现如权利要求6所述的道路语义分割方法。

技术总结本公开实施例公开了一种语义分割模型的训练方法、分割方法、装置、设备及介质，包括：获取样本输入数据，其中，样本输入数据包括图像采集设备采集的样本道路图像信息；将样本输入数据输入至预设语义分割模型中进行处理，其中，预设语义分割模型用于提取样本输入数据的空间特征信息和语义特征信息，将空间特征信息和语义特征信息进行融合，并根据融合结果确定道路语义的分割结果；根据预设语义分割模型输出的分割结果确定目标损失关系，并根据目标损失关系对预设语义分割模型进行训练。该方法根据空间特征信息和语义特征信息的融合结果确定道路语义的分割结果，提升了道路语义分割的速度和准确度。技术研发人员：张达明,陈光,徐名源,邱璆,王佑星,宋楠楠,薛鸿,朱亚旋,王宇凡,许际晗受保护的技术使用者：中国第一汽车股份有限公司技术研发日：技术公布日：2024/7/29