一种基于掩码映射的路面状态异常检测方法及系统与流程

本发明属于计算机视觉，尤其涉及一种基于掩码映射的工地路面状态异常检测方法及系统。

背景技术：

1、近年来，基于卷积神经网络的语义分割模型由于可以提供对周围环境的像素级解释，这在安全性要求较高的场景中，比如地园区自动驾驶、车路协同等，发挥着越来越重要的作用。在复杂的工地驾驶场景下，基于强监督深度学习方法对数据集中预先定义的类别进行高精度像素级分类是不可靠的。这是由于面对未知的路面异常状态，如道路抛洒物、障碍物等，基于卷积神经网络的语义分割模型不仅可能无法识别它，甚至会过于自信地将其分类为预先定义的类别，这种情况造成了严重的安全隐患，极大地限制了图像语义分割在工地园区自动驾驶关键应用的部署。此外，道路障碍物是指在道路上出现的影响工地园区交通、阻碍行车的物体，它没有具体的特征，这意味着预定义道路上可能出现的所有类型障碍物是无法完成的，因此，训练语义分割网络使其具有工地道路路面状态异常掩码映射的能力是至关重要的。

2、当前，已有一些工作提出了模型检测工地道路路面状态异常的解决方案。fishyscapes是一个首先被提出公共基准，它用于评估驾驶环境语义分割现实世界任务。基于该数据集，标准化最大逻辑(standardized max logits,sml)是一种不确定性估计方法，它通过设计函数来计算不确定性概率来获得异常分数。然而，由于基于该方法的分割模型对路面状态异常仍过于自信，因此检测结果是嘈杂和不准确的，另一类方法通过添加额外的训练任务或利用外部分布外(out of detection,ood)数据集作为异常类中的样本来训练模型，尽管这些工作已经被证明是有效的，但它们需要很长的推理时间或因再训练的原因可能会降低原始网络的语义分割性能，因此，在复杂的工地驾驶场景下实现路面状态异常掩码映射仍面临着依赖于精确的像素分割预测，推理时间长以及异常检测准确率低等挑战。

技术实现思路

1、为了解决上述提到的问题，本发明提供一种基于掩码映射的路面状态异常检测方法及系统。

2、第一方面，本发明提供的一种基于掩码映射的路面状态异常检测方法，采用如下的技术方案：

3、一种基于掩码映射的路面状态异常检测方法，包括：

4、s1.获取已知类的工地道路环境图像；

5、s2.将所述已知类的工地道路环境图像的类别映射为对应的采用像素值表示的掩码；

6、s3.构建语义分割模型，利用所述采用像素值表示的掩码对语义分割模型进行训练，得到能够识别已知类工地道路环境的第一语义分割模型，冻结所述第一语义分割模型分类块以外的所有参数；

7、s4.构建联合损失函数，使用所述联合损失函数微调第一语义分割模型分类块，优化损失函数值得到第二语义分割模型；

8、s5.利用所述第二语义分割模型对待检测的工地道路环境图像进行检测，得到包含掩码信息的分割掩码，将所述分割掩码和道路路面状态异常类别的掩码比较，得到检测结果。

9、进一步地，所述将已知类的工地道路环境图像的类别映射为对应的采用像素值表示的掩码包括：对已知类的工地道路环境图像的类别采用掩码进行定义，将每个像素分配给特定的类别，以实现图像中不同对象的分割。

10、进一步地，所述联合损失函数包括分割损失、警觉损失和平滑损失，所述联合损失函数计算公式为：

11、ltotal＝lseg+λ1lvem+λ2lreg，其中lseg表示分割损失、lvem表示警觉损失，lreg表示平滑损失，λ1表示警觉损失影响因子，λ2表示平滑损失影响因子。

12、进一步地，所述警觉损失计算公式为：

13、

14、其中，与分别表示像素正常状态与异常状态，min与mout分别表示正常样本与异常样本警觉阈值；

15、所述平滑损失计算公式为：

16、其中，β1和β2分别是相临像素超参数与拉普拉斯平滑超参数，表示水平和垂直方向上的相邻像素，ldice表示带有拉普拉斯平滑项的细节损失。

17、进一步地，所述使用所述联合损失函数微调第一语义分割模型分类块，包括通过pytorch中的内置函数dataloader()加载新的包含异常状态信息数据的数据集，同时定义工地道路路面状态异常类别；通过pytorch库中内置函数torch.optim.sgd()作为优化器对象optimizer保存第一语义分割模型当前的参数状态；通过pytorch中的内置函数forword()得到第一语义分割模型已知类的预测概率值。

18、进一步地，所述优化损失函数值得到第二语义分割模型，包括使用优化器对象，计算损失函数的损失值，其中，调用pytorch中内置的自动求导函数loss.backward()，计算损失函数对模型参数的梯度，调用pytorch中内置的优化器对象optimizer.step()更新模型的参数，最小化损失函数值，得到第二语义分割模型。

19、第二方面，一种基于掩码映射的工地路面状态异常检测系统，包括：

20、图像获取模块，被配置为，获取已知类的工地道路环境图像；

21、掩码处理模块，被配置为，将所述已知类的工地道路环境图像的类别映射为对应的采用像素值表示的掩码；

22、初始训练模块，被配置为，构建语义分割模型，利用所述采用像素值表示的掩码对语义分割模型进行训练，得到能够识别已知类工地道路环境的第一语义分割模型，冻结所述第一语义分割模型分类块以外的所有参数；

23、微调训练模块，被配置为，构建联合损失函数，使用所述联合损失函数微调第一语义分割模型分类块，优化损失函数值得到第二语义分割模型；

24、异常检测模块，被配置为，利用所述第二语义分割模型对待检测的工地道路环境图像进行检测，得到包含掩码信息的分割掩码，将所述分割掩码和道路路面状态异常类别的掩码比较，得到检测结果。

25、第三方面，本发明提供一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行一种基于掩码映射的工地路面状态异常检测方法。

26、第四方面，本发明提供一种计算机设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于掩码映射的工地路面状态异常检测方法。

27、综上所述，本发明具有如下的有益技术效果：

28、1、本发明面向安全性要求较高的工地园区自动驾驶、车路协同等驾驶场景，提出了一种路面状态异常掩码映射方法，通过改进的语义分割模型与模型二次训练方法，实现了在不影响原本语义分割模型内部正常类别分割性能的情况下，对非常规情形或物体的精准映射。

29、2、本发明提出的联合损失函数与模型微调方法，通过冻结语义分割模型分类块以外的所有参数，修改语义分割模型损失函数，实现了在不显著增加计算量和训练难度的情况下，正常像素和异常像素差异的拓宽，提高了对路面异常状态的映射能力。

30、3、本发明面对不同的语义分割模型进行改进，改进后的模型针对道路上异常状况检测映射表现良好，具有一定的通用性。