目标区域分割方法及相关装置与流程

本技术属于一种图像分割方法，具体涉及一种目标区域分割方法及相关装置。

背景技术：

1、随着用于检测任务的深度学习网络快速发展，目标检测器的性能也得到了极大的提高，已相当成熟并被广泛使用。目前，大多数最先进的目标检测器利用深度学习网络作为其骨干和检测网络，分别从输入图像(或视频)中提取特征，进行分类和定位，将数字图像和视频中某一类语义对象(如人、建筑物或汽车等)的实例识别并分割出来。因此，利用深度学习神经网络，可以用目标检测的方法，将单目视觉传感器所获得图像中的人体检测出来。

2、如公开号为cn108932475a的中国发明专利中，提出一种基于激光雷达和单目视觉的三维目标识别系统及方法，将激光雷达点云投影到二维图像，得到投影图像，对投影图像和单目图像进行特征提取与匹配，计算投影图像与单目图像之间的射影变换关系；通过单目图像丰富的颜色信息进行目标识别并提取感兴趣的目标区域；通过激光雷达与单目之间的变换关系逆向计算目标在激光雷达点云中对应的点云块，最后输出点云块的空间位置信息。但是，该方法受到单目摄像头焦距限制，很难对小目标进行有效分割。另外，激光雷达生成的点云图与图像融合不能生成置信图，导致深度学习神经网络图像分割性能差。

技术实现思路

1、本技术针对现有采用目标检测器进行目标检测的方法，存在很难对小目标进行有效分割，以及深度学习神经网络图像分割性能差的技术问题，提供一种目标区域分割方法及相关装置。

2、为了实现上述目的，本技术采用以下技术方案予以实现：

3、第一方面，本技术提出一种目标区域分割方法，包括：

4、将同步采集的单目视觉图像和激光雷达点云图输入至训练后的深度学习神经网络中，通过深度学习神经网络识别不连续点所在区域，得到人员目标区域分割结果；

5、所述深度学习神经网络的训练方法包括：

6、获得激光雷达点云图中的不连续点；

7、将不连续点映射至对应的单目视觉图像中；

8、在映射后的单目视觉图像上，将不连续点对应的像素位置的置信值设为1，并对连续点对应的像素位置的置信值，根据与所述不连续点之间的距离按高斯分布进行赋值，生成置信图；

9、将单目视觉图像和对应的置信图输入至深度学习神经网络中，对深度学习神经网络进行训练。

10、进一步地，所述生成置信图之前，还包括：

11、对所述激光雷达点云图中的部分连续点进行处理：

12、若激光雷达点云图中连续点对应的像素位置，在前一帧和后一帧中均为不连续点，则将该连续点视作不连续点。

13、进一步地，所述深度学习神经网络包括hrnet和deeplab。

14、进一步地，所述对深度学习神经网络进行训练，包括

15、将单目视觉图像输入至hrnet，得到语义图像；

16、将语义图像和置信图输入至deeplab，识别不连续点所在区域，作为将所述单目视觉图像划分为道路、非道路和人员三个类别，得到人员目标区域分割结果。

17、进一步地，所述获得激光雷达点云图中的不连续点，包括：

18、判断激光雷达点云图中各点到平面的预测距离与实际距离差值是否超出阈值，若是，则视为不连续点，否则，视为连续点；

19、其中，所述平面为待测人员所在平面。

20、进一步地，所述预测距离的计算方法，包括：

21、通过激光雷达的水平角分辨率获得预测距离。

22、第二方面，本技术提出一种目标区域分割系统，包括：

23、数据采集模块，用于同步采集单目视觉图像和激光雷达点云图；

24、分割模块，用于将同步采集的单目视觉图像和激光雷达点云图输入至训练后的深度学习神经网络中，通过深度学习神经网络识别不连续点所在区域，得到人员目标区域分割结果；

25、训练模块，用于对所述深度学习神经网络进行训练；

26、所述深度学习神经网络的训练方法包括：

27、获得激光雷达点云图中的不连续点；

28、将所述不连续点映射至对应的单目视觉图像中；

29、在映射后的单目视觉图像上，将所述不连续点对应的像素位置的置信值设为1，并对连续点对应的像素位置的置信值，根据与所述不连续点之间的距离按高斯分布进行赋值，生成置信图；

30、将单目视觉图像和对应的置信图输入至训练后的深度学习神经网络中，对深度学习神经网络进行训练。

31、进一步地，所述训练模块中还包括处理子模块，所述生成置信图之前，还包括对所述激光雷达点云图中的部分连续点进行处理：

32、若激光雷达点云图中连续点对应的像素位置，在前一帧和后一帧中均为不连续点，则将该连续点视作不连续点。

33、进一步地，所述深度学习神经网络包括hrnet和deeplab。

34、进一步地，所述对深度学习神经网络进行训练，包括：

35、将单目视觉图像输入至hrnet，得到语义图像；

36、将语义图像和置信图输入至deeplab，识别不连续点所在区域，作为将所述单目视觉图像划分为道路、非道路和人员三个类别，得到人员目标区域分割结果。

37、进一步地，所述获得激光雷达点云图中的不连续点，包括：

38、判断激光雷达点云图中各点到平面的预测距离与实际距离差值是否超出阈值，若是，则视为不连续点，否则，视为连续点；

39、其中，所述平面为待测人员所在平面。

40、进一步地，所述预测距离的计算方法，包括：

41、通过激光雷达的水平角分辨率获得预测距离。

42、第三方面，本技术提出一种电子设备，包括：

43、存储器，用于存储计算机程序；

44、处理器，用于执行所述计算机程序时实现上述目标区域分割方法的步骤。

45、第四方面，本技术提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述目标区域分割方法的步骤。

46、与现有技术相比，本技术具有以下有益效果：

47、本技术提出一种目标区域分割方法，获得激光雷达点云图中的不连续点，将不连续点映射至单目视觉图像中，在映射后的单目视觉图像上，将所述不连续点对应的像素位置的置信值设为1，并对连续点对应的像素位置的置信值，根据与所述不连续点之间的距离进行赋值，生成置信图，由于分割目标是得到人员目标区域分割结果，要在单目视觉图像上找到不连续点作为目标，本技术利用激光雷达点云图，挖掘不连续点与目标之间的关系，建立置信图，激光雷达点云图的参与，便于提升后续人员目标检测的准确率，另外，结合单目视觉图像得到的是考虑时间序列的置信图，能够提高人员目标的区域提取有效性。最后，将单目视觉图像和置信图输入至训练后的深度学习神经网络中，将所述单目视觉图像划分为道路、非道路和人员三个类别，得到人员目标区域分割结果，基于深度学习神经网络进行分割，能够进一步提高人员目标检测的效率和准确率。

48、本技术还提出了一种目标区域分割系统、电子设备和计算机可读存储介质，具备上述目标区域分割方法的全部优势。