数据合成方法、道路标识合成方法、系统及可读存储介质与流程

本发明涉及数据处理，尤其涉及一种数据合成方法、道路标识合成方法、系统及可读存储介质。

背景技术：

1、随着计算机视觉技术的快速发展，自动驾驶领域对感知算法的要求愈发严苛。为了构建高效迭代的算法模型，算法工程师往往需要大量经过标注的训练数据。然而，人工标注海量数据不仅费时耗力，而且价格昂贵。

2、从数据成本角度考虑，数据增强和数据合成的方法被相继提出，数据增强的方法虽能够提升训练样本集的多样性，但是对于样本集中完全不存在的数据类别，数据增强的方法并不能很好地解决这个问题。

3、虽然数据合成可以生成样本集中完全不存在的数据类别，但是在自动驾驶领域中，对感知算法的研究要求标注的训练数据需要尽量考虑实际的驾驶场景以及尽量还原真实世界的情况，而现有技术中的数据合成方法所产生的图像数据很难反应真实世界的复杂性，合成的道路标识缺乏真实感，且由于很难模拟到对视觉感知任务要求较高的光照和阴影效果等因素。因而，数据合成效果不佳。

技术实现思路

1、针对上述技术问题，本发明提供了一种数据合成方法、道路标识合成方法、系统及可读存储介质，可以解决上述背景技术中的至少一种问题。

2、本发明的第一方面提供一种数据合成方法，包括：

3、获取背景图像，在所述背景图像中获取物体的2d像素坐标；

4、获取并基于相机内外参数和所述物体的2d像素坐标生成物体对应的3d世界坐标；

5、获取3d模型，将所述3d模型放置在对应的3d世界坐标上渲染，并基于所述背景图像生成合成图像。

6、作为一种可选的实施方式，所述获取背景图像，在所述背景图像中获取物体的2d像素坐标，包括：

7、获取预设视角下的背景图像；

8、对所述背景图像进行分割处理，保留所述背景图像中的路面mask；

9、基于先验约束条件和所述路面mask在所述背景图像中获取物体的2d像素坐标，所述物体的2d像素坐标为物体底部中心的2d像素坐标。

10、作为一种可选的实施方式，所述获取并基于相机内外参数和所述物体的2d坐标生成物体对应的3d坐标，包括：

11、假设地面相对于世界坐标系的高度zw=0；

12、根据相机内参和相机外参，得到所述物体的2d像素坐标体对应的3d世界坐标（xw,yw,zw），所述3d世界坐标（xw,yw,zw）为3d模型底部的中心点坐标。

13、作为一种可选的实施方式，在获取并基于相机内外参数和所述物体的2d像素坐标生成物体对应的3d世界坐标之后，还包括：

14、获取点云数据，并对所述点云数据进行筛选，只保留预设视角内路面上的点云数据；

15、筛选以（xw,yw）坐标为中心的预设区域内的点云数据为目标点云数据；

16、利用所述目标点云数据拟合生成目标平面方程；

17、基于（xw,yw）坐标和所述目标平面方程得到地面真实高度z’w，及修正后的3d世界坐标（xw,yw,z’w）。

18、作为一种可选的实施方式，所述获取3d模型，将所述3d模型放置在对应的3d世界坐标上并渲染，生成合成图像，包括：

19、在图像渲染工具中设置同样的相机内外参数，按需设置影响因素，以及获取物体对应的3d模型，所述影响因素包括光照、天气、纹理和/或阴影；

20、将所述3d模型放置在对应的3d世界坐标上，基于所述影响因素对所述3d模型进行渲染。

21、作为一种可选的实施方式，将所述3d模型放置在对应的3d世界坐标上渲染之后，包括：

22、获取组成所述3d模型的多个3d子模型，对所述多个3d子模型单独渲染；所述3d模型对应的物体由对应的多个子物体组成；

23、基于渲染之后的图像，得到单个子物体对应的2d标签。

24、本发明第二方面提供一种道路标识合成方法，包括：

25、获取背景图像，在所述背景图像中获取道路标识的2d像素坐标；

26、获取并基于相机内外参数和所述道路标识的2d像素坐标生成道路标识对应的3d世界坐标；

27、获取3d模型，将所述3d模型放置在对应的3d世界坐标上渲染，并基于所述背景图像生成合成图像，其中，

28、所述道路标识至少包括一个或多个交通灯和/或一个或多个交通标志牌；

29、所述获取背景图像，在所述背景图像中获取物体的2d像素坐标，包括：

30、获取预设视角下的背景图像；

31、对所述背景图像进行分割处理，保留所述背景图像中的路面mask；

32、基于先验约束条件和所述路面mask的边缘获取能够放置所述交通灯和/或所述交通标志牌的候选位置的坐标，即为2d像素坐标。

33、作为一种可选的实施方式，所述交通灯的3d模型由灯泡3d子模型、灯箱3d子模型和/或灯杆3d子模型组成，所述交通标志牌的3d模型由标志牌3d子模型和/或牌杆3d子模型组成；

34、将所述3d模型放置在对应的3d世界坐标上渲染之后，包括：

35、对灯泡3d子模型、灯箱3d子模型和/或标志牌3d子模型单独渲染；

36、基于渲染之后的图像，得到单个灯泡、灯箱和/或标志牌对应的2d标签。

37、本发明第三方面提供一种数据合成系统，包括：

38、2d坐标获取单元，至少用于获取背景图像，在所述背景图像中获取物体的2d像素坐标；

39、3d坐标获取单元，至少用于获取并基于相机内外参数和所述物体的2d像素坐标生成物体对应的3d世界坐标；

40、图像合成单元，至少用于获取3d模型，将所述3d模型放置在对应的3d世界坐标上渲染，并基于所述背景图像生成合成图像。

41、作为一种可选的实施方式，所述数据合成系统还包括标签生成单元，所述标签生成单元至少用于在所述图像合成单元将所述3d模型放置在对应的3d世界坐标上渲染之后：

42、获取组成所述3d模型的多个3d子模型，对所述多个3d子模型单独渲染，获取2d标签；所述3d模型对应的物体由多个3d子模型对应的子物体组成。

43、本发明第四方面提供一种电子设备，包括：

44、至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如本发明第一方面或第二方面所述的数据合成方法。

45、本发明第五方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如本发明第一方面或第二方面所述的数据合成方法。

46、本发明基于背景图像获取2d像素坐标，以及进一步基于2d像素坐标获取3d世界坐标并进行渲染，合成自动驾驶领域更加准确的3d及2d数据及其对应的标签，且本发明在数据合成的过程中不需要额外的标注数据，使用3d模型并结合图像渲染工具，能够自动化批量化地合成新类别的3d及2d数据，极大程度地解决了图像标签数据短缺的问题。