一种获取连续帧点云目标检测真值的协同标注系统和方法与流程

本发明涉及点云目标检测标注，尤其涉及一种获取连续帧点云目标检测真值的协同标注系统和方法。

背景技术：

1、随着汽车工业的发展，用户对汽车智能化特别是自动驾驶功能的需求日益迫切。自动驾驶中最核心的功能模块是由感知层、决策层以及控制层组成。感知层中的信息主要来自于多种传感器设备对周围环境信息的获取。与传统的视觉相机相比，激光雷达传感器可以捕获更精准的环境三维信息。随着激光雷达设备成本的降低及其性能的提升，激光雷达取得了越来越广泛的应用。自动驾驶场景中的感知环节离不开以深度学习为骨架的感知算法。深度学习是一种严重依赖数据的算法，训练一个精度高、泛化性强的感知模型需要大量有标签的数据。因此提高数据标注效率，快速获取大量有标签的数据具有重大意义。

2、点云目标检测任务为通过点云以及图像等输入数据，预测目标框相比于激光雷达或相机坐标系的中心点位置[x，y，z]、尺寸[h，w，l]以及相对于xyz轴的旋转角[roll，pitch，yaw]并确定目标的分类及属性。连续帧点云的目标检测任务还需对目标进行追踪，并保证同一目标在不同帧中的目标框具有相同的尺寸。为获取连续帧点云目标检测真值，普遍的做法是标注员借助标注工具，独立完成单个标注任务，或将任务按照目标追踪id、点云片段等对任务进行拆分，待子任务完成后再将结果进行合并。若将任务按照目标追踪id进行拆分，则必须有标注员事先在单帧中标注出所有目标，容易引发漏标问题；若将任务按照点云片段进行拆分，则在子任务完成后需对子任务的标注结果进行合并。为保证具有相同追踪id的目标框具有相同的尺寸，就需要在合并过程中统一目标尺寸，这必然会导致某些点云片段中的目标框与点云不贴合，从而提高了任务的整体返修率。

3、因此，本领域的技术人员致力于开发一种获取连续帧点云目标检测真值的协同标注系统和方法。

技术实现思路

1、有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在标注过程中实时反馈协同标注员的标注操作，在压缩完成连续帧点云目标检测标注任务时间周期的同时，降低返修率，提升连续帧点云目标检测标注效率。

2、目前完成连续帧点云目标检测标注任务普遍的做法是标注员借助标注工具，独立完成单个标注任务，或将任务按照目标追踪id、点云片段等对任务进行拆分，待子任务完成后再将结果进行合并；若将任务按照目标追踪id进行拆分，则必须有标注员事先在单帧中标注出所有目标，容易引发漏标问题；若将任务按照点云片段进行拆分，则在子任务完成后需对子任务的标注结果进行合并。为保证具有相同追踪id的目标框具有相同的尺寸，合并过程中统一目标框尺寸的操作必然导致某些点云片段中的目标框与点云不贴合，大大提高了任务的整体返修率，导致连续帧点云目标检测标注效率低下。

3、本发明的一个实施例中，提供了一种获取连续帧点云目标检测真值的协同标注系统，包括：

4、数据存储模块，存储待标注点云以及标注结果；

5、标注模块，提供点云标注界面对点云进行标注操作，并接收合并后的操作集更新于标注结果，标注模块有n个，n为大于0的整数；

6、冲突解决模块，使用冲突解决策略对n个标注模块标注操作导致的冲突进行合并，获得合并后的操作集；

7、通信模块，接收n个标注模块发送的标注操作，按照接收时间进行排序，并发送给冲突解决模块；接收冲突解决模块合并后的操作集，并发送给n个标注模块；

8、n个标注模块、通信模块、冲突解决模块和数据存储模块依次通信连接，数据存储模块和通信模块通信连接；

9、响应于n个标注模块发送的标注操作，通信模块按照接收时间进行排序，并发送给冲突解决模块，冲突解决模块使用冲突解决策略对标注操作进行合并，获得合并后的操作集，通过通信模块发送给各标注模块，更新数据存储模块中存储的标注结果和作用于各标注模块中的标注结果。

10、可选地，在上述任一实施例中的获取连续帧点云目标检测真值的协同标注系统中，冲突解决模块使用冲突解决策略对n个标注模块标注操作导致的冲突进行合并包括：

11、对于冲突的标注操作，采用后来者获胜的原则生成合并后的操作集，根据通信模块收到标注操作的时间，选择最近接收到的标注操作，抛弃与之冲突的标注操作；对于不冲突的标注操作，进行取并集操作，得到合并后的操作集。

12、可选地，在上述任一实施例中的获取连续帧点云目标检测真值的协同标注系统中，冲突的标注操作包括：

13、修改同一目标框的中心点位置引发的冲突；

14、修改同一目标框的尺寸引发的冲突；

15、修改同一目标框的旋转角引发的冲突；

16、修改同一目标框的分类引发的冲突；

17、修改同一目标框的同一条属性引发的冲突；

18、删除目标与其他对同一目标框的操作的冲突。

19、可选地，在上述任一实施例中的获取连续帧点云目标检测真值的协同标注系统中，响应于标注模块的通信请求，通信模块为该标注模块创建进程，建立websocket连接。

20、可选地，在上述任一实施例中的获取连续帧点云目标检测真值的协同标注系统中，标注模块接收来自通讯模块经冲突解决模块合并后的操作集，如果合并后的操作集中标注操作的时间晚于标注模块中标注操作对应标注结果的更新时间，则使用合并后的操作集中标注操作更新标注模块中标注操作对应的标注结果。

21、可选地，在上述任一实施例中的获取连续帧点云目标检测真值的协同标注系统中，标注操作包括选中目标、新建目标、修改目标和删除目标。

22、基于上述任一实施例，本发明的另一个实施例中，提供了一种获取连续帧点云目标检测真值的协同标注方法，包括如下步骤：

23、s100、创建标注任务，任意一个标注模块创建连续帧点云目标检测标注任务，上传待标注点云，通过通信模块将连续帧点云目标检测标注任务和待标注点云发送给数据存储模块进行存储；

24、s200、建立通信，n个标注模块分别和通信模块建立websocket连接，通信模块为每个建立websocket连接的标注模块创建进程；

25、s300、读取待标注点云以及标注结果，通信模块从数据存储模块读取连续帧点云目标检测标注任务、待标注点云以及现有的标注结果，通过websocket连接发送至n个标注模块；

26、s400、渲染待标注点云，在标注模块渲染连续帧点云目标检测标注任务对应的待标注点云，得到连续帧点云；

27、s500、标注连续帧点云，在n个标注模块对连续帧点云进行标注，并将标注操作发送给通信模块；

28、s600、冲突解决合并，通信模块按照接收时间对标注操作进行排序，并发送给冲突解决模块，冲突解决模块使用冲突解决策略对n个标注模块标注操作导致的冲突进行合并，获得合并后的操作集；

29、s700、更新存储标注结果，冲突解决模块向数据存储模块发送合并后的操作集，更新数据存储模块中存储的标注结果；冲突解决模块通过通信模块向n个标注模块发送合并后的操作集；

30、s800、更新标注模块的标注结果，如果合并后的操作集中标注操作的时间晚于标注模块中标注操作对应标注结果的更新时间，则使用合并后的操作集中标注操作更新标注模块中标注操作对应的标注结果，否则不进行更新；

31、s900、完成标注，当n个标注模块均确认完成连续帧点云目标检测标注任务时，所述连续帧点云目标检测标注任务完成，否则重复s500-s900。

32、可选地，在上述实施例中的获取连续帧点云目标检测真值的协同标注方法中，步骤s100包括：

33、s110、创建连续帧点云目标检测标注任务，任意一个标注模块创建连续帧点云目标检测标注任务，上传待标注点云；

34、s120、存储连续帧点云目标检测标注任务，上述标注模块通过通信模块将连续帧点云目标检测标注任务和待标注点云发送给数据存储模块进行存储。

35、可选地，在上述任一实施例中的获取连续帧点云目标检测真值的协同标注方法中，步骤s300包括：

36、s310、读取连续帧点云目标检测标注任务、待标注点云以及标注结果，通信模块与n个标注模块建立websocket连接后，通讯模块从数据存储模块读取连续帧点云目标检测标注任务和与该任务对应的待标注点云以及标注结果。

37、s320、发送连续帧点云目标检测标注任务、待标注点云以及标注结果，通过websocket连接将通信模块读取的连续帧点云目标检测标注任务、待标注点云以及标注结果发送至n个标注模块。

38、可选地，在上述实施例中的获取连续帧点云目标检测真值的协同标注方法中，步骤s500中的标注操作包括选择目标、新增目标、修改目标和删除目标。

39、进一步地，在上述实施例中的获取连续帧点云目标检测真值的协同标注方法中，修改目标包括修改目标框的中心点位置、修改目标框的尺寸、修改目标框的旋转角、修改目标框的分类和修改目标框的属性。

40、可选地，在上述任一实施例中的获取连续帧点云目标检测真值的协同标注方法中，步骤s600包括：

41、s610、收集标注操作，通信模块持续收集来自n个标注模块的标注操作，并按照接收时间对标注操作进行排序，定时将排序后的标注操作发送给冲突解决模块。

42、s620、合并标注操作，冲突解决模块接收到来自通信模块的排序后的标注操作，使用冲突解决策略对n个标注模块的冲突的标注操作进行合并，获得合并后的操作集。

43、进一步地，在上述实施例中的获取连续帧点云目标检测真值的协同标注方法中，冲突的标注操作包括：

44、修改同一目标框的中心点位置引发的冲突；

45、修改同一目标框的尺寸引发的冲突；

46、修改同一目标框的旋转角引发的冲突；

47、修改同一目标框的分类引发的冲突；

48、修改同一目标框的同一条属性引发的冲突；

49、删除目标与其他对同一目标框的操作的冲突。

50、进一步地，在上述实施例中的获取连续帧点云目标检测真值的协同标注方法中，冲突解决策略包括对于不冲突的标注操作进行取并集操作，得到合并后的操作集；对于冲突的标注操作采用后来者获胜的原则生成合并后的操作集，根据通信模块收到标注操作的时间，选择最近接收到的标注操作，抛弃与之冲突的标注操作。

51、可选地，在上述任一实施例中的获取连续帧点云目标检测真值的协同标注方法中，步骤s700包括：

52、s710、更新数据存储模块中的标注结果，冲突解决模块将合并后的操作集发送至数据存储模块，数据存储模块将操作集中的所有操作用于更新数据存储模块中存储的标注结果；

53、s720、反馈n个标注模块，冲突解决模块通过通信模块向n个标注模块发送合并后的操作集，同步n个标注模块中的标注结果。

54、本发明在标注过程中实时反馈协同标注员的标注操作，在压缩完成连续帧点云目标检测标注任务时间周期的同时，降低了返修率，提升了连续帧点云目标检测标注效率。

55、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。