基于多帧点云的吊物点云分割方法、装置、存储介质及电子设备与流程

本技术属于建筑施工，尤其涉及一种基于多帧点云的吊物点云分割方法、装置、存储介质、电子设备及计算机程序产品。

背景技术：

1、塔吊即塔式起重机，是一种重要的工程设施。塔吊通过起升、变幅、回转等动作，能够对大型物料执行垂直方向和水平方向的移动输运，因此在建筑工地等场景下被广泛应用。不过传统的塔吊需要驾驶员在操作仓进行驾驶，在作业过程中对于一些障碍物(譬如堆放的材料、建筑物等)的规避和行使轨迹规划等，主要依赖于驾驶员的技能和经验，容易引发安全事故，因而，智能塔吊应运而生。

2、智能塔吊是一种采用先进的电子技术、自动化控制技术、传感器技术等多种工程技术融合而成的具有智能化水平的塔吊设备，能够实现无人驾驶和自主作业。对于智能吊塔，轨迹规划、碰撞检测、避障是三个十分重要的研究内容。在智能塔吊吊运吊物的过程中，需要知道吊物的尺寸信息，才能提供安全可靠的轨迹规划，这也是吊装过程中进行自动碰撞检测和避障的必要条件。但是，由于吊塔所吊装的吊物多种多样，现有技术在确定吊物尺寸时，很难准确识别出吊物，进而造成吊物尺寸计算困难或不准确的问题。

技术实现思路

1、本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种基于多帧点云的吊物点云分割方法、装置、存储介质、电子设备及计算机程序产品，能准确分割出各种各样吊物的点云，吊物识别准确率高。

2、第一方面，本技术提供了一种基于多帧点云的吊物点云分割方法，包括：

3、在具有吊装功能的工程机械吊运吊物的过程中，获取所述吊物所在采集区域的点云序列，所述点云序列包括至少两帧点云；

4、根据所述点云序列中的相邻帧点云确定每帧点云中发生变化的多个变化点云簇；

5、从每帧点云中确定吊钩下方至地面的区域内的多个吊物候选点云簇；

6、根据所述变化点云簇和所述吊物候选点云簇，分割出每帧点云中所述吊物的点云。

7、在一些实施例中，所述根据所述点云序列中的相邻帧点云确定每帧点云中发生变化的多个变化点云簇，包括：

8、对所述点云序列中的所有帧点云进行统一标准的体素化；

9、对体素化后任意相邻的两帧点云进行水平坐标的粗对齐，以确定相应两帧点云中发生变化的点云，得到每帧点云的变化点云集合；

10、对所述变化点云集合中的点云进行滤波，并对滤波后的所述变化点云集合中的点云进行聚类，得到相应帧点云中发生变化的多个变化点云簇。

11、在一些实施例中，所述从每帧点云中确定吊钩下方至地面的区域内的多个吊物候选点云簇，包括：

12、确定每帧点云中吊钩的吊钩点云、以及地面的地面点云；

13、根据各点云的三维位置坐标确定每帧点云中位于所述吊钩点云下方的点云，得到目标点云；

14、对每帧点云中的所述目标点云进行聚类，得到多个聚类簇；

15、选取出不与所述地面点云连通的所述聚类簇，作为吊物候选点云簇。

16、在一些实施例中，所述根据所述变化点云簇和所述吊物候选点云簇，分割出每帧点云中所述吊物的点云，包括：

17、确定每帧点云对应的任意一个所述变化点云簇和任意一个所述吊物候选点云簇之间的最小距离；

18、根据所述最小距离从所述吊物候选点云簇和所述变化点云簇中确定至少一个关联点云簇组合，每个所述关联点云簇组合包括一个所述吊物候选点云簇和至少一个所述变化点云簇；

19、根据所述关联点云簇组合分割出相应帧点云中所述吊物的点云。

20、在一些实施例中，所述根据所述最小距离从所述吊物候选点云簇和所述变化点云簇中确定至少一个关联点云簇组合，包括：

21、判断所述最小距离是否小于或等于第一预设阈值；

22、若是，则将相应的所述吊物候选点云簇和所述变化点云簇归为一个关联点云簇组合，且将具有同一所述吊物候选点云簇的不同所述关联点云簇组合进行合并。

23、在一些实施例中，所述根据所述关联点云簇组合分割出相应帧点云中所述吊物的点云，包括：

24、统计每个所述关联点云簇组合中所述吊物候选点云簇的第一点云总数、以及所述变化点云簇的第二点云总数；

25、根据所述第一点云总数和所述第二点云总数计算相应吊物候选点云簇的置信度；

26、将所有的大于或等于第二预设阈值的所述置信度对应的所述吊物候选点云簇中的点云，作为相应帧点云中所述吊物的点云。

27、第二方面，本技术提供了一种基于多帧点云的吊物点云分割装置，包括：

28、获取单元，用于在具有吊装功能的工程机械吊运吊物的过程中，获取所述吊物所在采集区域的点云序列，所述点云序列包括至少两帧点云；

29、第一确定单元，用于根据所述点云序列中的相邻帧点云确定每帧点云中发生变化的多个变化点云簇；

30、第二确定单元，用于从每帧点云中确定吊钩下方至地面的区域内的多个吊物候选点云簇；

31、识别单元，用于根据所述变化点云簇和所述吊物候选点云簇，分割出每帧点云中所述吊物的点云。

32、在一些实施例中，在一些实施例中，所述第一确定单元具体用于：

33、对所述点云序列中的所有帧点云进行统一标准的体素化；

34、对体素化后任意相邻的两帧点云进行水平坐标的粗对齐，以确定相应两帧点云中发生变化的点云，得到每帧点云的变化点云集合；

35、对所述变化点云集合中的点云进行滤波，并对滤波后的所述变化点云集合中的点云进行聚类，得到相应帧点云中发生变化的多个变化点云簇。

36、在一些实施例中，所述第二确定单元具体用于：

37、确定每帧点云中吊钩的吊钩点云、以及地面的地面点云；

38、根据各点云的三维位置坐标确定每帧点云中位于所述吊钩点云下方的点云，得到目标点云；

39、对每帧点云中的所述目标点云进行聚类，得到多个聚类簇；

40、选取出不与所述地面点云连通的所述聚类簇，作为吊物候选点云簇。

41、在一些实施例中，所述识别单元具体用于：

42、确定每帧点云对应的任意一个所述变化点云簇和任意一个所述吊物候选点云簇之间的最小距离；

43、根据所述最小距离从所述吊物候选点云簇和所述变化点云簇中确定至少一个关联点云簇组合，每个所述关联点云簇组合包括一个所述吊物候选点云簇和至少一个所述变化点云簇；

44、根据所述关联点云簇组合分割出相应帧点云中所述吊物的点云。

45、在一些实施例中，所述识别单元具体用于：

46、判断所述最小距离是否小于或等于第一预设阈值；

47、若是，则将相应的所述吊物候选点云簇和所述变化点云簇归为一个关联点云簇组合，且将具有同一所述吊物候选点云簇的不同所述关联点云簇组合进行合并。

48、在一些实施例中，所述识别单元具体用于：

49、统计每个所述关联点云簇组合中所述吊物候选点云簇的第一点云总数、以及所述变化点云簇的第二点云总数；

50、根据所述第一点云总数和所述第二点云总数计算相应吊物候选点云簇的置信度；

51、将所有的大于或等于第二预设阈值的所述置信度对应的所述吊物候选点云簇中的点云，作为相应帧点云中所述吊物的点云。

52、第三方面，本技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于多帧点云的吊物点云分割方法。

53、第四方面，本技术提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的基于多帧点云的吊物点云分割方法。

54、第五方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于多帧点云的吊物点云分割方法。

55、本技术实施例提供的基于多帧点云的吊物点云分割方法、装置、存储介质、电子设备及计算机程序产品，通过在具有吊装功能的工程机械吊运吊物的过程中，获取吊物所在采集区域对应的点云序列，点云序列包括至少两帧点云；根据点云序列中的相邻帧点云确定每帧点云中发生变化的多个变化点云簇；从每帧点云中确定吊钩下方至地面的区域内的多个吊物候选点云簇；根据变化点云簇和吊物候选点云簇，分割出每帧点云中吊物的点云，也即依靠吊物在吊运时其位置会变化的特点、以及其位于吊钩下方且不与地面接触的特定悬挂区域的特点来分割吊物点云，从而有效提高了吊物点云的分割准确性，吊物识别效果好，不仅适用于各种类型的吊物点云的分割，适用范围广，而且无需借助深度学习模型，无需人工进行点云标定。