基于四面体模型的目标检测方法、集群机器人和存储介质

本申请涉及智能识别领域，特别是涉及一种基于四面体模型的目标检测方法、集群机器人和存储介质。

背景技术：

1、集群机器人（swarm robotics）涉及大集群机器人的设计、建造和部署，它们能够相互协调并协同解决问题或者执行任务。

2、现有技术中，一些集群机器人仅配备了单个摄像头，用于采集特定方向的图像并进行目标检测。这种方法虽然简单，但视角受限，无法实现全方位的目标检测，这在需要多角度监控的应用场景中尤为明显。此外，还有一些集群机器人尝试通过控制单个摄像头旋转360°来采集全景图像，以期获得更全面的视角。然而，全景图像的采集过程耗时较长，严重影响了目标检测的实时性。在机器人运动过程中，由于环境的动态变化和机器人自身的移动特性，采集到的全景图像往往不够稳定，这进一步降低了检测结果的准确性。

3、此外，全景摄像头虽然能够捕捉宽广的视野，但它们使用的超广角镜头往往会在图像边缘产生畸变。这种畸变是全景成像的一个固有特性，它可能导致图像边缘的物体形状和大小失真，从而对目标检测算法的准确性构成挑战。尽管可以通过畸变校正算法来减轻这一问题，但这些校正过程本身也需要消耗额外的计算资源，可能会对系统的实时性能造成影响。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于四面体模型的目标检测方法、集群机器人和存储介质。

2、第一方面，本发明实施例提出一种基于四面体模型的目标检测方法，用于集群机器人，所述集群机器人均设有四个不同方向的摄像头，所述方法包括：

3、获取四个所述摄像头所采集的平面图像；

4、将四个所述平面图像映射至四面体模版，得到四面体模型；

5、将所述四面体模型输入至训练好的目标检测模型，得到目标检测结果以及目标在所述四面体模型中的位置信息。

6、在一些实施例中，所述将四个所述平面图像映射至四面体模版，得到四面体模型包括：

7、构建四个所述平面图像的平面表达式；

8、基于所述平面表达式，利用摄像头模型将四个所述平面图像中的点映射至四面体模版，得到四面体模型。

9、在一些实施例中，所述构建四个所述平面图像的平面表达式包括：

10、构建所述平面图像的边向量：

11、

12、其中，v1、v2、v3表示所述平面图像的三个顶点；

13、构建所述平面图像的法向量：

14、

15、构建所述平面图像的平面表达式：

16、

17、其中，(x, y, z)表示空间中任意一点的坐标；(x1, y1, z1)表示平面上已知一点的三维坐标或集群机器人自身的三维坐标；n1、n2、n3表示法向量的分量。

18、在一些实施例中，所述基于所述平面表达式，利用摄像头模型将四个所述平面图像中的点映射至四面体模版，得到四面体模型包括：

19、基于坐标转换关系将所述平面图像中的各点转为三维坐标点；

20、获取各所述三维坐标点到所述四面体模版的最小距离；

21、通过沿法向量方向移动最小距离，得到所述四面体模版中的各投影点，得到所述四面体模型。

22、在一些实施例中，所述坐标转换关系为：

23、

24、其中，表示所述平面图像中的点，表示四面体模版中的点，k表示所述摄像头的内参矩阵，z表示深度。

25、在一些实施例中，所述最小距离为：

26、。

27、在一些实施例中，所述方法还包括：

28、获取四面体模型样本训练集，并对其中的各四面体模型样本中目标的边界框和类别进行标注；

29、利用标注后的所述四面体模型样本训练集对初始三维检测模型进行训练，得到所述目标检测模型。

30、在一些实施例中，所述方法还包括：

31、对获取的四个所述平面图像进行视角校正。

32、第二方面，本发明实施例提出一种集群机器人，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行第一方面所述的步骤。

33、其中，所述方法包括：

34、获取四个所述摄像头所采集的平面图像；

35、将四个所述平面图像映射至四面体模版，得到四面体模型；

36、将所述四面体模型输入至训练好的目标检测模型，得到目标检测结果以及目标在所述四面体模型中的位置信息。

37、第三方面，本发明实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的步骤。

38、其中，所述方法包括：

39、获取四个所述摄像头所采集的平面图像；

40、将四个所述平面图像映射至四面体模版，得到四面体模型；

41、将所述四面体模型输入至训练好的目标检测模型，得到目标检测结果以及目标在所述四面体模型中的位置信息。

42、上述方法、集群机器人和存储介质，通过获取四个所述摄像头所采集的平面图像，将四个所述平面图像映射至四面体模版，得到四面体模型，将所述四面体模型输入至训练好的目标检测模型，得到目标检测结果以及目标在所述四面体模型中的位置信息，从而实现360°全方位的目标检测。

43、通过四个摄像头采集平面图像，由于每个摄像头固定在一个方向，无需旋转采集全景图像，相比于现有技术中控制摄像头旋转360°采集全景图像，大大缩短了图像采集和处理的时间，提高了目标检测的实时性。

44、四面体模型的稳定性有助于在集群机器人运动过程中保持图像采集的一致性和准确性，即使在动态环境中也能提供可靠的检测结果。

45、通过四个摄像头采集平面图像的畸变极小，不需要对平面图像进行畸变校正从而节省集群机器人的计算资源。

技术特征：

1.一种基于四面体模型的目标检测方法，用于集群机器人，所述集群机器人均设有四个不同方向的摄像头，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述将四个所述平面图像映射至四面体模版，得到四面体模型包括：

3.根据权利要求2所述的方法，其特征在于，所述构建四个所述平面图像的平面表达式包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述平面表达式，利用摄像头模型将四个所述平面图像中的点映射至四面体模版，得到四面体模型包括：

5.根据权利要求4所述的方法，其特征在于，所述坐标转换关系为：

6.根据权利要求5所述的方法，其特征在于，所述最小距离为：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

9.一种集群机器人，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至权利要求8中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至权利要求8中任一项所述的方法的步骤。

技术总结本申请涉及智能识别领域，特别是涉及一种基于四面体模型的目标检测方法、集群机器人和存储介质。所述方法包括：获取四个所述摄像头所采集的平面图像；将四个所述平面图像映射至四面体模版，得到四面体模型；将所述四面体模型输入至训练好的目标检测模型，得到目标检测结果以及目标在所述四面体模型中的位置信息。本申请通过获取四个所述摄像头所采集的平面图像，将四个所述平面图像映射至四面体模版，得到四面体模型，将所述四面体模型输入至训练好的目标检测模型，得到目标检测结果以及目标在所述四面体模型中的位置信息，从而实现360°全方位的目标检测。技术研发人员：林秀秀,马昭,赵世钰受保护的技术使用者：西湖大学技术研发日：技术公布日：2024/8/1