基于三维物体检测的模型动态评估方法、系统及设备与流程

本发明涉及计算机视觉，尤其涉及基于三维物体检测的模型动态评估方法、系统及设备。

背景技术：

1、随着科技的进步和计算机视觉技术的发展，三维模型在多个领域中的应用日益广泛，特别是在电力系统规划和运营中。电力系统作为现代社会的核心基础设施，其安全性、稳定性和高效性对于维护社会经济的正常运行至关重要。因此，电力系统中的设备布局、线路规划以及故障检测等都需要依赖精确的三维模型来进行模拟和分析。

2、在实际应用中，尤其是在电力设备的监测和维护中，由于数据来源的多样性、数据处理的复杂性以及环境变化等因素，设备的实际位置可能与三维模型中的位置存在偏差，因此，有必要通过实时的图像数据和深度学习模型来动态获取和确认设备的实际位置信息，确认生成的三维模型的信息是否正确，进而对生成的三维模型进行评估和调整，以避免三维模型精度不足可能导致在后续的电力系统分析中产生误导性的结果。在现有的技术中，针对三维模型的精度检测和校准主要依赖于人工操作，不仅效率低下，而且容易受到人为因素的影响，导致结果的可靠性降低。而传统的测量设备虽然能够提供较为准确的测量结果，但往往需要繁琐的操作和大量的时间投入，无法满足快速、高效的三维模型校准需求。

3、此外，目标识别技术作为计算机视觉领域的重要分支，已经在多个领域得到了广泛的应用。然而，在电力系统三维模型生成和校准的过程中，如何有效地利用目标识别技术来提高三维模型的精度和校准效率，仍然是一个亟待解决的问题。因此，针对现有技术中存在的问题，本发明提出了一种针对生成的三维模型的基于三维物体检测的模型动态评估方法、系统及设备，该方法实现了电力系统三维模型中物体的自动检测和评估，提高三维模型的精度和可靠性，为电力系统的规划、运营和维护提供可靠的支持。

技术实现思路

1、本发明的目的是克服现有技术中存在的难以对电力系统三维模型进行精度检测和校准的问题，提供了一种能够对电力系统三维模型进行自动检测和评估，提高电力系统三维模型的精度和可靠性的基于三维物体检测的模型动态评估方法、系统及设备。

2、第一方面，本发明实施例提供了一种基于三维物体检测的模型动态评估方法，所述校准方法包括：

3、s1、获取目标场景的三维模型；

4、所述目标场景中包括多个电力设备；

5、s2、通过所述三维模型采集训练数据，得到训练数据集；

6、s3、构建电力设备目标检测模型，使用所述训练数据集对所述电力设备目标检测模型进行训练，得到训练好的电力设备目标检测模型；

7、s4、通过所述训练好的电力设备目标检测模型对目标场景进行检测，根据检测结果计算目标场景中各电力设备之间的距离，得到目标场景中各电力设备之间的距离的计算值；

8、s5、根据所述计算值与所述目标场景中各电力设备之间的距离的实际值之间的偏差，对目标场景的三维模型进行评估。

9、所述步骤s2中，通过所述三维模型采集训练数据包括：

10、s201、通过多个预设的观测点，获取目标场景的三维模型在不同观测点下的三维网格数据；

11、s202、通过投影算法获取各三维网格数据所对应的正视图像、侧视图像、俯视图像；

12、s202、通过标注工具标注各图像中电力设备的目标框位置信息、目标框分类信息；

13、s203、将带有标注的图像与对应的三维网格数据进行关联匹配。

14、所述步骤s4中，通过所述训练好的电力设备目标检测模型对目标场景进行检测，根据检测结果计算目标场景中各电力设备之间的距离包括：

15、s401、将目标场景的三维网格数据，以及目标场景的正视图像、侧视图像、俯视图像输入所述训练好的电力设备目标检测模型，得到目标场景中各电力设备的目标框位置信息、目标框分类信息；

16、所述目标场景的三维网格数据通过深度相机或激光雷达获取，所述目标场景的正视图像、侧视图像、俯视图像通过摄像头采集得到；

17、s402、根据目标场景中各电力设备的目标框位置信息、目标框分类信息，计算目标场景中各电力设备之间的距离。

18、所述步骤s3中，电力设备目标检测模型包括：

19、输入层，用于接收三维网格数据和对应的图像，所述图像包括：正视图像、侧视图像、俯视图像；

20、特征提取层，用于从接收到的所述三维网格数据中提取位置信息，从图像中提取不同视角的多尺度图像特征信息；

21、特征融合层：用于将位置信息、不同视角的多尺度图像特征信息进行深度特征融合，得到融合特征信息；

22、后置提取单元：用于对融合特征信息进行提取；

23、检测头：用于根据后置提取单元所提取的信息得到检测结果；

24、输出层：用于输出检测头得到的检测结果。

25、所述从图像中提取不同视角的多尺度图像特征信息包括：

26、s301、分别对正视图像、侧视图像、俯视图像进行fpn采样处理，得到正视视角的多尺度特征、侧视视角的多尺度特征、俯视视角的多尺度特征；

27、s302、分别对正视视角的多尺度特征、侧视视角的多尺度特征、俯视视角的多尺度特征进行稠密变换和融合拼接，得到正视角特征图、侧视角特征图、俯视角特征图。

28、所述从三维网格数据中提取位置信息具体包括：

29、使用位置编码公式将三维网格数据中每一个顶点的位置信息，转换为一个由正弦和余弦函数组成的编码向量；

30、使用mlp网络结构对转换后的顶点位置信息进行下采样。

31、所述步骤s3中，所述电力设备目标检测模型的损失函数包括分类损失函数、定位损失函数；

32、所述分类损失函数lcls为：

33、

34、式(1)中，y为目标框的真实分类信息，为目标框的预测分类信息；

35、所述定位损失函数lloc为：

36、lloc＝lbox+lori-res+lori-bin                               (2)；

37、

38、

39、

40、式(2)-(5)中，lbox为目标框损失函数，lori-res为预测损失函数，lori-bin为输出函数，res为目标框的预测位置，δres为目标框预测位置与真实位置的偏差，x,y,z,w,l,h为各目标框的三维坐标尺寸集合，smoothl1(·)为l1平滑函数，为第i个训练样本中目标框预测位置与真实位置的偏差，θ为第i个训练样本的视角，n为训练数据集中训练样本的总数量，binid为目标检测模型的输入，为输入binid的预测结果。

41、第二方面，本发明实施例提供了一种基于三维物体检测的模型动态评估系统，包获取模块，用于获取目标场景的三维模型，所述目标场景中包括多个电力设备；

42、采集模块，用于通过所述三维模型采集训练数据，得到训练数据集；

43、模型构建及训练模块，用于构建电力设备目标检测模型，使用所述训练数据集对所述电力设备目标检测模型进行训练，得到训练好的电力设备目标检测模型；

44、检测模块，通过所述训练好的电力设备目标检测模型对目标场景进行检测，根据检测结果计算目标场景中各电力设备之间的距离，得到目标场景中各电力设备之间的距离的计算值；

45、评估模块，用于根据所述计算值与所述目标场景中各电力设备之间的距离的实际值之间的偏差，对目标场景的三维模型进行评估。

46、第三方面，本发明实施例提供了一种基于三维物体检测的模型动态评估设备，电子设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的基于三维物体检测的模型动态评估方法中的步骤。

47、第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于三维物体检测的模型动态评估方法中的步骤。

48、与现有技术相比，本发明的有益效果为：

49、1、在本发明的基于三维物体检测的模型动态评估方法中，通过目标场景的三维模型进行数据采集，并得到训练数据，使用所述训练数据集对所述电力设备目标检测模型进行训练，得到训练好的电力设备目标检测模型，在通过训练好的电力设备目标检测模型对实际场景进行检测，根据检测结果与实际场景的差异对目标场景的三维模型进行评估，由于目标检测模型的训练需要大量的训练数据，通过从待检测的目标场景的三维模型中采集训练数据，相对于从实际场景中采集训练数据，可减少工作量。因此，本发明从待检测的目标场景的三维模型中采集训练数据，可减少采集训练数据的工作量。

50、2、在本发明的基于三维物体检测的模型动态评估方法中，通过目标场景的三维模型进行数据采集得到训练数据，使用训练数据对基于深度学习的检测模型进行训练，得到训练好的检测模型，再通过训练好的检测模型对实际场景下的电力设备进行检测，根据检测值与实际值的偏差，对目标三维模型进行评估，进而可以根据评估值对目标三维模型进行调整，整个对目标三维模型进行识别和评估的过程中不需要人工干预，不受到人为因素影响，且自动化程度高。因此，本发明使用基于深度学习的检测模型自动的对目标三维模型进行评估，自动化程度高，且不受到人为因素影响，评估结果精准。

51、3、在本发明的基于三维物体检测的模型动态评估方法中，检测模型的特征提取层提取输入点集不同视角下的特征，并将图像特征、位置特征进行深度融合，本发明使用输入点集的多视角作为检测的入口，不需要完整的模型数据，能够极大减少对整个模型进行预测的计算复杂度；同时，本发明在平面检测的基础上引入位置信息，通过位置编码和多视角信息引入，提升了对重叠信息和三维模型的检测能力。因此，本发明的检测模型使用输入点集的多视角作为检测的入口，减少计算复杂度；同时本发明结合位置信息和多视角信息，对重叠信息的检测能力更强。

52、4、在本发明的基于三维物体检测的模型动态评估方法中，基于深度学习的检测模型中引入多尺度金字塔操作，并与深度信息融合，提高模型对不同尺度目标、小目标、有遮挡的目标的检测能力，检测精度更高，进而提高了评估的准确性。因此，本发明通过多尺度金字塔与深度信息的融合，检测精度更高，进而提高了对目标模型的动态评估的准确性。

53、5、本发明基于三维物体检测的模型动态评估系统包括：获取模块，用于获取目标场景的三维模型，所述目标场景中包括多个电力设备；采集模块，用于通过所述三维模型采集训练数据，得到训练数据集；模型构建及训练模块，用于构建电力设备目标检测模型，使用所述训练数据集对所述电力设备目标检测模型进行训练，得到训练好的电力设备目标检测模型；检测模块，用于通过所述训练好的电力设备目标检测模型对目标场景进行检测，根据检测结果计算目标场景中各电力设备之间的距离，得到电力设备之间距离的计算值；评估模块，用于根据所述计算值与所述目标场景中各电力设备之间的距离的实际值之间的偏差，对目标场景的三维模型进行评估。该系统用于实现如上述技术方案中提供的基于三维物体检测的模型动态评估方法的步骤，因此，该系统同时包括如上述技术方案中提供的基于三维物体检测的模型动态评估方法的全部有益效果，在此不再赘述。