一种领域知识驱动的多模态电力巡检方法、装置和系统与流程

本技术属于输变电线路检测，具体涉及一种领域知识驱动的多模态电力巡检方法、装置和系统。

背景技术：

1、输变电线路中存在上百种缺陷，各类缺陷的数目和形态也相差甚大。传统人工巡检方式检测存在效率低、检测精度较低、且成本高等问题；因此利用无人机技术进行巡检并结合深度学习算法对电网输电线路进行智能故障检测，已经成为不可或缺的重要技术手段。

2、然而，电力巡检采用无人机进行，数据量非常大，若是将采集到的数据全部发送至云端利用模型进行检测，则会面临较大的带宽压力，若在边端即开始部署模型则会消耗大量算力造成不必要的损失。

3、此外，现有的深度学习模型主要通过颜色、形状、纹理等表面特征来分辨物体类别并定位，而未考虑物体间的相对位置信息。同时，对于外观相似度高的小目标设备，这些模型难以实现精确区分，导致输变电线路上小目标缺陷的漏检或误检。然而，在输变电设备的特定部位，这些小目标部件之间通常存在着固定的空间布局，这种位置关系和共现形态亦是输变电部件缺陷检测过程中能够参考的重要依据。如何充分利用上述位置与形态信息，以提升输变电线路小目标缺陷检测的准确率，是亟待解决的问题。

技术实现思路

1、由于输变电线路缺陷种类繁多、安装场景复杂，相同部件在不同的部位上的安装形态也存在区别，因此，输变电线路缺陷类别更为多样且复杂。采用现有智能检测算法容易导致误检或漏检等问题，针对此，本技术提出了一种领域知识驱动的多模态电力巡检方法、装置和系统。本技术采用大小模型结合的方式，在边端部署轻量模型（即小模型）对缺陷进行初步检测，将小目标不易检测的图片传向云端利用大模型进行检测，同时结合多模态的形式生成最终的检测结果，可以显著提升检测效率和准确性。

2、本技术通过下述技术方案实现：

3、一种领域知识驱动的多模态电力巡检方法，所述的多模态电力巡检方法包括：

4、接收由边端传输来的包含位置信息和类别信息的缺陷样本，所述缺陷样本是利用部署在边端的轻量级目标检测网络对待测目标的图像数据集进行初步检测和分类并过滤掉无缺陷样本后得到的；

5、根据预设目标大小对所述缺陷样本进行分类，并将缺陷样本数据标注为后续缺陷检测所需的数据格式；

6、根据前一步骤的分类结果判断是否为小目标缺陷，如果是则根据大语言模型及多模态大模型进行小目标缺陷检测，否则采用预训练的yolov8模型进行缺陷检测。

7、在一些实施方式中，所述的利用部署在边端的轻量级目标检测网络对待测目标的图像数据集进行初步检测和分类并过滤掉无缺陷样本，具体过程包括：

8、将图像输入到resnet模型，获得分类结果和特征图；

9、对所述特征图进行处理，初步提取缺陷的位置信息和类别信息；

10、利用判断语句进行判断，将不存在预设目标类别且确定无缺陷的图像剔除。

11、在一些实施方式中，所述将缺陷样本数据标注为后续缺陷检测所需的数据格式，具体包括：

12、对所述缺陷样本分别进行整体部件和缺陷部分的标注，对标注后的图像数据进行预处理，包括：调整图像大小，将图像的像素值进行归一化处理，将图像转换为yolov8算法所需的格式，将小目标缺陷类型图像标注为图文对的形式，为多模态大模型微调做准备。

13、在一些实施方式中，所述的根据大语言模型及多模态大模型进行小目标缺陷检测，具体包括：

14、基于电力作业规程、设备缺陷定级规范和设备缺陷消缺指南，采用llama3语言模型生成缺陷产生环境；

15、采用预训练的clip模型对所述缺陷样本的图像进行类别识别，并将输出的识别结果与llama3语言模型生成的缺陷产生环境进行对比，如果能够匹配上，则判定该图像存在对应缺陷。

16、在一些实施方式中，所述的clip模型的训练过程具体包括：

17、将输电线路上各类小目标类别描述文本送入到clip模型的文本编码器中，得到对应的文本特征；

18、将带有类别标记的历史图像数据送入到clip模型的图像编码器中，得到图像特征；

19、采用对比损失函数，对clip模型进行学习，目标是最小化相关文本特征和图像特征之间的距离，同时最大化不相关文本特征和图像特征之间的距离，使得图像分类预测结果为相似度最大的文本特征对应的类别。

20、在一些实施方式中，所述的对比损失函数表示为：

21、

22、其中， a、 p、 n分别表示目标样本、正样本和负样本， d( a,p)和 d( a,n)分别表示目标样本与正样本、负样本之间的距离， margin为阈值。

23、在一些实施方式中，所述的clip模型的训练过程还包括：

24、采用adam优化器对所述clip模型进行优化。本技术通过加入电力领域数据，利用在每个transformer层插入adapter的方式对模型进行微调，使模型了解输电部件之间的空间布局和正常情况下的共现形态，帮助模型更适应电力场景下的缺陷检测。

25、在一些实施方式中，所述的采用预训练的yolov8模型进行缺陷检测，具体过程包括：

26、根据所述位置信息，实现目标定位和分类，对被分类为缺陷部分的目标，进行位置定位和缺陷分类，获得缺陷位置框和类别名称；

27、将缺陷位置框和类别名称传入后面的分类网络判断是否为某个类别。

28、第二方面，本技术还提出了一种领域知识驱动的多模态电力巡检装置，所述的多模态电力巡检装置包括：

29、数据接收单元，所述数据接收单元用于接收由边端传输来的包含位置信息和类别信息的缺陷样本，所述缺陷样本是利用部署在边端的轻量级目标检测网络对待测目标的图像数据集进行初步检测和分类并过滤掉无缺陷样本后得到的；

30、分类标注单元，所述分类标注单元根据预设目标大小对所述缺陷样本进行分类，并将缺陷样本数据标注为后续缺陷检测所需的数据格式；

31、以及，判断单元，所述判断单元根据所述分类标注单元的分类结果判断是否为小目标缺陷，如果是则根据大语言模型及多模态大模型进行小目标缺陷检测，否则采用预训练的yolov8模型进行缺陷检测。

32、第三方面，本技术还提出了一种领域知识驱动的多模态电力巡检系统，所述的多模态电力巡检系统包括：

33、边缘设备端，所述边缘设备端被配置为执行如下操作：

34、利用预先部署的轻量级目标检测网络对待测目标的图像集进行初步检测和分类，过滤掉无缺陷样本，并将包含位置信息和类别信息的缺陷样本传输至云端服务器；

35、以及云端服务器，所述云端服务器被配置为执行如下操作：

36、根据预设目标大小对缺陷样本进行分类，并将缺陷样本数据标注为后续缺陷检测所需的数据格式；

37、根据分类结果判断是否为小目标缺陷，如果是则根据大语言模型及多模态大模型进行小目标缺陷检测，否则采用预训练的yolov8模型进行缺陷检测。

38、1、本技术提出的一种领域知识驱动的多模态电力巡检方法、装置和系统，首先通过部署在边端的轻量级目标检测网络对目标进行初步检测和分类，剔除检测出的无缺陷的图像数据，大大降低了图像数据量，从而减少了传输带宽压力，保证了云端服务器的处理实时性和安全性，提高了检测效率。

39、2、本技术提出的一种领域知识驱动的多模态电力巡检方法、装置和系统，还通过部署在云端的算法，将缺陷样本数据划分为大目标和小目标，同时针对其采用不同的缺陷检测算法，使得每种缺陷的训练方法更加适合样本特点，避免小目标缺陷与背景融为一体难以检测的现象，使用大语言模型增强对缺陷的检索能力，通过大语言模型学习缺陷产生的具体环境，结合边端传入的类别参数将缺陷范围进一步缩小，从而提高了检测准确率和适应性。