一种用于端子排和端子排接线的匹配方法及装置与流程

1.本发明涉及人工智能领域，尤其涉及一种用于端子排和端子排接线的匹配方法及装置。


背景技术：

2.电站的配电柜、端子箱内部端子排数量巨大，并且现场端子排接线情况复杂，对于端子排和端子排接线是否正常也是日常巡检的重要内容，早期采用yolo目标检测算法只能对端子排进行矩形框标注，端子排和端子排接线的重合区域无法有效检测，从而无法满足端子排和端子排接线区域对应的检测需求。
3.专利文献cn112001238a提供一种端子排的接线状态识别方法，通过获取端子排的图像作为待识别图像，确定待识别图像中的接线区域，将待识别图像中的接线区域与标准接线状态图中的接线区域进行对比，以确定端子排的接线状态。
4.上述专利文献也只能识别端子排的接线状态，对于端子排和端子排接线是否对应却无法检测。


技术实现要素：

5.本发明提供了一种用于端子排和端子排接线的匹配方法及装置，能够有效地将端子排和端子排接线进行匹配对应。
6.一种用于端子排和端子排接线的匹配方法，包括：
7.采集现场端子排图像并进行预处理；
8.将所述端子排图像分别输入至预先训练的图像识别神经网络模型和文字识别模型；
9.通过所述图像识别神经网络模型识别所述端子排图像中端子排和端子排接线管；
10.通过所述文字识别模型识别所述端子排图像中的文字；
11.将所述图像识别神经网络模型的识别结果和所述文字识别模型的识别结果进行匹配，获得端子排和端子排接线管及文字对应关系，并生成文本文件。
12.进一步地，训练所述图像识别神经网络模型，包括：
13.采集训练图片，并对训练图片中的端子排区域和端子排接线管区域进行标注，形成训练集；
14.建立包含可学习参数的图像识别神经网络模型；
15.将所述训练集输入至所述神经网络模型，基于梯度下降法更新所述图像识别神经网络模型的参数，直到所述图像识别神经网络模型收敛。
16.进一步地，通过所述图像识别神经网络模型识别所述端子排图像中端子排和端子排接线管，包括：
17.对所述端子排图像中端子排和端子排接线管进行边缘轮廓提取，并采用最小外接矩形代替边缘轮廓点集，计算端子排区域最小外接矩形的端点坐标及其面积，以及端子排
接线管最小外接矩形的端点坐标及其面积。
18.进一步地，通过所述文字识别模型识别所述端子排图像中的文字，包括：
19.从所述端子排图像中提取特征序列；
20.对所述特征序列进行预测，输出所有字符的概率分布；
21.选择最大输出概率作为最终预测字符串，获得文字识别结果；
22.所述文字识别结果包括第一字符串和第二字符串；
23.所述方法还包括：
24.对所述第一字符串和所述第二字符串进行框选，获得第一字符串框和第二字符串框；
25.计算所述第一字符串框和第二字符串框的坐标及其面积。
26.进一步地，将所述图像识别神经网络模型的识别结果和所述文字识别模型的识别结果进行匹配，包括：
27.分别计算所述第一字符串框面积与所述端子排区域最小外接矩形面积的第一交并比、第一字符串框面积与端子排接线管最小外接矩形面积的第二交并比，若所述第一交并比大于第一预设阈值，则确定第一字符串为端子排序号；若第二交并比大于第二预设阈值，则确定第一字符串为接线管编号；
28.确定第一字符串为端子排序号之后，计算第二字符串面积与端子排接线管最小外接矩形面积的第三交并比，若所述第三交并比大于第三阈值，则确定所述第二字符串为接线管编号；或者，确定第二字符串为接线管编号之后，计算第二字符串面积与端子排区域最小外接矩形面积的第四交并比，若所述第四交并比大于第四阈值，则确定所述第二字符串为端子排序号。
29.一种用于端子排和端子排接线的匹配装置，包括：
30.预处理模块，用于采集现场端子排图像并进行预处理；
31.输入模块，用于将所述端子排图像分别输入至预先训练的图像识别神经网络模型和文字识别模型；
32.第一识别模块，用于通过所述图像识别神经网络模型识别所述端子排图像中端子排和端子排接线管；
33.第二识别模块，用于通过所述文字识别模型识别所述端子排图像中的文字；
34.匹配模块，用于将所述图像识别神经网络模型的识别结果和所述文字识别模型的识别结果进行匹配，获得端子排和端子排接线管及其文字的对应关系,并生成文本文件。
35.进一步地，所述装置还包括训练模块，用于集训练图片，并对训练图片中的端子排区域和端子排接线管区域进行标注，形成训练集；建立包含可学习参数的图像识别神经网络模型；将所述训练集输入至所述神经网络模型，基于梯度下降法更新所述图像识别神经网络模型的参数，直到所述图像识别神经网络模型收敛。
36.进一步地，所述第一识别模块还用于通过所述图像识别神经网络模型对所述端子排图像中端子排和端子排接线管进行边缘轮廓提取，并采用最小外接矩形代替边缘轮廓点集，计算端子排区域最小外接矩形的端点坐标及其面积，以及端子排接线管最小外接矩形的端点坐标及其面积。
37.进一步地，所述第二识别模块用于通过所述文字识别模型从所述端子排图像中提
取特征序列；对所述特征序列进行预测，输出所有字符的概率分布；选择最大输出概率作为最终预测字符串，获得文字识别结果；所述文字识别结果包括第一字符串和第二字符串；对所述第一字符串和第二字符串进行框选，获得第一字符串框和第二字符串框；计算所述第一字符串框和第二字符串框的坐标及其面积。
38.进一步地，所述匹配模块还用于分别计算所述第一字符串框面积与所述端子排区域最小外接矩形面积的第一交并比、第一字符串框面积与端子排接线管最小外接矩形面积的第二交并比，若所述第一交并比大于第一预设阈值，则确定第一字符串为端子排序号；若第二交并比大于第二预设阈值，则确定第一字符串为接线管编号；
39.确定第一字符串为端子排序号之后，计算第二字符串面积与端子排接线管最小外接矩形面积的第三交并比，若所述第三交并比大于第三阈值，则确定所述第二字符串为接线管编号；或者，确定第二字符串为接线管编号之后，计算第二字符串面积与端子排区域最小外接矩形面积的第四交并比，若所述第四交并比大于第四阈值，则确定所述第二字符串为端子排序号。
40.本发明提供的用于端子排和端子排接线的匹配方法及装置，通过图像识别获得端子排区域和端子排接线管，再通过文字识别模型识别出图像中的字符串，通过交并比计算识别出字符串属于哪个区域，能够有效地将端子排和端子排接线进行匹配对应，为接线是否正确的排查提供有效依据，降低人力成本。
附图说明
41.图1为本发明提供的用于端子排和端子排接线的匹配方法一种实施例的流程图。
42.图2为本发明提供的用于端子排和端子排接线的匹配方法中端子排及端子排接线管一种实施例的流程图。
43.图3为本发明提供的用于端子排和端子排接线的匹配装置一种实施例的结构示意图。
具体实施方式
44.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
45.参考图1，在一些实施例中，提供一种用于端子排和端子排接线的匹配方法，包括：
46.s1、采集现场端子排图像并进行预处理；
47.s2、将所述端子排图像分别输入至预先训练的图像识别神经网络模型和文字识别模型；
48.s3、通过所述图像识别神经网络模型识别所述端子排图像中端子排和端子排接线管；
49.s4、通过所述文字识别模型识别所述端子排图像中的文字；
50.s5、将所述图像识别神经网络模型的识别结果和所述文字识别模型的识别结果进行匹配，获得端子排和端子排接线管及文字对应关系，并生成文本文件。
51.具体地，步骤s1中，对现场端子排图像的预处理，包括但不限于对端子排图像的降噪处理、灰度处理、二值化处理等。
52.进一步地，参考图2，每一次采集的端子排图像，为端子排图像的最小单元，包括一个端子排101及对应的端子排接线管102，其中，端子排101区域上设置有端子排序号103，端子排接线管102上设置有接线管序号104。
53.进一步地，步骤s2中，训练所述图像识别神经网络模型，包括：
54.采集训练图片，并对训练图片中的端子排区域和端子排接线管区域进行标注，形成训练集；
55.建立包含可学习参数的图像识别神经网络模型；
56.将所述训练集输入至所述图像识别神经网络模型，基于梯度下降法更新所述图像识别神经网络模型的参数，直到所述图像识别神经网络模型收敛。
57.其中，文字识别模型为crnn神经网络模型，其中的特征提取网络利用resnet34网络骨干框架，该框架不仅有着高精确度的特征提取能力，还可以轻松的在移动端进行部署推理；rnn循环神经网络层利用的是lstm长短期记忆神经网络，该神经网络相对于普通的循环神经网络在训练中避免了梯度消失和梯度爆炸问题，可以在更长的序列中有更好的表现。
58.进一步地，步骤s3中，通过所述图像识别神经网络模型识别所述端子排图像中端子排和端子排接线管，包括：
59.对所述端子排图像中端子排和端子排接线管进行边缘轮廓提取，并采用最小外接矩形代替边缘轮廓点集，计算端子排区域最小外接矩形的端点坐标及其面积，以及端子排接线管最小外接矩形的端点坐标及其面积。
60.具体地，获得端子排区域最小外接矩形的端点坐标的端点坐标之后，根据端点坐标可以计算其面积。
61.进一步地，步骤s4中，通过所述文字识别模型识别所述端子排图像中的文字，包括：
62.从所述端子排图像中提取特征序列；
63.对所述特征序列进行预测，输出所有字符的概率分布；
64.选择最大输出概率作为最终预测字符串，获得文字识别结果。
65.具体地，所述文字识别结果包括第一字符串和第二字符串；
66.所述方法还包括：
67.对所述第一字符串和所述第二字符串进行框选，获得第一字符串框和第二字符串框；
68.计算所述第一字符串框和第二字符串框的坐标及其面积。
69.具体地，根据第一字符串框和第二字符串框的端点坐标，可以计算其面积。
70.进一步地，步骤s5中，将所述图像识别神经网络模型的识别结果和所述文字识别模型的识别结果进行匹配，包括：
71.分别计算所述第一字符串框面积与所述端子排区域最小外接矩形面积的第一交并比、第一字符串框面积与端子排接线管最小外接矩形面积的第二交并比，若所述第一交并比大于第一预设阈值，则确定第一字符串为端子排序号；若第二交并比大于第二预设阈值，则确定第一字符串为接线管编号；
72.确定第一字符串为端子排序号之后，计算第二字符串面积与端子排接线管最小外
接矩形面积的第三交并比，若所述第三交并比大于第三阈值，则确定所述第二字符串为接线管编号；或者，确定第二字符串为接线管编号之后，计算第二字符串面积与端子排区域最小外接矩形面积的第四交并比，若所述第四交并比大于第四阈值，则确定所述第二字符串为端子排序号。
73.考虑到实际工程现场端子排接线可能不规整，比如1号端子排接线可能会和2号端子排接线有交集覆盖，即实际接线的时候线缆会弯曲，因此通过交并比计算，可以更加准确的区分字符串属于端子排区域还是端子排接线管，即字符串为端子排序号还是接线管编号。
74.确定字符串为端子排序号还是接线管编号之后，将其一一进行对应，采集多个端子排图片进行识别和匹配之后，获得多个端子排序号和接线管编号的对应关系，将其生成文本文件，例如：
75.{"number":"8","info":"yn8-101/ymb80"},
76.{"number":"9","info":"3330ct-109/a"},
77.{"number":"10","info":"1yfa-13"},
78.{"number":"11","info":"4n-p5:30"}
79.其中，"8"、"9"、"10"、"11"为端子排序号，"yn8-101/ymb80"、"3330ct-109/a"、"1yfa-13"、"4n-p5:30"为接线管编号。
80.生成文本文件之后，技术人员可以通过查看和比对，判断端子排和端子排接线是否接正确。
81.作为另外一种可选的实施方式，也可以预先建立标准文本文件，将生成的文本文件与标准文本文件进行比较，根据比较结果判断接线是否正确。
82.上述实施例提供的方法，通过图像识别获得端子排区域和端子排接线管，再通过文字识别模型识别出图像中的字符串，通过交并比计算识别出字符串属于哪个区域，能够有效地将端子排和端子排接线进行匹配对应，为接线是否正确的排查提供有效依据，降低人力成本。
83.在一些实施例中，参考图3，提供一种用于端子排和端子排接线的匹配装置，包括：
84.预处理模块101，用于采集现场端子排图像并进行预处理；
85.输入模块102，用于将所述端子排图像分别输入至预先训练的图像识别神经网络模型和文字识别模型；
86.第一识别模块103，用于通过所述图像识别神经网络模型识别所述端子排图像中端子排和端子排接线管；
87.第二识别模块104，用于通过所述文字识别模型识别所述端子排图像中的文字；
88.匹配模块105，用于将所述图像识别神经网络模型的识别结果和所述文字识别模型的识别结果进行匹配，获得端子排和端子排接线管及其文字的对应关系,并生成文本文件。
89.进一步地，所述装置还包括训练模块106，用于采集训练图片，并对训练图片中的端子排区域和端子排接线管区域进行标注，形成训练集；建立包含可学习参数的图像识别神经网络模型；将所述训练集输入至所述神经网络模型，基于梯度下降法更新所述图像识别神经网络模型的参数，直到所述图像识别神经网络模型收敛。
90.进一步地，第一识别模块103还用于通过所述图像识别神经网络模型对所述端子排图像中端子排和端子排接线管进行边缘轮廓提取，并采用最小外接矩形代替边缘轮廓点集，计算端子排区域最小外接矩形的端点坐标及其面积，以及端子排接线管最小外接矩形的端点坐标及其面积。
91.进一步地，第二识别模块104用于通过所述文字识别模型从所述端子排图像中提取特征序列；对所述特征序列进行预测，输出所有字符的概率分布；选择最大输出概率作为最终预测字符串，获得文字识别结果；所述文字识别结果包括位于所述端子排区域的端子排序号以及位于端子排接线管的端子排接线管号码；对所述端子排序号和所述端子排接线管号码进行框选，获得端子排序号框和端子排接线管号码框；计算所述端子排序号框和端子排接线管号码框的坐标及其面积。
92.进一步地，匹配模块105还用于计算端子排区域最小外接矩形面积与端子排序号框面积的第一交并比，若所述第一交并比大于第一预设阈值，则将所述端子排序号与所述端子排区域进行对应；计算端子排接线管最小外接矩形面积与端子排接线管号码框面积的第二交并比，若所述第二交并比大于第二预设阈值，则将端子排接线管号码与所述端子排接线管对应。
93.上述实施例提供的用于端子排和端子排接线的匹配装置，通过图像识别获得端子排区域和端子排接线管，再通过文字识别模型识别出图像中的字符串，通过交并比计算识别出字符串属于哪个区域，能够有效地将端子排和端子排接线进行匹配对应，为接线是否正确的排查提供有效依据，降低人力成本。
94.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。