基于全局分割网络的工件尺寸测量方法、装置及存储介质与流程

1.本技术涉及视觉测量技术领域，尤其涉及一种基于全局分割网络的工件尺寸测量方法、装置及存储介质。


背景技术：

2.实现精准高效的工件尺寸测量，对于保障产品质量，提升工厂的生产效率和经营利润有着重要意义。近年来，随着工业化水平的不断提升，机器视觉测量技术凭借其精度高、速度快和非接触等优势，成为了工件尺寸测量的主流方式之一。然而，现有的机器视觉测量技术主要依赖于传统的图像处理算法，为了获取图像中特定的工件信息需要进行大量的手工特征设计，不仅人工和时间成本过高，而且鲁棒性较差。


技术实现要素：

3.为了解决上述背景技术提到的技术问题或者至少部分地解决上述技术问题，本技术提供一种基于全局分割网络的工件尺寸测量方法、装置及存储介质，增强对同一类工件的精准化分割能力。
4.第一方面，本技术提供了一种基于全局分割网络的工件尺寸测量方法，包括：构建全局分割网络，所述全局分割网络包括呈对称结构的编码器和解码器；将待检测的原始工件图像输入所述编码器进行逐层下采样，得到不同层级的编码特征图，其中所述原始工件图像中包括多个同类型的待测量工件；所述编码器还用于根据所述编码特征图提取所述原始工件图像中所有所述待测量工件的全局上下文信息，得到每个待测量工件的全局特征向量；将所述不同层级的编码特征图中的最后一个层级的编码特征图输入所述解码器进行逐层上采样，每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图，并将所述当前层解码特征图作为下一层上采样的输入，得到不同层级的解码特征图；对所述不同层级的解码特征图中的最后一个层级的解码特征图进行阈值分割，得到所述待测量工件的二值图；对所述二值图进行形态学处理，并对形态学处理后的二值图进行骨架细化处理，得到单像素宽度的工件骨架；计算所述工件骨架在长度方向的像素点个数，并根据所述像素点个数与工件长度的关系，得出所述待测量工件的工件长度计算结果。
5.在此方案中，原始工件图像为提前拍摄的包含有多个同种类型的待测量工件的图像。在实际应用中，对拍摄的相机进行标定以后，利用标定好的相机在生产线上进行工件图像的连续拍摄。
6.拍摄得到的原始工件图像在输入编码器之前，还可以进行图像预处理操作，比如去除图像噪点，进行图像纠偏等，具体的预处理步骤这里不做限制。
7.原始工件图像输入编码器后，编码器对其进行逐层下采样处理，每一层下采样处理均可以包括以下步骤：先对原始工件图像进行连续多次的卷积操作（比如，连续两次的卷积操作），实现通道维度的扩增，为后续特征图引入更多的非线性信息，然后再通过池化层进行空间特征的降维以抽取关键特征信息，得到当前层编码特征图。
8.在此方案中，一张原始工件图像中包含了多个同类型的待测量工件，同类型工件的视觉特征具有高度相似性，在提取工件自身特征的同时，引入同类工件的特征信息，能够进一步提升算法对该工件的识别水平。因此，在此方案中，全局分割网络的解码器中设计了全局上下文路径，该路径通过将全局特征嵌入不同解码阶段的特征图中，使每个目标区域基于全局上下文信息获得同类工件的特征信息，从而显著增强网络对该类工件的精准化分割能力。
9.在此方案中，全局分割网络执行分割任务的目的是实现工件与背景的分离，因此，将最后一个层级的解码特征图输入最后一个卷积层中，将其通道数转化为2（分别表示工件和背景），得到中间特征图，最后，将该中间特征图中的第一通道图像转化为二值图并输出，其中像素值大于阈值的像素点值设为1，即前景，像素值小于阈值的像素点值设为0，即背景。
10.采用形态学操作对工件二值图中的工件区域进行骨架细化，直到工件的骨架宽度为一个像素点。计算工件在长度方向上的像素点个数，根据像素点个数与工件长度的关系，计算待测量工件的工件长度。
11.优选的，所述根据所述像素点个数与工件长度的关系，得出所述待测量工件的工件长度计算结果，具体包括：根据公式（1）计算所述待测量工件的工件长度d：（1）其中，z为通过相机标定获得的尺度因子，d为待测量工件的工件骨架在长度方向上的像素点个数。
12.在此方案中，相机用于拍摄原始工件图像。
13.优选的，在所述根据所述像素点个数与工件长度的关系，得出所述待测量工件的工件长度计算结果之前，还包括：进行相机标定，以确定像素和工件真实尺寸的对应关系。
14.在此方案中，在拍摄工件图像之前，需要对相机进行标定。
15.优选的，所述进行相机标定，具体包括：采用尺度因子法进行相机标定，根据公式（2）计算尺度因子z：（2）其中， m为相机到工件平面的距离，f为相机的镜头焦距，d为待测量工件的工件骨架在长度方向上的像素点个数。
16.优选的，所述每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图，具体包括：每一层上采样输出的特征图均与所述全局特征向量进行点积运算后再通过卷积操作进行特征抽取，得到当前层解码特征图。
17.优选的，所述每一层上采样输出的特征图均与所述全局特征向量进行点积运算之
前，还包括：调整所述全局特征向量的通道维度，以保证所述全局特征向量与所述当前层解码特征图维度一致。
18.在此方案中，不同解码阶段（即不同层级的解码阶段）区别在于全局特征向量的计算方式不同，采用不同计算方式是为了调整不同阶段全局特征向量的通道维度，以保证其能够和该阶段的解码特征图进行后续的点积运算，避免因为矩阵维度不一致，无法进行点积运算。
19.优选的，所述将待检测的原始工件图像输入所述编码器进行逐层下采样，得到不同层级的编码特征图，具体包括：所述编码器对输入的所述原始工件图像进行当前层级的下采样操作，具体包括：先对所述原始工件图像进行卷积操作，实现通道维度的扩增，再通过池化操作，进行空间特征的降维，得到当前层编码特征图；将所述当前层编码特征图作为下一层下采样的输入，得到不同层级的编码特征图。
20.在此方案中，由原始工件图像得到第一层级的编码特征图的过程可以为：先对所述原始工件图像进行连续多次的卷积操作能够为后续特征图引入更多的非线性信息；池化操作可以通过特征降维抽取关键特征信息。
21.和第一层级的编码特征图的生产过程类似，连续进行逐层的下采样，即每一层先通过连续多次（优选为两次）卷积操作，实现通道维度的扩增，再通过池化操作，进行空间特征的降维。
22.优选的，所述将待检测的原始工件图像输入所述编码器进行逐层下采样，具体包括：将待检测的原始工件图像输入所述编码器连续进行三层逐层下采样操作。
23.在此方案中，为了避免细节信息的过度损失影响工件分割效果的精准性，只在编码器中进行三次下采样操作第二方面，本技术提供了一种基于全局分割网络的工件尺寸测量装置，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的所述程序指令以实现如第一方面中任一技术方案所述的基于全局分割网络的工件尺寸测量方法。
24.第三方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如第一方面中任一技术方案所述的基于全局分割网络的工件尺寸测量方法。
25.本技术实施例提供的上述技术方案与现有技术相比具有如下优点：针对工件尺寸测量任务，该方法提出了由编码器和解码器两大部分组成的全局分割网络，并在解码器中设计了全局上下文路径，该路径通过将全局特征嵌入不同解码阶段的特征图中，使每个目标区域基于全局上下文信息获得同类工件的特征信息，从而显著增强网络对该类工件的精准化分割能力。
26.进一步的，本技术基于该网络还提出了工件尺寸测量方法，该方法能够自动从图像中分离出工件目标，快速准确地输出工件的尺寸测量结果，具有精度高、速度快、非接触、
易于部署等优点，能够显著提升生产线的检测效率，保障产品质量。
附图说明
27.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
29.图1为本技术实施例提供的一种基于全局分割网络的工件尺寸测量方法的结构示意图；图2为本技术实施例提供的基于全局分割网络的工件尺寸测量方法的测量步骤示意图；图3为本技术实施例提供的一种全局分割网络的网络结构示意图。
具体实施方式
30.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.为了便于理解，下面对本技术实施例提供的一种基于全局分割网络的工件尺寸测量方法进行详细介绍，参见图1，一种基于全局分割网络的工件尺寸测量方法，包括以下步骤：步骤s1，构建全局分割网络，所述全局分割网络包括呈对称结构的编码器和解码器；步骤s2，将待检测的原始工件图像输入所述编码器进行逐层下采样，得到不同层级的编码特征图，其中所述原始工件图像中包括多个同类型的待测量工件；步骤s3，所述编码器还用于根据所述编码特征图提取所述原始工件图像中所有所述待测量工件的全局上下文信息，得到每个待测量工件的全局特征向量；步骤s4，将所述不同层级的编码特征图中的最后一个层级的编码特征图输入所述解码器进行逐层上采样，每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图，并将所述当前层解码特征图作为下一层上采样的输入，得到不同层级的解码特征图；步骤s5，对所述不同层级的解码特征图中的最后一个层级的解码特征图进行阈值分割，得到所述待测量工件的二值图；步骤s6，对所述二值图进行形态学处理，并对形态学处理后的二值图进行骨架细化处理，得到单像素宽度的工件骨架；步骤s7，计算所述工件骨架在长度方向的像素点个数，并根据所述像素点个数与工件长度的关系，得出所述待测量工件的工件长度计算结果。
32.在本技术的一些具体实施例中，原始工件图像为提前拍摄的包含有多个同种类型
的待测量工件的图像。在实际应用中，对拍摄的相机进行标定以后，利用标定好的相机在生产线上进行工件图像的连续拍摄。
33.拍摄得到的原始工件图像在输入编码器之前，还可以进行图像预处理操作，比如去除图像噪点，进行图像纠偏等，具体的预处理步骤这里不做限制。
34.原始工件图像输入编码器后，编码器对其进行逐层下采样处理，每一层下采样处理均可以包括以下步骤：先对原始工件图像进行连续多次的卷积操作（比如，连续两次的卷积操作），实现通道维度的扩增，为后续特征图引入更多的非线性信息，然后再通过池化层进行空间特征的降维以抽取关键特征信息，得到当前层编码特征图。
35.在本技术的一些具体实施例中，一张原始工件图像中包含了多个同类型的待测量工件，同类型工件的视觉特征具有高度相似性，在提取工件自身特征的同时，引入同类工件的特征信息，能够进一步提升算法对该工件的识别水平。因此，在本技术的一些具体实施例中，全局分割网络的解码器中设计了全局上下文路径，该路径通过将全局特征嵌入不同解码阶段的特征图中，使每个目标区域基于全局上下文信息获得同类工件的特征信息，从而显著增强网络对该类工件的精准化分割能力。
36.在本技术的一些具体实施例中，全局分割网络执行分割任务的目的是实现工件与背景的分离，因此，将最后一个层级的解码特征图输入最后一个卷积层中，将其通道数转化为2（分别表示工件和背景），得到中间特征图，最后，将该中间特征图中的第一通道图像转化为二值图并输出，其中像素值大于阈值的像素点值设为1，即前景，像素值小于阈值的像素点值设为0，即背景。
37.采用形态学操作对工件二值图中的工件区域进行骨架细化，直到工件的骨架宽度为一个像素点。计算工件在长度方向上的像素点个数，根据像素点个数与工件长度的关系，计算待测量工件的工件长度。
38.针对工件尺寸测量任务，该方法提出了由编码器和解码器两大部分组成的全局分割网络，并在解码器中设计了全局上下文路径，该路径通过将全局特征嵌入不同解码阶段的特征图中，使每个目标区域基于全局上下文信息获得同类工件的特征信息，从而显著增强网络对该类工件的精准化分割能力。
39.进一步的，本技术基于该网络还提出了工件尺寸测量方法，该方法能够自动从图像中分离出工件目标，快速准确地输出工件的尺寸测量结果，具有精度高、速度快、非接触、易于部署等优点，能够显著提升生产线的检测效率，保障产品质量。
40.在本技术的一些具体实施例中，所述根据所述像素点个数与工件长度的关系，得出所述待测量工件的工件长度计算结果，具体包括：根据公式（1）计算所述待测量工件的工件长度d：（1）其中，z为通过相机标定获得的尺度因子，d为待测量工件的工件骨架在长度方向上的像素点个数。
41.在本技术的一些具体实施例中，相机用于拍摄原始工件图像。
42.在本技术的一些具体实施例中，在所述根据所述像素点个数与工件长度的关系，得出所述待测量工件的工件长度计算结果之前，还包括：进行相机标定，以确定像素和工件真实尺寸的对应关系。
43.在本技术的一些具体实施例中，在拍摄工件图像之前，需要对相机进行标定。
44.在本技术的一些具体实施例中，所述进行相机标定，具体包括：采用尺度因子法进行相机标定，根据公式（2）计算尺度因子z：（2）其中， m为相机到工件平面的距离，f为相机的镜头焦距，d为待测量工件的工件骨架在长度方向上的像素点个数。
45.在本技术的一些具体实施例中，所述每一层上采样输出的特征图均与所述全局特征向量进行融合后再进行特征抽取得到当前层解码特征图，具体包括：每一层上采样输出的特征图均与所述全局特征向量进行点积运算后再通过卷积操作进行特征抽取，得到当前层解码特征图。
46.在本技术的一些具体实施例中，所述每一层上采样输出的特征图均与所述全局特征向量进行点积运算之前，还包括：调整所述全局特征向量的通道维度，以保证所述全局特征向量与所述当前层解码特征图维度一致。
47.在本技术的一些具体实施例中，不同解码阶段（即不同层级的解码阶段）区别在于全局特征向量的计算方式不同，采用不同计算方式是为了调整不同阶段全局特征向量的通道维度，以保证其能够和该阶段的解码特征图进行后续的点积运算，避免因为矩阵维度不一致，无法进行点积运算。
48.在本技术的一些具体实施例中，所述将待检测的原始工件图像输入所述编码器进行逐层下采样，得到不同层级的编码特征图，具体包括：所述编码器对输入的所述原始工件图像进行当前层级的下采样操作，具体包括：先对所述原始工件图像进行卷积操作，实现通道维度的扩增，再通过池化操作，进行空间特征的降维，得到当前层编码特征图；将所述当前层编码特征图作为下一层下采样的输入，得到不同层级的编码特征图。
49.在本技术的一些具体实施例中，由原始工件图像得到第一层级的编码特征图的过程可以为：先对所述原始工件图像进行连续多次的卷积操作能够为后续特征图引入更多的非线性信息；池化操作可以通过特征降维抽取关键特征信息。
50.和第一层级的编码特征图的生产过程类似，连续进行逐层的下采样，即每一层先通过连续多次（优选为两次）卷积操作，实现通道维度的扩增，再通过池化操作，进行空间特征的降维。
51.在本技术的一些具体实施例中，所述将待检测的原始工件图像输入所述编码器进行逐层下采样，具体包括：将待检测的原始工件图像输入所述编码器连续进行三层逐层下采样操作。
52.在本技术的一些具体实施例中，为了避免细节信息的过度损失影响工件分割效果的精准性，只在编码器中进行三次下采样操作在本技术的又一些具体实施例中，还提供了一种基于全局分割网络的工件尺寸测量装置，包括：
存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的所述程序指令以实现如第一方面中任一技术方案所述的基于全局分割网络的工件尺寸测量方法。
53.在本技术的又一些具体实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码用于实现如第一方面中任一技术方案所述的基于全局分割网络的工件尺寸测量方法。
54.为了便于理解，下面通过具体示例对本技术提供的方法进行详细说明。
55.首先，本技术的目的是提供一种基于全局分割网络（global segmentation-network，gs-net）的工件尺寸测量方法，面向生产线上的工件长度测量，工件尺寸测量方法的具体步骤参见图2所示：步骤一、相机标定。由于在实际应用过程中，工业相机的光轴始终垂直于工件所在平面，且相机与平面的相对位置保持固定，因此采用尺度因子法进行相机标定，以确定像素和工件真实尺寸的对应关系。尺度因子z的计算公式如式（2）所示，其中m为工业相机到工件平面的距离，f为相机的镜头焦距，d为工件长度在图像上的像素数：（2）步骤二、建立工件分割数据集。首先，采用工业相机在生产线上进行工件图像的连续拍摄，使相机光轴始终垂直于拍摄平面且保持不变，考虑到卷积操作可能导致网络对边缘区域的预测效果不佳，拍摄过程中，应确保各个工件目标位于图像的中心区域；接下来，采用标注软件进行标注，在工件图像中标注出各个工件的所在区域，从而获得每张图像对应的标注文件。最后，基于工件图像与对应的标注文件，得到工件分割数据集，并将其分为训练集和测试集。
56.步骤三、构建编码器。接下来，针对工件尺寸测量任务，进行全局分割网络（global segmentation-network，gs-net）的设计，该网络由编码器和全局解码器两大部分组成。如图3所示，以本发明输入一张待检测的维度为572
×
572
×
1的工件图像a1为例，展示gs-net编码器的设计过程：对a1进行一个3*3卷积核的卷积操作，获得尺寸为570
×
570
×
64的特征图a2，再对a2进行一个3*3卷积核的卷积操作，获得尺寸为568
×
568
×
64的特征图a3。再将a3输入池化核为2*2的最大池化层中，获得尺寸为284
×
284
×
64的特征图b1。上述操作中，连续两次的3*3卷积操作能够为后续特征图引入更多的非线性信息；池化层通过特征降维抽取关键特征信息。
57.以上为从a1得到b1的编码方式，从b1到c1以及从c1到d1的编码方式与之类似，即先通过连续两次卷积操作，实现通道维度的扩增，再通过池化操作，进行空间特征的降维。最后，对d1再进行连续两次3*3卷积核的卷积操作，获得尺寸为64
×
64
×
512的特征图d3。为了避免细节信息的过度损失影响工件分割效果的精准性，只在编码器中进行三次下采样操作。
58.步骤四、构建全局解码器。
59.在实际应用场景中，一张工件图像包含了多个同类型的待测量工件，而同类型工件的视觉特征具有高度相似性，在提取工件自身特征的同时，引入同类工件的特征信息，能够进一步提升算法对该工件的识别水平。因此，本方法在解码器中设计了全局上下文路径，
该路径通过将全局特征嵌入不同解码阶段的特征图中，使每个目标区域基于全局上下文信息获得同类工件的特征信息，从而显著增强网络对该类工件的精准化分割能力。
60.如图3所示，全局解码器的设计过程如下：首先对特征图d3进行上采样操作，获得尺寸为128
×
128
×
512的特征图，再将该特征图输入1*1卷积层进行通道数转换，获得尺寸为128
×
128
×
256的特征图e1.接下来，将编码路径中的特征图a3（568
×
568
×
64）输入全局平均池化层（global average pooling，gap）中，以提取全局级别的特征信息，获得尺寸为1
×1×
64、携带全局上下文信息的全局特征向量a4。
61.随后，对a4进行一个1*1卷积核的卷积操作，获得尺寸为1
×1×
256的全局特征向量。将该全局特征向量与特征图e1进行点积运算，再对其输出特征图进行一个3*3卷积核的卷积操作，获得尺寸为126
×
126
×
256的特征图e2。将e2再次输入3*3卷积核的卷积层中，获得尺寸为124
×
124
×
256的特征图e3。
62.以上为从d3得到e3的解码阶段，从e3到f3以及从f3到g3的解码阶段与之类似，即先进行上采样操作，然后与全局特征向量进行点积运算，再通过两层卷积层进行进一步特征抽取。各解码阶段的区别在于全局特征向量的计算方式不同：从e3到f3的解码阶段，所采用的全局特征向量是a4进行卷积操作（卷积核为1*1）后输出的全局特征向量（尺寸为1
×1×
128）；从f3到g3的解码阶段，所采用的全局特征向量是a4（尺寸为1
×1×
64）。
63.由于本分割任务的目的是实现工件与背景的分离，因此将g3输入最后一个卷积层中，将其通道数转化为2（分别表示工件和背景），得到尺寸为482
×
482
×
2的特征图g4。
64.最后，将特征图g4中第一通道图像转化为二值图并输出，其中像素值大于阈值的像素点值设为1，即前景，像素值小于阈值的像素点值设为0，即背景。
65.以上即为gs-net分割网络的整体设计过程。
66.步骤五、训练gs-net网络，获得gs-net模型。采用工件分割数据集中的训练集训练gs-net网络，基于中心损失函数进行网络参数更新，直到其在测试集上获得符合预设要求的分割精度，得到最终的gs-net模型。
67.步骤六、将待测量长度的工件图像输入训练好的gs-net模型中，获得工件的二值图像，即最终的分割特征图。
68.步骤七、采用形态学操作对工件二值图中的工件区域进行骨架细化，直到工件的骨架宽度为一个像素点。计算工件在长度方向上的像素点个数d，并根据公式（1）得到工件的长度d，其中z为通过相机标定获得的尺度因子：（1）需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
69.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发
明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。