一种新的基于深度学习的示温漆蝶形样片标定方法

：本发明涉及图像处理技术，具体来讲，涉及一种新的基于深度学习的示温漆蝶形样片标定方法。

背景技术

0、背景技术：

1、示温漆是一种特殊的涂料，能在达到特定温度时发生颜色变化，广泛应用于发动机涡轮盘、叶片、燃烧室机匣和火焰筒等热端部件的温度测试。

2、示温漆标准样片标定一直是示温漆测温中的关键环节和难点部分，它是示温漆温度判读的基础和依据，直接关系到示温漆温度测量的精度和可靠性。示温漆标准样片标定方法分为基于颜色空间的标定方法和基于等温线的标定方法。基于等温线的标定方法采用“蝶形样片+电烤式+热电偶对比”的方式，首先通过电压可调电加热装置使蝶形样片表面形成温度梯度，等温线是两个相邻颜色之间过度的交界线，这条交界线上的温度值基本一致。再重新取一个新的蝶形样片进行二次标定，目测上一个蝶形样片等温线的位置，手动在新的蝶形样片同样的位置焊上壁面电偶连接温度表，再次加电流得到等温线的温度。这样的标定方法主要依赖于手动测量和评估，这不仅耗时耗力，而且难以达到高精度和重复性，特别是在连续和广泛的温度范围内。进而影响热端部件的温度判读，而且难以适应快速变化的工业应用需求。

技术实现思路

0、技术实现要素：

1、本发明的目的在于解决现有技术在基于等温线的示温漆蝶形样片标定方法效率低、精度差的问题，为了实现这一目的，本发明提供了一种新的基于深度学习的示温漆蝶形样片标定方法，其特征在于利用机器视觉和深度学习技术，自动识别示温漆的颜色变化，精确计算等温线位置，从而实现快速、准确的示温漆二次标定。本发明主要包含三个部分：第一部分是采集数据制作数据集及数据增强；第二部分是通过mae-upernet分割网络进行训练与测试，输出分割图；第三个部分计算分割区域轮廓几何特性，并将像素距离映射为实际物理距离。

2、第一部分包括三个步骤：

3、步骤1，使用搭建的实验平台采集不同示温漆变化的蝶片图片；

4、步骤2，将采集到图片使用labelme工具进行标注，作为第二部分网络训练的数据集；

5、步骤3，数据增强，将除背景以外的部分进行随机的hsv色彩空间内的颜色调整，增强图像数据的多样性；

6、第二部分包括六个步骤：

7、步骤4，将输入的图像全部调整为512x512像素，并做归一化处理；

8、步骤5，使用mae编码器将步骤4处理后的图像切分为多个小块(patches)，每个patch是16x16像素。再通过一个线性层将这些patches映射到一个768维度的空间，接着将这些经过embedding的patches输入到一个由多个transformer层组成的编码器中。这些层使用自注意力机制来处理序列化的patch表示，允许模型捕捉不同patch之间的关系。最终得到每个patch的高级特征表示；

9、步骤6，将步骤5得到的高级特征通过输出索引传递到解码器。输出索引决定了哪些编码器层的输出将被用于解码过程。解码器会接收来自不同transformer层输出的特征，这些特征代表了不同的尺度和抽象层次；

10、步骤7，解码器使用接收到的步骤6的特征进行一系列操作，包括卷积、上采样等，逐步恢复特征图的空间维度，直至接近原始图像的尺寸。并通过分割头将高级特征映射到像素级的类别预测。分割头包括几个卷积层，用于生成最终的语义分割图，其中每个像素位置的输出代表一个类别标签；

11、步骤8，利用了交叉熵损失作为主要的损失函数，并结合权重衰减、dropout及批量归一化等多种技术来提升模型的训练效果和泛化能力，帮助模型在训练过程中避免过拟合，并在多类图像分割任务中达到较好的性能；

12、步骤9，输出一个与输入图像相同分辨率的分割图，每个像素对应一个类别标签，这些标签表示该像素属于输入图像中的哪个语义类别；

13、第三部分包括四个步骤：

14、步骤10，计算非背景区域的roi子图。将预测结果二值化，非背景区域置为1，否则置为0。提取二值图的轮廓，对每个轮廓计算外接旋转矩形。找到外接旋转矩形最大的轮廓，作为唯一的非背景区域轮廓。使用仿射变换得到旋转矩形内部的图像，作为roi子图；

15、步骤11，色块轮廓提取；

16、步骤11-1，得到每个类别的色块二值图，若为该类别则为1，否则为0；

17、步骤11-2，计算第1类的中中心点：对第一类的二值图进行形态学开操作，提取轮廓，若存在多个轮廓则取面积最大的轮廓，计算轮廓重心，记为offsetx，offsety；

18、步骤11-3，非第1类二值图裁剪：其余的3个类别，每个类别根据中心点裁剪为上下左右4个部分；

19、步骤11-4，首先对每个二值图进行形态学开操作，然后提取轮廓，并记录轮廓所对应的二值图的方位(左上，左下，右上，右下)；

20、步骤12，在处理图像的roi子图时，首先剔除面积小于50像素的噪声轮廓，然后根据轮廓的方位确定和记录每个轮廓的最边缘点。接着，在roi子图中确定靠近四角的点，并将这些点映射回原图，以标定测量温度所需的关键点。这些关键点按方位分组后，计算组内点的相对距离，用于进一步分析和测量；

21、步骤13，通过棋盘格标定方法确定相机的像素与物理坐标的转换关系。首先采集一个10×10棋盘格(每格10mm)的图像，提取并排序角点坐标。以左上角角点为原点，构建世界坐标系下的角点坐标，计算图像到世界坐标的转换矩阵，并使用此矩阵转换图像坐标，以计算物理距离。

22、本发明提出一种新的基于深度学习的示温漆蝶形样片标定方法。首先，使用特定的实验设置，包括高分辨率照相机和照明系统，采集在不同温度条件下示温漆变色反应的蝶形样片图像；其次，通过labelme工具对这些图像中的等温线及相邻区域进行详细标注，根据颜色变化将图像分为五个类别，以支持精确的区域划分，并在已有的数据基础上进行数据增强；接着，采用数据加载器和归一化技术处理图像，使其符合预训练网络的输入要求；之后，在mae模型的基础上，通过多层transformer编码器对图像块的特征进行抽象和编码，实现对示温漆颜色变化的深入学习和识别；随后，利用upernet网络通过解码过程结合上采样技术逐步恢复图像的空间细节，生成高精度的颜色分割图；最终，将这些图像处理结果用于精确标定示温漆的颜色变化区域，辅助确定实验中的二次标定点位。本方法极大提高了示温漆二次标定的精度和效率，适用于需要高准确性温度检测的科研和工业领域。

技术特征：

1.一种新的基于深度学习的示温漆蝶形样片标定方法，其特征在于，利用机器视觉获取蝶形样片的示温漆信息，实现对蝶形样片示温漆等温线的提取，并实现二次标定辅助，包括采集数据制作数据集及数据增强、通过mae-upernet网络输出分割图和计算分割区域轮廓几何特性得到实际物理距离三个部分，第一部分包括三个步骤：

2.根据权利要求1所述的一种新的基于深度学习的示温漆蝶形样片标定方法，其特征在于，步骤3使用了一种新的数据增强方法，提升模型对颜色变化的适应性同时确保了背景的一致性，优化了模型在实际应用中的定位和分析性能。

3.根据权利要求1所述的一种新的基于深度学习的示温漆蝶形样片标定方法，其特征在于，步骤5使用了mae编码器更好的提取有效特征的表示。

4.根据权利要求1所述的一种新的基于深度学习的示温漆蝶形样片标定方法，其特征在于，步骤7中解码过程使用upernet分割头，将编码器提取的特征转换为像素级的类别预测。

5.根据权利要求1所述的一种新的基于深度学习的示温漆蝶形样片标定方法，其特征在于，步骤13中利用相机标定实现像素与物理坐标转换得到二次标定点位。

技术总结本发明提出一种新的基于深度学习的示温漆蝶形样片标定方法。首先，使用特定的实验设置，包括高分辨率照相机和照明系统，采集在不同温度条件下示温漆变色反应的蝶形样片图像；其次，通过Labelme工具对这些图像中的等温线及相邻区域进行详细标注，根据颜色变化将图像分为五个类别，以支持精确的区域划分，并在已有的数据基础上进行数据增强；接着，采用数据加载器和归一化技术处理图像，使其符合预训练网络的输入要求；之后，在MAE模型的基础上，通过多层Transformer编码器对图像块的特征进行抽象和编码，实现对示温漆颜色变化的深入学习和识别；随后，利用UPerNet网络通过解码过程结合上采样技术逐步恢复图像的空间细节，生成高精度的颜色分割图；最终，将这些图像处理结果用于精确标定示温漆的颜色变化区域，辅助确定实验中的二次标定点位。本方法极大提高了示温漆二次标定的精度和效率，适用于需要高准确性温度检测的科研和工业领域。技术研发人员：张红英,贾盼蓉受保护的技术使用者：西南科技大学技术研发日：技术公布日：2024/9/2