一种基于双光相机的大型堆体三维表面温度场测量方法与流程

1.本发明涉及一种大型堆体三维表面温度场测量方法，尤其是涉及一种基于双光相机的大型堆体三维表面温度场测量方法。


背景技术：

2.煤炭作为重要的工业原料和燃料，在发电、冶炼、化工、建材等行业中占有重要的地位。而煤堆自燃是煤炭储运及管理的一大难题。
3.对于煤堆自燃的监测及预警，传统方式主要是多点测量法和红外成像法。多点测量是在煤堆上人工多点插入温度传感器来监测煤堆的温度变化，属于接触式手动检测方式，但由于煤升温时放出的co气体对人体有害，另外，由于堆料经常变化就需要重复插入温度传感器，因此手动多点接触检测方式既易对操作人员的安全和健康造成威胁又带来大量的繁琐工作。红外热像法是通过非接触的红外测温方式，可全天候监测堆体温度情况，响应快、测温准，实现着火点的温度监测、快速火情报警、准确定位起火位置等。但目前采用人手持红外热像仪环绕煤堆进行测温拍摄，由于当前的测温相机视角有限，受到空间因素影响无法对火电厂大尺度煤堆整体进行精细测量，即使利用手持热像仪发现了温度异常点也不能准确确定温度异常点的空间位置，从而也就不能对煤堆自燃进行精准管控。
4.经过检索，中国专利公开号cn 112614215a公开了一种三维测量表面温度场重建方法，具体公开了使用投影设备照射出结构光，照射到待测物体表面；相机对物体进行拍照，三维重建，获得三维表面温度场模型。其中，所述三维重建步骤包括结构光解码匹配和三角测量；所述三维表面温度场模型是根据标准样片比色板数据建立的温度与颜色对照表，自动数字化解析出三维模型表面的温度信息。但是该现有专利采用了投影设备，无法针对大型堆体，同时通过查表方式来获得检测结果，存在检测精度低等问题。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于双光相机的大型堆体三维表面温度场测量方法。
6.本发明的目的可以通过以下技术方案来实现：
7.根据本发明的一个方面，提供了一种基于双光相机的大型堆体三维表面温度场测量方法，该方法包括以下步骤：
8.步骤1：标定温度图；
9.步骤2：使用无人机拍摄场地图片；
10.步骤3：建立堆体三维表面网格模型；
11.步骤4：计算三维表面网格模型各顶点温度；
12.步骤5：建立堆体三维表面温度场网格模型，并基于该模型进行测量。
13.作为优选的技术方案，所述的步骤1具体为：利用测温相机标定温度曲线，求解温度和灰度值的对应关系。
14.作为优选的技术方案，所述的温度曲线的标定是由用户选择物体进行温度的标定，进而解析出不同温度对应的测温相机图像的灰度，根据用户的需求确定温度的范围；根据该温度曲线可判断出不同灰度值对应的温度。
15.作为优选的技术方案，所述的步骤2具体为：
16.步骤2-1，将双光相机以及相应的程序搭载在无人机上；
17.步骤2-2，规划无人机的飞行路径，使得无人机拍摄的照片可以覆盖整个堆体；
18.步骤2-3，利用无人机按照轨迹飞行，并使用双光相机同步拍摄堆体的图像。
19.作为优选的技术方案，所述的拍摄堆体的图像包括堆体的可见光图像以及温度图像。
20.作为优选的技术方案，所述的步骤3具体为：
21.步骤3-1，利用所拍摄的可见光图像序列进行三维重建，获得场地的稀疏点云；
22.步骤3-2，基于所建立的稀疏点云，使用三维包络面拟合算法，建立大型堆体三维表面的网格模型.
23.作为优选的技术方案，所述的步骤4为：将三维网格模型中的各个顶点进行坐标系变换，求解出各顶点在测温相机像素坐标系下的坐标；求解出现过该点的图象群；对图象群中的所有图像中该点的温度值求平均，求解该点的测量温度。
24.作为更进一步优选的技术方案，所述的步骤4具体为：
25.步骤4-1：对双光相机进行内外参标定，确定可见光相机和温度相机的内部参数以及两者之间的外部参数；
26.步骤4-2：筛选出步骤3中所建网格模型顶点的可观测视图群，计算出各个顶点在其可观测图象群中的每一张视图相机坐标系中的三维空间坐标；
27.步骤4-3：将堆体三维表面的网格模型顶点变换到可见光相机坐标系下；
28.p＝[x,y,z]
t
[0029]
p1＝[xc,yc,zc]
t
[0030][0031]
根据上述公式获得世界坐标系和相机坐标系根据相机外参的变换关系；xc,yc,zc为点在世界坐标系下的坐标，x,y,z为点在相机坐标系下的坐标，r,t为坐标系的旋转矩阵及平移矩阵，p、p1分别为点在世界坐标系和相机坐标系下的坐标；
[0032]
步骤4-4：进行坐标转换，将可见光坐标系下的点变换到测温相机的局部坐标系中，坐标转换公式为：
[0033]
p2＝[xr,yr,zr]
[0034]
p2＝r1p1 t1[0035]
上述公式中p2为点在测温相机坐标系下的坐标，xr,yr,zr为点在测温相机坐标系下的坐标点，r1、t1为可见光坐标系在测温相机坐标系下的旋转和平移分量；
[0036]
步骤4-5：根据公式，将投影到测温相机系下的点转换到到测温相机的像素坐标系中；
[0037][0038]
由此公式推导出相机的相机坐标系到成像平面坐标系的变化，公式中u,v为该点在相机的像素坐标系下的坐标；f
x
，fy为相机的焦距，c
x
，cy图像像素坐标系中心点；
[0039]
步骤4-6：根据上一步的公式，计算出世界坐标系下大型堆体三维表面的网格模型的顶点在视图群中不同图像中的位置；如果点的坐标在图像的像素尺寸范围内，则说明该点在此时被拍入图像之中，记录下该点与此图片的映射关系；遍历该点视图群中的所有图像，计算出该点在视图群中图像上的坐标；
[0040]
步骤4-7：根据点与图像的映射关系，记录下每个点在不同图片中的温度值，对这些值取平均值，即为该点的温度测量值；
[0041]
步骤4-8：按照上述步骤遍历大型网格模型中的每个点，计算得出每个点的温度值。
[0042]
作为优选的技术方案，所述的步骤5为：根据步骤4中获得三维表面网格模型各顶点的温度信息，将每个点的温度信息转换为rgb颜色信息，建立堆体三维表面温度场网格模型，并基于该模型进行大型堆体三维表面温度场测量。
[0043]
作为更进一步优选的技术方案，所述的步骤5具体为：
[0044]
将原有3d模型与步骤4中得出的三维表面网格模型各顶点的温度信息相结合，使用温度-颜色转换算法将每个点的温度信息转换为rgb颜色值；把温度所对应的rgb信息一同写入3d模型当中，构建出大型堆体三维表面温度场模型，并基于该模型进行大型堆体三维表面温度场测量。
[0045]
与现有技术相比，本发明具有以下优点：
[0046]
1)本发明基于无人机搭载的双光相机通过计算机视觉优化融合算法构建大型堆体三维表面温度场，提高了堆体温度监测和自燃预警的准确性和易用性。
[0047]
2)本发明以无人机为测温传感器载体的大尺度堆体三维表面温度场测量方法，可以对大型堆体的温度场进行整体测量。
[0048]
3)本发明使用温度图像序列融合计算三维表面网格模型每个顶点的温度，提升了测量精度。
附图说明
[0049]
图1为本发明的具体流程图；
[0050]
图2为可见光图片序列示意图；
[0051]
图3为红外光图像序列示意图；
[0052]
图4为大尺度堆体三维表面温度场测量示意图。
具体实施方式
[0053]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实
施例，都应属于本发明保护的范围。
[0054]
如图1所示，本发明基于双光相机的大型堆体三维表面温度场测量方法，包括：
[0055]
步骤1：标定温度图。利用测温相机标定温度曲线，求解温度和灰度值的对应关系。
[0056]
步骤2：使用无人机拍摄场地图片。首先将双光相机以及相应的程序搭载在无人机上。规划无人机的飞行路径，使得无人机拍摄的照片可以覆盖整个堆体。利用无人机按照轨迹飞行，拍摄堆体的可见光图像以及温度图像。
[0057]
步骤3：建立堆体三维表面网格模型。利用上一步中拍摄的可见光图片进行三维重建获得堆体的稀疏点云。对稀疏点云进行三维包络面面拟合，得到堆体的三维表面网格模型。
[0058]
步骤4：计算三维表面网格模型各顶点温度。将三维网格模型中的各个顶点进行坐标系变换，求解出各顶点在测温相机像素坐标系下的坐标。求解出现过该点的图象群。对图象群中的所有图像中该点的温度值求平均，求解该点的测量温度。
[0059]
步骤5：建立堆体三维表面温度场网格模型。根据上一步中三维表面网格模型的顶点的温度信息，将每个点的温度信息转换为rgb颜色信息。建立堆体三维表面温度场网格模型。
[0060]
具体地，步骤1中温度曲线标定是由用户选择物体进行温度的标定，进而解析出不同温度对应的测温相机图像的灰度，根据用户的需求确定温度的范围。根据该温度曲线可以判断出不同灰度值对应的温度。
[0061]
所述的步骤2中具体为：
[0062]
步骤2-1：将双光相机搭载在无人机上，并配置好无人机飞行程序；
[0063]
步骤2-2：规划无人机飞行路径
[0064]
步骤2-3：根据路径飞行无人机并使用双光相机同步拍摄图像，包括可见光图像和温度图像
[0065]
所述的步骤3具体为：
[0066]
步骤3-1：利用所拍摄的可见光图像序列进行三维重建，获得场地的稀疏点云。
[0067]
步骤3-2：基于所建立的稀疏点云，使用三维包络面拟合算法，建立大型堆体三维表面的网格模型
[0068]
所述的步骤4具体为：
[0069]
步骤4-1：对双光相机进行内外参标定，确定可见光相机和温度相机的内参以及两者之间的外参。
[0070]
步骤4-2：
[0071]
筛选出步骤3中所建网格模型顶点的可观测视图群，计算出各个顶点在其可观测图象群中的每一张视图相机坐标系中的三维空间坐标
[0072]
步骤4-3：将堆体三维表面的网格模型顶点变换到可见光相机坐标系下。
[0073]
p＝[x,y,z]
t
[0074]
p1＝[xc,yc,zc]
t
[0075][0076]
根据上述公式可以获得世界坐标系和相机坐标系根据相机外参的变换关系。xc,yc,zc为点在世界坐标系下的坐标，x,y,z为点在相机坐标系下的坐标，r,t为坐标系的旋转矩阵及平移矩阵。
[0077]
步骤4-4：进行坐标转换，将可见光坐标系下的点变换到测温相机的局部坐标系中，坐标转换公式为：
[0078]
p2＝[xr,yr,zr]
[0079]
p2＝r1p1 t1[0080]
上述公式中p2为点在测温相机坐标系下的坐标。
[0081]
步骤4-5：根据公式，将投影到测温相机系下的点转换到到测温相机的像素坐标系中。
[0082][0083]
由此公式可以推导出相机的相机坐标系到成像平面坐标系的变化。公式中u,v为该点在相机的像素坐标系下的坐标。f
x
，fy为相机的焦距，c
x
，cy图像像素坐标系中心点。
[0084]
步骤4-6：根据上一步的公式，计算出世界坐标系下大型堆体三维表面的网格模型的顶点在视图群中不同图像中的位置。如果点的坐标在图像的像素尺寸范围内，则说明该点在此时被拍入图像之中，记录下该点与此图片的映射关系。遍历该点视图群中的所有图像，计算出该点在视图群中图像上的坐标。
[0085]
步骤4-7：根据点与图像的映射关系，可以记录下每个点在不同图片中的温度值，对这些值取平均值，即为该点的温度测量值。
[0086]
步骤4-8：按照上述步骤遍历大型网格模型中的每个点，根据本专利所提方法计算得出该点的温度值。
[0087]
所述步骤5具体为：
[0088]
将原有3d模型与步骤4中得出的三维表面网格模型顶点的温度信息相结合，使用温度-颜色转换算法将每个点的温度信息转换为rgb颜色值。把温度所对应的rgb信息一同写入3d模型当中，构建出大型堆体三维表面温度场模型。
[0089]
因此本发明具有以下具体的优势：
[0090]
1)使用无人机搭载相机进行飞行拍摄，解决了手持拍摄的不便；2)利用计算机视觉三维重建技术以及表面拟合算法建立堆体大体积三维表面网格模型；3)利用所建立的三维表面网格模型及相机位姿关系，通过测温相机的内外参数推算网格模型的每一个顶点的温度值，由于每个顶点可以被多张温度图像观测到，对不同图像中温度值进行融合，提升了大型堆体三维表面温度场测量的准确性。
[0091]
本发明涉及3d建模，大型堆体三维表面温度场测量，计算机视觉算法，温度信息与颜色信息的转换，可应用于各类大型堆体三维表面温度场测量，尤其适用于煤堆自燃监测。
由于本发明不需要大型仪器，使用方便，提高了测温相机的精确度，且可以对大型堆体的温度场进行测量，具有较好的应用前景。
[0092]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。