一种热成像的动态光场三维渲染方法及三维渲染装置

本技术涉及计算机图像处理领域，具体涉及一种热成像的动态光场三维渲染方法及三维渲染装置。

背景技术：

1、光场复现指的是从捕获的数据中生成新的视角图像或重建三维场景，而如何使用一组图片对场景进行更精确的三维重建已然成为计算机图像处理领域共同攻克的难题。传统光场技术通过捕捉和存储场景中所有光线的方向和位置，结合立体重建和训练卷积神经网络等方法，并依赖体素、点云等方案来对三维场景建模，而在分辨率需求较高时，体素与点云对存储成本和算力需求会呈现出立方级增长，应用场景因此大大受限，实际模型精细度往往达不到理想的效果。

2、目前更高效的光场复现手段是对场景进行模型预测或进行基于图像的三维表达，其中最著名的方法nerf(neural radiance fields，即神经辐射场)将隐式表示与体积渲染相结合，根据输入的相机位姿计算出图片中每一像素对应的光线在空间中的真实位置，在光线上采样查询点的坐标，将坐标作为输入参数投入mlp模型中查询。模型输出该查询点的颜色和透明度信息，将一条光线上的采样点信息通过体渲染方法合成一个像素的颜色，以此方法计算出一张图片上所有的像素信息后合成图像输出。

3、随着三维重建研究的深入，人们无法满足于静态场景，继而对动态场景的三维重建方法进行探索。动态光场是光场的一种扩展，除了记录光线的方向和位置信息以外，还记录了这些信息在时间上的变化，由此捕捉动态场景中的光线变化，可以用于解决动态场景重建时光照变化及运动物体视图变化等问题。早期的重建方案着眼于设置基于圆顶的多视图，在动态重建中对场景进行高保真重建和纹理渲染。最近，使用rgb-d传感器和gpu的体积方法已经实现了动态场景的实时三维重建，并消除了对预扫描模板模型的依赖。

4、更进一步的动态光场复现工作将nerf的扩展到动态场景中。其中常见的方法有将时间信息与空间信息一同输送至神经辐射场中进行场景重建；还有方法则将重建动态场景分解为学习从当前场景到每个时间戳(timestamp)的基准场景的空间映射，从而回归辐射场；除了rgb图像之外，还有使用飞行时间(tof)相机捕获的深度信息来优化神经辐射场。

5、总体而言，光场复现的传统三维重建方法生成离散的三维点云，致使最终渲染结果精度有限，而提高精度需要大幅提高点云密度，大大增加存储空间和运算时间开销。此外，现有nerf对动态光场三维重建的技术尚不成熟，已研究的解决方案的训练时间及渲染时间仍较长。同时，现有nerf尚未有针对热成像的动态光场开发的算法，并且针对可见光动态场景开发的nerf算法在学习热成像动态场景时花销时间巨大却输出低质量场景视图合成。

技术实现思路

1、本技术解决的技术问题是：如何对动态的场景进行热成像三维重建并提高热成像的三维渲染精度。为解决该问题，本技术提供一种热成像的动态光场三维渲染方法及三维渲染装置。

2、根据第一方面，本技术提供一种热成像的动态光场三维渲染方法，包括：获取目标物体的热红外探测数据并处理得到光线信息；根据所述光线信息生成所述目标物体的多维度信息，所述多维度信息包括空间位置、探测方向、探测距离和拍摄时间；基于多维度信息预测基准空间的变形场；基于多维度信息和变形场信息计算所述目标物体成像的像素信息，所述像素信息包括任一像素点的透明度值和灰度值；利用所述像素信息生成对应像素点的渲染像素值；整合所述目标物体成像的各成像点分别对应的渲染像素值生成热红外图像或热红外视频。

3、进一步地，所述获取目标物体的热红外探测数据并处理得到光线信息，包括：从红外探测相机获取所述目标物体的热红外探测数据，以及在所述红外探测相机的相机坐标系中确定所述热红外探测数据对应的各个成像光点；计算各个成像光点分别对应的光线方向和颜色，基于各个成像光点分别对应的光线方向和颜色形成为所述光线信息。

4、进一步地，所述根据所述光线信息生成所述目标物体的多维度信息，包括：利用所述光线信息中的各个成像光点分别对应的光线方向和颜色，处理得到所述目标物体上每个特征点在三维空间中的坐标值x、y、z，每个特征点相对所述热红外相机的角度值θ、φ，每个特征点到所述热红外相机的距离d，以及每个特征点成像的时间t；将坐标值x、y、z形成为所述目标物体上每个特征点的空间位置，将角度值θ、φ形成为每个特征点的探测方向，将距离d形成为每个特征点的探测距离，将时间t形成每个特征点的拍摄时间；基于所述目标物体上每个特征点的空间位置、探测方向、探测距离及拍摄时间形成为所述多维度信息。

5、进一步地，所述基于所述多维度信息计算所述目标物体成像的像素信息，包括：将多维度信息进行高维度的编码，得到空间位置和拍摄时间分别对应的编码信息；编码后的位置信息和时间信息输入预设的变形网络，输出变形后的空间位置以及对应的编码信息；将变形后的空间位置对应的编码信息输入预设神经网络的前网络层，利用前网络层的输出结果得到任一像素点的透明度值；将任一像素点的透明度值，以及探测方向对应的编码信息、探测距离对应的编码信息输入所述预设神经网络的后网络层，通过融合处理得到任一像素点的灰度值；基于任一像素的透明度值和灰度值形成为所述像素信息。

6、进一步地，所述将所述多维度信息进行高维度的编码，分别得到空间位置、探测方向、探测到距离对应的编码信息，包括：将所述多维度信息中每个特征点的空间位置、探测方向和探测距离进行傅里叶特性的高维映射，利用每个特征点的高维映射结果得到空间位置、探测方向、探测距离分别对应的编码信息。

7、进一步地，所述基于所述多维度信息预测基准空间的变形场，生成变形编码信息，包括：将所述多维度信息进行高维度的编码，得到空间位置、探测方向、探测距离和拍摄时间分别对应的编码信息；将空间位置和拍摄时间对应的编码信息输入预设的变形网络，输出变形后的空间位置以及对应的编码信息。

8、进一步地，所述根据所述变形编码信息计算所述目标物体成像的像素信息，包括：将变形后的空间位置对应的编码信息输入预设神经网络的前网络层，利用前网络层的输出结果得到任一像素点的透明度值；将任一像素点的透明度值，以及探测方向对应的编码信息、探测距离对应的编码信息输入所述预设神经网络的后网络层，通过融合处理得到任一像素的灰度值；基于任一像素的透明度值和灰度值形成为所述像素信息。

9、进一步地，所述将所述多维度信息进行高维度的编码，分别得到空间位置、探测方向、探测到距离对应的编码信息，包括：将所述多维度信息中每个特征点的空间位置、探测方向和探测距离进行傅里叶特性的高维映射，利用每个特征点的高维映射结果得到空间位置、探测方向、探测距离分别对应的编码信息。

10、进一步地，所述利用所述像素信息生成对应像素点的渲染像素值，包括：从所述像素信息获取任一像素的透明度值和灰度值；利用任一像素的透明度值计算对应的不透明度值；对任一像素的透明度值、灰度值以及不透明度值进行融合处理，生成对应像素点的渲染像素值。

11、进一步地，在利用所述像素信息生成对应像素点的渲染像素值之后，还包括：比较得到任一像素的灰度值与对应的渲染像素值之间的误差信息，所述误差信息包括psmr值和/或均方差值；根据所述误差信息调整所述预设神经网络的网络参数，以通过负反馈优化所述预设神经网络对应的网络模型。

12、根据第二方面，本技术提供一种三维渲染装置，包括：光线生成模块，用于获取目标物体的热红外探测数据并处理得到光线信息；信息生成模块，与所述光线生成模块连接，用于根据所述光线信息生成所述目标物体的多维度信息，所述多维度信息包括空间位置、探测方向、探测距离和拍摄时间；信息查询模块，与所述信息生成模块连接，用于基于所述多维度信息预测基准空间的变形场，生成变形编码信息，以及根据所述变形编码信息计算所述目标物体成像的像素信息，所述像素信息包括任一像素点的透明度值和灰度值；光线渲染模块，与所述信息查询模块相连，用于利用所述像素信息生成对应像素点的渲染像素值；图像生成模块，与所述光线渲染模块连接，用于整合所述目标物体成像的各像素点分别对应的渲染像素值生成热红外图像或热红外视频。

13、进一步地，所述的三维渲染装置还包括误差计算模块和模型优化模块；所述误差计算模块与光线渲染模块连接，用于比较得到任一像素的灰度值与对应的渲染像素值之间的误差信息，所述误差信息包括psmr值和/或均方差值；所述模型优化模块与所述误差计算模块、所述信息查询模块连接，用于根据所述误差信息调整预设神经网络的网络参数，以通过负反馈优化所述预设神经网络对应的网络模型；所述预设神经网络被配置于信息查询模块内，用于参与计算所述目标物体成像的像素信息。

14、根据第三方面，本技术提供一种计算机存储介质，存储有程序，所述程序能够被处理器处理以实现上述第一方面中所述的三维渲染方法。

15、本技术的有益成果是：

16、依据上述的热成像的动态光场三维渲染方法及三维渲染装置，由于在三维渲染方法中改变了信息生成和查询的维度，相较于基于原始nerf的三维重建方法，实现四维时域空域神经表征，实时捕捉并重建动态场景的三维结构，可以更准确地记录和重现现实世界中的动态事件，为各种应用提供更丰富、更真实的数据；其次，贴合了红外辐射强度随距离而递减的特性，渲染出的热红外图像更好地体现目标物体的辐射强度信息，能够采集到红外图像更多的关键信息，增强了三维渲染效果和渲染精度。

17、本技术技术方案通过在神经辐射场中引入变形网络进行优化，以预测特定时刻的场景与基准空间中的场景之间的变形场，再将信息进行深度学习，根据相机参数生成图像中每一个像素在空间中的对应光线，通过训练mlp模型来推理光线中点的灰度值和透明度值，再通过三维渲染技术根据查询信息逐光线地生成每个像点的渲染像素值，最后合成热红外图像和热红外视频。可以理解，本技术技术方案不但通过在输入信息中增加时间变量，预测某空间点在某一时刻的位移，再结合nerf的标准网络实现对移动或变形的物体进行三维重建；同时，实现端对端的训练，直接从输入数据到最终输出进行训练，而不需要手动设计中间步骤、设计特征提取或者增加额外组件。更一步地，压缩了光线生成数量，而且加快了训练速度，同时以神经网络权值隐式储存体素信息，由于储存权值以及函数的连续性特征，因此可以通过极小的存储空间植入极大的信息，渲染出高清晰度的立体图像。