一种应用于混合现实飞行模拟器的神经重光照方法

本发明属于计算机视觉、计算机图形学领域，尤其涉及一种应用于混合现实飞行模拟器的神经重光照方法。

背景技术：

1、混合现实(mixed reality)被定义为“现实-虚拟连续体”中的中间状态(milgramp,kishino f.1994.ataxonomy of mixed reality visual displays.ieicetransactions on information and systems,vol.e77-d,no.12:1321-1329.)，相关技术通过混合虚拟场景和现实场景，为用户提供高沉浸感环境体验。利用混合现实技术，飞行模拟器内部环境通过摄像机捕捉，与计算机渲染的机舱外部视景结合。这些信息根据空间位置被同步显示在头戴式显示器上。相比于直接应用虚拟现实技术，利用混合现实技术可以使飞行模拟器的显示系统呈现高沉浸感虚拟环境，同时避免在戴上头戴式显示器后无法看见模拟器机舱内实体操纵杆和仪表的问题。

2、混合现实的应用也会带来新的问题。由于飞行仿真中的虚拟场景和摄像机拍摄的现实场景的光照条件不一致，渲染图像和拍摄图像混合显示在头戴式显示器上会导致很强的违和感。zhan等人(zhan f,lu s,zhang c,ma f,xie x.2020.adversarial imagecomposition with auxiliary illumination//proceedings of the asian conferenceon computer vision(accv))和nicolet等人(nicolet b,philip j,drettakisg.2020.repurposing a relighting network for realistic compositions ofcaptured scenes//in symposium on interactive 3d graphics and games(i3d'20).association for computing machinery,1-9)在他们的工作中强调了混合现实场景中的光照一致性问题，在这种情况下，往往需要从虚拟场景(现实场景)中获取光照信息，并以此光照信息为参考对现实场景(虚拟场景)的图像进行重光照，使得表示不同场景的两幅图像光照一致。

3、传统的图像重光照工作通常采用逆向渲染方法分解场景中与光照相关的信息(光照传输函数等)，再通过图形学中的光照模型渲染获得重光照结果。然而，这个问题被公认为是不适定的，从一个场景中准确地求解相关属性十分具有挑战。随着深度神经网络展现出强大的预测和回归能力，融合计算机图形学和深度学习的神经渲染概念被提出，基于深度神经网络的重光照方法也相继被提出。其中，基于图像的重光照是一项允许仅从图像出发，无需额外场景信息，即可模拟并输出场景在新的、可控光照条件下所呈现的效果的技术。xu等人(xu z,sunkavalli k,hadap s,ramamoorthi r.2018.deep image-basedrelighting from optimal sparse samples.acm transactions on graphics,37(4):1-13)在提前定义的五个方向光源下生成场景图像，以此为输入，利用卷积神经网络预测方向光源在其余方向时场景的光照结果。philip等人(philip j,gharbi m,zhou t,efros aa,drettakis g.2019.multi-view relighting using a geometry-aware network.acmtransactions on graphics,38(4):1-14)通过对场景的多视角图像，提前构建出场景的几何粗模，用于生成场景在室外光照条件下的重光照结果。上述工作虽然能根据给定的光照条件，生成逼真的场景重光照结果，却也存在着种种限制。在上述工作中，目标光照条件往往以球坐标上的一个方向的形式给出，即默认光照为相对易于描述的方向光源。philip等人(philip j,morgenthaler s,gharbi m,drettakis g.2021.free-viewpoint indoorneural relighting from multi-view stereo.acm transactions on graphics,40(5):1-18)随后挑战了相对复杂的室内场景的重光照，不再把光源类型局限为方向光源，但同时也提升了工作流的复杂程度，用于渲染图像的神经网络需要场景法线图、视差图、原场景光照强度图、目标场景光照强度图、目标场景镜面反射图像等大量的特征图作为输入来生成高质量的重光照结果。

4、基于贴图的光照可以描述更加真实且复杂的场景光照条件。sun等人(sun t,barron jt,tsai yt,xu z,yu x,fyffe g,rhemann c,busch j,debevec p,ramamoorthir.2019.single image portrait relighting.acm trans.graph.,38(4):article 79,12pages)将用于描述光照的贴图缩小至16*32的尺寸插入到编码器-解码器的瓶颈部分，预测人像的重光照结果。pandey等人(pandey r,escolano so,legendre c,bouazizs,rhemann c,debevec p,fanello s.2021.total relighting:learning to relightportraits for background replacement.acm trans.graph.,40(4):article 43,21pages)则根据phong光照模型，将环境光贴图进行预卷积，分离出环境光贴图中提供漫反射和高光的信息，保留更多对重光照有用的信息。为了在神经网络中插入环境光照信息，环境光贴图往往需要预先下采样到较小的尺寸，因而丢失大量信息。传统图形学的预计算辐射传输渲染方法利用球谐函数相关性质，可将球函数投影到球谐基函数上，取适量对应系数即可较准确的还原出原球函数信息。yu等人(yu y,meka a,elgharib m,seidel hp,theobalt c,smith wap.2020.self-supervised outdoor scene relighting//proceedings of the european conference on computer vision(eccv):vol 12367)在室外图像的逆向渲染工作，将提供光照条件的环境光贴图进行预处理，提取2阶球谐系数作为光照信息，即可较好的表达场景的光照条件。以上重光照技术需要对光照条件及场景信息进行复杂的重光照，在保证高质量重光照效果时会牺牲算法的实时性。

技术实现思路

1、本技术实施例的目的是提供一种应用于混合现实飞行模拟器的神经重光照方法，以解决飞行模拟器中混合现实显示的虚拟图像与现实图像融合时光照不一致问题，同时保证算法的实时性。

2、根据本技术实施例的第一方面，提供一种应用于混合现实飞行模拟器的神经重光照方法，包括：

3、(1)获取混合现实头部显示器中集成的相机拍摄得到的左右眼视图和左右眼掩膜图，基于所述左右眼视图和左右眼掩膜图进行视差估计和法线估计，得到场景的视差特征图以及左右眼对应法线特征图；

4、(2)基于所述左右眼视图、视差特征图、法线特征图，利用卷积神经网络估计现实场景的辐射传输函数；

5、(3)获取目标环境光贴图并计算所述目标环境光贴图的球谐函数系数；

6、(4)逐像素计算辐射传输函数与目标光照的球谐函数系数向量的点积，获得重光照图像。

7、进一步地，利用场景的视差特征图计算左右眼对应法线特征图，具体为：

8、对于已知的相机基线距离b和相机焦距f，通过视差值d计算场景深度值d：

9、

10、计算场景深度图的偏导数，从而对场景进行法线估计，深度值的水平方向偏导数dx和垂直方向偏导数dy的计算通过中心差分方式完成：

11、

12、

13、每个点的法线向量的具体形式为：

14、

15、对计算得到的法线向量进行归一化处理，从而得到法线特征图，归一化后的法线向量为：

16、

17、其中，是向量的长度，具体计算公式为

18、

19、进一步地，所述卷积神经网络为训练后的神经网络，训练过程为：

20、(2.1)生成不同机舱在不同光照条件下的图像以及对应特征图，形成用于重光照训练的图像数据集；

21、(2.2)搭建用于估计场景辐射传输函数的卷积神经网络，并利用步骤(2.1)生成的图像数据集，对搭建的卷积神经网络进行训练，其中，采用自预测的采样方式与数据集交叉预测的策略相结合的训练方式，自预测采样方式指在对神经网络进行训练时输入的图像和光照条件信息是相匹配的，即对原图的光照进行预测；数据集交叉预测策略指将数据集以图像和光照条件一一对应的形式进行组织，在训练时一批次随机取出若干数据，对与自身数据在内的所有同批次的数据进行两两匹配，形成一组重光照数据，利用该重光照数据进行训练。

22、进一步地，在训练过程中，用于比较目标真值图和由卷积神经网络预测结果得到的重光照结果之间差距的损失函数为：

23、

24、

25、

26、其中，由卷积神经网络预测出的辐射传输函数应用目标光照条件得到的重光照结果为目标光照真值图为itar，m为对应掩膜，sum(·)用于计算矩阵中所有元素的总和，⊙表示矩阵对应元素相乘结果，λ1和λ2为可调节的加权系数。进一步地，步骤(3)包括如下子步骤：

27、(3.1)由飞行模拟器的视景系统中，获取飞行模拟器周围环境的全景图，作为描述机舱周围环境光的目标环境光贴图；

28、(3.2)采用蒙特卡洛近似计算积分，计算所述目标环境光贴图的球谐函数系数：

29、

30、上式中，ll,m为环境光照的l阶第m个球谐系数，ωi为球面上随机采样的方向，l(ωi)为对应方向环境光辐射值，yl,m(ωi)表示球谐函数的l阶第m个球谐基函数，n为总采样次数，pdf(ωi)为对应方向概率分布函数；

31、(3.3)获取飞行模拟器的姿态，基于所述姿态对所述球谐函数系数进行旋转操作，旋转后的球谐函数系数y′l,m为：

32、

33、其中为基于飞行模拟器中机模姿态对应的欧拉角α、β和γ的wignerd-矩阵。

34、进一步地，各像素对应颜色值r,g,b计算公式为

35、

36、

37、

38、其中，为有神经网络估计得到的对应颜色分量的辐射传输函数对应球谐系数，ll,m为环境光照的l阶第m个球谐系数。

39、根据本技术实施例的第二方面，提供一种应用于混合现实飞行模拟器的神经重光照装置，包括：

40、特征图计算模块，用于获取混合现实头部显示器中集成的相机拍摄得到的左右眼视图和左右眼掩膜图，基于所述左右眼视图和左右眼掩膜图进行视差估计和法线估计，得到场景的视差特征图以及左右眼对应法线特征图；

41、辐射传输函数估计模块，用于基于所述左右眼视图、视差特征图、法线特征图，利用卷积神经网络估计现实场景的辐射传输函数；

42、球谐函数系数计算模块，用于获取目标环境光贴图并计算所述目标环境光贴图的球谐函数系数；

43、重光照图像计算模块，用于逐像素计算辐射传输函数与目标光照的球谐函数系数向量的点积，获得重光照图像。

44、根据本技术实施例的第三方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面所述的方法。

45、根据本技术实施例的第四方面，提供一种电子设备，包括：

46、一个或多个处理器；

47、存储器，用于存储一个或多个程序；

48、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。

49、根据本技术实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。

50、本发明的技术方案概括为：

51、1提出了一种应用于混合现实飞行模拟器的神经重光照方法，通过将用于提供目标光照信息的环境光贴图与现实场景的辐射传输函数转换成球谐系数表达形式，进行向量点乘运算实现快速重光照计算；

52、2一个用于估计现实场景中各个渲染点辐射传输函数的神经网络方法。利用卷积神经网络，以现实场景的左右眼图像和通过真实图像计算出的特征图为输入，计算出图像各像素对应空间点的辐射传输函数；

53、3一个根据飞行器姿态快速得到对应环境光信息的计算方法。基于球谐系数旋转不变性特点，对环境光贴图的球谐系数形式可以根据飞行器姿态直接进行旋转操作，降低对环境光采样的频率，减少每次计算对应球谐系数所需要的时间开销。

54、本技术的实施例提供的技术方案可以包括以下有益效果：

55、由上述实施例可知，本技术从飞行外部环境获取光照信息，对机舱内图像进行重光照，实现光照一致性；通过将目标光照的环境光照贴图和场景辐射传输函数转化为球谐系数形式，将光照与场景的处理进行解耦，并可利用球谐函数性在高效计算，达到实时生成重光照图像水平。对现实机舱内部图像进行重光照，实现机舱内外图像光照条件一致，提升了应用混合现实的飞行模拟器的用户沉浸感。

56、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。