基于深度学习逆向重光照算法的影视制作系统的制作方法

本发明涉及影视制作，具体涉及基于深度学习逆向重光照算 法的影视制作系统。

背景技术：

1、基于深度学习的逆向重光照算法的影视制作系统是指利用深度学习技 术，对现有的影视视频进行光照调整和优化，以实现逼真且自然的光照效 果。这种系统可以通过学习模型自动分析视频中的光照条件，然后根据用 户需求或者特定场景要求，生成适应新背景和光照条件的图像序列。传统 的影视制作通常依赖于复杂的物理光照模型和手动调整，而这种基于深度 学习的方法则可以大幅度减少人工干预，提高效率和效果的逼真度。

2、现有技术在对视频中的光照条件进行调整时，通常是根据光照信息图 和用户需求，对每一帧进行光照调整，确保新的光照条件与背景匹配。这 包括调整光源方向、强度和颜色等，使得视频中的光照效果自然协调。

3、现有技术存在以下不足：

4、现有技术中，光照参数的更新速率通常是预先设定的，并且在整个处 理过程中保持不变。虽然这种方法简单，但无法根据光照环境的实时变化 进行动态调整。固定的更新速率可能无法充分应对视频中复杂多变的光照 条件，特别是在光照变化剧烈的场景中，容易导致光照效果不一致或不自 然。当出现这种情况时，由于光照更新速率无法跟上环境变化，视频中可 能会出现闪烁和跳跃现象。例如，在快速切换光源的场景中，固定的更新 速率无法及时适应变化，导致画面光照突然变亮或变暗，产生闪烁。闪烁 和跳跃现象会使视频难以观看，观众可能会感到眩晕或不适，特别是在长 时间观看时，影响尤为严重。

5、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理 解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的是提供基于深度学习逆向重光照算法的影视制作系统，通过神经网络对每帧图像进行光照条件估计，并使用循环神经网络处理视频帧之间的光照变化，确保光照效果连续，利用机器学习算法分析光照信息图，评估并划分光照变化为复杂和正常两类，针对正常光照变化，以优化后的预设速率更新光照参数，确保画面平滑一致，减少计算资源消耗，针对复杂光照变化，动态调整光照参数，避免闪烁和跳跃，显著提升视频质量和观影体验，以解决上述背景技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：基于深度学习逆向重光照算法的影视制作系统，包括光照条件估计模块、时间连续性处理模块、光照特征分析模块、光照变化分类与策略制定模块以及动态光照调整应用模块；

3、光照条件估计模块，利用预先训练好的神经网络模型对视频中的每一帧图像进行光照条件估计，根据光照条件估计的结果，为每一帧图像生成光照信息图；

4、时间连续性处理模块，利用循环神经网络处理视频帧之间的光照变化，确保光照效果在时间维度上的连续性和一致性；

5、光照特征分析模块，对生成的光照信息图进行分析，针对每一帧图像，提取反映光照变化的关键特征，利用预先训练好的机器学习算法对提取的光照特征进行进一步分析，对视频中每一帧图像的光照变化情况进行评估；

6、光照变化分类与策略制定模块，根据光照变化评估的结果，对每一帧图像进行划分，将图像的光照变化情况具体划分为复杂光照变化和正常光照变化，针对复杂光照变化和正常光照变化的图像，制定每帧画面中光照参数的动态调整策略；

7、动态光照调整应用模块，将生成的动态调整策略应用到每一帧的光照参数调整中，确保光照效果适应环境变化。

8、优选的，根据光照条件估计的结果，为每一帧图像生成光照信息图的具体步骤如下：

9、将视频分解为单帧图像序列，每帧图像在输入神经网络之前，进行标准化预处理；

10、加载预先训练好的光照条件估计神经网络模型；

11、将每帧预处理后的图像输入神经网络模型，进行光照条件的推理，通过模型分析图像中的光源特征，输出一个包含光照条件的向量，反映当前帧图像中的详细光照信息；

12、根据模型输出的光照条件向量，为每一帧生成相应的光照信息图。

13、优选的，利用循环神经网络处理视频帧之间的光照变化，具体的步骤如下：

14、首先准备输入数据，将视频帧序列和对应的光照信息图进行预处理；

15、加载预先训练好的循环神经网络模型；

16、将预处理后的时间序列数据输入rnn模型，模型接收视频帧序列中的光照信息图，并通过时间步长逐帧处理；

17、通过rnn模型处理每一帧数据，模型将基于前几帧的光照信息，预测当前帧的光照变化；

18、将rnn模型输出的光照调整参数应用到每一帧视频中，对每一帧的视频光照参数进行调整，使其符合rnn预测的变化趋势，确保光照效果在时间上的连续性和一致性。

19、优选的，提取反映光照变化的关键特征，其中包括光晕扩散和图像阴影梯度，光晕是指光源周围出现的模糊光环，阴影梯度反映了阴影边缘的变化程度，对图像光晕和图像阴影梯度进行分析后，分别生成光晕扩散系数和阴影梯度变化系数，将光晕扩散系数和阴影梯度变化系数利用预先训练好的机器学习算法进行综合分析，生成光照变化指数，通过光照变化指数对视频中每一帧图像的光照变化情况进行评估。

20、优选的，针对每一帧图像，对获取的图像光晕进行分析后，生成光晕扩散系数的具体步骤如下：

21、使用阈值分割方法识别光晕区域，通过设定一个光强度阈值，将高于该光强度阈值的像素识别为光晕区域，从光照信息图中提取出光晕区域，提取出光晕区域的表达式为：，式中，表示光晕区域的二值化图像，1表示光晕区域，0表示非光晕区域，表示光照信息图中位置的光强度， t表示光强度阈值；

22、使用边缘检测算法在二值化图像中识别光晕区域的边缘轮廓，将光晕边缘轮廓用进行表示，其中，进行表示光晕边缘轮廓在处的像素值；

23、基于光晕边缘轮廓，使用质心计算光晕中心点，并计算每个边界点到光晕中心点的距离，光晕中心点计算的表达式为：，式中，表示光晕中心点坐标， n表示边界点的总数量；每个边界点到光晕中心点的距离的计算表达式为：，式中，表示边界点坐标，表示第 k个边界点到光晕中心点的距离；

24、对光晕区域的二值化图像进行傅里叶变换，得到频域表示，傅里叶变换的表达式为：，式中，表示二值化图像进行傅里叶变换的频域表示， j表示虚数单位， m， n分别表示图像的宽度和高度， u和 v是频域的坐标，表示傅里叶变换后的频率成分的索引；

25、计算光晕扩散系数，计算的表达式为：，式中，表示光晕扩散系数，表示频率权重函数，用于强调高频成分，反映光晕的非均匀性。

26、优选的，针对每一帧图像，对图像阴影梯度进行分析后，生成阴影梯度变化系数的具体步骤如下：

27、使用canny边缘检测器提取图像中的边缘，将边缘图像用 r进行表示；

28、使用sobel算子进行梯度计算，计算的表达式为：，，和分别表示图像在 x轴和 y轴方向的梯度，用于表示像素值变化的幅度，为光照信息图转化后的灰度图像；

29、计算梯度幅值，计算的表达式为：，式中， g是梯度幅值，反映了像素值变化的强度；

30、根据梯度幅值 g和边缘图像 r提取阴影区域，提取的表达式为：，式中，是阴影梯度图像，表示阴影区域的梯度信息，通过边缘图像 r进行掩膜操作，仅保留边缘区域的梯度信息；

31、计算阴影区域的梯度方向，计算的表达式为：，式中，是阴影区域的梯度方向；

32、提取阴影边缘梯度方向的变化特征，提取的表达式为：，式中，表示阴影边缘梯度变化特征的直方图，为直方图；

33、计算梯度变化幅度的平方和与梯度变化频率的平方和，计算的表达式为：，，式中，与分别表示梯度变化幅度的平方和与梯度变化频率的平方和，表示直方图中第 i个区间的值， p表示直方图中的区间总数；

34、通过梯度变化幅度的平方和与梯度变化频率的平方和计算阴影梯度变化系数，计算的表达式为：，式中，表示阴影梯度变化系数。

35、优选的，将对每一帧图像进行光照变化情况评估后生成的光照变化指数与预先设定的光照变化指数参考阈值进行比对分析，对每一帧图像的光照变化情况进行划分，具体步骤如下：

36、若光照变化指数大于光照变化指数参考阈值，则将该帧图像划分为复杂光照变化；

37、若光照变化指数小于等于光照变化指数参考阈值，则将该帧图像划分为正常光照变化。

38、优选的，针对正常光照变化，以初始设定的并且优化后的预设光照参数更新速率对所有的光照参数进行更新，针对复杂光照变化的图像，制定每帧画面中光照参数的动态调整策略。

39、优选的，针对复杂光照变化的图像，制定每帧画面中光照参数的动态调整策略，具体的步骤如下：

40、首先计算当前帧的光照变化指数与光照变化指数参考阈值的差异，计算的表达式为：，，式中，表示光照变化指数差异，用于确定调整力度；

41、根据光照变化指数差异确定调整因子，用于动态调整光照参数更新速率，调整因子的计算表达式为：，式中，调整因子范围在(0，2) 之间，通过双曲正切函数平滑处理，使调整因子随差异变化平滑过渡，表示调整系数，控制的变化幅度；

42、使用预设光照参数更新速率和调整因子计算动态调整后的光照参数更新速率，计算的表达式为：，式中，表示预设光照参数更新速率，表示在正常光照变化条件下的光照参数更新速率，表示动态调整后的光照参数更新速率，反映了根据光照复杂度调整后的更新频率；

43、根据动态调整后的光照参数更新速率对当前帧的光照参数进行更新，设光照参数向量为 p，，更新公式为：，为当前帧的光照参数向量，为下一帧的光照参数向量，为光照参数的梯度，表示当前光照参数的变化趋势；

44、使用平滑滤波对更新后的光照参数进行处理，设平滑滤波系数为，则平滑处理的表达式为：，为平滑处理后的光照参数向量。

45、优选的，获取到平滑处理后的光照参数向量后，将光照参数向量应用到每一帧的光照参数调整中，确保光照效果适应环境变化。

46、在上述技术方案中，本发明提供的技术效果和优点：

47、本发明利用神经网络对每帧图像进行光照条件估计，生成光照信息图，并通过循环神经网络处理视频帧之间的光照变化，确保光照效果的连续性。随后，利用机器学习算法对光照信息图中提取的光照特征进行分析，评估视频中每一帧图像的光照变化情况，并据此将光照变化划分为复杂光照变化和正常光照变化。针对正常光照变化，以初始设定并优化后的预设光照参数更新速率对所有光照参数进行更新，确保在光照变化较小且稳定的情况下，光照参数以最佳速率调整，从而保持画面光照效果的平滑和一致性，不仅减少了计算资源的消耗，还有效避免了不必要的光照调整，确保视频的连贯性和自然性，提升整体视觉质量，使观众在观看过程中不会感到不适或分心，特别是在长时间观看时，观影体验更加舒适和流畅。针对复杂光照变化图像，动态调整光照参数，确保光照参数能够实时适应环境变化，避免光照闪烁和跳跃现象，显著提升视频的视觉质量和观众的观看体验。