基于分量的图像预处理的机器学习技术的制作方法

各种实施例总体上涉及计算机科学以及视频和视频编码技术，更具体而言，涉及用于基于分量的图像预处理的机器学习技术。

背景技术：

1、高效且准确地编码视频数据是实时递送高质量视频的重要方面。在典型的系统中，将编码的视频传送到回放设备。当回放设备接收到对应的编码视频数据时，视频解码器递增地生成经由回放设备回放的重构视频。为了降低比特率并因此降低编码视频的大小，视频编码器通常实施某种类型的有损编码算法以从源视频中消除所选择的信息。通常，在视频编码期间消除信息可能导致视觉质量损伤或“伪像”，其可能降低从编码视频导出的重构视频的视觉质量。

2、为了减少可归因于视频编码的视觉质量变差，可以在有损编码算法之前部署一个或多个预处理算法的序列以创建常规视频编码流水线。预处理算法中的每一个可以在包括有损编码算法的视频编码器外部实例化或嵌入在包括有损编码算法的视频编码器内。在典型的视频编码流水线中，每个预处理算法独立地实现不同类型的图像预处理，以从构成源视频的图像或“帧”中抢先消除信息，以努力提高有损编码算法的有效性并减少由相关编码操作引起的视觉质量变差的总量。

3、一般而言，每种类型的图像预处理实现用于从图像的一个或多个分量中识别和消除不太重要或失真的信息的不同策略。一些常见类型的图像预处理操作包括但不限于色度子采样、按比例缩小和空间去噪。色度子采样是指降低与人类视觉系统不太敏感的颜色或“色度”分量相对应的数据的分辨率，支持与人类视觉系统较敏感的明度或“亮度”分量相对应的数据的分辨率。按比例缩小是指公平地降低对应于所有图像分量的数据的分辨率。空间去噪是指抑制相对于原始对象(例如，被摄影、拍摄等以生成图像)污染图像的噪声。

4、常规视频编码流水线的一个缺点是，在那些流水线内实现的预处理算法通常未被优化以减少由聚合的预处理操作和/或由后续编码操作引起的视觉质量变差的量。在这方面，给定的预处理算法通常独立于其中最终实现算法的视频编码流水线来设计和优化，并且当与实际流水线内的其他预处理算法一起部署时不改变。当前单独设计和优化预处理算法的逐段方法可能限制在视频编码流水线内跨多个预处理算法执行的聚合预处理操作的有效性，这可能不必要地增加解码图像中的伪像的数量和/或增加那些伪像的严重性。例如，当有损编码算法对经预处理的视频进行编码以生成具有给定比特率的编码视频时，相关联的重构视频的总体视觉质量可能是次优地低的。相反，有损编码算法用于编码经预处理的视频以实现相关联的重构视频的给定目标视觉质量水平的比特总数可能次优地高。

5、如前所述，本领域需要的是用于在视频编码流水线内预处理视频的更有效的技术。

技术实现思路

1、一个实施例阐述了一种用于训练机器学习模型以预处理图像的计算机实现的方法。所述方法包括：基于按比例缩小因子和色度子采样比来计算色度采样因子；对与第一图像和第一色度分量两者相对应的第一数据执行与所述色度采样因子相关联的第一机器学习模型，以生成与所述第一色度分量相对应的第一经预处理的数据；以及基于所述第一经预处理的数据更新所述第一机器学习模型的至少一个参数，以生成与所述第一色度分量相关联的第一经训练的机器学习模型。

2、所公开的技术相对于现有技术的至少一个技术优点是所公开的技术可以在视频编码流水线中实现，以减轻常规视频编码流水线通常经历的视觉质量降低。在这方面，在视频编码流水线中实现的经训练的机器学习模型学习在预处理对应于亮度-色度颜色空间中的至少一个分量的数据时减小重构误差。重构误差与可归因于在视频编码流水线内预处理源图像的重构图像的视觉质量的降低相关。因此，利用所公开的技术，相对于使用现有技术可以实现的，对于给定比特率，可以提高重构视频的视觉质量。相反，利用所公开的技术，相对于使用现有技术可以实现的，可以减少在对源视频进行编码以实现给定目标视觉质量时所使用的比特数。这些技术优点提供了优于现有技术方法的一个或多个技术改进。

技术特征：

1.一种用于训练机器学习模型以预处理图像的计算机实现的方法，所述方法包括：

2.根据权利要求1所述的计算机实现的方法，其中，所述第一数据的第一分辨率等于所述色度采样因子与所述第一经预处理的数据的第二分辨率的乘积。

3.根据权利要求1所述的计算机实现的方法，其中，计算所述色度子采样因子包括：

4.根据权利要求1所述的计算机实现的方法，还包括：

5.根据权利要求1所述的计算机实现的方法，其中，当执行所述第一机器学习模型时，将第一数据和与所述第一图像和第二色度分量两者相对应的第二数据输入到所述第一机器学习模型中。

6.根据权利要求1所述的计算机实现的方法，其中，更新所述第一机器学习模型的所述至少一个参数包括：

7.根据权利要求1所述的计算机实现的方法，其中，更新所述第一机器学习模型的所述至少一个参数包括：

8.根据权利要求1所述的计算机实现的方法，其中，所述第一机器学习模型包括卷积神经网络。

9.根据权利要求1所述的计算机实现的方法，其中，所述第一图像包括视频中包括的帧的至少一部分。

10.根据权利要求1所述的计算机实现的方法，其中，所述第一色度分量包括蓝色差色度分量或红色差色度分量。

11.一种或多种非暂态计算机可读介质，包括指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器通过执行以下步骤来训练机器学习模型以预处理图像：

12.根据权利要求11所述的一种或多种非暂态计算机可读介质，其中，所述第一数据的第一分辨率等于所述色度采样因子与所述第一经预处理的数据的第二分辨率的乘积。

13.根据权利要求11所述的一种或多种非暂态计算机可读介质，还包括：

14.根据权利要求11所述的一种或多种非暂态计算机可读介质，还包括：

15.根据权利要求11所述的一种或多种非暂态计算机可读介质，其中，当执行所述第一机器学习模型时，将第一数据和与所述第一图像和第二色度分量两者相对应的第二数据输入到所述第一机器学习模型中。

16.根据权利要求11所述的一种或多种非暂态计算机可读介质，其中，修改所述第一机器学习模型包括：

17.根据权利要求11所述的一种或多种非暂态计算机可读介质，其中，修改所述第一机器学习模型包括：

18.根据权利要求17所述的一种或多种非暂态计算机可读介质，其中，所述第一机器学习模型与非线性亮度-色度颜色空间相关联，并且所述联合重构误差与线性亮度-色度颜色空间、线性rgb颜色空间或非线性rgb颜色空间相关联。

19.根据权利要求11所述的一种或多种非暂态计算机可读介质，其中，所述色度子采样比包括4:2:0、4:2:2、4:2:1、4:1:1、4:1:0或3:1:1。

20.一种系统，包括：

技术总结在各种实施例中，训练应用训练机器学习模型以预处理图像。在操作中，训练应用基于按比例缩小因子和色度子采样比来计算色度采样因子。训练应用对与第一图像和第一色度分量两者相对应的数据执行与色度采样因子相关联的机器学习模型，以生成与第一色度分量相对应的经预处理的数据。基于经预处理的数据，训练应用更新机器学习模型的至少一个参数，以生成与第一色度分量相关联的经训练的机器学习模型。技术研发人员：克里斯托斯·G·班皮斯,里-恒·陈,阿迪蒂亚·马夫兰卡斯,阿努什·穆尔士受保护的技术使用者：奈飞公司技术研发日：技术公布日：2024/7/29