使用机器学习基于预测的视觉质量为视频播放器的最优格式选择的制作方法

技术特征：
1.一种方法，包括：为机器学习模型生成训练数据，所述机器学习模型要被训练用于标识在显示分辨率集的新视频的转码版本集的质量分数，其中，生成所述训练数据包括：生成参考视频的多个参考转码版本；获得所述参考视频的所述多个参考转码版本的帧的质量分数；生成包括所述参考视频的所述帧的颜色属性、空间属性和时间属性集的第一训练输入；以及为所述第一训练输入生成第一目标输出，其中，所述第一目标输出包括所述参考视频的所述多个参考转码版本的所述帧的所述质量分数；以及提供所述训练数据以在以下上训练所述机器学习模型：(i)包括所述第一训练输入的训练输入集和(ii)包括所述第一目标输出的目标输出集。2.根据权利要求1所述的方法，其中，所述质量分数包括所述帧的峰值信噪比(psnr)。3.根据权利要求1所述的方法，其中，所述质量分数包括所述帧的视频多方法评估融合(vmaf)。4.根据权利要求1所述的方法，其中，所述颜色属性包括所述帧的rgb或y值中的至少一个。5.根据权利要求1所述的方法，其中，所述空间属性包括gabor特征滤波器组。6.根据权利要求1所述的方法，其中，所述时间属性包括光流。7.根据权利要求1所述的方法，其中，所述机器学习模型被配置为处理所述新视频并生成一个或多个输出，所述一个或多个输出指示在所述显示分辨率集的所述新视频的所述转码版本集的质量分数。8.根据权利要求1所述的方法，其中，所述参考视频的所述多个转码版本包括在多个不同视频分辨率、转码配置和不同显示分辨率中的每一个的所述参考视频的转码。9.一种装置，包括：用于存储视频的存储器；以及处理设备，所述处理设备可操作地耦合到所述存储器，用于：提供所述视频的采样帧作为训练后的机器学习模型的输入；获得来自所述训练后的机器学习模型的一个或多个输出；以及从所述一个或多个输出中提取质量分数，所述质量分数指示在第一视频格式、第一转码配置和第一显示分辨率的所述视频的感知质量。10.根据权利要求9所述的装置，其中，所述处理设备进一步用于将所述质量分数提供给客户端设备，所述质量分数通知在所述客户端设备的媒体查看器处的所述视频的格式选择，其中，所述第一显示分辨率是所述客户端设备的显示分辨率。11.根据权利要求10所述的装置，其中，在所述媒体查看器处的所述视频的所述格式选择是基于在所述一个或多个输出的所述质量分数与另一质量分数之间的差是否超过阈值，所述另一质量分数指示在第二视频格式、第二转码配置和所述第一显示分辨率的所述感知质量。12.根据权利要求9所述的装置，其中，所述质量分数包括峰值信噪比(psnr)测量或视频多方法评估融合(vmaf)测量中的至少一种。
13.根据权利要求9所述的装置，其中，所述训练后的机器学习模型利用包括输入和输出的输入-输出映射训练，所述输入基于参考视频的帧的颜色属性、空间属性和时间属性集，并且所述输出基于所述参考视频的多个转码版本的帧的质量分数。14.根据权利要求13所述的装置，其中，所述颜色属性包括所述帧的rgb或y值中的至少一个，所述空间属性包括所述帧的gabor特征滤波器组，并且所述时间属性包括所述帧的光流。15.根据权利要求9所述的装置，其中，来自所述训练后的机器学习模型的所述一个或多个输出包括与视频格式、转码配置和显示分辨率的多个可能索引元组对应的多个质量分数。16.一种存储指令的非暂时性机器可读存储介质，所述指令在被执行时使处理设备执行操作，所述操作包括：为机器学习模型生成训练数据，所述机器学习模型要被训练用于标识在显示分辨率集的新视频的转码版本集的质量分数，其中，生成所述训练数据包括：生成参考视频的多个参考转码版本；获得所述参考视频的所述多个参考转码版本的帧的质量分数；生成包括所述参考视频的所述帧的颜色属性、空间属性和时间属性集的第一训练输入；以及为所述第一训练输入生成第一目标输出，其中，所述第一目标输出包括所述参考视频的所述多个参考转码版本的所述帧的所述质量分数；以及提供所述训练数据以在以下上训练所述机器学习模型：(i)包括所述第一训练输入的训练输入集和(ii)包括所述第一目标输出的目标输出集。17.根据权利要求16所述的非暂时性机器可读存储介质，其中，所述质量分数包括所述帧的峰值信噪比(psnr)或所述帧的视频多方法评估融合(vmaf)中的至少一个。18.根据权利要求16所述的非暂时性机器可读存储介质，其中，所述颜色属性包括所述帧的rgb或y值中的至少一个，并且其中，所述空间属性包括gabor特征滤波器组，并且其中，所述时间属性包括光流。19.根据权利要求16所述的非暂时性机器可读存储介质，其中，所述机器学习模型是卷积神经网络(cnn)训练模型。20.根据权利要求16所述的非暂时性机器可读存储介质，其中，所述机器学习模型被配置为处理所述新视频并生成一个或多个输出，所述一个或多个输出指示在所述显示分辨率集的所述新视频的所述转码版本集的质量分数。

技术总结
公开了用于基于视觉质量为视频播放器选择最优格式的系统和方法。该方法包括：生成参考视频的多个参考转码版本；获得参考视频的多个参考转码版本的帧的质量分数；生成包括参考视频的帧的颜色属性、空间属性和时间属性集的第一训练输入；以及，为第一训练输入生成第一目标输出，其中，该第一目标输出包括参考视频的多个参考转码版本的帧的质量分数。该方法进一步包括：提供训练数据以在(i)包括第一训练输入的训练输入集和(ii)包括第一目标输出的目标输出集上训练机器学习模型。目标输出集上训练机器学习模型。目标输出集上训练机器学习模型。


技术研发人员：王义麟 郭越 巴利尼杜
受保护的技术使用者：谷歌有限责任公司
技术研发日：2019.12.31
技术公布日：2022/8/29