用于优化机器视频编码的损失函数的系统和方法与流程

本发明总体上涉及视频编码和解码领域。特别地，本发明涉及用于优化机器视频编码的损失函数的系统和方法。

背景技术：

1、视频编解码器可以包括压缩或解压缩数字视频的电子电路或软件。视频编解码器可以将未压缩的视频转换为压缩格式，反之亦然。在视频压缩的背景下，压缩视频(和/或执行其某一功能)的设备通常可被称为编码器，而解压缩视频(和/或执行其某一功能)的设备可被称为解码器。

2、压缩数据的格式可以符合标准视频压缩规范。压缩可能是有损的，因为压缩视频缺少原始视频中存在的一些信息。这样的后果可能包括解压缩视频可能具有比原始未压缩视频低的质量，因为没有足够的信息来准确地重建原始视频。

3、在视频质量、用于表示视频的数据量(例如由比特率确定)、编码和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的容易性、随机访问、端到端延迟(例如时延)等之间可能存在复杂的关系。

4、运动补偿可以包括一种给定参考帧(例如先前帧和/或将来帧)通过考虑相机和/或视频中对象的运动来预测视频帧或其一部分的方法。运动补偿可以在用于视频压缩的视频数据的编码和解码中采用，例如在使用运动图像专家组(motion picture expertsgroup，mpeg)的高级视频编码(advanced video coding，avc)标准(也称为h.264)的编码和解码中采用。运动补偿可以根据参考图片到当前图片的变换来描述图片。参考图片在与当前图片比较时可以在时间上在先前，或者在与当前图片比较时来自将来。当可以从先前传输和/或存储的图像准确地合成图像时，可以提高压缩效率。

5、在机器人技术、监控、监视、物联网等方面的当前趋势中引入了这样的使用案例，其中在现场中记录的所有图像和视频的重要部分仅由机器消耗，而从未到达人眼。这些机器处理的图像和视频，目的是完成诸如对象检测、对象跟踪、分割、事件检测等任务。国际标准化组织认识到这种趋势是普遍存在的并且只会在未来加速，因此建立了对图像和视频编码进行标准化的工作，其主要针对机器消耗进行优化。例如，除了已经建立的标准(例如用于视觉搜索的紧凑型描述符和用于视频分析的紧凑型描述符)之外，还建立了诸如jpeg ai和用于机器视频编码(video coding for machine，vcm)的标准。

6、如本文所使用的，术语用于机器视频编码和vcm总体上指代用于由机器而不是人类观看者消耗的编码的视频和图像数据。本方法适用于开发vcm标准，但不限于此。虽然本公开聚焦于机器视频编码，但是应当理解，本文的教导完全适用于视频内容被编码和解码以供人类和机器使用的混合系统。

技术实现思路

1、在一个方面中，一种用于优化机器视频编码的损失函数的系统，包括计算设备，该计算设备包括电路并且被配置为接收输入视频、根据输入视频和至少一个特征提取参数来提取特征图、根据特征图来编码特征层、根据特征层来计算损失函数以及根据损失函数来优化至少一个特征提取参数。

2、在另一个方面，一种用于优化机器视频编码的损失函数的方法，包括：使用计算设备接收输入视频；使用计算设备根据输入视频和至少一个特征提取参数来提取特征图；使用计算设备根据特征图来编码特征层；使用计算设备根据基本特征层来计算损失函数；以及使用计算设备根据损失函数来优化至少一个特征提取参数。

3、在结合附图查阅本发明的特定非限制性实施例的以下描述之后，本发明的非限制性实施例的这些和其它方面和特征对于本领域技术人员而言是明了的。

技术特征：

1.一种用于优化机器视频编码的损失函数的系统，所述系统包括计算设备，所述计算设备包括电路并且被配置为：

2.根据权利要求1所述的系统，其中，所述损失函数包括速率失真优化函数。

3.根据权利要求2所述的系统，其中，所述速率失真优化函数聚合了失真度量和压缩度量。

4.根据权利要求1所述的系统，其中，优化所述特征提取参数包括优化机器学习过程。

5.根据权利要求1所述的系统，其中，提取所述特征图包括特征提取机器学习过程。

6.根据权利要求1所述的系统，其中，所述计算设备还被配置为：

7.根据权利要求6所述的系统，其中，所述计算设备还被配置为：

8.根据权利要求7所述的系统，其中，所述计算设备还被配置为，将所述优化的特征层输出到机器。

9.根据权利要求8所述的系统，其中，所述计算设备还被配置为，向所述机器信号发送机器参数，其中所述机器参数是所述至少一个优化的特征提取参数的函数。

10.根据权利要求1所述的系统，其中，所述计算设备包括一个或多个解码器。

11.一种用于优化机器视频编码的损失函数的方法，所述方法包括：

12.根据权利要求11所述的方法，其中，所述损失函数包括速率失真优化函数。

13.根据权利要求12所述的方法，其中，所述速率失真优化函数聚合了失真度量和压缩度量。

14.根据权利要求11所述的方法，其中，优化所述特征提取参数包括优化机器学习过程。

15.根据权利要求11所述的方法，其中，提取所述特征图包括特征提取机器学习过程。

16.根据权利要求11所述的方法，还包括：

17.根据权利要求16所述的方法，还包括：

18.根据权利要求17所述的方法，还包括使用所述计算设备将所述优化的特征层输出到机器。

19.根据权利要求18所述的方法，还包括向所述机器信号发送机器参数，其中所述机器参数是所述至少一个优化的特征提取参数的函数。

20.根据权利要求11所述的方法，其中，所述计算设备包括解码器和编码器中的一者或多者。

技术总结方面涉及用于优化机器视频编码的损失函数的系统和方法。该示例性系统包括计算设备，该计算设备包括电路并且被配置为：接收输入视频、根据输入视频和至少一个特征提取参数来提取特征图、根据特征图来编码特征层、根据特征层来计算损失函数、以及根据损失函数来优化至少一个特征提取参数。技术研发人员：博里约夫·福尔特,菲力博·阿兹克,哈利·卡瓦受保护的技术使用者：OP解决方案公司技术研发日：技术公布日：2024/8/1