用于从视觉到特征域的运动信息传递的系统和方法与流程

本公开总体上涉及视频编码和解码领域。特别地，本公开涉及用于从视觉到特征域的运动信息传递和基于特征的解码器侧运动矢量细化控制的系统和方法。

背景技术：

1、视频编解码器可以包括压缩或解压缩数字视频的电子电路或软件。视频编解码器可以将未压缩的视频转换为压缩格式，反之亦然。在视频压缩的背景下，压缩视频(和/或执行其某一功能)的设备通常可被称为编码器，而解压缩视频(和/或执行其某一功能)的设备可被称为解码器。

2、压缩数据的格式可以符合标准视频压缩规范。压缩可能是有损的，因为压缩视频缺少原始视频中存在的一些信息。这样的后果可能包括解压缩视频可能具有比原始未压缩视频低的质量，因为没有足够的信息来准确地重建原始视频。

3、在视频质量、用于表示视频的数据量(例如由比特率确定)、编码和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的容易性、随机访问、端到端延迟(例如时延)等之间可能存在复杂的关系。

4、运动补偿可以包括一种给定参考帧(例如先前帧和/或将来帧)通过考虑相机和/或视频中对象的运动来预测视频帧或其一部分的方法。运动补偿可以在用于视频压缩的视频数据的编码和解码中采用，例如在使用运动图片专家组(motion picture expertsgroup，mpeg)的高级视频编码(advanced video coding，avc)标准(也称为h.264)的编码和解码中采用。运动补偿可以根据参考图片到当前图片的变换来描述图片。参考图片在与当前图片比较时可以在时间上在先前，或者在与当前图片比较时来自将来。当可以从先前传输和/或存储的图片准确地合成图片时，可以提高压缩效率。

5、最近的趋势在机器人技术、监控、监视、物联网等方面引入了这样的案例，在这些案例中，在现场中记录的所有图片和视频的大部分仅由机器消耗，而从未到达人眼。这些机器处理图片和视频，目的是完成诸如对象检测、对象跟踪、分割、事件检测等任务。国际标准化组织认识到这种趋势是普遍存在的，并且还会在未来加速，因此建立了对图片和视频编码进行标准化的工作，其主要针对机器消耗进行优化。例如，除了已经建立的标准(例如用于视觉搜索的压缩描述符和用于视频分析的压缩描述符)之外，还启动了诸如jpeg ai和用于机器视频编码之类的标准。因此，进一步改进视频的编码和解码以供机器消耗，以及在视频由人类观看者和机器两者消耗的混合系统中，在该领域中具有越来越重要的意义。

技术实现思路

1、提供了一种用特征信息对视频内容进行编码的方法。该编码包括：为包括视频内容的每个编码单元确定运动信息。为所述视频内容产生特征图，所述特征图具有多个卷积单元和卷积单元对应关系。使用基于卷积单元与编码单元的对应关系选择的变换，通过将每个编码单元中的视频内容的运动信息映射到至少一个对应的卷积单元来生成运动变换信息；以及生成包括视频内容、运动信息和运动变换信息的编码比特流。

2、提供了一定数量的变换并且可以取决于编码单元和卷积单元之间的对应关系的性质。例如，如果编码单元在大小和数量上对应于卷积单元，则变换将运动信息从每个编码单元复制到对应的卷积单元。可替代地，如果编码单元在数量上对应于卷积单元但在大小上不同，则变换将运动信息从每个编码单元缩放到对应的卷积单元。在多个编码单元对应于单个卷积单元的情况下，变换可以融合多个编码单元的运动信息以将运动映射到卷积单元。另外，如果每个编码单元对应于多个卷积单元，则变换将运动信息从编码单元合并到多个卷积单元。在一个实施例中，变换选自包括复制、缩放、融合和合并的组。

3、比特流可以包括针对整个内容的报头和元数据，以及视频子比特流，其包括报头、元数据和包括运动信息的视频净负荷信息，以及特征子比特流，其包括报头、元数据和包括运动变换信息的特征净负荷信息。

4、还提供了一种用于解码具有特征增强的解码器侧运动矢量细化的比特流的解码器和解码方法。所述比特流可以包括视频内容和特征内容，所述视频内容包括具有相关联的运动矢量的多个编码单元，所述特征内容包括编码在比特流中的多个特征单元，所述编码器具有用于解码器侧运动矢量细化(dmvr)的模式。该解码方法包括：对于每个特征单元，确定特征单元是否包括感兴趣的对象；对于对应于所述特征单元的编码单元，确定是否启用dmvr模式；如果特征单元包括感兴趣的对象并且未启用针对对应编码单元的dmvr模式，则启用针对该编码单元的dmvr模式；如果特征单元不包括感兴趣的对象并且启用了针对对应编码单元的dmvr模式，则禁用针对该编码单元的dmvr模式。

5、优选地，在比特流中信号通知针对每个编码单元的dmvr模式的状态。例如，dmvr模式可以在比特流的图片报头中、在比特流的序列参数集中被用信号通知。

6、在结合附图查阅本发明的特定非限制性实施例的以下描述之后，本发明的非限制性实施例的这些和其它方面和特征对于本领域技术人员而言是明了的。

技术特征：

1.一种用特征信息对视频内容编码的方法，包括：

2.根据权利要求1所述的方法，其中，所述编码单元在大小和数量上对应于所述卷积单元，并且所述变换将所述运动信息从每个编码单元复制到对应的卷积单元。

3.根据权利要求1所述的方法，其中，所述编码单元在数量上对应于所述卷积单元但在大小上不同于所述卷积单元，并且所述变换将所述运动信息从每个编码单元缩放到对应的卷积单元。

4.根据权利要求1所述的方法，其中，多个所述编码单元对应于单个所述卷积单元，并且所述变换融合多个所述编码单元的所述运动信息以将所述运动映射到所述卷积单元。

5.根据权利要求1所述的方法，其中，每个所述编码单元对应于多个所述卷积单元，并且所述变换将所述运动信息从所述编码单元合并到多个所述卷积单元。

6.根据权利要求1所述的方法，其中，所述变换选自包括复制、缩放、融合和合并的组。

7.根据权利要求1所述的方法，其中，所述比特流包括：

8.一种用于解码比特流的方法，所述比特流具有视频内容和特征内容，所述视频内容包括具有相关联的运动矢量的多个编码单元，所述特征内容包括编码在所述比特流中的多个特征单元，所述编码器具有用于解码器侧运动矢量细化(dmvr)的模式，所述方法包括：

9.根据权利要求1所述的方法，其中，在所述比特流中信号通知针对每个编码单元的所述dmvr模式的状态。

10.根据权利要求9所述的方法，其中，在所述比特流的图片报头中信号通知所述dmvr模式。

11.根据权利要求10所述的方法，其中，在所述比特流的序列参数集合中信号通知所述dmvr模式。

12.一种用于解码比特流的解码器，所述比特流具有视频内容和特征内容，所述视频内容包括具有相关联的运动矢量的多个编码单元，所述特征内容包括编码在所述比特流中的多个特征单元，所述编码器具有用于解码器侧运动矢量细化(dmvr)的模式，所述解码器包括：

13.根据权利要求12所述的解码器，其中，在所述比特流中信号通知针对每个编码单元的所述dmvr模式的状态。

14.根据权利要求13所述的解码器，其中，在所述比特流的图片报头中信号通知所述dmvr模式。

15.根据权利要求13所述的解码器，其中，在所述比特流的序列参数集合中信号通知所述dmvr模式。

技术总结公开了用于将运动信息从视觉域传递到特征域的系统和方法，其提供用于将运动信息从视频内容中的编码单元映射到特征内容中的一个或多个对应的卷积单元。还公开了用于基于对应特征单元的特性来提供视频内容的改进的解码器侧运动矢量细化的系统和方法。技术研发人员：菲力博·阿兹克,博里约夫·福尔特,哈利·卡瓦受保护的技术使用者：OP解决方案公司技术研发日：技术公布日：2024/9/9