解码器、编码器、方法、网络设备以及可读存储介质与流程

本申请涉及视频/图片码处理，尤其涉及允许高效地缩减这种数据流的技术、允许更容易地处理这种数据流的技术和/或允许更高效地随机访问视频数据流的技术。

背景技术：

1、有许多视频编解码器允许视频数据流的可伸缩性而无需转码，即，不需要解码和编码的顺序执行。这种可伸缩视频数据流的示例是如下的数据流，这种数据流通过简单地省去相应可伸缩视频数据流的一些增强层而在例如时间分辨率、空间分辨率或信噪比方面是可伸缩的。然而，迄今为止，还没有视频编解码器允许在场景分段(sectioning)方面具有计算上不复杂的可伸缩性。在hevc中，也存在或者已经提出了用于将hevc数据流限制为图片子区域的技术，但是这些技术在计算上仍然是复杂的。

2、而且，根据应用不同，要编码成数据流的图片内容可能是在通常提供的矩形图片区域内不能有效编码的形式。例如，全景图片内容可以被投影到二维平面上而形成图片区域，其投影方式可以使得投影目标(即全景场景在图片区域上占据的空间)是非矩形的，甚至是非凸的。在那种情况下，图片/视频数据的更有效的码处理将是有利的。

3、此外，在现有视频数据流中，以引起相当大的比特率峰值的方式提供了随机访问点。为了减少由这些比特率峰值产生的负面影响，可以考虑减小这些随机访问点出现的时间粒度。然而，这增大了对这种视频数据流进行随机访问的平均持续时间，因此，有一个可以更有效地解决该问题的思路将是有利的。

技术实现思路

1、因此，本发明的一个目的是解决上述问题。根据本申请，这通过以下方面来实现。

2、根据本申请的第一方面，视频数据流以能够缩减的方式提供，这种方式使得该缩减导致将缩减后的视频数据流的图片仅仅限制为原始视频数据流的图片的预定子区域(subarea)，这种方式还可以避免诸如重新量化之类的转码，并且保持缩减后的视频数据流相对于原始视频数据流的编解码器的合规性。这是通过向视频数据流提供包括以下内容在内的信息来实现的：对所述预定子区域的指示；以及替换索引和/或替换参数，所述替换索引用于重定向由有效载荷部分包括的索引以便参考码处理参数设定的第二集合，所述替换参数用于调整码处理参数设定的所述第一集合以便得到码处理参数设定的第二集合。所述视频的图片以使用所述码处理参数设定的第一集合作为参数的方式被编码到所述原始视频数据流的有效载荷部分中，所述第一集合由所述有效载荷部分所包括的索引进行索引。附加地或替代地，对于补充增强信息，类似的措施是可行的。因此，可以通过执行以下操作来将视频数据流缩减为缩减视频数据流：执行重定向和/或调整，以使所述码处理参数设定的第二集合由有效载荷部分的索引进行索引，并因此成为有效的码处理参数设定集；移除所述有效载荷部分的、参考所述图片中所述预定子区域外部的区域的部分；以及改变位置指示(诸如有效载荷部分中的切片地址)，以便以相对于所述预定子区域的周边而不是所述图片的周边度量的方式指示位置。作为代替，已经进行了缩减从而不包括有效载荷部分中的、参考预定子区域外部的区域的那些部分的数据流，可以通过参数和/或补充增强信息的实时调整来进行修改。

3、根据本申请的另一方面，图片内容的传输更加高效，因为图片内容不需要以预定方式被整形或排序，所述预定方式例如是对由底层编解码器通常支持的矩形图片区域进行填充。而是，提供了一种编码有图片的数据流，其包括移位信息，该移位信息为图片的至少一个预定子领域(subregion)的集合指示在目标图片区域内的移位，所述移位是相对于所述集合无失真或一对一或全等地复制到所述目标图片区域中而言的。例如，在投影是非矩形的情况下，在图片内传送全景场景的投影时，提供这种移位信息是有用的。在由于数据流缩减而使图片内容不再适合在缩减视频数据流的较小图片内传送的情况(例如，要在缩减视频数据流内传输的感兴趣的全景视图区段与预测的过渡边界交叉等情况)下，该移位信息也是有效的。

4、根据本申请的另一方面，通过向视频数据流提供两组随机访问点，减少了由随机访问点引起的视频数据流中的比特率峰值的负面影响：在将一个或多个图片的第一集合编码到所述视频数据流中时，至少在第一图片子区域内中断时间预测，以便形成一个或多个第一随机访问点的集合，并且在将一个或多个图片的第二集合编码到所述视频数据流中时，在与所述第一图片子区域不同的第二图片子区域内中断时间预测，以便形成一个或多个第二随机访问点的集合。以这种方式，寻求随机访问视频数据流或重新开始视频数据流的解码的解码器可以选择第一和第二随机访问点中的一个，该第一和第二随机访问点可以在时间上分布，并且在第二随机访问点的情况下至少允许关于第二图片子区域的随机访问，在第一随机访问点的情况下至少允许关于第一图片子区域的随机访问。

技术特征：

1.一种解码器，用于对编码有图片的数据流进行解码，所述解码器包括：

2.根据权利要求1所述的解码器，其中所述移位器被配置为：如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，则以未移位的方式将所述图片的任何未移位部分复制到所述目标图片区域(216)中。

3.根据权利要求1所述的解码器，其中，所述移位信息以以下中的一项为单位指示相应子领域的移位：

4.根据权利要求1所述的解码器，其中，所述图片的至少一个子领域的集合是所述图片到子领域阵列的无间隙且无重叠的空间划分的子集。

5.根据权利要求1所述的解码器，其中，所述移位器被配置为通过以下方式来基于所述图片合成目标图片：根据包含在所述数据流中的移位信息，在所述目标图片的区域内缩放所述图片的至少一个预定子领域的集合中的每个预定子领域，所述每个预定子领域是相对于所述图片到所述目标图片的区域的无失真复制，根据所述移位信息进行了移位后的预定子领域。

6.根据权利要求1所述的解码器，其中，所述移位器被配置为：根据所述数据流中包含的默认填充信息，填充所述目标图片区域的一部分，其中，所述图片的至少一个预定子领域的集合中的任何一个都不会根据所述移位信息移位到所述目标图片区域的所述一部分，并且如果所述至少一个预定子领域的集合没有完全覆盖所述图片(204)，所述图片的任何未移位部分也不位于所述目标图片区域的所述一部分中。

7.根据权利要求6所述的解码器，其中，在所述数据流中编码有图片序列，其中所述移位信息对于所述图片序列有效，其中，所述解码核心被配置为从所述数据流重建所述图片序列，并且所述移位器被配置为将所述移位信息应用于所述图片序列的图片上。

8.根据权利要求1所述的解码器，还包括：

技术总结提供了一种数字存储介质、解码器、解码方法、编码器、编码方法和计算机可读存储介质。数字存储介质上存储有数据流，数据流中编码有图片，数据流包括：移位信息，所述移位信息针对所述图片的至少一个预定子领域的集合，指示相对于所述至少一个预定子领域的集合到目标图片区域的无移位复制的、所述至少一个预定子领域的集合在所述目标图片区域内的移位，其中，对于所述图片的至少一个预定子领域的集合中的每个预定子领域，所述移位信息包括：关于相应预定子领域在所述目标图片区域中的位置的第一位置信息；关于相应预定领域在所述图片内的位置的第二信息；以及关于当在所述目标图片区域与所述图片之间映射相应预定子领域时的旋转的信息。技术研发人员：罗伯特·斯库宾,雅戈·桑切斯,托马斯·斯切尔,科尼利厄斯·黑尔格,卡斯滕·格鲁内贝格,托马斯·威甘德受保护的技术使用者：弗劳恩霍夫应用研究促进协会技术研发日：技术公布日：2024/10/17