空间不均等流媒体化的制作方法

本技术关于诸如在虚拟现实(vr)流媒体化中发生的空间不均等流媒体化。

背景技术：

1、vr流媒体化通常涉及极高分辨率视频的传输。人类中央凹的解析能力为每度约60个像素。若考虑360°×180°的完整球的传输，则传输可通过发送约22k×11k个像素的分辨率而结束。由于发送此高分辨率将产生极高的带宽需求，因此另一解决方案为仅发送头戴式显示器(hmd)处所展示的视口，其具有90°×90°的视场，从而产生约6k×6k个像素的视频。以最高分辨率发送完整视频与仅发送视口之间的折衷为以高分辨率发送视口且以较低分辨率或较低质量发送一些相邻数据(或球体视频的其余部分)。

2、在dash情境中，全向视频(亦称为球体视频)可以以之前所描述的混合分辨率或混合质量视频由dash客户端控制的方式提供。dash客户端仅需要知道描述内容如何提供的信息。

3、一个示例可以为提供具有不同投影的不同表示，其具有不对称特性，诸如针对视频的不同部分的不同质量及失真。每个表示将对应于给定视口且将使所述视口以比内容的其余部分高的质量/分辨率进行编码。知道定向信息(内容已经以较高质量/分辨率编码的视口的方向)，dash客户端可动态地选择一个或另一表示以在任何时间匹配用户的观察方向。

4、dash客户端为全向视频选择此不对称特性的更灵活选项可为当将视频分裂成若干空间区时，其中每一区可以不同分辨率或质量获得。一个选项可为基于栅格而将视频分裂成矩形区(亦称为图块)，但可预见其他选项。在此情况下，dash客户端将需要关于以其提供不同区的不同质量的一些信令，且dash客户端可以不同质量下载不同区，使得向用户展示的视口的质量优于其他未展示内容。

5、在先前情况中的任一个中，当用户交互发生且视口已改变时，dash客户端需要一些时间对用户移动做出反应且以匹配新视口的方式下载内容。在用户移动与dash客户端调适其请求以匹配新视口之间的时间期间，用户将在视口中同时看见高质量及低质量的一些区。虽然可接受质量/分辨率差异为内容相依的，但用户看见的质量在任何状况下都降低。

6、因此，即将具有缓解或更有效地显现或甚至增大关于通过自适应流媒体化而流媒体化的空间场景内容的部分呈现的用户的可见质量的概念可为有利的。

技术实现思路

1、因此，本发明的目的为提供用于以空间不均等方式流媒体化空间场景内容，以使得用户的可见质量增加，或流媒体化提取位点处的处理复杂度或必需带宽减小的概念，或提供用于以增大对其他应用情境的适用性的方式流媒体化空间场景内容的概念。

2、此目标通过申请中的独立权利要求的主题来达成。

3、本技术的第一方面基于如下发现：如果选择及提取的媒体片段和/或从服务器获得的信号作用为提取装置提供关于将时间变化的空间场景的不同部分编码至所选择和提取的媒体片段中所用的质量遵守的预定关系的提示，以空间不均等方式流媒体化关于时间变化的空间场景的媒体内容(诸如视频)可在可比较带宽消耗下的可见质量和/或流媒体化接收位点处的计算复杂度方面得到改进。否则，提取设备可能不会预先知道以不同质量编码至所选择及所提取的媒体片段中的部分的并列对用户所体验的总体可见质量有何负面影响。包含于媒体片段中的信息和/或从服务器获得的信号作用(诸如，清单文件(媒体呈现描述)或从服务器至客户端的额外流媒体化相关控制消息(诸如sand消息)内)使得提取装置能够于在服务器处提供的媒体片段当中进行适当选择。以此方式，视频内容的虚拟现实流媒体化或部分流媒体化可变得相对于质量降级更稳固，质量降级是因为至向用户呈现的时间变化的空间场景的此空间区段上的可用带宽的分布不足的缘故而发生。

4、本发明的另一方面基于如下发现：通过取决于包含于媒体片段中的信息和/或从服务器获得的信号作用而确定第一部分的大小和/或位置，以空间不均等方式(诸如在第一部分使用第一质量及在第二部分使用较低的第二质量或保留第二部分不流媒体化)流媒体化关于时间变化的空间场景的媒体内容(诸如视频)可在可见质量上得到改进，和/或关于流媒体化提取侧处的带宽消耗和/或计算复杂度变得较不复杂。举例而言，对于基于图块的流媒体化，设想时间变化的空间场景可以基于图块的方式在服务器处提供，亦即媒体片段可表示时间变化的空间场景的光谱时间部分，所述部分中的每一个可为在空间场景经细分成的图块的分布的对应图块内的空间场景的时间片段。在此情况下，由提取装置(客户端)关于如何在空间场景中(即，以图块粒度)分布可用带宽和/或计算能力作出决定。提取装置可执行对媒体片段的选择，以至空间场景的第一部分(其分别地跟随追踪空间场景的时间变化的观察区段)以预定质量编码至所选择及所提取的媒体片段中，所述预定质量可(例如)为在当前带宽和/或计算能力条件下可实行的最高质量。举例而言，空间上邻近的空间场景的第二部分可不编码至所选择及所提取的媒体片段中，或可以相对于所述预定质量降低的另一质量编码至所述媒体片段中。在此情形中，计算邻近图块的数目/计数在计算上复杂或甚至不可实行，所述图块的聚集完全覆盖时间变化的观察区段，与观察区段的定向无关。取决于被选择以便将空间场景映射至个别图块上的投影，每个图块的角形场景覆盖范围可在此场景中变化，且个别图块可相互重迭的事实甚至使得对就空间而言(与观察区段的定向无关)足以覆盖观察区段的邻近图块的计数的计算更困难。因此，在此情形中，前述信息可将第一部分的大小分别地指示为图块的计数n或图块的数目。通过此措施，装置将能够通过选择具有以预定质量经编码的n个图块的共置聚集的那些媒体片段来追踪时间变化的观察区段。这些n个图块的聚集充分地覆盖观察区段的事实可通过指示n的信息来保证。另一示例可为包含于媒体片段中的信息和/或从服务器获得的信号作用，其指示相对于观察区段自身的大小的第一部分的大小。举例而言，此信息可在某种程度上设置实际观察区段周围的“安全区带”或预取区带，以便考虑时间变化的观察区段的移动。时间变化的观察区段移跨空间场景移动时的速度越大，安全区带应越大。因此，前述信息可以相对于时间变化的观察区段的大小的方式(诸如以增量或缩放方式)来指示第一部分的大小。根据此信息设置第一部分的大小的提取装置将能够避免质量降级，质量降级可因空间场景的未提取或低质量部分在观察区段中可见的缘故而另外发生。此处，此场景以基于图块的方式提供或以一些其他方式提供是不相关的。

5、与本技术的刚才提及方面相关，可使得编码有视频的视频比特流可以增加的质量解码，条件为视频比特流具备关于所述视频内的聚焦区域的大小的信号作用，用于解码视频的解码能力应集中至所述聚焦区域。通过此措施，解码来自比特流的视频的解码器可将其解码视频的解码能力集中至或甚至限于具有在所述视频比特流中用信号通知的聚焦区域的大小的部分上，从此知道(例如)如此解码的部分是通过可用解码能力可解码的，且在空间上覆盖视频的所要区段。举例而言，如此信号通知的聚焦区域的大小可被选择为足够大，以便覆盖观察区段的大小及此观察区段的移动，从而考虑解码视频时的解码延时。或者，换言之，包含于视频比特流中的视频的推荐优选观察区段区域的信号通知可允许解码器以较佳方式来处理此区域，从而允许解码器相应地集中其解码能力。无论是否执行区域特定解码能力集中，区域信号作用可被转发至平台，在所述平台上选择哪些媒体片段要下载，亦即将质量增加的部分置放于何处及如何对质量增加的部分设置尺寸。

6、本技术的第一及第二方面本与申请的第三方面密切相关，根据第三方面，利用大量提取装置流媒体化来自服务器的媒体内容的事实，以便获得信息，可随后使用所述信息以便适当地设置前述类型的信息，从而允许设置第一部分的大小或大小和/或位置，和/或适当地设置第一质量与第二质量之间的预定关系。因此，根据本技术的此方面，提取装置(客户端)发出日志消息，所述日志消息记录以下中的一个：测量第一部分的空间位置和/或移动的瞬时测量结果或统计值；测量直到编码至所选择的媒体片段中且直到观察区段中可见的所述时间变化的空间场景的质量的瞬时测量结果或统计值；以及测量第一部分的质量或直到编码至所选择的媒体片段中且直到观察区段中可见的所述时间变化的空间场景的质量的瞬时测量结果或统计值。瞬时测量结果和/或统计值可被提供有与已获得相应瞬时测量结果或统计值时的时间有关的时间信息。所述日志消息可被发送至提供媒体片段所在的服务器，或发送至评估流入日志消息的一些其他装置，以便基于所述日志消息而更新用以设置第一部分的大小或大小和/或位置的前述信息的当前设置，和/或基于所述日志消息而得出预定关系。

7、根据本技术的另一方面，特别地，通过提供包括媒体呈现描述，以基于图块的方式流媒体化关于时间变化的空间场景的媒体内容(诸如视频)在避免无用流媒体化试验方面更有效，所述媒体呈现描述包含：至少一个版本，对于基于图块的流媒体化，时间变化的空间场景被以所述至少一个版本提供；及对于所述至少一个版本中的每一个，用于从所述基于图块的流媒体化获益所述时间变化的空间场景的相应版本的有益要求的指示。通过此措施，提取装置能够使所述至少一个版本的所述有益要求与提取装置本身或与提取装置交互作用的另一装置的关于基于图块的流媒体化的装置能力匹配。举例而言，所述利益需求可与解码能力要求有关。亦即，若用于解码经流媒体化/经提取的媒体内容的解码能力将不足以解码覆盖时间变化的空间场景的观察区段所需的所有媒体片段，则尝试流媒体化及呈现媒体内容将浪费时间、带宽及计算能力，且因此，在任何情况下都不尝试流媒体化及呈现媒体内容可更有效。举例而言，若(例如)与特定图块有关的媒体片段形成与关于另一图块的媒体片段分离的媒体流(诸如视频流)，则解码能力要求可例如指示相应版本所需的解码器示例的数目。举例而言，解码能力要求亦可关于其他信息，诸如适合预定解码配置文件和/或层级所必需的解码器示例的特定部分，或可指示用户输入设备以足够快的方式移动供用户观看场景用的视口/区段的特定最小能力。取决于场景内容，低移动能力可能不够用户用于观看场景的受关注部分。

8、本发明的另一方面关于流媒体化关于时间变化的空间场景的媒体内容的扩展。特别地，根据此方面的想法为：空间场景实际上不仅可在时间上变化，并且关于至少一个其他参数暗示(例如，视图及位置、观察深度或一些其他物理参数)变化。提取装置可通过如下操作而在此上下文中使用自适应流媒体化：取决于视口方向及至少一个其他参数而计算媒体片段的地址，所述媒体片段描述在时间上及在所述至少一个参数中变化的空间场景；以及使用计算出的位置从服务器提取媒体片段。

9、本技术的上文所概述的方面及作为附属权利要求的主题的有利实施可个别地组合或组合在一起。