用于基于视口的流式传输的具有后备比特流的比特流结构相关申请的交叉引用1.本技术要求2021年5月7日提交的美国专利申请第17/314,296号的优先权权益，该美国专利申请要求基于2020年5月27日提交的美国临时申请第63/030,856号的优先权，这两件美国申请的全部内容通过引用并入本文中。
背景技术：
：：2.本公开内容总体上涉及数据处理领域，并且更具体地涉及视频流式传输。3.沉浸式视频流式传输涉及从发送方到接收方的“世界”或“全方向”视图的传输，并且接收方将基于例如视口仅呈现接收到的世界视图的部分。当佩戴虚拟现实眼镜时，可以基于头部运动的方向来选择视口。视口相关的视频流式传输可以涉及如下技术，其中，在记录的覆盖“世界”视图的场景中，基于用户选择的视口，向用户传输并呈现仅该视图的一部分。技术实现要素：4.实施方式涉及用于分割视口比特流的方法、系统和计算机可读介质。根据一个方面，提供一种用于分割视口比特流的方法。该方法可以包括：使用第一图片组(group-of-picture，gop)结构、以第一分辨率至少部分地编码第一编码视频比特流。使用第二gop结构、以第二分辨率编码被结构化为多个图块的第二编码视频比特流，由此，与第一gop结构相比，第二gop结构包括较少的编码图片。使用第一编码视频比特流和第二编码比特流创建用于解码或呈现的流式传输比特流。5.根据另一方面，提供一种用于分割视口比特流的计算机系统。该计算机系统可以包括一个或更多个处理器、一个或更多个计算机可读存储器、一个或更多个计算机可读有形存储设备、以及存储在一个或更多个存储设备中的至少一个上的程序指令，程序指令用于经由一个或更多个存储器中的至少一个由一个或更多个处理器中的至少一个来执行，由此该计算机系统能够执行方法。该方法可以包括：使用第一图片组(group-of-picture，gop)结构、以第一分辨率至少部分地编码第一编码视频比特流。使用第二gop结构、以第二分辨率编码被结构化为多个图块的第二编码视频比特流，由此，与第一gop结构相比，第二gop结构包括较少的编码图片。使用第一编码视频比特流和第二编码比特流创建用于解码或呈现的流式传输比特流。6.根据又一方面，提供一种用于分割视口比特流的计算机可读介质。计算机可读介质可以包括一个或更多个计算机可读存储设备以及存储在一个或更多个有形存储设备中的至少一个上的程序指令，程序指令能够由处理器执行。程序指令能够由处理器执行以用于执行如下方法，该方法可以相应地包括：使用第一图片组(group-of-picture，gop)结构、以第一分辨率至少部分地编码第一编码视频比特流。使用第二gop结构、以第二分辨率编码被结构化为多个图块的第二编码视频比特流，由此，与第一gop结构相比，第二gop结构包括较少的编码图片。使用第一编码视频比特流和第二编码比特流创建用于解码或呈现的流式传输比特流。附图说明7.根据要结合附图阅读的以下的对说明性实施方式的详细描述，这些和其他目的、特征和优点将变得明显。附图的各种特征不是按比例的，因为图示是为了清楚起见用于便于本领域技术人员结合详细描述进行理解。在附图中：图1是根据至少一个实施方式的用于流式传输沉浸式视频的生态系统的示意图；图2是根据至少一个实施方式的沉浸式视频的基于视口的流式传输工作流的示意图；图3是根据至少一个实施方式的在帧边界的情况下的碎片化沉浸式视频比特流的示意图；图4是根据至少一个实施方式的在帧边界的情况下的沉浸式比特流回放期间视口更新的示意图；图5是根据至少一个实施方式的在帧边界的情况下的8k和2k沉浸式比特流片段的示意图；图6是根据至少一个实施方式的用于视口比特流分割的系统的框图；图7是根据至少一个实施方式的计算机系统的示意图；以及图8是示出根据至少一个实施方式的由用于视口比特流分割的程序所执行的步骤的操作流程图。具体实施方式8.本文公开了所要求保护的结构和方法的详细实施方式；然而，可以理解，所公开的实施方式仅是对可以以各种形式实施的所要求保护的结构和方法的说明。然而，这些结构和方法可以以许多不同的形式来实施，并且不应被解释为限于本文阐述的示例性实施方式。相反，提供这些示例性实施方式使得本公开内容将是透彻的和完整的并且将向本领域技术人员充分传达范围。在描述中，可以省略公知的特征和技术的细节，以避免不必要地模糊所提出的实施方式。9.实施方式总体涉及数据处理领域，并且更具体地涉及视频流式传输。以下描述的示例性实施方式提供了用于基于视口的视频流式传输等的系统、方法和计算机程序。因此，一些实施方式具有以下能力：通过允许将视口比特流分割成更小的碎片化文件或dash片段来改进计算领域，并且提供用于支持回放中的快速比特流随机访问的后备比特流碎片或片段。10.如上文所述，沉浸式视频流式传输涉及从发送方到接收方的“世界”或“全方向”视图的传输，并且接收方将基于例如视口仅呈现接收到的世界视图的部分。当佩戴虚拟现实眼镜时，可以基于头部运动的方向来选择视口。视口相关的视频流式传输可以涉及如下技术，其中，在记录的覆盖“世界”视图的场景中，基于用户选择的视口，向用户传输并呈现仅该视图的一部分。11.然而，当流式传输沉浸式比特流时，无论视口的位置如何，每当视口发生变化时，都需要下载随机访问点周期内的所有帧。因此，如果视口位于随机访问周期的中间，需要下载并解码访问周期内的所有帧(例如，30帧)。不能从随机访问点周期的中间解码图块比特流。因此，这就增加了时延。此外，与用户的视场(field-of-view，fov)回放和呈现所需的网络带宽相比，下载全帧图片可能耗费更多的网络带宽。在流式传输高分辨率视频时，当网络资源不理想时，分段(segmentation)可能会导致比特流下载和呈现的延迟。观看者的fov的变化也可能导致(附加的)延迟并降低用户的质量体验(qualityexperience，qoe)。因此，有利的会是，通过重构比特流来减少在沉浸式视频中当视口改变时产生的时延。12.本文参考根据各种实施方式的方法、装置(系统)和计算机可读介质的流程图和/或框图来描述各方面。将理解的是，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。13.以下描述的示例性实施方式提供了将视口比特流分割成更小的碎片化文件或dash片段并提供用于在回放时支持快速比特流随机访问的后备比特流碎片或片段的系统、方法和计算机程序。14.图1示出了用于流式传输沉浸式视频的生态系统100的框图。360视频(101)通过编码器(102)，并且整个图片通过内容分发网络(contentdeliverynetwork，cdn)(103)进行流式传输。用户在vr播放器(105)中对接收到的内容(104)进行解码和重构。发送整个图片的不利之处在于带宽和呈现资源的浪费，因为用户的视场(field-of-view，fov)(106)在任何给定时间仅落入到一定度数中。无论如何，客户端可能不会查看并且接收和呈现在用户当前fov之外的比特流。例如，当佩戴虚拟现实眼镜时，可以基于头部运动的方向来选择视口。视口相关的视频流式传输可以涉及如下技术，其中，在记录的覆盖“世界”视图的场景中，基于用户选择的视口，向用户传输并呈现仅该视图的一部分，从而消除了传输整个世界视图的需要。15.基于图块(或子图片)的沉浸式视频流式传输技术可以用于降低带宽要求并提高视频回放的视频质量。参照图2，描绘了360视口相关的视频流式传输系统200的框图。在使用例如等距柱状投影或立方图投影将360视频场景(201)适当拼接并投影为平面视频之后，通过使用平面视频编码器(202)对该视频场景进行编码。16.为了在dash上使用编码视频比特流，可以将序列放入如下文件中，该文件具有将比特流分割成较小的基于http的视频比特流片段的序列。这些视频文件可以具有不同的比特率和时长。这些视频文件可以通过ip网络传输，并能够在客户端侧被独立解码。17.编码的沉浸式视频可以由dash封装器(203)进行碎片化。碎片化的内容可以保存在内容分发服务器(未描绘)中，并由cdn(204)传送至兼容播放器(205)进行呈现(206)。此处传输的视频(209)仅包括高分辨率fov(208)，而不是发送整个图片(207)。在接收方处，在播放器中解码和重构4k图片。18.基于图块的流式传输在空间上将360视频帧分割成多个图块或多个块。此处，全景视频在压缩状态之后被编码并划分为图块。然后，用户仅请求完全或部分落入用户的视场(fieldofview，fov)中的图块。通过将大的沉浸式视频比特流图片分割成较小的碎片或图块，并传输落入用户的fov中的碎片或图块，可以节省网络和呈现方面的资源。19.大的沉浸式内容(投影后，例如，平面视频流)可以在空间上被细分为例如相同分辨率的图块。例如，可以将4kx2k视频序列的源图片分割为512x156样本的同等大小图块，从而形成64个图块。可以以不同的比特率和质量水平(例如，以dash)对每个图块进行编码和封装，并且可以以与其相邻图块不同的质量对图块进行请求。用户的视口内的图块可以比视口外部的图块被优先处理并且以更高的质量进行流式传输。在一些情况下，可以从传输中完全省略某些图块。作为后备，可以使用例如覆盖整个全景的具有较低分辨率/质量/比特率的额外层。假设有适当的播放器设计，这样做可以在fov改变但是由于网络/流式传输服务器延迟而使得新的图块不能立即可用时，防止视觉伪影，例如黑色区域。20.当用户移动他/她的头时，图块的分辨率可能会改变，但是例如仅在随机访问点(random-accesspoint，rap)处发生改变。rap可以是以下访问单元：在该访问单元处，接收器可以成功地开始解码图块或视频。图片帧可以按不同的gop(图片组)大小分组在一起。i-帧之后可以是p-帧，p-帧可以包含在前帧的变化的编码表示。因此，p-帧依赖于i-帧和更早的p-帧。gop结构用在典型的编码器中，这使每个i帧成为随机访问点，从而可以从i帧开始解码。因此，改变图块所需的响应时间取决于图块颗粒度和rap距离。当用户的朝向改变时，当前在视口中的图块可能需要(至少部分地)由不同的图块替换。可能仅在下一个可用的rap处切换这些新的图块，因此产生对用户输入的延迟反应。21.现在参照图3，描述了在帧边界实施方式的情况下的碎片化沉浸式视频比特流的框图300。例如，8k(301-303)和2k(304-306)分辨率视频比特流可以被包含在同一投影场景的表示中。低分辨率(304-306)可以在改变fov时用作后备，并且可以连续地进行流式传输。高分辨率(301-303)可以是图块化表示，并且可以用于如上所述的视口独立流式传输。两个流可以有相同的帧计数，并且可以被分割成相等的固定帧碎片，这些固定帧碎片可以由30帧的随机访问点周期组成。根据需要仅递送8k分辨率的某些图块来覆盖fov，同时递送2k分辨率下的整个帧作为后备。假设固定的30fps帧速率，rap可以每1秒钟在每个比特流中出现一次。22.虽然这样的配置可以允许在fov变化的情况下通过使用重构的后备比特流的呈现来进行令人在视觉上愉悦的快速反应，但问题仍然在于，在每次fov变化时发送平均15帧的高分辨率图块，这些图块是无用的，因为它们由于fov改变而不会被呈现。23.参照图4，描述了在帧边界实施方式的情况下的沉浸式比特流回放期间视口更新的框图400。框图400示出了在回放就位时模拟fov更新。当视点变为402时，即使视口位于帧的中间，除了404和405，整个403帧都会被下载并解码，因为i-帧(401)位于帧的开头。如果当前的网络带宽不太理想，则下载具有8k分辨率的新碎片可能会造成额外的延迟。24.现在参照图5，描绘了在帧边界实施方式的情况下的8k和2k沉浸式比特流碎片的框图500。对于视口中的高分辨率片段，随机访问点周期可以减少到例如一个或更多个10帧(例如，10帧501至10帧508)。将第一图片编码为i帧，将其余的编码为p帧，而对于低分辨率后备，要么仅将第一图片编码为i帧并且将后面的图片编码为p帧，要么应当限定在不相等的随机访问周期情况下的快速随机访问。25.当随机访问周期较小时，在视口改变时，客户端不必下载全部的30帧，而仅需下载10帧。因此，由于随机访问点周期减小并且现在有更多数量的随机访问点可用，所以请求新视口与呈现新视口之间的延迟减小。对于不太理想的网络情况，可以提供具有较低比特流分辨率的后备比特流509。当然，这种提高的效率是通过附加的随机访问图片的编码开销来实现的。26.现在参照图6，描绘了视口比特流分割系统600的框图。将由摄像机捕获后的内容拼接成全景表示(601)，然后经过编码(602)并通过低延迟封装器(603)，在该低延迟封装器中，比特流利用减小的随机访问点周期进行构造。传输的视频(609)包含用户的fov(608)的高分辨率内容和质量降低的其余图片(607)。该内容经由cdn(604)传送至vr播放器(605)进行呈现(606)。27.在一个或更多个实施方式中，具有高分辨率的比特流可以具有短的片段大小，而具有低分辨率的比特流可以具有长的片段大小。对于每个比特流，片段大小可以是固定的，或者可以在整个比特流内改变片段大小。28.在同一实施方式中，高分辨率比特流的图片可以覆盖低分辨率图片的某些部分或整个区域。因此，当传输两个比特流并且以解码器大小解码时，可以对以低分辨率解码图片进行上采样并且将其与高分辨率解码图片混合。当混合时，低分辨率解码图片的某些部分或整个区域可以由高分辨率解码图片进行替换或平均。29.在一个或更多个实施方式中，比特流的每个片段都可以具有一个或更多个i-图片，这些图片用于随机访问。每个片段的第一图片可以是帧内随机访问点(intrarandomaccesspoint，irap)图片，其使得能够在点处对该图片进行随机访问。irap图片可以是avc、hevc、evc或vvc中的idr、cra、bla或gra图片。30.在一个或更多个实施方式中，服务器可以有若个具有不同片段大小的比特流。例如，第一比特流的片段大小可以等于30帧，第二比特流的片段大小可以等于20帧，并且第三比特流的片段大小可以等于10帧。31.在同一实施方式中，当终端用户的视口缓慢改变或网络带宽不足时，可以传输具有长片段大小(30帧)的第一比特流，以使实际比特率适合目标比特率或提高视觉质量。32.在同一实施方式中，当终端用户的视口快速改变或网络带宽较高时，可以传输具有短片段大小(20或10帧)的第二或第三比特流，以通过快速随机访问来快速改变目标视图。33.可以使用计算机可读指令将如上所述的用于沉浸式的基于视口的视频流式传输的比特流结构的技术实现为计算机软件，并且可以物理地存储在一个或更多个计算机可读介质中。例如，图7示出了适于实现所公开的主题的某些实施方式的计算机系统700。34.计算机软件可以使用任何合适的机器代码或计算机语言来编码，所述任何合适的机器代码或计算机语言可以经受汇编、编译、链接等机制以创建包括指令的代码，所述指令可以由计算机中央处理单元(centralprocessingunit，cpu)、图形处理单元(graphicsprocessingunit，gpu)等直接执行或者通过解释、微代码执行等来执行。35.指令可以在各种类型的计算机或其部件上执行，各种类型的计算机或其部件包括例如个人计算机、平板计算机、服务器、智能电话、游戏设备、物联网设备等。36.图7中所示的用于计算机系统700的部件本质上是示例性的，并且不旨在对实现本公开内容的实施方式的计算机软件的功能或使用范围提出任何限制。也不应当将部件的配置解释为具有与计算机系统700的示例性实施方式中示出的任一部件或其组合相关的任何依赖性或要求。37.计算机系统700可以包括某些人机接口输入设备。这样的人机接口输入设备可以响应于一个或更多个人类用户通过例如触觉输入(例如：键击、挥击、数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未描绘)的输入。人机接口设备还可以用于捕获不一定与人的有意识输入直接相关的某些媒体，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止图像摄像机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。38.输入人机接口设备可以包括以下各项中的一个或更多个(每个仅描绘了一个)：键盘701、鼠标702、轨迹板703、触摸屏710、数据手套(未描绘)、操纵杆705、麦克风706、扫描仪707、摄像机708。39.计算机系统700还可以包括某些人机接口输出设备。这样的人机接口输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感觉。这样的人机接口输出设备可以包括触觉输出设备(例如，通过触摸屏710、数据手套(未描绘)或操纵杆705的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如：扬声器709、头戴式耳机(未描绘))、视觉输出设备(例如，屏幕710，包括crt屏幕、lcd屏幕、等离子屏幕、oled屏幕，每个屏幕具有或不具有触摸屏输入能力，每个具有或不具有触觉反馈能力——其中的一些可能能够通过诸如立体图像输出的方式输出二维视觉输出或多于三维的输出；虚拟现实眼镜(未描绘)、全息显示器和烟罐(未描绘))和打印机(未描绘)。40.计算机系统700还可以包括人类可访问的存储设备及其相关联的介质，例如，包括具有cd/dvd等介质721的cd/dvdrom/rw720的光学介质、拇指驱动器722、可移除硬盘驱动器或固态驱动器723、传统磁介质，例如磁带和软盘(未描绘)、基于专用rom/asic/pld的设备，例如安全加密狗(未描绘)等。41.本领域技术人员还应当理解，结合本发明所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其他瞬态信号。42.计算机系统700还可以包括到一个或更多个通信网络的接口。网络可以是例如无线、有线、光学的。网络还可以是本地的、广域的、城市的、车载的和工业的、实时的、延迟容忍的等。网络的示例包括：局域网，例如以太网、无线lan；包括gsm、3g、4g、5g、lte等的蜂窝网络；包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络；包括canbus的车辆和工业网络等。某些网络通常需要外部网络接口适配器，外部网络接口适配器附接至某些通用数据端口或外围总线(749)(例如，诸如计算机系统700的usb端口；其他网络通常通过附接至如下所述的系统总线(例如，到pc计算机系统的以太网接口或到智能电话计算机系统的蜂窝网络接口)而集成到计算机系统700的核)。使用这些网络中的任何网络，计算机系统700可以与其他实体通信。这样的通信可以是单向的、仅接收的(例如，广播tv)、单向仅发送的(例如，到某些canbus设备的canbus)、或双向的，例如到使用局域或广域数字网络的其他计算机系统。某些协议和协议栈可以用在如上所述这些网络和网络接口中的每一个上。43.上述人机接口设备、人类可访问的存储设备和网络接口可以附接至计算机系统700的核740。44.核740可以包括一个或更多个中央处理单元(centralprocessingunit，cpu)741、图形处理单元(graphicsprocessingunit，gpu)742、现场可编程门区(fieldprogrammablegatearea，fpga)743形式的专用可编程处理单元、用于某些任务的硬件加速器744等。这些设备连同只读存储器(read-onlymemory，rom)745、随机存取存储器746、诸如内部非用户可访问硬盘驱动器、ssd等的内部大容量存储装置747一起，可以通过系统总线748连接。在一些计算机系统中，系统总线748可以以一个或更多个物理插头的形式访问，以使得能够通过附加cpu、gpu等进行扩展。外围设备可以直接或通过外围总线749附接至核的系统总线748。外围总线的架构包括pci、usb等。45.cpu741、gpu742、fpga743和加速器744可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在rom745或ram746中。过渡数据也可以存储在ram746中，而永久数据可以存储在例如内部大容量存储装置747中。可以通过使用高速缓冲存储器来实现对任何存储器设备的快速存储和检索，该高速缓冲存储器可以与一个或更多个cpu741、gpu742、大容量存储装置747、rom745、ram746等紧密关联。46.计算机可读介质上可以具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是为本公开内容的目的而专门设计和构造的介质和计算机代码，或者它们可以是计算机软件领域的技术人员公知和可用的类型。47.作为示例而非限制，具有架构700的计算机系统，尤其是核740可以提供作为处理器(包括cpu、gpu、fpga、加速器等)执行实施在一个或更多个有形计算机可读介质中的软件的结果的功能。这样的计算机可读介质可以是与如上所述的用户可访问大容量存储装置相关联的介质，以及核740的具有非暂态特性的特定存储装置，例如核内部大容量存储装置747或rom745。实现本公开内容的各种实施方式的软件可以存储在这样的设备中并且由核740执行。根据特定需要，计算机可读介质可以包括一个或更多个存储器设备或芯片。软件可以使核740，具体地是其中的处理器(包括cpu、gpu、fpga等)执行本文描述的特定处理或特定处理的特定部分，包括定义存储在ram746中的数据结构，以及根据软件定义的处理修改这样的数据结构。另外地或作为替选，计算机系统可以提供作为逻辑硬连线或以其他方式实施在电路(例如：加速器744)中的结果的功能，其可以代替软件或与软件一起操作以执行本文中描述的特定处理或特定处理的特定部分。在适当的情况下，所提及的软件可以包含逻辑，反之，所提及的逻辑可以包含软件。在适当的情况下，所提及的计算机可读介质可以包括存储用于执行的软件的电路(诸如集成电路(integratedcircuit，ic))、实施用于执行的逻辑的电路或两者。本公开内容包含硬件和软件的任何合适组合。48.现在参照图8，描绘了说明由用于分割视口比特流的程序所执行的方法800的步骤的操作流程图。49.在802处，方法800可以包括：使用第一图片组(group-of-picture，gop)结构、以第一分辨率至少部分地编码第一编码视频比特流。50.在804处，方法800可以包括：使用第二gop结构、以第二分辨率编码第二编码视频比特流，该第二编码视频比特流被结构化为多个图块，其中，与第一gop结构相比，第二gop结构包括较少的编码图片。51.在806处，方法800可以包括：使用第一编码视频比特流和第二编码比特流创建用于解码或呈现的流式传输比特流。52.可以理解的是，图8仅提供了一种实现方式的图示，并不意味着对可以如何可以实现不同的实施方式有任何的限制。可以基于设计和实现方式要求对所描绘的环境进行许多修改。53.一些实施方式可以涉及任何可能的集成技术细节水平的系统、方法和/或计算机可读介质。计算机可读介质可以包括其上具有用于使处理器执行操作的计算机可读程序指令的计算机可读非暂态存储介质(或多个介质)。54.计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、可擦除可编程只读存储器(erasableprogrammableread-onlymemory，eprom或闪存)、静态随机存取存储器(staticrandomaccessmemory，sram)、便携式光盘只读存储器(portablecompactdiscread-onlymemory，cd-rom)、数字多功能盘(digitalversatiledisk，dvd)、记忆棒、软盘、诸如其上记录有指令的凹槽中凸起结构或打孔卡的机械编码设备、以及上述的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。55.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输线缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。56.用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(instruction-set-architecture，isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或者是以一种或更多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言(例如smalltalk、c 等)以及过程式编程语言(例如“c”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络——包括局域网(localareanetwork，lan)或广域网(wideareanetwork，wan)——连接至用户的计算机，或者可以(例如，通过使用因特网服务提供商的因特网)连接至外部计算机。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(field-programmablegatearray，fpga)或可编程逻辑阵列(programmablelogicarray，pla)的电子电路可以通过利用计算机可读程序指令的状态信息以使电子电路个性化来执行计算机可读程序指令，从而执行各方面或操作。57.可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或更多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或更多个框中指定的功能/动作的各方面的指令。58.计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得一系列操作步骤在计算机、其他可编程装置或其他设备上执行，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或更多个框中指定的功能/动作。59.附图中的流程图和框图示出了根据各种实施方式的系统、方法和计算机可读介质的可能实现方式的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定的逻辑功能的一个或更多个可执行指令。该方法、计算机系统和计算机可读介质可以包括与附图中所描绘的那些块相比附加的块、更少的块、不同的块或不同布置的块。在一些替选实现方式中，框中所注明的功能可以不按附图中所注明的次序发生。例如，连续示出的两个框实际上可以同时或基本同时执行，或者这些框有时可以以相反的次序执行，这取决于所涉及的功能。还将注意的是，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或者执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。60.将明显的是，本文描述的系统和/或方法可以以硬件、固件或硬件和软件的组合的不同形式来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制这些实现方式。因此，本文描述了系统和/或方法的操作和行为，而没有参考特定的软件代码——应当理解，软件和硬件可以被设计成基于本文的描述来实现系统和/或方法。61.除非明确地这样描述，否则本文使用的元件、动作或指令不应当被解释为关键的或必要的。此外，如本文所使用的，冠词“一”和“一个”旨在包括一个或更多个项目，并且可以与“一个或更多个”互换使用。此外，如本文所使用的，术语“集合”旨在包括一个或更多个项目(例如，相关项目、不相关项目、相关和不相关项目的组合等)，并且可以与“一个或更多个”互换使用。在仅意指一个项目的情况下，使用术语“一个”或类似语言。此外，如本文所使用的，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在为开放式术语。此外，除非另外明确地说明，否则短语“基于”旨在表示“至少部分地基于”。62.已经出于说明的目的呈现了对各个方面和实施方式的描述，但是这些描述不旨在是穷举的或限于所公开的实施方式。即使在权利要求中记载和/或在说明书中公开了特征的组合，这些组合并不旨在限制可能实现方式的公开内容。实际上，这些特征中的许多可以以未在权利要求中具体记载和/或在说明书中公开的方式组合。虽然下面列出的每个从属权利要求可以直接仅从属于一个权利要求，但是可能的实现方式的公开内容包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。在不背离所描述的实施方式的范围的情况下，许多修改和变化对于本领域的普通技术人员将是明显的。选择本文所使用的术语以最好地解释实施方式的原理、实际应用或相对市场上存在的技术的改进，或使本领域的其他普通技术人员能够理解本文所公开的实施方式。当前第1页12当前第1页12
背景技术：
：：2.本公开内容总体上涉及数据处理领域，并且更具体地涉及视频流式传输。3.沉浸式视频流式传输涉及从发送方到接收方的“世界”或“全方向”视图的传输，并且接收方将基于例如视口仅呈现接收到的世界视图的部分。当佩戴虚拟现实眼镜时，可以基于头部运动的方向来选择视口。视口相关的视频流式传输可以涉及如下技术，其中，在记录的覆盖“世界”视图的场景中，基于用户选择的视口，向用户传输并呈现仅该视图的一部分。技术实现要素：4.实施方式涉及用于分割视口比特流的方法、系统和计算机可读介质。根据一个方面，提供一种用于分割视口比特流的方法。该方法可以包括：使用第一图片组(group-of-picture，gop)结构、以第一分辨率至少部分地编码第一编码视频比特流。使用第二gop结构、以第二分辨率编码被结构化为多个图块的第二编码视频比特流，由此，与第一gop结构相比，第二gop结构包括较少的编码图片。使用第一编码视频比特流和第二编码比特流创建用于解码或呈现的流式传输比特流。5.根据另一方面，提供一种用于分割视口比特流的计算机系统。该计算机系统可以包括一个或更多个处理器、一个或更多个计算机可读存储器、一个或更多个计算机可读有形存储设备、以及存储在一个或更多个存储设备中的至少一个上的程序指令，程序指令用于经由一个或更多个存储器中的至少一个由一个或更多个处理器中的至少一个来执行，由此该计算机系统能够执行方法。该方法可以包括：使用第一图片组(group-of-picture，gop)结构、以第一分辨率至少部分地编码第一编码视频比特流。使用第二gop结构、以第二分辨率编码被结构化为多个图块的第二编码视频比特流，由此，与第一gop结构相比，第二gop结构包括较少的编码图片。使用第一编码视频比特流和第二编码比特流创建用于解码或呈现的流式传输比特流。6.根据又一方面，提供一种用于分割视口比特流的计算机可读介质。计算机可读介质可以包括一个或更多个计算机可读存储设备以及存储在一个或更多个有形存储设备中的至少一个上的程序指令，程序指令能够由处理器执行。程序指令能够由处理器执行以用于执行如下方法，该方法可以相应地包括：使用第一图片组(group-of-picture，gop)结构、以第一分辨率至少部分地编码第一编码视频比特流。使用第二gop结构、以第二分辨率编码被结构化为多个图块的第二编码视频比特流，由此，与第一gop结构相比，第二gop结构包括较少的编码图片。使用第一编码视频比特流和第二编码比特流创建用于解码或呈现的流式传输比特流。附图说明7.根据要结合附图阅读的以下的对说明性实施方式的详细描述，这些和其他目的、特征和优点将变得明显。附图的各种特征不是按比例的，因为图示是为了清楚起见用于便于本领域技术人员结合详细描述进行理解。在附图中：图1是根据至少一个实施方式的用于流式传输沉浸式视频的生态系统的示意图；图2是根据至少一个实施方式的沉浸式视频的基于视口的流式传输工作流的示意图；图3是根据至少一个实施方式的在帧边界的情况下的碎片化沉浸式视频比特流的示意图；图4是根据至少一个实施方式的在帧边界的情况下的沉浸式比特流回放期间视口更新的示意图；图5是根据至少一个实施方式的在帧边界的情况下的8k和2k沉浸式比特流片段的示意图；图6是根据至少一个实施方式的用于视口比特流分割的系统的框图；图7是根据至少一个实施方式的计算机系统的示意图；以及图8是示出根据至少一个实施方式的由用于视口比特流分割的程序所执行的步骤的操作流程图。具体实施方式8.本文公开了所要求保护的结构和方法的详细实施方式；然而，可以理解，所公开的实施方式仅是对可以以各种形式实施的所要求保护的结构和方法的说明。然而，这些结构和方法可以以许多不同的形式来实施，并且不应被解释为限于本文阐述的示例性实施方式。相反，提供这些示例性实施方式使得本公开内容将是透彻的和完整的并且将向本领域技术人员充分传达范围。在描述中，可以省略公知的特征和技术的细节，以避免不必要地模糊所提出的实施方式。9.实施方式总体涉及数据处理领域，并且更具体地涉及视频流式传输。以下描述的示例性实施方式提供了用于基于视口的视频流式传输等的系统、方法和计算机程序。因此，一些实施方式具有以下能力：通过允许将视口比特流分割成更小的碎片化文件或dash片段来改进计算领域，并且提供用于支持回放中的快速比特流随机访问的后备比特流碎片或片段。10.如上文所述，沉浸式视频流式传输涉及从发送方到接收方的“世界”或“全方向”视图的传输，并且接收方将基于例如视口仅呈现接收到的世界视图的部分。当佩戴虚拟现实眼镜时，可以基于头部运动的方向来选择视口。视口相关的视频流式传输可以涉及如下技术，其中，在记录的覆盖“世界”视图的场景中，基于用户选择的视口，向用户传输并呈现仅该视图的一部分。11.然而，当流式传输沉浸式比特流时，无论视口的位置如何，每当视口发生变化时，都需要下载随机访问点周期内的所有帧。因此，如果视口位于随机访问周期的中间，需要下载并解码访问周期内的所有帧(例如，30帧)。不能从随机访问点周期的中间解码图块比特流。因此，这就增加了时延。此外，与用户的视场(field-of-view，fov)回放和呈现所需的网络带宽相比，下载全帧图片可能耗费更多的网络带宽。在流式传输高分辨率视频时，当网络资源不理想时，分段(segmentation)可能会导致比特流下载和呈现的延迟。观看者的fov的变化也可能导致(附加的)延迟并降低用户的质量体验(qualityexperience，qoe)。因此，有利的会是，通过重构比特流来减少在沉浸式视频中当视口改变时产生的时延。12.本文参考根据各种实施方式的方法、装置(系统)和计算机可读介质的流程图和/或框图来描述各方面。将理解的是，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。13.以下描述的示例性实施方式提供了将视口比特流分割成更小的碎片化文件或dash片段并提供用于在回放时支持快速比特流随机访问的后备比特流碎片或片段的系统、方法和计算机程序。14.图1示出了用于流式传输沉浸式视频的生态系统100的框图。360视频(101)通过编码器(102)，并且整个图片通过内容分发网络(contentdeliverynetwork，cdn)(103)进行流式传输。用户在vr播放器(105)中对接收到的内容(104)进行解码和重构。发送整个图片的不利之处在于带宽和呈现资源的浪费，因为用户的视场(field-of-view，fov)(106)在任何给定时间仅落入到一定度数中。无论如何，客户端可能不会查看并且接收和呈现在用户当前fov之外的比特流。例如，当佩戴虚拟现实眼镜时，可以基于头部运动的方向来选择视口。视口相关的视频流式传输可以涉及如下技术，其中，在记录的覆盖“世界”视图的场景中，基于用户选择的视口，向用户传输并呈现仅该视图的一部分，从而消除了传输整个世界视图的需要。15.基于图块(或子图片)的沉浸式视频流式传输技术可以用于降低带宽要求并提高视频回放的视频质量。参照图2，描绘了360视口相关的视频流式传输系统200的框图。在使用例如等距柱状投影或立方图投影将360视频场景(201)适当拼接并投影为平面视频之后，通过使用平面视频编码器(202)对该视频场景进行编码。16.为了在dash上使用编码视频比特流，可以将序列放入如下文件中，该文件具有将比特流分割成较小的基于http的视频比特流片段的序列。这些视频文件可以具有不同的比特率和时长。这些视频文件可以通过ip网络传输，并能够在客户端侧被独立解码。17.编码的沉浸式视频可以由dash封装器(203)进行碎片化。碎片化的内容可以保存在内容分发服务器(未描绘)中，并由cdn(204)传送至兼容播放器(205)进行呈现(206)。此处传输的视频(209)仅包括高分辨率fov(208)，而不是发送整个图片(207)。在接收方处，在播放器中解码和重构4k图片。18.基于图块的流式传输在空间上将360视频帧分割成多个图块或多个块。此处，全景视频在压缩状态之后被编码并划分为图块。然后，用户仅请求完全或部分落入用户的视场(fieldofview，fov)中的图块。通过将大的沉浸式视频比特流图片分割成较小的碎片或图块，并传输落入用户的fov中的碎片或图块，可以节省网络和呈现方面的资源。19.大的沉浸式内容(投影后，例如，平面视频流)可以在空间上被细分为例如相同分辨率的图块。例如，可以将4kx2k视频序列的源图片分割为512x156样本的同等大小图块，从而形成64个图块。可以以不同的比特率和质量水平(例如，以dash)对每个图块进行编码和封装，并且可以以与其相邻图块不同的质量对图块进行请求。用户的视口内的图块可以比视口外部的图块被优先处理并且以更高的质量进行流式传输。在一些情况下，可以从传输中完全省略某些图块。作为后备，可以使用例如覆盖整个全景的具有较低分辨率/质量/比特率的额外层。假设有适当的播放器设计，这样做可以在fov改变但是由于网络/流式传输服务器延迟而使得新的图块不能立即可用时，防止视觉伪影，例如黑色区域。20.当用户移动他/她的头时，图块的分辨率可能会改变，但是例如仅在随机访问点(random-accesspoint，rap)处发生改变。rap可以是以下访问单元：在该访问单元处，接收器可以成功地开始解码图块或视频。图片帧可以按不同的gop(图片组)大小分组在一起。i-帧之后可以是p-帧，p-帧可以包含在前帧的变化的编码表示。因此，p-帧依赖于i-帧和更早的p-帧。gop结构用在典型的编码器中，这使每个i帧成为随机访问点，从而可以从i帧开始解码。因此，改变图块所需的响应时间取决于图块颗粒度和rap距离。当用户的朝向改变时，当前在视口中的图块可能需要(至少部分地)由不同的图块替换。可能仅在下一个可用的rap处切换这些新的图块，因此产生对用户输入的延迟反应。21.现在参照图3，描述了在帧边界实施方式的情况下的碎片化沉浸式视频比特流的框图300。例如，8k(301-303)和2k(304-306)分辨率视频比特流可以被包含在同一投影场景的表示中。低分辨率(304-306)可以在改变fov时用作后备，并且可以连续地进行流式传输。高分辨率(301-303)可以是图块化表示，并且可以用于如上所述的视口独立流式传输。两个流可以有相同的帧计数，并且可以被分割成相等的固定帧碎片，这些固定帧碎片可以由30帧的随机访问点周期组成。根据需要仅递送8k分辨率的某些图块来覆盖fov，同时递送2k分辨率下的整个帧作为后备。假设固定的30fps帧速率，rap可以每1秒钟在每个比特流中出现一次。22.虽然这样的配置可以允许在fov变化的情况下通过使用重构的后备比特流的呈现来进行令人在视觉上愉悦的快速反应，但问题仍然在于，在每次fov变化时发送平均15帧的高分辨率图块，这些图块是无用的，因为它们由于fov改变而不会被呈现。23.参照图4，描述了在帧边界实施方式的情况下的沉浸式比特流回放期间视口更新的框图400。框图400示出了在回放就位时模拟fov更新。当视点变为402时，即使视口位于帧的中间，除了404和405，整个403帧都会被下载并解码，因为i-帧(401)位于帧的开头。如果当前的网络带宽不太理想，则下载具有8k分辨率的新碎片可能会造成额外的延迟。24.现在参照图5，描绘了在帧边界实施方式的情况下的8k和2k沉浸式比特流碎片的框图500。对于视口中的高分辨率片段，随机访问点周期可以减少到例如一个或更多个10帧(例如，10帧501至10帧508)。将第一图片编码为i帧，将其余的编码为p帧，而对于低分辨率后备，要么仅将第一图片编码为i帧并且将后面的图片编码为p帧，要么应当限定在不相等的随机访问周期情况下的快速随机访问。25.当随机访问周期较小时，在视口改变时，客户端不必下载全部的30帧，而仅需下载10帧。因此，由于随机访问点周期减小并且现在有更多数量的随机访问点可用，所以请求新视口与呈现新视口之间的延迟减小。对于不太理想的网络情况，可以提供具有较低比特流分辨率的后备比特流509。当然，这种提高的效率是通过附加的随机访问图片的编码开销来实现的。26.现在参照图6，描绘了视口比特流分割系统600的框图。将由摄像机捕获后的内容拼接成全景表示(601)，然后经过编码(602)并通过低延迟封装器(603)，在该低延迟封装器中，比特流利用减小的随机访问点周期进行构造。传输的视频(609)包含用户的fov(608)的高分辨率内容和质量降低的其余图片(607)。该内容经由cdn(604)传送至vr播放器(605)进行呈现(606)。27.在一个或更多个实施方式中，具有高分辨率的比特流可以具有短的片段大小，而具有低分辨率的比特流可以具有长的片段大小。对于每个比特流，片段大小可以是固定的，或者可以在整个比特流内改变片段大小。28.在同一实施方式中，高分辨率比特流的图片可以覆盖低分辨率图片的某些部分或整个区域。因此，当传输两个比特流并且以解码器大小解码时，可以对以低分辨率解码图片进行上采样并且将其与高分辨率解码图片混合。当混合时，低分辨率解码图片的某些部分或整个区域可以由高分辨率解码图片进行替换或平均。29.在一个或更多个实施方式中，比特流的每个片段都可以具有一个或更多个i-图片，这些图片用于随机访问。每个片段的第一图片可以是帧内随机访问点(intrarandomaccesspoint，irap)图片，其使得能够在点处对该图片进行随机访问。irap图片可以是avc、hevc、evc或vvc中的idr、cra、bla或gra图片。30.在一个或更多个实施方式中，服务器可以有若个具有不同片段大小的比特流。例如，第一比特流的片段大小可以等于30帧，第二比特流的片段大小可以等于20帧，并且第三比特流的片段大小可以等于10帧。31.在同一实施方式中，当终端用户的视口缓慢改变或网络带宽不足时，可以传输具有长片段大小(30帧)的第一比特流，以使实际比特率适合目标比特率或提高视觉质量。32.在同一实施方式中，当终端用户的视口快速改变或网络带宽较高时，可以传输具有短片段大小(20或10帧)的第二或第三比特流，以通过快速随机访问来快速改变目标视图。33.可以使用计算机可读指令将如上所述的用于沉浸式的基于视口的视频流式传输的比特流结构的技术实现为计算机软件，并且可以物理地存储在一个或更多个计算机可读介质中。例如，图7示出了适于实现所公开的主题的某些实施方式的计算机系统700。34.计算机软件可以使用任何合适的机器代码或计算机语言来编码，所述任何合适的机器代码或计算机语言可以经受汇编、编译、链接等机制以创建包括指令的代码，所述指令可以由计算机中央处理单元(centralprocessingunit，cpu)、图形处理单元(graphicsprocessingunit，gpu)等直接执行或者通过解释、微代码执行等来执行。35.指令可以在各种类型的计算机或其部件上执行，各种类型的计算机或其部件包括例如个人计算机、平板计算机、服务器、智能电话、游戏设备、物联网设备等。36.图7中所示的用于计算机系统700的部件本质上是示例性的，并且不旨在对实现本公开内容的实施方式的计算机软件的功能或使用范围提出任何限制。也不应当将部件的配置解释为具有与计算机系统700的示例性实施方式中示出的任一部件或其组合相关的任何依赖性或要求。37.计算机系统700可以包括某些人机接口输入设备。这样的人机接口输入设备可以响应于一个或更多个人类用户通过例如触觉输入(例如：键击、挥击、数据手套移动)、音频输入(例如：语音、拍手)、视觉输入(例如：手势)、嗅觉输入(未描绘)的输入。人机接口设备还可以用于捕获不一定与人的有意识输入直接相关的某些媒体，例如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止图像摄像机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。38.输入人机接口设备可以包括以下各项中的一个或更多个(每个仅描绘了一个)：键盘701、鼠标702、轨迹板703、触摸屏710、数据手套(未描绘)、操纵杆705、麦克风706、扫描仪707、摄像机708。39.计算机系统700还可以包括某些人机接口输出设备。这样的人机接口输出设备可以通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感觉。这样的人机接口输出设备可以包括触觉输出设备(例如，通过触摸屏710、数据手套(未描绘)或操纵杆705的触觉反馈，但是也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如：扬声器709、头戴式耳机(未描绘))、视觉输出设备(例如，屏幕710，包括crt屏幕、lcd屏幕、等离子屏幕、oled屏幕，每个屏幕具有或不具有触摸屏输入能力，每个具有或不具有触觉反馈能力——其中的一些可能能够通过诸如立体图像输出的方式输出二维视觉输出或多于三维的输出；虚拟现实眼镜(未描绘)、全息显示器和烟罐(未描绘))和打印机(未描绘)。40.计算机系统700还可以包括人类可访问的存储设备及其相关联的介质，例如，包括具有cd/dvd等介质721的cd/dvdrom/rw720的光学介质、拇指驱动器722、可移除硬盘驱动器或固态驱动器723、传统磁介质，例如磁带和软盘(未描绘)、基于专用rom/asic/pld的设备，例如安全加密狗(未描绘)等。41.本领域技术人员还应当理解，结合本发明所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其他瞬态信号。42.计算机系统700还可以包括到一个或更多个通信网络的接口。网络可以是例如无线、有线、光学的。网络还可以是本地的、广域的、城市的、车载的和工业的、实时的、延迟容忍的等。网络的示例包括：局域网，例如以太网、无线lan；包括gsm、3g、4g、5g、lte等的蜂窝网络；包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络；包括canbus的车辆和工业网络等。某些网络通常需要外部网络接口适配器，外部网络接口适配器附接至某些通用数据端口或外围总线(749)(例如，诸如计算机系统700的usb端口；其他网络通常通过附接至如下所述的系统总线(例如，到pc计算机系统的以太网接口或到智能电话计算机系统的蜂窝网络接口)而集成到计算机系统700的核)。使用这些网络中的任何网络，计算机系统700可以与其他实体通信。这样的通信可以是单向的、仅接收的(例如，广播tv)、单向仅发送的(例如，到某些canbus设备的canbus)、或双向的，例如到使用局域或广域数字网络的其他计算机系统。某些协议和协议栈可以用在如上所述这些网络和网络接口中的每一个上。43.上述人机接口设备、人类可访问的存储设备和网络接口可以附接至计算机系统700的核740。44.核740可以包括一个或更多个中央处理单元(centralprocessingunit，cpu)741、图形处理单元(graphicsprocessingunit，gpu)742、现场可编程门区(fieldprogrammablegatearea，fpga)743形式的专用可编程处理单元、用于某些任务的硬件加速器744等。这些设备连同只读存储器(read-onlymemory，rom)745、随机存取存储器746、诸如内部非用户可访问硬盘驱动器、ssd等的内部大容量存储装置747一起，可以通过系统总线748连接。在一些计算机系统中，系统总线748可以以一个或更多个物理插头的形式访问，以使得能够通过附加cpu、gpu等进行扩展。外围设备可以直接或通过外围总线749附接至核的系统总线748。外围总线的架构包括pci、usb等。45.cpu741、gpu742、fpga743和加速器744可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在rom745或ram746中。过渡数据也可以存储在ram746中，而永久数据可以存储在例如内部大容量存储装置747中。可以通过使用高速缓冲存储器来实现对任何存储器设备的快速存储和检索，该高速缓冲存储器可以与一个或更多个cpu741、gpu742、大容量存储装置747、rom745、ram746等紧密关联。46.计算机可读介质上可以具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是为本公开内容的目的而专门设计和构造的介质和计算机代码，或者它们可以是计算机软件领域的技术人员公知和可用的类型。47.作为示例而非限制，具有架构700的计算机系统，尤其是核740可以提供作为处理器(包括cpu、gpu、fpga、加速器等)执行实施在一个或更多个有形计算机可读介质中的软件的结果的功能。这样的计算机可读介质可以是与如上所述的用户可访问大容量存储装置相关联的介质，以及核740的具有非暂态特性的特定存储装置，例如核内部大容量存储装置747或rom745。实现本公开内容的各种实施方式的软件可以存储在这样的设备中并且由核740执行。根据特定需要，计算机可读介质可以包括一个或更多个存储器设备或芯片。软件可以使核740，具体地是其中的处理器(包括cpu、gpu、fpga等)执行本文描述的特定处理或特定处理的特定部分，包括定义存储在ram746中的数据结构，以及根据软件定义的处理修改这样的数据结构。另外地或作为替选，计算机系统可以提供作为逻辑硬连线或以其他方式实施在电路(例如：加速器744)中的结果的功能，其可以代替软件或与软件一起操作以执行本文中描述的特定处理或特定处理的特定部分。在适当的情况下，所提及的软件可以包含逻辑，反之，所提及的逻辑可以包含软件。在适当的情况下，所提及的计算机可读介质可以包括存储用于执行的软件的电路(诸如集成电路(integratedcircuit，ic))、实施用于执行的逻辑的电路或两者。本公开内容包含硬件和软件的任何合适组合。48.现在参照图8，描绘了说明由用于分割视口比特流的程序所执行的方法800的步骤的操作流程图。49.在802处，方法800可以包括：使用第一图片组(group-of-picture，gop)结构、以第一分辨率至少部分地编码第一编码视频比特流。50.在804处，方法800可以包括：使用第二gop结构、以第二分辨率编码第二编码视频比特流，该第二编码视频比特流被结构化为多个图块，其中，与第一gop结构相比，第二gop结构包括较少的编码图片。51.在806处，方法800可以包括：使用第一编码视频比特流和第二编码比特流创建用于解码或呈现的流式传输比特流。52.可以理解的是，图8仅提供了一种实现方式的图示，并不意味着对可以如何可以实现不同的实施方式有任何的限制。可以基于设计和实现方式要求对所描绘的环境进行许多修改。53.一些实施方式可以涉及任何可能的集成技术细节水平的系统、方法和/或计算机可读介质。计算机可读介质可以包括其上具有用于使处理器执行操作的计算机可读程序指令的计算机可读非暂态存储介质(或多个介质)。54.计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、可擦除可编程只读存储器(erasableprogrammableread-onlymemory，eprom或闪存)、静态随机存取存储器(staticrandomaccessmemory，sram)、便携式光盘只读存储器(portablecompactdiscread-onlymemory，cd-rom)、数字多功能盘(digitalversatiledisk，dvd)、记忆棒、软盘、诸如其上记录有指令的凹槽中凸起结构或打孔卡的机械编码设备、以及上述的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。55.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输线缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。56.用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(instruction-set-architecture，isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或者是以一种或更多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言(例如smalltalk、c 等)以及过程式编程语言(例如“c”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络——包括局域网(localareanetwork，lan)或广域网(wideareanetwork，wan)——连接至用户的计算机，或者可以(例如，通过使用因特网服务提供商的因特网)连接至外部计算机。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(field-programmablegatearray，fpga)或可编程逻辑阵列(programmablelogicarray，pla)的电子电路可以通过利用计算机可读程序指令的状态信息以使电子电路个性化来执行计算机可读程序指令，从而执行各方面或操作。57.可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或更多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或更多个框中指定的功能/动作的各方面的指令。58.计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得一系列操作步骤在计算机、其他可编程装置或其他设备上执行，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或更多个框中指定的功能/动作。59.附图中的流程图和框图示出了根据各种实施方式的系统、方法和计算机可读介质的可能实现方式的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定的逻辑功能的一个或更多个可执行指令。该方法、计算机系统和计算机可读介质可以包括与附图中所描绘的那些块相比附加的块、更少的块、不同的块或不同布置的块。在一些替选实现方式中，框中所注明的功能可以不按附图中所注明的次序发生。例如，连续示出的两个框实际上可以同时或基本同时执行，或者这些框有时可以以相反的次序执行，这取决于所涉及的功能。还将注意的是，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或者执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。60.将明显的是，本文描述的系统和/或方法可以以硬件、固件或硬件和软件的组合的不同形式来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制这些实现方式。因此，本文描述了系统和/或方法的操作和行为，而没有参考特定的软件代码——应当理解，软件和硬件可以被设计成基于本文的描述来实现系统和/或方法。61.除非明确地这样描述，否则本文使用的元件、动作或指令不应当被解释为关键的或必要的。此外，如本文所使用的，冠词“一”和“一个”旨在包括一个或更多个项目，并且可以与“一个或更多个”互换使用。此外，如本文所使用的，术语“集合”旨在包括一个或更多个项目(例如，相关项目、不相关项目、相关和不相关项目的组合等)，并且可以与“一个或更多个”互换使用。在仅意指一个项目的情况下，使用术语“一个”或类似语言。此外，如本文所使用的，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在为开放式术语。此外，除非另外明确地说明，否则短语“基于”旨在表示“至少部分地基于”。62.已经出于说明的目的呈现了对各个方面和实施方式的描述，但是这些描述不旨在是穷举的或限于所公开的实施方式。即使在权利要求中记载和/或在说明书中公开了特征的组合，这些组合并不旨在限制可能实现方式的公开内容。实际上，这些特征中的许多可以以未在权利要求中具体记载和/或在说明书中公开的方式组合。虽然下面列出的每个从属权利要求可以直接仅从属于一个权利要求，但是可能的实现方式的公开内容包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。在不背离所描述的实施方式的范围的情况下，许多修改和变化对于本领域的普通技术人员将是明显的。选择本文所使用的术语以最好地解释实施方式的原理、实际应用或相对市场上存在的技术的改进，或使本领域的其他普通技术人员能够理解本文所公开的实施方式。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
