视频编解码器重要性指示和无线电接入网感知配置的制作方法

本文公开的主题一般涉及无线通信，更具体地涉及视频编解码器重要性指示和无线电接入网感知配置。

背景技术：

1、在无线网络中，诸如增强现实(ar)/虚拟现实(vr)/扩展现实(xr)、云游戏(cg)、设备远程遥控操作(例如，车辆遥控操作、机器人手臂遥控操作等)、3d视频会议、智能远程教育等新兴应用预计将推动视频业务的增加。尽管上述应用在速率、可靠性、延迟和服务质量(qos)方面可能需要不同的定量约束和配置，但预计这些约束集将对当前和未来的通信网络在如何以不断提高的分辨率传递高保真的体验质量(qoe)方面提出挑战。由于渲染终端设备的质量将随时间增加且其成本随时间降低，预计此类应用将稳步扩大，此外，还将增加对终端应用的qoe的阻碍。因此，从通信网络的角度来看，对于为下一代媒体内容传输系统及其沉浸式数字现实应用提供可扩展且可靠的解决方案是非常感兴趣的。

技术实现思路

1、公开了用于视频编解码器重要性指示和无线电接入网(ran)感知配置的过程。该过程可通过装置、系统、方法和/或计算机程序产品来实现。

2、在一个实施例中，第一装置包括处理器，该处理器根据确定的视频编解码器规范中定义的语法元素检测视频编码流的多个视频编码网络抽象层(nal)单元。在一个实施例中，处理器根据确定的视频编解码器规范中定义的语法元素和语义知识库来提取与多个nal单元相关联的语义信息。在一个实施例中，处理器将提取的与多个nal单元相关联的语义信息进行组合，以形成多个特征集，特征集与包含提取的语义信息的多个nal单元对应地同步。在一个实施例中，在无需对视频编码流执行视频解码的情况下，处理器基于多个特征集来确定多个nal单元中的每个nal单元的信息重要性值。在一个实施例中，处理器将针对确定的视频编解码器规范的多个nal单元中的每个nal单元的确定的信息重要性值指示给视频编码业务感知收发机，以基于指示的信息重要性值调度视频业务。

3、在一个实施例中，第一方法包括根据确定的视频编解码器规范中定义的语法元素来检测视频编码流的多个视频编码nal单元。在一个实施例中，第一方法包括根据确定的视频编解码器规范中定义的语法元素和语义知识库来提取与多个nal单元相关联的语义信息。在一个实施例中，第一方法包括将提取的与多个nal单元相关联的语义信息进行组合，以形成多个特征集，该特征集与包含提取的语义信息的多个nal单元对应地同步。在一个实施例中，第一方法包括在无需视频编码流执行视频解码的情况下，基于多个特征集来确定多个nal单元中的每个nal单元的信息重要性值。在一个实施例中，第一方法包括向视频编码业务感知收发机指示确定的视频编解码器规范的多个nal单元中的每个nal单元的确定的信息-重要性值，以用于基于指示的信息-重要性值来调度视频业务。

4、在一个实施例中，第二装置包括处理器，该处理器使用所选择的视频编解码器规范来将未压缩视频序列编码并且压缩为由多个nal单元形成的视频编码流。在一个实施例中，处理器根据确定的视频编解码器规范中定义的语法元素和语义知识库来提取与多个nal单元相关联的语义信息。在一个实施例中，处理器将提取的与多个nal单元相关联的语义信息进行组合，以形成多个特征集，特征集与包含提取的语义信息的多个nal单元对应地同步。在一个实施例中，在无需对视频编码流执行视频解码的情况下，处理器基于多个特征集来确定多个nal单元中的每个nal单元的信息重要性值。在一个实施例中，处理器利用重要性值注释多个nal单元，以形成用于分组交换通信网络的视频编码流的多个应用数据单元(adu)。在一个实施例中，处理器将多个adu和多个底层nal单元的重要性值以信号向视频编码业务感知收发机发送。

5、在一个实施例中，第二方法包括使用所选择的视频编解码器规范将未压缩视频序列编码和压缩为由多个nal单元形成的视频编码流。在一个实施例中，第二方法包括根据确定的视频编解码器规范中定义的语法元素和语义知识库，提取与多个nal单元相关联的语义信息。在一个实施例中，第二方法包括将提取的与多个nal单元相关联的语义信息进行组合，以形成多个特征集，特征集与包含提取的语义信息的多个nal单元对应地同步。在一个实施例中，第二方法包括在无需对视频编码流执行视频解码的情况下，基于多个特征集来确定多个nal单元中的每个nal单元的信息重要性值。在一个实施例中，第二方法包括利用重要性值注释多个nal单元，以形成用于分组交换通信网络的视频编码流的多个adu。在一个实施例中，第二方法包括将多个adu和多个底层nal单元的重要性值以信号向视频编码业务感知收发机发送。在一个实施例中，第二方法包括处理视频编码业务感知信息，以确定用于视频编码流adu的发送和接收操作的优化无线电调度和控制过程，以及基于视频编码业务感知优化将视频编码流adu向ran发送。

技术特征：

1.一种网络设备装置，所述装置包括：

2.根据权利要求1所述的装置，其中所述处理器将所述检测的多个视频编码nal单元解析为用于提取所述语义信息的所述确定的视频编解码器规范的语法元素。

3.根据权利要求1所述的装置，其中所述处理器基于确定的所述视频编解码器规范，从视频编解码器语法和语义过滤器候选集合中选择视频编解码器语法和语义过滤器，并且公开所述视频编解码器规范的所述语法元素和语义知识库。

4.根据权利要求3所述的装置，其中所述处理器通过将所述选择的视频编解码器规范语法和语义过滤器应用于以下项中的至少一项来执行内在语义信息提取，以提取所述视频编码流中内在包含的所述语义信息内容：nal单元的报头、以及nal单元的非熵编码有效载荷。

5.根据权利要求4所述的装置，其中所述内在语义信息提取基于处理从以下项的组中选择的至少一个nal单元包含的元素：

6.根据权利要求5所述的装置，其中所述处理器使用与所述视频编码流的所述多个nal单元同步的语义信息的外在源，来扩展内在提取的所述语义值和信息，所述语义信息的外在源由实现生成所述多个nal单元的所述视频编解码器规范的视频编码功能提供。

7.根据权利要求6所述的装置，其中所述确定的视频编解码器的提取的所述内在语义信息和外在语义信息中的至少一者进行以下项中的至少一项：组合、缩减、以及后处理成多个归一化特征集，所述多个归一化特征集与所述视频编码流的所述多个nal单元同步。

8.根据权利要求1所述的装置，其中确定所述确定的视频编解码器规范的所述多个nal单元中的每个nal单元的所述信息-重要性值包括：跨越从以下各项的组中选择的至少一个层级来处理所述视频编解码器规范的分层结构和封装编码：

9.根据权利要求8所述的装置，其中所述处理器至少基于信息-重要性函数核、以及跨所述多个nal单元作为节点形成的图形定向信息流模型的定向边的信息流的递归累积，对处理nal单元的分层结构和封装编码的图形定向信息流进行建模，以确定所述多个nal单元中的每个nal单元的所述信息-重要性值。

10.根据权利要求9所述的装置，其中所述信息-重要性函数核针对所述图形定向信息流模型处理的任何级l深度，被定义为与所述级l上的图形节点i相关联的提取的所述特征集的子集的函数参数θ(l，i)。

11.根据权利要求10所述的装置，其中跨越由nal单元节点形成的所述图形定向信息流模型的所述定向边的信息流的所述递归累积被限制为：级内定向边的加权聚合和直接低级的级间定向边的加权聚合，使得对于级l处的节点i，累积的重要性值被获得为：

12.根据权利要求9所述的装置，其中所述处理器确定在恒定质量编码下、与相对于未压缩视频图像分辨率内容的视频压缩增益成反比的视频编码切片和/或切片分段级的所述信息-重要性函数核的重要性值，使得被压缩高于预定义阈值的帧具有低重要性值，以及被压缩低于所述预定义阈值的帧具有高重要性值。

13.根据权利要求1所述的装置，其中所述处理器将所述多个nal单元的所述信息-重要性值以信号向无线电接入网(ran)和用户设备(ue)中的至少一者发送，以优化与有限容量以及变化容量无线链路中的至少一者上的所述视频编码流相关联的发送、重传和接收过程，所述以信号发送使用从以下项的组中选择的至少一个指示来执行：无线电资源控制(rrc)半静态指示、下行链路控制信息(dci)指示、以及介质访问控制控制元素(mac-ce)动态报头信息指示，发送、重传和接收过程的所述优化包括以下项中的至少一项：分组调度、无线电功率控制、无线电频率和资源分配、物理层调制和编码方案选择、混合自动重复请求重传抢占、以及多天线和多发送接收点传输、波束成形和空间多路复用过程。

14.一种网络设备方法，所述方法包括：

15.一种远程网络设备装置，所述装置包括：

技术总结公开了用于视频编解码器重要性指示和RAN感知配置的装置、方法和系统。装置(1200)包括处理器(1205)，该处理器检测视频编码流的多个视频编码网络抽象层(NAL)单元，提取与多个NAL单元相关联的语义信息，组合与多个NAL单元相关联的提取的语义信息以形成多个特征集，所述特征集与包含提取的语义信息的多个NAL单元对应地同步，在无需对视频编码流执行视频解码的情况下，基于多个特征集确定多个NAL单元中的每个NAL单元的信息‑重要性值，以及向视频编码业务感知收发机指示确定的所述视频编解码器规范的所述多个NAL单元中的每个NAL单元的确定的所述信息‑重要性值，以用于基于指示的所述信息‑重要性值来调度视频业务。技术研发人员：R-A·斯托伊卡,H·巴盖里,V·南吉亚受保护的技术使用者：联想（新加坡）私人有限公司技术研发日：技术公布日：2024/7/29