用于神经网络压缩中优先级信令的高级语法的制作方法

1.示例和非限制性实施例总体上涉及计算，更具体地涉及神经网络。


背景技术：

2.执行视频编码和解码是已知的。


技术实现要素：

3.根据一个方面，一种装置，包括：用于从第二设备接收信息的模块，其中所述信息包括被配置为用于压缩神经网络的至少一个参数，其中所述至少一个参数与所述神经网络的至少一个第一方面或任务有关；以及用于压缩所述神经网络的模块，其中所述神经网络至少部分地基于从所述第二设备接收的所述至少一个参数被压缩。
4.根据一个方面，一种装置，包括：用于从所述装置向第二设备发送信息的模块，其中所述信息包括被配置为用于压缩神经网络的至少一个参数，其中所述至少一个参数与所述神经网络的至少一个第一方面或任务有关；以及用于从所述第二设备接收经压缩的神经网络的模块，其中所述经压缩的神经网络已经基于所述至少一个参数被压缩过。
5.根据一个方面，一种装置，包括：被配置为从第二设备接收信息的电路，其中所述信息包括被配置为用于压缩神经网络的至少一个参数，其中所述至少一个参数与所述神经网络的至少一个第一方面或任务有关；以及被配置为压缩所述神经网络的电路，其中所述神经网络至少部分地基于从所述第二设备接收的所述至少一个参数被压缩。
6.根据一个方面，一种装置，包括：被配置为从所述装置向第二设备发送信息的电路，其中所述信息包括被配置为用于压缩神经网络的至少一个参数，其中所述至少一个参数与所述神经网络的至少一个第一方面或任务有关；以及被配置为从所述第二设备接收经压缩的神经网络的电路，其中所述经压缩的神经网络已经基于所述至少一个参数被压缩过。
7.根据一个方面，一种方法，包括：从第二设备接收信息，其中所述信息包括被配置为用于压缩神经网络的至少一个参数，其中所述至少一个参数与所述神经网络的至少一个第一方面或任务有关；以及压缩所述神经网络，其中所述神经网络至少部分地基于从所述第二设备接收的所述至少一个参数被压缩。
附图说明
8.结合附图在以下描述中解释前述方面和其他特征，其中：
9.图1示意性地示出了采用本文描述的示例的实施例的电子设备；
10.图2示意性地示出了适合于采用本文描述的示例的实施例的用户设备；
11.图3还示意性地示出了使用无线和有线网络连接进行连接的采用本文描述的示例的实施例的电子设备；
12.图4示出了神经网络的示例的示意图；
13.图5是用于基于本文描述的示例方法压缩神经网络的信令图；
14.图6是用于压缩神经网络的示例方法；
15.图7是用于压缩神经网络的另一示例方法；
16.图8是用于基于本文描述的示例方法压缩神经网络的另一信令图；
17.图9示出了用于压缩神经网络的两个示例方法；
18.图10示出了具有可由神经网络标识的部分的图像；
19.图11示出了图像，其中该图像或边界框的中心被标识，并且边界框由例如神经网络标识；
20.图12是用于基于本文描述的示例方法压缩神经网络的另一信令图；
21.图13是用于压缩神经网络的另一示例方法；以及
22.图14是用于压缩神经网络的另一示例方法。
具体实施方式
23.可以在说明书和/或附图中找到的以下首字母缩略词和缩写定义如下：
24.3gpp
ꢀꢀꢀꢀꢀ
第三代合作伙伴计划
25.4g
ꢀꢀꢀꢀꢀꢀꢀ
第四代宽带蜂窝网络技术
26.5g
ꢀꢀꢀꢀꢀꢀꢀ
第五代蜂窝网络技术
27.802.x
ꢀꢀꢀꢀ
处理局域网和城域网的ieee标准系列
28.a.k.a.
ꢀꢀꢀ
也被称为
29.asic
ꢀꢀꢀꢀꢀ
专用电路
30.cdma
ꢀꢀꢀꢀꢀ
码分多址
31.dct
ꢀꢀꢀꢀꢀꢀ
离散余弦变换
32.dsp
ꢀꢀꢀꢀꢀꢀ
数字信号处理器
33.fdma
ꢀꢀꢀꢀꢀ
频分多址
34.fpga
ꢀꢀꢀꢀꢀ
现场可编程门阵列
35.gsm
ꢀꢀꢀꢀꢀꢀ
全球移动通信系统
36.h.222.0
ꢀꢀ
mpeg-2系统，运动图像和相关音频信息的通用编码标准
37.h.26x
ꢀꢀꢀꢀ
itu-t领域的视频编码标准系列
38.ibc
ꢀꢀꢀꢀꢀꢀ
内部块复制
39.id或id
ꢀꢀꢀ
标识符
40.iec
ꢀꢀꢀꢀꢀꢀ
国际电工委员会
41.ieee
ꢀꢀꢀꢀꢀ
电气和电子工程师学会
42.imd
ꢀꢀꢀꢀꢀꢀ
集成消息传递设备
43.ims
ꢀꢀꢀꢀꢀꢀ
即时消息传递服务
44.iot
ꢀꢀꢀꢀꢀꢀ
物联网
45.ip
ꢀꢀꢀꢀꢀꢀꢀ
互联网协议
46.iso
ꢀꢀꢀꢀꢀꢀ
国际标准化组织
47.isobmff
ꢀꢀ
iso基础媒体文件格式
48.itu
ꢀꢀꢀꢀꢀꢀ
国际电信联盟
49.itu-t
ꢀꢀꢀꢀ
itu电信标准化部门
50.mms
ꢀꢀꢀꢀꢀꢀ
多媒体消息传递服务
51.mpeg
ꢀꢀꢀꢀꢀ
运动图像专家组
52.mpeg-2
ꢀꢀꢀ
itu定义的h.222/h.262
53.mse
ꢀꢀꢀꢀꢀꢀ
均方误差
54.nal
ꢀꢀꢀꢀꢀꢀ
网络抽象层
55.net
ꢀꢀꢀꢀꢀꢀ
网络
56.nn
ꢀꢀꢀꢀꢀꢀꢀ
神经网络
57.nnr
ꢀꢀꢀꢀꢀꢀ
神经网络表示
58.pc
ꢀꢀꢀꢀꢀꢀꢀ
个人电脑
59.pda
ꢀꢀꢀꢀꢀꢀ
个人数字助理
60.pid
ꢀꢀꢀꢀꢀꢀ
分组标识符
61.plc
ꢀꢀꢀꢀꢀꢀ
电源线连接
62.psnr
ꢀꢀꢀꢀꢀ
峰值信噪比
63.rfid
ꢀꢀꢀꢀꢀ
射频标识
64.sms
ꢀꢀꢀꢀꢀꢀ
短信服务
65.ssim
ꢀꢀꢀꢀꢀ
结构相似性索引度量
66.tcp-ip
ꢀꢀꢀ
传输控制协议-互联网协议
67.tdma
ꢀꢀꢀꢀꢀ
时分多址
68.ts
ꢀꢀꢀꢀꢀꢀꢀ
传输流
69.tv
ꢀꢀꢀꢀꢀꢀꢀ
电视
70.uicc
ꢀꢀꢀꢀꢀ
通用集成电路卡
71.umts
ꢀꢀꢀꢀꢀ
通用移动电信系统
72.usb
ꢀꢀꢀꢀꢀꢀ
通用串行总线
73.wlan
ꢀꢀꢀꢀꢀ
无线局域网
74.神经网络(nn)是由几个计算层组成的一组算法或计算图。每一层由一个或多个单元组成，其中每个单元执行计算，例如基本计算。一个单元连接到一个或多个其他单元，并且该连接可具有关联的权重。权重可用于缩放通过关联的连接传递的信号。权重可以是可学习的参数，即可以从训练数据中学习的值。可能还有其他可学习的参数，例如批量归一化(normalization)层的参数。
75.图4中示出了神经网络100的示例的示意图。在该示意图中，神经网络100包括多个元件102-114。元件可以包括上面提到的单元并且可以被赋予神经网络100的各种不同的特征或组件或片段，例如神经网络的方面或任务。每个元件可以具有一个或多个层，如104中的106以及110中的111、112和114所示。
76.两个最广泛使用的神经网络架构是前馈架构和递归架构。前馈神经网络是没有反馈回路的：每一层从之前的一个或多个层获取输入，并将其输出作为一个或多个后续层的输入。此外，某个层内的单元可以从一个或多个在先层中的单元获取输入，并将输出提供给一个或多个随后层。
77.初始层(靠近输入数据的那些层)提取语义上的低级特征，例如图像中的边缘和纹
理，中间层和最终层提取更多高级特征。在特征提取层之后，可能有一个或多个层执行某个任务，例如分类、语义分割、对象检测、去噪、风格迁移、超分辨率(super-resolution)等。在递归神经网络中，可能有反馈回路，使得该网络成为有状态的，即它能够记忆信息或状态。
78.神经网络正在越来越多的应用中用于许多不同类型的设备，例如移动电话。示例包括图像和视频分析与处理、社交媒体数据分析、设备使用数据分析等。
79.神经网络(和其他机器学习工具)的一个属性是它们能够从输入数据中学习属性；以有监督的方式或以无监督的方式。这种学习可能是训练算法的结果，或者是提供训练信号的元级(meta-level)神经网络的结果。
80.通常，训练算法包括改变神经网络的一些属性，使得其输出尽可能接近期望的输出。例如，在对图像中的对象进行分类的情况下，神经网络的输出可用于导出类或类别索引，该类或类别索引指示该输入图像中的该对象所属的类或类别。训练可以通过最小化或减少输出的误差(也称为损失)来进行。损失的示例有均方误差、交叉熵等。在最近的深度学习技术中，训练是一个迭代过程，其中在每次迭代中，算法都会修改神经网络的权重，以逐渐改善网络的输出，即逐渐减少损失。
81.如本文所用，术语“模型”、“神经网络”、“神经网”和“网络”可互换使用，并且神经网络的权重有时也称为可学习参数或简称为参数。
82.训练神经网络是一个优化过程，但最终目标不同于优化的典型目标。在优化中，唯一的目标是最小化一个泛函数(functional)或函数(function)。在机器学习中，优化或训练过程的目标是使模型从有限的训练数据集中学习数据分布的属性。换句话说，目标是学习使用有限的训练数据集，以便学习泛化到以前看不见的数据，即未用于训练该模型的数据。这通常被称为泛化。在实践中，数据可被分成至少两个集，训练集和验证集。训练集可用于训练网络，即修改其可学习参数以最小化损失。验证集可用于检查网络针对未用于最小化损失的数据的性能，作为该模型的最终性能的指示。具体地，可以在训练过程中监控训练集和验证集上的误差，以了解以下内容：
83.·
如果网络正在学习——在这种情况下，训练集误差可能会减少，否则该模型处于欠拟合状态。
84.·
如果网络正在学习泛化——在这种情况下，验证集误差也可能会减少到不会比训练集误差高太多。如果训练集误差较低，但验证集误差远高于训练集误差，或者不减少，甚至增加，则模该型可能处于过拟合状态。这意味着该模型刚刚记住了训练集的属性，并且仅针对该集合表现良好，但针对不用于调协其参数的集合表现不佳。
85.神经网络可用于压缩和解压缩诸如图像的数据。用于此类任务的架构是自动编码器，它是由两部分组成的神经网络：神经编码器和神经解码器(我们在本文将它们简称为编码器和解码器，尽管我们指的是从数据中学习的而不是手动调协的算法)。编码器可以将图像作为输入，并且可以产生比输入图像需要更少比特的代码。该代码可能已经在编码器之后通过二值化(binarization)或量化(quantization)过程获得。解码器可以采用该代码并重建输入到编码器的图像。可以训练编码器和解码器以最小化比特率和失真的组合，其中失真可以是均方误差(mse)、psnr、ssim或类似度量。这些失真度量可能与人类视觉感知质量成反比。
86.神经网络压缩可以指的是对神经网络的权重的压缩；就比特而言，其可能是表示
神经网络所需的最大部分。相对于权重，另一部分，即架构定义，可被认为可忽略不计(或者需要非常少的比特来表示)，特别是对于大型神经网络(即具有很多层和权重的nn)。可以假设压缩系统的输入是原始训练的网络；其是至少使用任务损失训练的。如本文所用，任务损失是指网络为了被训练以实现期望输出的需要最小化的主要损失函数。
87.可能出于不同的原因需要压缩神经网络，例如，为了降低通过通信信道传输网络所需的比特率，或者为了降低存储需求，或者为了降低运行时的存储器消耗，或者为了降低运行时的计算复杂度等。压缩神经网络的算法的性能可基于表示网络所需的比特数的降低和任务性能的降低。压缩算法可以尽可能地降低比特数(本文称为比特率)，同时最小化任务性能的降低，其中任务性能可以是训练网络所针对的任务的性能，例如，用于分类器的分类精确度或用于执行回归的网络的mse。
88.nn压缩有几种方法。其中一些基于权重的量化，另一些基于修剪(pruning)(删除)小的值，另一些基于权重矩阵的低秩分解，还有一些(通常是最成功的)包括训练或再训练(retraining)步骤。对于后者，可以对每个需要被压缩的神经网络进行再训练。这可以包括用与最初训练网络的任务损失相对的不同损失来再训练要压缩的神经网络，例如，用至少一个任务损失和一个压缩损失的组合。可以针对权重计算压缩损失，例如以强制修剪或稀疏化(sparsification)(即强制许多权重具有低值)或强制更容易的量化(即强制权重的值接近量化的值)。在当前最强大的硬件加速下，这种再训练可能需要长达一周的时间。
89.下面更详细地描述用于根据示例实施例的视频/图像编码过程的合适装置和可能机制。在这方面，首先参考图1和2，其中图1示出了装置50的示例框图。该装置可以是物联网(iot)装置，其被配置为执行各种功能，例如通过一个或多个传感器收集信息、接收或发送信息、分析由装置收集或接收的信息等。装置50可以包括视频编码系统，其可以结合编解码器。图2示出了根据示例实施例的装置50的布局。
90.电子设备50例如可以是无线通信系统的移动终端或用户设备、传感器设备、标签或其他低功率设备。然而，应当理解，实施例可以在可以通过神经网络处理数据的任何电子设备或装置内实现。
91.装置50可以包括用于结合和保护设备的外壳30。装置50还可以包括例如液晶显示器形式的显示器32。在其他实施例中，显示器可以是适合显示图像或视频的任何合适的显示技术。装置50还可以包括小键盘34。在其他实施例中，可以采用任何合适的数据或用户接口机制。例如，用户接口可以实现为虚拟键盘或数据录入系统，作为触敏显示器的一部分。
92.装置50可以包括麦克风36或可以是数字或模拟信号输入的任何合适的音频输入。装置50还可以包括音频输出设备，例如，其可以是以下中的任何一个：听筒38、扬声器或模拟音频或数字音频输出连接。装置50还可以包括电池(或者在其他实施例中，该设备可以由任何合适的移动能源设备供电，例如太阳能电池、燃料电池或发条发电机(clockwork generator))。装置50还可包括能够记录或捕获图像和/或视频的相机42。装置50还可以包括用于与其他设备进行短距离视线通信的红外端口。在其他实施例中，装置50还可以包括任何合适的短距离通信解决方案，例如蓝牙无线连接或usb/火线有线连接。
93.装置50可以包括用于控制装置50的控制器56、处理器或处理器电路(例如，控制器56可以是处理器)。控制器56可以连接到存储器58，存储器58可以存储图像和音频数据形式的数据和/或还可以存储用于在控制器56上实现的指令。控制器56还可以连接到编解码器
电路54，编解码器电路54适合于执行音频和/或视频数据的编码和/或解码或辅助由控制器56执行的编码和/或解码。装置50还可以包括读卡器48和智能卡46，例如uicc和uicc阅读器，其用于提供用户信息并且适用于提供用于在网络上对用户进行认证和授权的认证信息。
94.装置50可以包括无线电接口电路52，该无线电接口电路52连接到控制器56并且适合于生成无线通信信号，例如用于与蜂窝通信网络、无线通信系统或无线局域网进行通信。装置50还可以包括连接到无线电接口电路52的天线44，用于将在无线电接口电路52处生成的射频信号发送给其他装置和/或用于从其他装置接收射频信号。
95.装置50可以包括能够记录或检测各个帧的相机，所述各个帧随后被传递到编解码器54或控制器56以进行处理。该装置可以在发送和/或存储之前从另一设备接收视频图像数据以进行处理。装置50还可以无线地或通过有线连接接收图像以进行编码/解码。上述装置50的结构元件表示用于执行对应功能的模块的示例。
96.关于图3，示出了可以在其中利用本发明的实施例的系统的示例。系统10包括可以通过一个或多个网络进行通信的多个通信设备。系统10可包括有线和/或无线网络的任何组合，包括但不限于无线蜂窝电话网络(诸如gsm、umts、cdma、4g、5g网络等)、无线局域网(wlan)(例如由ieee 802.x标准中的任何一个定义的)、蓝牙个人局域网、以太网局域网、令牌环局域网、广域网和互联网。系统10可以包括适于实施示例实施例的有线和无线通信设备和/或装置50。例如，图3所示的系统示出了移动电话网络11和互联网28的表示。与互联网28的连接性可包括但不限于长距离无线连接、短距离无线连接、各种有线连接(包括但不限于电话线、电缆线、电源线和类似的通信路径)。
97.系统10中示出的示例通信设备可包括但不限于电子设备或装置50、个人数字助理(pda)和移动电话14的组合、pda 16、集成的消息传递设备(imd)18、台式计算机20、笔记本计算机22。如图3所示，pda 16、imd 18、台式计算机20和笔记本计算机22可以通过无线或有线链路/接口2接入互联网28。当装置50由移动的个人携带时，装置50可以是静止的或移动的。装置50还可以以运输模式定位，该运输模式定位包括但不限于汽车、卡车、出租车、公共汽车、火车、轮船、飞机、自行车、摩托车或任何类似的合适运输模式。
98.实施例还可以在机顶盒中(即数字tv接收器(其可能有也可能没有显示或无线功能))、在平板电脑或(笔记本电脑)个人电脑(pc)(其具有处理神经网络数据的硬件和/或软件)中、在各种操作系统中、以及在提供基于硬件/软件的编码的芯片集、处理器、dsp和/或嵌入式系统中实现。
99.一些或进一步装置可以发送和接收呼叫和消息，并通过与基站24的无线连接25与服务提供商进行通信。基站24可以连接至网络服务器26，该网络服务器26允许在移动电话网络11和互联网28之间进行通信。该系统可包括附加的通信设备和各种类型的通信设备。
100.通信设备可以使用各种传输技术进行通信，包括但不限于码分多址(cdma)、全球移动通信系统(gsm)、通用移动电信系统(umts)、时分多址(tdma)、频分多址(fdma)、传输控制协议-互联网协议(tcp-ip)、短消息服务(sms)、多媒体消息传递服务(mms)、电子邮件、即时消息传递服务(ims)、蓝牙、ieee 802.11、3gpp窄带物联网和任何类似的无线通信技术。涉及实现本发明的各种实施例的通信设备可以使用各种介质进行通信，包括但不限于无线电、红外、激光、电缆连接以及任何合适的连接。
101.在电信和数据网络中，信道可以指物理信道或逻辑信道。物理信道可以指诸如有线的物理传输介质，而逻辑信道可以指在多路复用介质上的逻辑连接，该多路复用介质能够传送多个逻辑信道。信道可用于将信息信号(例如比特流)从一个或多个发送器(或发射器)传送到一个或多个接收器。
102.示例实施例也可以在所谓的iot设备中实现。例如，物联网(iot)可以定义为现有互联网基础设施内唯一可标识的嵌入式计算设备的互连。各种技术的融合已经并将使嵌入式系统的许多领域(诸如无线传感器网络、控制系统、家庭/楼宇自动化等)能够纳入物联网(iot)中。为了利用互联网iot，为设备提供了ip地址作为唯一标识符。iot设备可以配备有无线电发射器，例如wlan或蓝牙发射器或rfid标签。替代地，iot设备可以通过有线网络(例如基于以太网的网络)或电力线连接(plc)接入基于ip的网络。
103.在iso/iec 13818-1或等效地在itu-t建议h.222.0中指定的mpeg-2传输流(ts)是一种用于在多路复用流中携带音频、视频和其他媒体以及程序元数据或其他元数据的格式。分组标识符(pid)用于标识ts内的基本流(也称为分组基本流)。因此，mpeg-2ts内的逻辑信道可被认为对应于特定的pid值。可用的媒体文件格式标准包括iso基础媒体文件格式(iso/iec 14496-12，其可缩写为isobmff)和用于nal单元结构化视频的文件格式(iso/iec 14496-15)，其源自isobmff。
104.视频编解码器由将输入视频变换成适合存储/传输的压缩的表示的编码器和可以将压缩的视频表示解压缩回可视形式的解码器组成。视频编码器和/或视频解码器也可以彼此分离，即不需要形成编解码器。通常，编码器会丢弃原始视频序列中的一些信息，以便以更紧凑的形式(即以较低的比特率)表示视频。
105.一些混合视频编码器，例如itu-t h.263和h.264的许多编码器实施方式，在两个阶段中对视频信息编码。首先，例如通过运动补偿模块(在先前编码的视频帧之一中查找并指示与正在编码的块密切对应的区域)或空间模块(使用要以指定方式编码的块周围的像素值)，来预测某个图片区域(或“块”)中的像素值。其次，对预测误差，即预测的像素块与原始像素块之间的差异，进行编码。这可以通过使用指定变换(例如离散余弦变换(dct)或其变体)来变换像素值的差异、量化系数和对量化的系数进行熵编码来完成。通过改变量化过程的保真度，编码器可以控制在像素表示的精确度(图片质量)和生成的编码视频表示的大小(文件大小或传输比特率)之间的平衡。
106.在时间预测中，预测源可以是先前解码的图片(又名参考图片)。在块内复制(ibc；又名块内复制预测和当前图片参考)中，预测可以与时间预测类似地应用，但参考图片可能是当前图片，并且在预测过程中只能参考先前解码的样本。层间或视图间预测可以与时间预测类似地应用，但是参考图片可以是分别来自另一可缩放层或来自另一视图的解码图片。在某些情况下，帧间预测可以仅指时间预测，而在其他情况下，帧间预测可以统称为时间预测以及帧内块复制、层间预测和视图间预测中的任何一个，前提是它们以相同的或类似的时间预测过程执行。帧间预测或时间预测有时可称为运动补偿或运动补偿预测。
107.也可称为时间预测、运动补偿或运动补偿预测的帧间预测减少了时间冗余。在帧间预测中，预测源是先前解码的图片。帧内预测利用了同一图片内的相邻像素可能相关的事实。可以在空间域或变换域中执行帧内预测，即可以预测样本值或变换系数。在不应用帧间预测的情况下，可以在帧内编码中利用帧内预测。
108.编码过程的一个结果是一组编码参数，例如运动矢量和量化的变换系数。如果首先从空间或时间上相邻的参数预测许多参数，则可以更有效地对它们进行熵编码。例如，可以从空间上相邻的运动矢量来预测运动矢量，并且可以仅对相对于运动矢量预测器的差进行编码。编码参数的预测和帧内预测可以统称为图片内(in-picture)预测。
109.利用如本文所述的特征，可以关于用户偏好包括神经网络表示(nnr)标准信令信息的高级语法。用户可被认为是请求压缩某个神经网络的实体(人或机器)。传统上，神经网络压缩是通过将平均精确度与比特率最小化一起作为主要指导度量来执行的。此处使用的平均精确度通常是指在神经网络或它解决的任务的不同方面上平均的精确度。例如，对于分类器，一个方面是类的数量，精确度是在所有类上平均的。对于对象定位(或检测)，一个方面是边界框的中心，另一个方面是框的大小。
110.利用本文所述的特征，用户可以通过在请求中包括针对神经网络的不同方面的优先级信息来请求神经网络压缩。在一个附加或替代的示例实施例中，可以从执行神经网络压缩的设备向用户发送优先级信息。
111.在一个示例实施例中，假设第一设备(设备a)被配置为执行至少一个神经网络的压缩。还假设第二设备(设备b)，即“用户”，是出于任何原因需要(例如，由于计算能力、存储器或功率方面的资源有限)压缩神经网络的设备。设备a可以是物理实体，例如服务器，或者仅仅是抽象实体，例如设备b也驻留在其中的更大设备的一部分。神经网络可能已经在设备a，或者神经网络可能是设备b发送的，或者设备a可能通过第三方实体获得神经网络。也可以假设在不牺牲网络中的某些精确度的情况下，不可能获得非常高的压缩率。这是一个非常普遍的假设，应该适用于大多数神经网络。例外情况可能是，例如，即使不分析输入(例如，具有非常不平衡的类分布的数据)也可以确定神经网络的期望输出。如下所述的语法也可以为双方所理解。
112.利用如本文所述的特征，用户可以向设备a发送信令信息。该信令信息可被配置用于通知神经网络的哪些方面可以在精确度方面被保留以及可选地保留到什么程度。如本文所用，“精确度”是指测量神经网络的某个方面的质量的任何合适的度量。此外，在某些情况下，可能存在确定神经网络的质量的多个精确度，并且信令可以考虑这些多个精确度中的一个或多个。压缩不可避免地会导致一个或多个方面的精确度下降。通过该信令，在设备a进行压缩期间，可以从用户的信令信息中标识的对用户不重要的方面更多地节省/减少比特。因此，设备a被配置为针对由设备b标识的对用户不重要的方面更多地压缩神经网络；压缩意味着通过压缩节省或减少比特。设备a被配置为针对由设备b标识的对用户重要的方面较少地压缩神经网络。设备a从用户(设备b)接收的信令信息可用于确定神经网络中对用户重要的方面，于是设备a在压缩神经网络期间可使用这些信息来减少为那些重要方面删除的比特数目。这提高了压缩的神经网络对于信令信息中标识的那些重要方面的精确度。使用如本文所述的特征，要保留的内容和可以“破坏”(不保留)的内容之间的区别不仅是二元的(例如，不一定是二元的)，而且可以具有不同的类以及甚至更进一步的精度。替代地或附加地，信令信息可以用于确定神经网络中对用户不重要的一个或多个方面，于是设备a可以在神经网络的压缩期间使用该信息来增加为那些不重要的方面删除的比特数(降低针对神经网络的那些方面的精确度)。
113.在分类器的情况下，一个方面可以是需要保留哪些类。在对象检测/定位的情况
下，一个方面可以是边界框的中心，另一个方面是边界框的大小。其他示例可以是语义分割图的特性、从图像(例如，在图像字幕中)生成的自然语言的特性等。优先级信息例如可以采用以下形式之一(或其组合)：
114.·
对于每个方面，多个子集与每个子集的不同优先级相关联。优先级可以是等级。
115.·
对于每个方面，多个子集与特定的允许退化范围相关联。
116.对于一些用例，以下是该信令的一些非限制性示例。
117.示例1：图像分类为n个类
118.·
用户指定优先级为1的类子集s1、优先级为2的类子集s2和优先级为3的类子集s3。信令可以由以下字典组成：{'c1':1,'c2':3,'c3':3,'c4':1,'c5':2}
–
其中子集s1包括类'c1'和“c4”，子集s2包括类'c5'，子集s3包括类'c2'和'c3'。
119.·
替代地，用户指定对于子集s1，它(例如用户)可以不接受精确度方面退化，而对于子集s2和s3，它可以接受最多10％的精确度退化。示例：{'c1':0,'c2':10,'c3':10,'c4':0,'c5':10}。
120.当服务器从用户接收到优先级信息时，它(例如服务器)可以压缩满足优先级信息的神经网络。以下是图像分类器的示例：
121.·
对于上面提到的第一项，服务器(设备a)可以以使优先级1类将受到比优先级2少得多的惩罚的方式来压缩神经网络。类似地，服务器可以以使优先级2类将受到比优先级3少得多的惩罚的方式来压缩神经网络。这只是一个示例，不应被视为限制。
122.·
对于上面提到的作为替代品的第二项，服务器(设备a)可以以使子集s1中的类在精确度方面具有0退化而子集s2和s3中的类在精确度方面具有最大10％退化的方式来压缩神经网络。同样，这仅仅是一个示例并且不应被认为是限制性的。
123.示例2:对象检测器
124.·
用户指定边界框的中心优先级为1，而框的大小优先级为2。
125.·
替代地，用户指定中心可能没有退化余量，并且该大小可能具有10个像素的退化余量。示例：{'center':0,'size':10}。
126.利用如本文所述的特征，特征不必限于被服务器用来压缩神经网络的任何特定算法。
127.如本文所述的特征可用于向用户用信号传送优先级信息。在该附加示例实施例中，服务器可以向用户发送信息以允许用户对神经网络的一个或多个方面进行优先级排序。一个或多个方面的优先级排序可以是由用户进行的选项。服务器可以向用户发送在不同压缩超参数和结果优先级之间的映射的信息。这可以在带内或带外(相对于可压缩模型)发送。例如，服务器可以首先处理神经网络以使神经网络更可压缩(例如，对稀疏化更鲁棒)，然后将神经网络与关联的映射一起发送给用户。该映射可以将不同的稀疏化阈值与不同的优先级排序相关联。下面是一个示例：
128.{0.05:{'c1':1,'c2':3,'c3':3,'c4':1,'c5':2},0.1:{'c1':2,'c2':3,'c3':3,'c4':1,'c5':2}}。
129.然后，用户可以基于用户认为哪些类更重要来选择稀疏化阈值。例如，如果类'c1'对该用户非常重要，则可以将0.05用于阈值，从而稀疏化权重。
130.当输入到用户的设备的神经网络的大小不是问题(例如，当信道带宽或存储器不
是问题时)，而主要问题是推理阶段(inference-stage)资源(例如推理时的存储器、计算能力和功率，其甚至可能发生变化并因此是动态的(例如，由于在用户的设备上运行的许多进程，资源可用性可随时间变化))时，该示例实施例可能是有用的。在这些情况下，用户可以决定它要压缩(或进一步压缩)神经网络的程度。输入神经网络可以是接收的神经网络的更可压缩的版本，例如使用权重上的压缩损失进行训练或微调(这使得它们对压缩更具有鲁棒性)，和/或已经被压缩到一定程度(以便用户可以进一步压缩)。
131.本实施例(向用户用信号传送优先级信息)由图12的信令图示出。在图12中，在704，设备a(例如编码器)向设备b(例如解码器)发送/用信号传送神经网络和优先级信息。在一些示例中，设备a在不发送神经网络的情况下发送/用信号传送优先级信息。如所提到的，在704用信号传送的优先级信息可以是在不同压缩超参数和结果优先级之间的映射，和/或在704用信号传送的优先级信息可以是将不同稀疏化阈值与不同优先级排序相关联的映射，或与统一或分解相关的信息。704处用信号传送的信息也可以是类似于在其他实施例中提供的信令信息的信息，例如类似于图5中在200处提供的信令信息或在图8中200'处提供的信令信息并且如本文通篇所述。在706，设备b充当编码器，基于接收的在704提供的信令信息压缩或进一步压缩神经网络。在设备a在702压缩神经网络的意义上设备b进一步压缩神经网络是可选的，其中在702处的压缩例如是在在704向设备b发送神经网络和/或信令信息之前完成的。702处的压缩是可选的，如虚线所示。在700处设备b请求来自设备a的神经网络和/或信令信息也是可选的(由虚线指示的可选性)。
132.应该注意的是，图12示出了从编码器或网络(例如设备a)向用户(例如设备b)用信号传送优先级信息的实施例，然而该实施例已经被反映在诸如图5的其他图中。例如，在图5中，设备b可以是服务器或编码器，而不是用户设备，并且在200，设备b向设备a发送信令信息和/或神经网络(初始压缩或未压缩的)，其中设备a是用户设备或解码器而不是服务设备或编码器。然后在206，设备a充当编码器，压缩或进一步压缩神经网络。在图5中的208处，设备a可以向设备b发送在200接收了信息的确认或者甚至是经压缩的或进一步压缩的神经网络。
133.类似地在图8中，设备b可以是服务设备或编码器，而不是用户设备，其中设备b在200'向设备a发送神经网络(初始压缩或未压缩的)和/或优先级/信令信息，其中设备a是用户设备或解码器。在图8中，在206，用户设备或解码器还充当编码器，压缩或进一步压缩神经网络。在图8中的300处，例如在设备b在200'处向设备a发送信令信息之前，用户设备或解码器设备a向设备b发送对信令信息的请求。在图8中的208处，设备a可以向设备b发送在200'处接收到信息的确认或者甚至是经压缩或进一步压缩的神经网络。
134.图13是用于基于图12所示的信令图来压缩神经网络的另一示例方法。该方法可选地包括在802由第一设备压缩神经网络。第一设备可以是例如编码器。在804，该方法包括由第一设备向第二设备发送神经网络(例如未压缩的)或经压缩的神经网络和信息，其中该信息包括被配置为用于压缩或进一步压缩该神经网络的至少一个参数，其中该至少一个参数与该神经网络的至少一个第一方面或任务有关。该第二设备可以是例如解码器。在806，该方法包括由该第二设备压缩或进一步压缩该神经网络，其中该神经网络至少部分地基于从该第一设备接收的至少一个参数而被压缩或进一步压缩。
135.在运动图像专家组(mpeg)神经网络表示(nnr)中，需要高级语法。高级语法可能支
持的方面之一是用户(其请求压缩)对神经网络(nn)的某些方面或神经网络(nn)解决的任务的某些方面的偏好。
136.还参考图5-7，将进一步描述一种示例方法。在此示例中，设备a被配置为压缩神经网络。如图5中的200所示，设备b可以向设备a发送对神经网络的请求。如图6中的202所示，该请求可以包括从设备b到设备a的信令信息，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数标识该神经网络的第一方面或任务，例如图4中的108。如本文所用，神经网络的“任务”有时可以仅称为神经网的“方面”。如图7中的204和图5中的200所示，设备a可以从设备b接收信令信息，该信令信息包括被配置为用于压缩神经网络的至少一个参数。如图7中的206和图5中的206所示，设备a然后可以压缩神经网络，其中在压缩期间，至少部分地基于从设备b接收到的至少一个参数，神经网络的第一方面具有较少的损失(相对于神经网络的至少一个其他方面)。如图5和6中的208所示，设备a然后可以发送并且设备b接收经压缩的神经网络，其中该经压缩的神经网络包括具有基于至少一个参数的较少损失的第一方面或任务(例如图4中的104)，以及比第一方面108具有更多损失的至少一个第二方面或任务(例如图4中的110)。
137.还参考图8，示出了另一示例，其中在设备b发送信令信息之前，设备a向设备b发送请求300以发送信令信息。然后，设备b可以向设备a发送带有该信令信息的回复请求200'。还参考图9，示出了两个示例方法，其中由设备b发送对神经网络的第一请求并由设备a接收，如框400所示。在一个示例方法中，如框402所示，设备a向设备b发送回复请求，其中该回复请求被配置为请求设备b将信息发送给第一设备，例如设备a。在另一示例方法中，如框404所示，设备a向设备b发送经压缩的神经网络，该经压缩的神经网络，以及回复请求和将经压缩的神经网络与至少一个参数关联的映射。如框406所示，设备b发送并且设备a接收对回复请求的响应，其中该响应包括针对该至少一个参数的值。如框408所示，设备a于是可以至少部分地基于至少从设备b(例如第二设备)接收的至少一个参数来压缩206神经网络，其中该神经网络的第一方面比神经网络的至少一个其它方面具有较少的损失。
138.如上所述，如本文所述的特征可用于图像。例如，图10示出了具有部分502、504、506的图像500。神经网络可被配置为标识不同类型的部分，例如人502、房子504和狗506。一些部分，例如活的主体502和506可被分组在一起作为在神经网络的一些方面的子集。502和506可被给予第一分类，504可被给予第二不同的分类，并且当神经网络被压缩时每个分类可被给予关于损失的不同优先级。设备b可能能够向设备a指定与图像中的项目相关的(例如与人502相关的)神经网络的方面或任务应该没有损失或者应该有不小于预定值的损失或者退化。还参考图11，示出了图像600，其中图像的中心602被标识并且边界框604或606被标识。由设备b发送给设备a的信令信息可以包括针对关于中心602和/或边界框604和/或边界框606的参数的值。例如，信令信息可以指定中心602周围的区域可以仅被退化到20％的限制，而边界框604或606周围的区域可被退化到50％的限制。这些仅仅是帮助理解如本文所述的特征的示例，并且不应被认为是限制性的。
139.将压缩应用于神经网络，而不是应用于神经网络的特定方面。神经网络的一个方面或任务例如是边界框604或606的大小(例如在对象检测神经网络的情况下)。利用本文所述的特征，可以完成神经网络的压缩，使得边界框604或606的大小相对于图像的中心602或边界框在精确度上具有更多的下降，其中在604或者606和602处的精确度下降是由神经网
络的压缩引起的。
140.图14是基于本文描述的示例的用于压缩神经网络的另一示例方法。在202，该方法包括从第一设备向第二设备发送信息，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数是关于该神经网络的至少一个第一方面或任务。在207，该方法包括由该第一设备从该第二设备接收经压缩的神经网络，其中该经压缩的神经网络已经基于该至少一个参数被压缩。
141.对“计算机”、“处理器”以及在一些示例中的“控制器”等的引用应理解为不仅涵盖具有不同架构的计算机(例如单/多处理器架构和顺序(冯诺依曼)/并行架构)，而且也涵盖专用电路(例如现场可编程门阵列(fpga)、专用电路(asic)、信号处理设备和其他处理电路)。对计算机程序、指令、代码等的引用应理解为涵盖用于可编程处理器的软件或固件(例如硬件设备的可编程内容(例如用于处理器的指令))，或用于固定功能设备、门阵列或可编程逻辑器件的配置设置，等等。
142.存储器58可以使用任何合适的数据存储技术来实现，例如基于半导体的存储器设备、闪存、磁存储器设备和系统、光学存储器设备和系统、固定存储器和可移动存储器。存储器58可以包括用于存储数据的数据库。
143.如在本技术中使用的，术语“电路”可以指以下的一个或多个或全部：
144.(a)纯硬件电路实施方式(例如采用模拟和/或数字电路的实施方式)和
145.(b)硬件电路和软件(和/或固件)的组合，例如(如适用)：
146.(i)处理器的组合，以及
147.(ii)(包括数字信号处理器)的处理器/软件的部分、软件和存储器，它们共同工作以使装置执行各种功能，以及
148.(c)需要软件(例如固件)用于操作的电路(例如微处理器或微处理器的一部分)，即使软件或固件物理上未出现。
149.作为另一示例，如本文所用，术语“电路”还将涵盖仅处理器(或多个处理器)或处理器的一部分及其(或它们的)随附软件和/或固件的实现。例如，如果适用于特定元件，术语“电路”还将涵盖用于移动电话的基带集成电路或应用处理器集成电路或在服务器、蜂窝网络设备或其他网络设备中的类似集成电路。
150.可以提供一种示例方法，包括：由第一设备从第二设备接收信息，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与神经网络的至少一个第一方面或任务有关；以及由该第一设备压缩该神经网络，其中该神经网络至少部分地基于从该第二设备接收的该至少一个参数被压缩。
151.该方法的其他方面可以包括以下内容。该至少一个第一方面或任务可以包括该神经网络的单独方面或任务。该神经网络的压缩可导致该神经网络的至少一个第二方面或任务的精确度低于该至少一个第一方面或任务的精确度。该信息可以包括至少一个第一方面或任务的标识。该信息可以包括图像分类的标识。该至少一个参数可以包括优先级值。该信息可以包括图像的至少一个部分的标识。该至少一个参数可以包括用于防止该至少一个第一方面或任务的任何精确度降低的信息。该信息可以包括多个类子集的标识，并且其中该至少一个第一方面或任务可以包括多个子集中的一个子集。该至少一个参数可以包括小于一的百分比或值。该至少一个参数可以包括与该至少一个第一方面或任务相关的压缩值或
设置。该信息可以包括图像上的图像位置，并且该至少一个参数可以包括针对图像位置的压缩设置。该图像位置可以包括中心(例如，图像的中心或边界框的中心)或边界框中的至少一个。该至少一个参数可以包括像素值。该至少一个参数可以包括退化值或退化范围。该方法还可以包括向该第二设备发送由该第一设备压缩的压缩神经网络。该方法还可以包括：由该第一设备向该第二设备发送请求，该请求被配置为请求该第二设备向该第一设备发送信息。该请求可以标识用于至少一个参数的多个优先级。该请求可以标识该神经网络的不同方面或任务，包括该至少一个第一方面或任务。该请求可以包括映射。该第一设备可以向该第二设备发送经压缩的神经网络，以及该请求和将该经压缩的神经网络与至少一个参数相关联的映射。
152.该方法的其他方面可以包括以下内容。该方法还可以包括由该第一设备从该第二设备接收神经网络。由该第一设备接收的神经网络可以是经压缩的神经网络。所接收的经压缩的神经网络可在由第一设备压缩神经网络之前已经用该第二设备压缩过。该信息可以包括稀疏化性能映射，其指定在至少一个稀疏化阈值和该神经网络的至少一个精确度之间的映射。至少一个精确度可以针对该神经网络的输出的不同方面(包括该神经网络的至少一个第一方面或任务)而被分开提供。该至少一个稀疏化阈值中的每一个可针对至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。可以将至少一个稀疏化阈值中的每一个映射到考虑至少一个类中的每一个类的总体精确度。利用该神经网络预测的至少一个类中的每一个类可以是基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序而被排序的。该信息可以包括统一性能映射，其指定在该神经网络的至少一个统一阈值和至少一个精确度之间的映射。该至少一个精确度可以针对该神经网络的输出的不同方面(包括该神经网络的至少一个第一方面或任务)而被分开提供。该至少一个统一阈值中的每一个可针对至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。至少一个统一阈值中的每一个可被映射到考虑至少一个类中的每一个类的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对利用该神经网络预测的至少一个类中的每一个类进行排序。该信息可以包括分解性能映射，其指定在至少一个解压缩张量(tensor)和至少一个原始张量之间的至少一个mse阈值与该神经网络的至少一个精确度之间的映射。可以针对该神经网络的输出的不同方面(包括神经网络的至少一个第一方面或任务)分开提供至少一个精确度。至少一个mse阈值中的每一个可针对至少一个类中的每一个类被映射到至少一个精确度中的分开的精确度。至少一个mse阈值中的每一个可被映射到考虑至少一个类中的每一个类的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对利用神经网络预测的至少一个类中的每一个类进行排序。该第一设备可以是编码器，并且该第二设备可以是解码器。该第一设备可以是解码器，并且该第二设备可以是编码器。
153.可以在一种装置中提供示例实施例，该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个非暂时性存储器，该至少一个存储器和该计算机程序代码被配置为与该至少一个处理器一起使该装置：促使从第二设备接收信息，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与该神经网络的至少一个第一方面或任务有关；以及压缩该神经网络，其中该神经网络至少部分地基于从该第二设备接收的至少一个参数而被压缩。
154.该装置的其他方面可以包括以下内容。至少一个第一方面或任务可以包括该神经网络的单独方面或任务。该神经网络的压缩可导致该神经网络的至少一个第二方面或任务的精确度低于该至少一个第一方面或任务的精确度。该信息可以包括至少一个第一方面或任务的标识。该信息可以包括图像分类的标识。该至少一个参数可以包括优先级值。该信息可以包括图像的至少一个部分的标识。该至少一个参数可以包括用于防止该至少一个第一方面或任务的任何精确度降低的信息。该信息可以包括多个类子集的标识，并且其中至少一个第一方面或任务可以包括多个子集中的一个子集。该至少一个参数可以包括小于一的百分比或值。该至少一个参数可以包括与该至少一个第一方面或任务相关的压缩值或设置。该信息可以包括图像上的图像位置，并且该至少一个参数可以包括针对图像位置的压缩设置。该图像位置可以包括中心(例如，图像的中心或边界框的中心)或边界框中的至少一个。该至少一个参数可以包括像素值。该至少一个参数可以包括退化值或退化范围。该至少一个存储器和该计算机程序代码还可被配置为与该至少一个处理器一起使该装置向该第二设备发送该经压缩的神经网络。该至少一个存储器和该计算机程序代码还可被配置为与该至少一个处理器一起使该装置向该第二设备发送请求，其中该请求被配置为请求该第二设备将该信息发送给该装置。该请求可以标识针对该至少一个参数的多个优先级。该请求可以标识该神经网络的不同方面或任务，包括该至少一个第一方面或任务。该请求可以包括映射。该装置可以向该第二设备发送经压缩的神经网络，以及该请求和将该经压缩的神经网络与该至少一个参数相关联的映射。
155.该装置的其他方面可以包括以下内容。该至少一个存储器和该计算机程序代码还可被配置为与该至少一个处理器一起使该装置从该第二设备接收该神经网络。接收的神经网络可以是经压缩的神经网络。所接收的经压缩的神经网络可在压缩该神经网络之前已经用该第二设备压缩过。该信息可以包括稀疏化性能映射，其指定在至少一个稀疏化阈值和神经网络的至少一个精确度之间的映射。该至少一个精确度可以针对该神经网络的输出的不同方面(包括该神经网络的该至少一个第一方面或任务)而被分开提供。该至少一个稀疏化阈值中的每一个可针对至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。可以将该至少一个稀疏化阈值中的每一个映射到考虑该至少一个类中的每一个类的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对利用该神经网络预测的至少一个类中的每一个类进行排序。该信息可以包括统一性能映射，其指定在该神经网络的至少一个统一阈值和至少一个确精度之间的映射。至少一个精确度可以针对该神经网络的输出的不同方面(包括该神经网络的该至少一个第一方面或任务)而被分开提供。该至少一个统一阈值中的每一个可针对该至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。该至少一个统一阈值中的每一个可被映射到考虑至少一个类中的每一个类的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对利用该神经网络预测的至少一个类中的每一个类进行排序。该信息可以包括分解性能映射，其指定在至少一个解压缩张量和至少一个原始张量之间的至少一个mse阈值与该神经网络的至少一个精确度之间的映射。该至少一个精确度可以针对该神经网络的输出的不同方面(包括神经网络的至少一个第一方面或任务)而被分开提供。至少一个mse阈值中的每一个可针对至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。至少一个mse阈值中的每一个可被映射到考虑至少一个类
中的每一个类的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对利用该神经网络预测的至少一个类中的每一个类进行排序。该装置可以是编码器，并且第二设备可以是解码器。该装置可以是解码器，并且第二设备可以是编码器。
156.示例实施例可以提供有一种由机器可读的非暂时性程序存储设备，其有形地体现该机器可执行的用于执行操作的指令程序，该操作包括：由第一设备从第二设备接收信息，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与该神经网络的至少一个第一方面或任务有关；以及由该第一设备压缩该神经网络，其中该神经网络至少部分地基于从该第二设备接收的该至少一个参数被压缩。
157.该非暂时性程序存储设备的其他方面可以包括以下内容。至少一个第一方面或任务可以包括神经网络的单独方面或任务。神经网络的压缩可导致该神经网络的至少一个第二方面或任务的精确度低于该至少一个第一方面或任务的精确度。该信息可以包括至少一个第一方面或任务的标识。该信息可以包括图像分类的标识。该至少一个参数可以包括优先级值。该信息可以包括图像的至少一个部分的标识。该至少一个参数可以包括防止该至少一个第一方面或任务的任何精确度降低的信息。该信息可以包括多个类子集的标识，并且其中该至少一个第一方面或任务可以包括多个子集中的一个子集。该至少一个参数可以包括小于一的百分比或值。该至少一个参数可以包括与该至少一个第一方面或任务相关的压缩值或设置。该信息可以包括图像上的图像位置，并且该至少一个参数可以包括针对该图像位置的压缩设置。该图像位置可以包括中心(例如，图像的中心或边界框的中心)或边界框中的至少一个。该至少一个参数可以包括像素值。该至少一个参数可以包括退化值或退化范围。该操作还可以包括向该第二设备发送由该第一设备压缩的经压缩的神经网络。该操作还可以包括由该第一设备向该第二设备发送请求，其中该请求被配置为请求该第二设备向该第一设备发送该信息。该请求可以标识针对至少一个参数的多个优先级。该请求可以标识神经网络的不同方面或任务，包括该至少一个第一方面或任务。该请求可以包括映射。该第一设备可以向第二设备发送经压缩的神经网络，以及该请求和将该经压缩的神经网络与该至少一个参数相关联的映射。
158.该非暂时性程序存储设备的其他方面可以包括以下内容。该操作还可以包括由该第一设备从该第二设备接收神经网络。该第一设备接收的神经网络可以是经压缩的神经网络。接收的经压缩的神经网络可在由该第一设备压缩神经网络之前已经用该第二设备压缩过。该信息可以包括稀疏化性能映射，其指定在至少一个稀疏化阈值和神经网络的至少一个精确度之间的映射。该至少一个精确度可以针对神经网络的输出的不同方面(包括神经网络的至少一个第一方面或任务)而被分开提供。该至少一个稀疏化阈值中的每一个可针对该至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。可以将至少一个稀疏化阈值中的每一个映射到考虑该至少一个类中的每一个的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对用该神经网络预测的至少一个类中的每一个类进行排序。该信息可以包括统一性能映射，其指定在神经网络的至少一个统一阈值和至少一个精确度之间的映射。该至少一个精确度可以针对该神经网络的输出的不同方面(包括该神经网络的至少一个第一方面或任务)而被分开提供。至少一个统一阈值中的每一个可针对至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。至少一个统一阈值中的每一个可被映射到考虑该至少一个类中的每一个类的总
体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对用该神经网络预测的至少一个类中的每一个进行排序。该信息可以包括分解性能映射，其指定在至少一个解压缩张量和至少一个原始张量之间的至少一个mse阈值与神经网络的至少一个精确度之间的映射。该至少一个精确度可以针对该神经网络的输出的不同方面(包括神经网络的至少一个第一方面或任务)而被提供。至少一个mse阈值中的每一个可针对至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。至少一个mse阈值中的每一个可被映射到考虑至少一个类中的每一个的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对用该神经网络预测的至少一个类中的每一个类进行排序。该第一设备可以是编码器，并且该第二设备可以是解码器。该第一设备可以是解码器，并且该第二设备可以是编码器。
159.示例实施例可以提供有一种装置，该装置包括：用于从第二设备接收信息的模块，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与该神经网络的至少一个第一方面或任务有关；以及用于压缩神经网络的模块，其中该神经网络至少部分地基于从该第二设备接收的该至少一个参数被压缩。
160.该装置的其他方面可以包括以下内容。至少一个第一方面或任务可以包括神经网络的单独方面或任务。神经网络的压缩可导致该神经网络的至少一个第二方面或任务的精确度低该于至少一个第一方面或任务的精确度。该信息可以包括至少一个第一方面或任务的标识。该信息可以包括图像分类的标识。至少一个参数可以包括优先级值。该信息可以包括图像的至少一个部分的标识。至少一个参数可以包括用于防止该至少一个第一方面或任务的任何精确度降低的信息。该信息可以包括多个类子集的标识，并且其中该至少一个第一方面或任务可以包括多个子集中的一个子集。该至少一个参数可以包括小于一的百分比或值。该至少一个参数可以包括与该至少一个第一方面或任务相关的压缩值或设置。该信息可以包括图像上的图像位置，并且该至少一个参数可以包括针对该图像位置的压缩设置。该图像位置可以包括中心(例如，图像的中心或边界框的中心)或边界框中的至少一个。该至少一个参数可以包括像素值。该至少一个参数可以包括退化值或退化范围。该设备还可以包括用于向该第二设备发送经压缩的神经网络的模块。该装置还可以包括用于向该第二设备发送请求的模块，其中该请求被配置为请求第二设备向该装置发送信息。该请求可以标识针对至少一个参数的多个优先级。该请求可以标识该神经网络的不同方面或任务，包括该至少一个第一方面或任务。该请求可以包括映射。该装置可以向该第二设备发送经压缩的神经网络，以及该请求和将该经压缩的神经网络与该至少一个参数相关联的映射。
161.该装置的其他方面可以包括以下内容。该装置还可以包括用于从该第二设备接收神经网络的模块。接收的神经网络可以是经压缩的神经网络。接收的经压缩的神经网络可以在神经网络的压缩之前已经用该第二设备压缩过。该信息可以包括稀疏化性能映射，其指定在至少一个稀疏化阈值和该神经网络的至少一个精确度之间的映射。该至少一个精确度可以针对该神经网络的输出的不同方面(包括该神经网络的该至少一个第一方面或任务)而被分开提供。该至少一个稀疏化阈值中的每一个可针对至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。可以将至少一个稀疏化阈值中的每一个映射到考虑至少一个类中的每一个的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对用该神经网络预测的至少一个类中的每一个类进行排序。
该信息可以包括统一性能映射，其指定在该神经网络的至少一个统一阈值和至少一个精确度之间的映射。该至少一个精确度可以针对该神经网络的输出的不同方面(包括神经网络的至少一个第一方面或任务)而被分开提供。至少一个统一阈值中的每一个可针对至少一个类中的每一个类被映射到该至少一个精确度中的分开的精确度。至少一个统一阈值中的每一个可被映射到考虑该至少一个类中的每一个的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对用该神经网络预测的至少一个类中的每一个进行排序。该信息可以包括分解性能映射，其指定在至少一个解压缩张量和至少一个原始张量之间的至少一个mse阈值与该神经网络的至少一个精确度之间的映射。该至少一个精度可以针对该神经网络的输出的不同方面(包括该神经网络的至少一个第一方面或任务)而被分开提供。至少一个mse阈值中的每一个可针对至少一个类中的每一个被映射到该至少一个精确度中的分开的精确度。至少一个mse阈值中的每一个可被映射到考虑至少一个类中的每一个的总体精确度。可以基于该神经网络的输出顺序或在该神经网络的训练期间指定的顺序，对用该神经网络预测的至少一个类中的每一个类进行排序。该装置可以是编码器，并且第二设备可以是解码器。该装置可以是解码器，并且第二设备可以是编码器。
162.可以提供一种示例方法，包括：从第一设备向第二设备发送信息，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与该神经网络的至少一个第一方面或任务有关；以及由该第一设备从该第二设备接收经压缩的神经网络，其中该经压缩的神经网络已经基于该至少一个参数被压缩。
163.该方法还可以包括由该第一设备针对图像使用该经压缩的神经网络。该至少一个第一方面或任务可以包括该神经网络的单独方面或任务。该信息可以包括该至少一个第一方面或任务的标识。该信息可以包括图像分类的标识。至少一个参数可以包括优先级值。该信息可以包括图像的至少一个部分的标识。至少一个参数可以包括用于防止至少一个第一方面或任务的精确度降低的信息。该信息可以包括多个类子集的标识，并且其中该至少一个第一方面或任务可以包括多个子集中的一个子集。至少一个参数可以包括小于一的百分比或值。至少一个参数可以包括压缩值或设置。该信息可以包括图像上的图像位置，并且该至少一个参数可以包括针对该图像位置的压缩设置。该图像位置可以包括中心(例如，图像的中心或边界框的中心)或边界框中的至少一个。至少一个参数可以包括像素值。至少一个参数可以包括退化值或退化范围。该方法还可以包括由第一设备从第二设备接收请求，其中该请求被配置为请求该第一设备向该第二设备发送信息。该请求可以标识针对至少一个参数的多个优先级。该请求可以标识神经网络的不同方面或任务，包括该至少一个第一方面或任务。该请求可以包括映射。该第二设备可以向该第一设备发送第一不同的经压缩的神经网络，以及该请求和将该第一不同的经压缩的神经网络与该至少一个参数相关联的映射。该方法还可包括其中该经压缩的神经网络中的至少一个第二方面或任务具有的精确度降低比该至少一个第一方面或任务的精确度降低更多。
164.示例实施例可以提供一种装置，该装置包括：至少一个处理器；以及包括计算机程序代码的至少一个非暂时性存储器，该至少一个存储器和该计算机程序代码被配置为与该至少一个处理器一起使该装置：促使从该装置向第二设备发送信息，其中，该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与该神经网络的至少一个第一方面或任务有关；促使从第二设备接收经压缩的神经网络，其中该经压缩的神经网络已
经基于该至少一个参数被压缩。
165.该至少一个存储器和该计算机程序代码还可被配置为与该至少一个处理器一起使该装置针对图像使用该经压缩的神经网络。该至少一个第一方面或任务可以包括该神经网络的单独方面或任务。该信息可以包括该至少一个第一方面或任务的标识。该信息可以包括图像分类的标识。该至少一个参数可以包括优先级值。该信息可以包括该图像的至少一个部分的标识。至少一个参数可以包括用于防止该至少一个第一方面或任务的精确度降低的信息。该信息可以包括多个类子集的标识，并且其中该至少一个第一方面或任务可以包括多个子集中的一个子集。该至少一个参数可以包括小于一的百分比或值。该至少一个参数可以包括压缩值或设置。该信息可以包括图像上的图像位置，并且该至少一个参数可以包括针对该图像位置的压缩设置。该图像位置可以包括中心(例如，图像的中心或边界框的中心)或边界框中的至少一个。该至少一个参数可以包括像素值。该至少一个参数可以包括退化值或退化范围。该至少一个存储器和该计算机程序代码还可被配置为与该至少一个处理器一起使该装置从该第二设备接收请求，其中该请求被配置为请求该装置向该第二设备发送该信息。该请求可以标识针对该至少一个参数的多个优先级。该请求可以标识该神经网络的不同方面或任务，包括该至少一个第一方面或任务。该请求可以包括映射。该第二设备可以将第一不同的经压缩的神经网络与该请求以及将该第一不同的经压缩的神经网络与该至少一个参数相关联的映射一起发送给该装置。该装置还可包括，其中该经压缩的神经网络中的至少一个第二方面或任务具有的精确度降低比该至少一个第一方面或任务的精确度降低更多
166.示例实施例可以设置有一种由机器可读的非暂时性程序存储设备，其有形地体现该机器可执行的用于执行操作的指令程序，该操作包括：从第一设备向第二设备发送信息，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与该神经网络的至少一个第一方面或任务有关；由该第一设备从该第二设备接收经压缩的神经网络，其中该经压缩的神经网络已经基于该至少一个参数被压缩。
167.该操作还可以包括由该第一设备针对图像使用该经压缩的神经网络。该至少一个第一方面或任务可以包括该神经网络的单独方面或任务。该信息可以包括该至少一个第一方面或任务的标识。该信息可以包括图像分类的标识。该至少一个参数可以包括优先级值。该信息可以包括该图像的至少一个部分的标识。该至少一个参数可以包括用于防止该至少一个第一方面或任务的精确度降低的信息。该信息可以包括多个类子集的标识，并且其中该至少一个第一方面或任务可以包括多个子集中的一个子集。该至少一个参数可以包括小于一的百分比或值。该至少一个参数可以包括压缩值或设置。该信息可以包括图像上的图像位置，并且该至少一个参数可以包括针对该图像位置的压缩设置。该图像位置可以包括中心(例如，图像的中心或边界框的中心)或边界框中的至少一个。该至少一个参数可以包括像素值。该至少一个参数可以包括退化值或退化范围。该操作还可以包括：由该第一设备从该第二设备接收请求，其中该请求被配置为请求该第一设备向该第二设备发送信息。该请求可以标识至少一个参数的多个优先级。该请求可以标识该神经网络的不同方面或任务，包括该至少一个第一方面或任务。该请求可以包括映射。该第二设备可以向该第一设备发送第一不同的经压缩的神经网络，以及该请求和关联第一不同的经压缩的神经网络和至少一个参数的映射。非暂时性程序存储设备还可包括，其中经压缩的神经网络中的至少一
个第二方面或任务具有的精确度降低比该至少一个第一方面或任务的精确度降低更多。
168.示例实施例可以提供一种装置，包括：用于从该装置向该第二设备发送信息的模块，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与神经网络的至少一个第一方面或任务有关；以及用于从该第二设备接收经压缩的神经网络的模块，其中该经压缩的神经网络已经基于该至少一个参数被压缩。
169.该装置还可以包括用于针对图像使用该经压缩的神经网络的模块。该至少一个第一方面或任务可以包括该神经网络的单独方面或任务。该信息可以包括至少一个第一方面或任务的标识。该信息可以包括图像分类的标识。该至少一个参数可以包括优先级值。该信息可以包括图像的至少一个部分的标识。该至少一个参数可以包括用于防止该至少一个第一方面或任务的精确度降低的信息。该信息可以包括多个类子集的标识，并且其中该至少一个第一方面或任务可以包括多个子集之一。该至少一个参数可以包括小于一的百分比或值。该至少一个参数可以包括压缩值或设置。该信息可以包括图像上的图像位置，并且该至少一个参数可以包括针对该图像位置的压缩设置。该图像位置可以包括中心(例如，图像的中心或边界框的中心)或边界框中的至少一个。该至少一个参数可以包括像素值。该至少一个参数可以包括退化值或退化范围。该装置还可以包括用于从第二设备接收请求的模块，其中该请求被配置为请求该装置向该第二设备发送信息。该请求可以标识针对该至少一个参数的多个优先级。该请求可以标识该神经网络的不同方面或任务，包括该至少一个第一方面或任务。该请求可以包括映射。该第二设备可以将第一不同的经压缩的神经网络与该请求以及将第一不同的经压缩的神经网络和至少一个参数相关联的映射发送给该装置。该装置还可包括其中经压缩的神经网络中的至少一个第二方面或任务具有的精确度降低比该至少一个第一方面或任务的精确度降低更多。
170.示例装置可以包括被配置为从第二设备接收信息的电路，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与至少一个神经网络的第一方面或任务有关；以及被配置为压缩该神经网络的电路，其中该神经网络至少部分地基于从该第二设备接收的该至少一个参数被压缩。
171.示例装置可以包括被配置为从该装置向该第二设备发送信息的电路，其中该信息包括被配置为用于压缩神经网络的至少一个参数，其中该至少一个参数与该神经网络的至少一个第一方面或任务有关；以及被配置为从该第二设备接收经压缩的神经网络的电路，其中经压缩的神经网络已经基于至少一个参数被压缩。该装置还可包括其中该经压缩的神经网络中的至少一个第二方面或任务具有的精确度降低比该至少一个第一方面或任务的精确度降低更多。
172.应当理解，上述描述仅是说明性的。本领域技术人员可以设计各种替代和修改。例如，各种从属权利要求中记载的特征可以以任何合适的组合彼此组合。此外，来自上述不同实施例的特征可以选择性地组合成新的实施例。因此，该描述旨在涵盖落入所附权利要求范围内的所有此类替代、修改和变化。