一种神经网络的训练方法、图像处理的方法以及装置与流程

本技术涉及人工智能领域，尤其涉及一种神经网络的训练方法、图像处理的方法以及装置。

背景技术：

1、人工智能(artificial intelligence，ai)是利用计算机或者计算机控制的机器模拟、延伸和扩展人的智能。人工智能包括研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

2、机器学习是人工智能的一个分支。机器学习，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。机器学习模型包括人工智能模型如神经网络等。目前，机器学习已经取得了很大成功，大多数的神经网络依赖于大量的带标签的训练数据。然而，在很多领域中，无法获取大量的带标签的训练数据。例如：智能驾驶领域、医疗领域等都无法获取大量的训练数据，或者若要获取大量的训练数据需要付出很大代价。

3、因此，如何在难以获取大量带标签的训练数据的场景下，训练出性能优秀的神经网络是迫切需要解决的问题。

技术实现思路

1、本技术提供一种神经网络的训练方法、图像处理的方法以及装置，通过少量样本即可给小样本任务推断合适的神经网络模型。

2、本技术实施例第一方面提供一种神经网络的训练方法，该训练方法适应于小样本学习场景中，包括：将第一训练图像和多个预训练神经网络输入元参数预测网络。在训练阶段，第一训练图像为有标签的图像。标签是我们要预测的事物，假设训练阶段需要基于第一训练图像执行物体检测任务，则标签是指第一训练图像中物体的位置和物体的类别。预训练模型即预先训练的网络模型，比如目标检测模型、动物识别模型等等。其中，每个预训练模型均是使用了大量的数据和算力训练出来的，具备各种各样不同的功能，并且功能强大。

3、利用元参数预测网络预测与第一训练图像适配的特征提取网络，特征提取网络的第i层卷积核的输出通道参数值是基于多个预训练神经网络的第i层卷积核的输出通道参数值得到的，i为正整数。其中，与第一训练图像适配的特征提取网络可以理解为该特征提取网络包括的多个卷积核的输出通道参数值可以对该第一训练图像进行很好的特征提取。由于每个预训练模型均是使用了大量的数据和算力训练出来的，每个预训练模型的卷积核的输出通道参数值可以能对与其训练数据类别相同的数据有很好的特征提取能力，所以在利用元参数预测网络为第一训练图像预测对应的多个卷积核的输出通常参数值时，可以参考该多个预训练模型的卷积核的输出通道参数值。

4、利用特征提取网络的输出得到第一训练图像对应的预测结果。根据预测结果和第一训练图像对应的期望结果之间的差异对元参数预测网络进行训练。本技术实施例提供的方案可以适用于任意一种图像处理任务中，比如适用于图像分类任务，则第一训练图像对应的预测结果为第一训练图像对应的分类结果，再比如适用于物体检测任务，则第一训练图像对应的预测结果为第一训练图像对应的物体检测结果。训练装置会根据和第一训练图像对应的期望结果和预测结果计算损失值，并根据该损失值对元参数预测网络进行训练。具体的，训练设备可以根据损失值，通过反向传播的方式对元参数预测网络的权重参数进行梯度更新，以完成对元参数预测网络的一次训练。

5、第一方面提供的方案无需修改预训练模型的参数，利用少量样本即可给小样本任务推断合适的神经网络模型。

6、在第一方面的一种可能的实施方式中，为了能够更好的利用每张训练样本提供的信息，还应当充分考虑每张训练样本提供的信息，比如在预测元参数预测网络的第i+1个卷积核的输出通道参数值时，考虑基于元参数预测网络针对不同训练图像预测的第i个卷积核的输出通道参数值获取的特征图。换句话说，特征提取网络的第i层卷积核的输出通道参数值是对多个目标卷积核的输出通道参数值进行加权处理后得到的，多个目标卷积核的输出通道参数值包括第一卷积核的输出通道参数值和第二卷积核的输出通道参数值，第一卷积核的输出通道参数值是基于多个预训练神经网络的第i层卷积核的输出通道参数值和第一训练图像得到的，第二卷积核输出通道参数值是基于多个预训练神经网络的第i层卷积核的输出通道参数值和第二训练图像得到的，第二训练图像和第一训练图像的类别相同，方法还包括：将第二训练图像和多个预训练神经网络输入元参数预测网络。

7、在第一方面的一种可能的实施方式中，第一卷积核输出通道参数值具体是对多个参考值进行加权处理后获取的，多个参考值是对第一神经网络的输出和每个预训练神经网络的第i层卷积核的输出通道参数值进行目标运算后得到的，第一神经网络的输入为第一特征向量，第一特征向量是基于特征提取网络的第i-1层卷积核的输出通道参数值和第一训练图像得到的，根据预测结果和第一训练图像对应的期望结果之间的差异对元参数预测网络进行训练，包括：根据预测结果和第一训练图像对应的期望结果之间的差异训练元参数预测网络中的第一神经网络。在这种实施方式中，充分利用少量样本，提高不同预训练模型同一卷积核之间的语义匹配程度，使得多模型参数可以高效融合。

8、在第一方面的一种可能的实施方式中，多个参考值的权重是基于第二神经网络的输出值得到的，第二神经网络的输入为第一特征向量，根据预测结果和第一训练图像对应的期望结果之间的差异对元参数预测网络进行训练，还包括：根据预测结果和第一训练图像对应的期望结果之间的差异训练元参数预测网络中的第二神经网络。在这种实施方式中，通过第二神经网络的输出获取多个参考值的权重，有助于提高计算效率，减少由于样本过少导致的预测参数鲁棒性差的问题。

9、在第一方面的一种可能的实施方式中，该方法还包括：利用第一神经网络的输出和预训练神经网络的第i+1层的卷积核的输入通道参数值进行目标运算。在这种实施方式中，保证相邻卷积层之间的连续性，避免卷积核和特征图之间的错乱。换句话说，通过这种方式保证通过第i+2个卷积核的输出通道参数值和第i+1层输出的特征图能够正确进行乘法运算。

10、在第一方面的一种可能的实施方式中，特征提取网络的第i层卷积核的输出通道参数值是对多个目标卷积核输出通道参数值求平均值处理后得到的。

11、本技术实施例第二方面提供一种图像处理的方法，包括：将第一图像测试集和多个预训练神经网络输入元参数预测网络，得到与第一图像测试集适配的第一特征提取网络，第一特征提取网络的第i层卷积核的输出通道参数值是基于多个预训练神经网络的第i层卷积核的输出通道参数值得到的，第一图像测试集中的图像带有标签。将第二图像测试集输入到第一特征提取网络，得到针对第二图像测试集的特征向量，第二图像测试集的类别和第一图像测试集的类别相同，第二图像测试集中的图像没有标签。由于在元参数预测网络的训练阶段，针对小批次输入的训练图像，充分利用了每一张训练样本提供的信息，为该小批次输入的训练图像预测适配的神经网络模型，所以，训练后的元参数预测网络可以针对输入的少量的有标签的测试样本，为该少量的有标签的测试样本预测出适配的神经网络模型。该适配的神经网络模型可以对该少量的有标签的测试样本有很好的特征提取能力，以及对于该少量的有标签的测试样本相同类别的无标签的测试样本有很好的特征提取能力。可以利用第二图像测试集的特征向量执行不同的图像处理任务，本技术实施例对此并不进行限定，比如可以利用第二图像测试集的特征向量执行分类任务、物体检测任务等等。

12、在第二方面的一种可能的实施方式中，该方法还包括：将第一图像测试集和多个预训练神经网络再次输入元参数预测网络，得到与第一图像测试集适配的第二特征提取网络，第二特征提取网络的第i层卷积核的输出通道参数值和第一特征提取网络的第i层的卷积核的输出通道参数值相同，i为正整数。在这种实施方式中，由于本方案的设计，所以将相同的图像测试集多次输入到元参数预测网络时，得到的特征提取网络均是相同的，保证了输出的特征提取网络的稳定性。

13、本技术实施例第三方面提供一种图像处理装置，包括：获取模块，用于将第一训练图像和多个预训练神经网络输入元参数预测网络。处理模块，用于利用元参数预测网络预测与第一训练图像适配的特征提取网络，特征提取网络的第i层卷积核的输出通道参数值是基于多个预训练神经网络的第i层卷积核的输出通道参数值得到的，i为正整数。处理模块，还用于利用特征提取网络的输出得到第一训练图像对应的预测结果。处理模块，还用于根据预测结果和第一训练图像对应的期望结果之间的差异对元参数预测网络进行训练。

14、在第三方面的一种可能的实施方式中，特征提取网络的第i层卷积核的输出通道参数值是对多个目标卷积核的输出通道参数值进行加权处理后得到的，多个目标卷积核的输出通道参数值包括第一卷积核的输出通道参数值和第二卷积核的输出通道参数值，第一卷积核的输出通道参数值是基于多个预训练神经网络的第i层卷积核的输出通道参数值和第一训练图像得到的，第二卷积核输出通道参数值是基于多个预训练神经网络的第i层卷积核的输出通道参数值和第二训练图像得到的，第二训练图像和第一训练图像的类别相同，获取模块，还用于：将第二训练图像和多个预训练神经网络输入元参数预测网络。

15、在第三方面的一种可能的实施方式中，第一卷积核输出通道参数值具体是对多个参考值进行加权处理后获取的，多个参考值是对第一神经网络的输出和每个预训练神经网络的第i层卷积核的输出通道参数值进行目标运算后得到的，第一神经网络的输入为第一特征向量，第一特征向量是基于特征提取网络的第i-1层卷积核的输出通道参数值和第一训练图像得到的，处理模块，具体用于：根据预测结果和第一训练图像对应的期望结果之间的差异训练元参数预测网络中的第一神经网络。

16、在第三方面的一种可能的实施方式中，多个参考值的权重是基于第二神经网络的输出值得到的，第二神经网络的输入为第一特征向量，处理模块，还用于：根据预测结果和第一训练图像对应的期望结果之间的差异训练元参数预测网络中的第二神经网络。

17、在第三方面的一种可能的实施方式中，处理模块，还用于：利用第一神经网络的输出和预训练神经网络的第i+1层的卷积核的输入通道参数值进行目标运算。

18、在第三方面的一种可能的实施方式中，特征提取网络的第i层卷积核的输出通道参数值是对多个目标卷积核输出通道参数值求平均值处理后得到的。

19、本技术实施例第四方面提供一种图像处理的装置，包括：第一处理模块，用于将第一图像测试集和多个预训练神经网络输入元参数预测网络，得到与第一图像测试集适配的第一特征提取网络，第一特征提取网络的第i层卷积核的输出通道参数值是基于多个预训练神经网络的第i层卷积核的输出通道参数值得到的，第一图像测试集中的图像带有标签。第二处理模块，用于将第二图像测试集输入到第一特征提取网络，得到针对第二图像测试集的特征向量，第二图像测试集的类别和第一图像测试集的类别相同，第二图像测试集中的图像没有标签。

20、在第四方面的一种可能的实施方式中，第一处理模块，还用于：将第一图像测试集和多个预训练神经网络再次输入元参数预测网络，得到与第一图像测试集适配的第二特征提取网络，第二特征提取网络的第i层卷积核的输出通道参数值和第一特征提取网络的第i层的卷积核的输出通道参数值相同，i为正整数。

21、本技术实施例第五方面提供一种图像处理装置，包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现第一方面或第一方面任意一种可能的实施方式中描述的方法。

22、本技术实施例第六方面提供一种图像处理的装置，包括处理器，处理器和存储器耦合，存储器存储有程序指令，当存储器存储的程序指令被处理器执行时实现第二方面或第二方面任意一种可能的实施方式中描述的方法。

23、本技术实施例第七方面提供一种计算机可读存储介质，包括程序，当程序在计算机上运行时，使得计算机执行如第一方面或第一方面任意一种可能的实施方式中描述的方法。

24、本技术实施例第八方面提供一种计算机可读存储介质，包括程序，当程序在计算机上运行时，使得计算机执行如第二方面或第二方面任意一种可能的实施方式中描述的方法。

25、本技术实施例第九方面提供了一种芯片，包括一个或多个处理器。处理器中的部分或全部用于读取并执行存储器中存储的计算机程序，以执行上述第一方面或第二方面任意可能的实现方式中的方法。

26、在第九方面的一种可能的实施方式中，该芯片该包括存储器，该存储器与该处理器通过电路或电线与存储器连接。进一步可选地，该芯片还包括通信接口，处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息，处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理，并通过该通信接口输出处理结果。该通信接口可以是输入输出接口。

27、在一些实现方式中，一个或多个处理器中还可以有部分处理器是通过专用硬件的方式来实现以上方法中的部分步骤，例如涉及神经网络模型的处理可以由专用神经网络处理器或图形处理器来实现。

28、本技术实施例提供的方法可以由一个芯片实现，也可以由多个芯片协同实现。

29、本技术实施例第十方面提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述第一方面或第二方面中任意一种实现方式的方法。

30、对于本技术第二方面至第十方面以及各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第一方面或第二方面中各种可能的实现方式中的描述，此处不再一一赘述。