增强神经网络的制作方法

本申请涉及增强神经网络。

背景技术：

1、本说明书涉及使用神经网络处理输入。

2、机器学习模型接收输入，并基于接收到的输入生成输出，例如，预测输出。一些机器学习模型是参数模型，并且基于接收到的输入和模型的参数的值生成输出。

3、一些机器学习模型是采用多层模型对于接收到的输入生成输出的深度模型。例如，深度神经网络是包括输出层和一个或多个隐藏层的深度机器学习模型，每个隐藏层将非线性变换应用于接收到的输入以生成输出。

4、一些神经网络是递归神经网络。递归神经网络是接收输入序列并且从输入序列生成输出序列的神经网络。特别地，递归神经网络使用在处理输入序列中的先前输入之后的网络的内部状态的部分或全部来从输入序列中的当前输入生成输出。

技术实现思路

1、本说明书描述一种实施为在一个或多个位置的一个或多个计算机上的计算机程序的系统如何利用由不同的、单独的已训练的神经网络执行的操作来增强表示神经网络操作的计算图。

2、可以实施本说明书中描述的主题的特定实施方式，以实现以下优点中的一个或多个。用户计算图可以利用已训练的神经网络来增强，使得当系统执行用户计算图时，在执行过程中在适当点处执行已训练的神经网络的操作，但是已训练的神经网络的架构和已训练的参数值对用户不透明。因此，系统可以提供预训练的神经网络的库的功能，而无需向系统的用户公开神经网络的操作的细节。这可以使用户与系统进行交互以指定用户计算图的过程更加直接和省时，因为用户不必指定用户计算图内的低级神经结构以执行由预训练的网络执行的功能。因此，本公开使得改进的用户界面成为可能。

3、此外，因为神经网络可能已经被完全或部分地训练，所以系统可以减少训练用户神经网络所需的计算资源，即，因为多个用户计算图可以利用相同的已训练的神经网络而无需为每个用户从头开始重新训练已训练的神经网络。

4、此外，通过将预训练的最新神经网络合并到用户计算图中，可以提高用户神经网络的性能，而无需系统分配额外资源来训练用户神经网络或无需在网络上与用户之间传输大量数据，即，训练数据。

5、本说明书中描述的主题的一个或多个实施例的细节在附图和以下描述中阐述。从说明书、附图和权利要求中，主题的其他特征、方面和优点将变得显而易见。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，进一步包括：

3.根据权利要求1所述的方法，其中，由所述用户计算图表示的所述神经网络操作是第一神经网络的推断操作。

4.根据权利要求1所述的方法，其中，由所述用户计算图表示的所述神经网络操作是用于训练第一神经网络的训练操作。

5.根据权利要求1所述的方法，其中，所述输入符合所述子图输入，使得所述输入具有与所述子图输入相同的维度和大小，并且所述输出符合所述子图输出，使得所述输出具有与所述子图输出相同的维度和大小。

6.根据权利要求1所述的方法，进一步包括：

7.根据权利要求1所述的方法，其中，所述特定已训练的神经网络的架构和已训练的参数值对于向所述用户计算图提供图输入的用户是不能够访问的。

8.根据权利要求1所述的方法，其中，所述特定已训练的神经网络的架构和已训练的参数值对于在用户界面中查看所述用户计算图的表示的用户是不能够访问的。

9.一种系统，包括：

10.根据权利要求9所述的系统，其中，所述操作进一步包括：

11.根据权利要求9所述的系统，其中，由所述用户计算图表示的所述神经网络操作是第一神经网络的推断操作。

12.根据权利要求9所述的系统，其中，由所述用户计算图表示的所述神经网络操作是用于训练第一神经网络的训练操作。

13.根据权利要求9所述的系统，其中，所述输入符合所述子图输入，使得所述输入具有与所述子图输入相同的维度和大小，并且所述输出符合所述子图输出，使得所述输出具有与所述子图输出相同的维度和大小。

14.根据权利要求9所述的系统，其中，所述操作进一步包括：

15.根据权利要求9所述的系统，其中，所述特定已训练的神经网络的架构和已训练的参数值对于向所述用户计算图提供图输入的用户是不能够访问的。

16.根据权利要求9所述的系统，其中，所述特定已训练的神经网络的架构和已训练的参数值对于在用户界面中查看所述用户计算图的表示的用户是不能够访问的。

17.一个或多个编码有指令的非暂时性计算机存储介质，所述指令在由一个或多个计算机执行时，使所述一个或多个计算机执行操作，所述操作包括：

18.根据权利要求17所述的一个或多个非暂时性计算机存储介质，其中，所述操作进一步包括：

19.根据权利要求17所述的一个或多个非暂时性计算机存储介质，其中，由所述用户计算图表示的所述神经网络操作是第一神经网络的推断操作。

20.根据权利要求17所述的一个或多个非暂时性计算机存储介质，其中，由所述用户计算图表示的所述神经网络操作是用于训练第一神经网络的训练操作。

技术总结本申请公开了增强神经网络。方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于利用附加操作增强神经网络。方法之一包括由管理表示计算图系统的用户的神经网络操作的计算图的执行的计算图系统维护指定多个预训练的神经网络的数据，其中，预训练的神经网络中的每一个是已经对训练数据进行训练以确定该神经网络的相应参数的已训练值的神经网络；获得指定表示神经网络操作的用户计算图的数据，该用户计算图包括通过边连接的多个节点；识别(i)用户计算图中的第一节点之后的插入点和(ii)来自多个预训练的神经网络中的特定预训练的神经网络；以及将远程调用节点插入到用户计算图中。技术研发人员：谢里·摩尔,杰里迈亚·哈姆森,诺亚·菲德尔受保护的技术使用者：谷歌有限责任公司技术研发日：技术公布日：2024/8/5