生成模型中残差网络层的计算方法、装置、设备及介质与流程

本发明涉及人工智能，尤其涉及一种生成模型中残差网络层的计算方法、装置、设备及介质。

背景技术：

1、图像或视频生成是生成式人工智能(aigc)的一个重要领域。在目前的图像或视频等生成模型中，通常会级联多个残差网络层(resnet block)。各resnet block的结构通常为归一化层(normalization)、逐元素操作层(element-wise)以及卷积层(conv)。

2、随着计算机技术的发展，目前的ai计算芯片均配置有极高的计算能力，可用于加速卷积计算。从而，resnet block的性能主要受限于内存带宽。由于目前resnet block的结构对存储单元的访问量较高，造成生成模型训练或推理速度较慢，降低了计算单元的计算速率。

技术实现思路

1、本发明提供了一种生成模型中残差网络层的计算方法、装置、设备及介质，以减少对存储单元的访问量，加速计算单元的计算速率。

2、根据本发明的一方面，提供了一种生成模型中残差网络层的计算方法，该方法包括：

3、在存储单元中读取生成模型中当前残差网络层的当前输入张量、当前残差网络层所需的当前张量均值和当前张量方差；

4、将当前残差网络层的当前输入张量、当前张量均值和当前张量方差传输至计算单元中；

5、在计算单元中对当前残差网络层的所述当前输入张量进行逐元素归一化处理、逐元素操作以及卷积运算，得到当前残差网络层的当前卷积输出结果；

6、在计算单元中对当前残差网络层的所述当前卷积输出结果进行均值和方差运算，得到下一残差网络层中所需的下一张量均值和下一张量方差；

7、将所述当前卷积输出结果、所述下一张量均值和下一张量方差写入存储单元中，并重复进行计算直至得到生成模型中末位残差网络层的末位卷积输出结果，并根据末位卷积输出结果进行信息生成。

8、根据本发明的另一方面，提供了一种生成模型中残差网络层的计算装置，该装置包括：

9、张量信息获取模块，用于在存储单元中读取生成模型中当前残差网络层的当前输入张量、当前残差网络层所需的当前张量均值和当前张量方差；

10、张量信息传输模块，用于将当前残差网络层的当前输入张量、当前张量均值和当前张量方差传输至计算单元中；

11、卷积输出结果确定模块，用于在计算单元中对当前残差网络层的所述当前输入张量进行逐元素归一化处理、逐元素操作以及卷积运算，得到当前残差网络层的当前卷积输出结果；

12、均值方差运算模块，用于在计算单元中对当前残差网络层的所述当前卷积输出结果进行均值和方差运算，得到下一残差网络层中所需的下一张量均值和下一张量方差；

13、信息生成模块，用于将所述当前卷积输出结果、所述下一张量均值和下一张量方差写入存储单元中，并重复进行计算直至得到生成模型中末位残差网络层的末位卷积输出结果，并根据末位卷积输出结果进行信息生成。

14、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

15、至少一个处理器；以及

16、与所述至少一个处理器通信连接的存储器；其中，

17、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的生成模型中残差网络层的计算方法。

18、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的生成模型中残差网络层的计算方法。

19、根据本发明的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的生成模型中残差网络层的计算方法。

20、本发明实施例的技术方案，通过在存储单元中读取生成模型中当前残差网络层的当前输入张量、当前残差网络层所需的当前张量均值和当前张量方差；将当前残差网络层的当前输入张量、当前张量均值和当前张量方差传输至计算单元中；在计算单元中对当前残差网络层的所述当前输入张量进行逐元素归一化处理、逐元素操作以及卷积运算，得到当前残差网络层的当前卷积输出结果；在计算单元中对当前残差网络层的所述当前卷积输出结果进行均值和方差运算，得到下一残差网络层中所需的下一张量均值和下一张量方差；将所述当前卷积输出结果、所述下一张量均值和下一张量方差写入存储单元中，并重复进行计算直至得到生成模型中末位残差网络层的末位卷积输出结果，并根据末位卷积输出结果进行信息生成，解决了生成模型中残差网络层计算时需要多次访问存储单元的问题，通过在当前残差网络层中计算下一残差网络层所需的均值和方差，可减少对存储单元的访问量，加速计算单元的计算速率。

21、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种生成模型中残差网络层的计算方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在计算单元中对当前残差网络层的所述当前输入张量进行逐元素归一化处理、逐元素操作以及卷积运算，得到当前残差网络层的当前卷积输出结果，包括：

3.根据权利要求1所述的方法，其特征在于，在计算单元中对当前残差网络层的所述当前卷积输出结果进行均值和方差运算，得到下一残差网络层中所需的下一张量均值和下一张量方差，包括：

4.根据权利要求3所述的方法，其特征在于，在各计算子单元中对当前残差网络层的当前卷积输出子结果进行均值和方差运算，得到各当前张量小块对应的块均值和块方差，包括：

5.根据权利要求3所述的方法，其特征在于，在计算单元中将各块均值和各块方差进行张量小块间的融合，得到下一残差网络层中所需的下一张量均值和下一张量方差，包括：

6.根据权利要求1所述的方法，其特征在于，在存储单元中读取生成模型中当前残差网络层的当前输入张量，包括：

7.根据权利要求1所述的方法，其特征在于，将所述当前卷积输出结果、所述下一张量均值和下一张量方差写入存储单元中，包括：

8.一种生成模型中残差网络层的计算装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的生成模型中残差网络层的计算方法。

技术总结本发明实施例公开了一种生成模型中残差网络层的计算方法、装置、设备及介质。该方法包括：在存储单元中读取当前残差网络层的当前输入张量、所需的当前张量均值和当前张量方差；在计算单元中对当前输入张量进行逐元素归一化处理、逐元素操作及卷积运算，得到当前卷积输出结果；在计算单元中对当前卷积输出结果进行均值和方差运算，得到下一残差网络层中所需的下一张量均值和下一张量方差；将当前卷积输出结果、下一张量均值和下一张量方差写入存储单元中，并重复进行计算得到末位残差网络层的末位卷积输出结果，进行信息生成。通过在当前残差网络层中计算下一残差网络层所需的均值和方差，可减少对存储单元的访问量，加速计算单元的计算速率。技术研发人员：孟嘉,王兵,刘彦受保护的技术使用者：上海燧原科技股份有限公司技术研发日：技术公布日：2024/9/26