用于卷积神经网络的动态三元组卷积的制作方法

这个公开总体上涉及卷积神经网络，并且更特别地，涉及用于卷积神经网络的动态三元组卷积。

背景技术：

1、先前的卷积神经网络(cnn)通常利用静态卷积过滤器(也称为卷积核)来实现cnn的层。在这样的先前cnn中，经由训练过程来训练给定cnn层的卷积过滤器。然后，在cnn被部署以在其正常或推理操作模式下操作之后，经训练的卷积过滤器保持静态或不变，在此期间，经训练的卷积过滤器与应用于cnn的该层的输入特征图进行卷积。最近，已经开发了用于实现用于cnn层的动态卷积过滤器的技术。然而，这样的技术依赖于多个经训练的卷积过滤器的线性组合来实现单个动态卷积过滤器。

技术实现思路

技术特征：

1.一种用于卷积神经网络的设备，所述设备包括：

2.根据权利要求1所述的设备，其中，所述一个或多个标量核包括对应于所述静态多维卷积过滤器的空间维度的第一标量核、对应于所述静态多维卷积过滤器的输入通道维度的第二标量核、以及对应于所述静态多维卷积过滤器的输出通道维度的第三标量核。

3.根据权利要求2所述的设备，其中，所述第一标量核包括分别对应于所述静态多维卷积过滤器沿着所述空间维度的位置的第一数量的元素，所述第二标量核包括分别对应于所述静态多维卷积过滤器沿着所述输入通道维度的位置的第二数量的元素，并且所述第三标量核包括分别对应于所述静态多维卷积过滤器沿着所述输出过滤器维度的位置的第三数量的元素。

4.根据权利要求2所述的设备，其中，为了确定所述动态多维卷积过滤器，所述处理器电路系统要进行以下中的至少一个：

5.根据权利要求1所述的设备，其中，所述输入特征图具有空间维度和输入通道维度，并且为了计算对应于所述维度中的所述第一维度的所述一个或多个标量核中的所述第一标量核，所述处理器电路系统要：

6.根据权利要求5所述的设备，其中，为了执行所述空间变换，所述处理器电路系统要跨所述输入特征图的所述空间维度执行全局平均池化以确定所述第一变换特征图。

7.根据权利要求5所述的设备，其中，为了执行所述通道压缩变换，所述处理器电路系统要：

8.根据权利要求5所述的设备，其中，为了执行所述映射和缩放变换，所述处理器电路系统要：

9.根据权利要求5所述的设备，其中，所述通道压缩变换基于第一经训练的全连接神经网络层，并且所述映射和缩放变换基于不同的第二经训练的全连接神经网络层。

10.根据权利要求1-9中任一项所述的设备，其中，所述处理器电路系统要利用所述动态多维卷积过滤器处理所述输入特征图以确定所述卷积神经网络的所述层的输出特征图。

11.根据权利要求10所述的设备，其中，所述输入特征图是第一输入特征图，所述一个或多个标量核是第一一个或多个标量核，所述动态多维卷积过滤器是第一动态多维卷积过滤器，所述输出特征图是第一输出特征图，并且所述处理器电路系统要：

12.根据权利要求1-11中任一项所述的设备，其中，所述处理器电路系统要：

13.至少一种包括计算机可读指令的非暂态计算机可读介质，所述计算机可读指令在被执行时使得至少一个处理器至少：

14.根据权利要求13所述的至少一种非暂态计算机可读介质，其中，所述一个或多个标量核包括对应于所述静态多维卷积过滤器的空间维度的第一标量核、对应于所述静态多维卷积过滤器的输入通道维度的第二标量核、以及对应于所述静态多维卷积过滤器的输出通道维度的第三标量核。

15.根据权利要求14所述的至少一种非暂态计算机可读介质，其中，所述第一标量核包括分别对应于所述静态多维卷积过滤器沿着所述空间维度的位置的第一数量的元素，所述第二标量核包括分别对应于所述静态多维卷积过滤器沿着所述输入通道维度的位置的第二数量的元素，并且所述第三标量核包括分别对应于所述静态多维卷积过滤器沿着所述输出过滤器维度的位置的第三数量的元素。

16.根据权利要求14所述的至少一种非暂态计算机可读介质，其中，为了确定所述动态多维卷积过滤器，所述指令要使得所述至少一个处理器进行以下中的至少一个：

17.根据权利要求13所述的至少一种非暂态计算机可读介质，其中，所述输入特征图具有空间维度和输入通道维度，并且为了计算对应于所述维度中的所述第一维度所述一个或多个标量核中的所述第一标量核，所述指令要使得所述至少一个处理器：

18.根据权利要求17所述的至少一种非暂态计算机可读介质，其中，为了执行所述空间变换，所述指令要使得所述至少一个处理器跨所述输入特征图的所述空间维度执行全局平均池化以确定所述第一变换特征图。

19.根据权利要求17所述的至少一种非暂态计算机可读介质，其中，为了执行所述通道压缩变换，所述指令要使得所述至少一个处理器：

20.根据权利要求17所述的至少一种非暂态计算机可读介质，其中，为了执行所述映射和缩放变换，所述指令要使得所述至少一个处理器：

21.根据权利要求17所述的至少一种非暂态计算机可读介质，其中，所述通道压缩变换基于第一经训练的全连接神经网络层，并且所述映射和缩放变换基于不同的第二经训练的全连接神经网络层。

22.根据权利要求13-21中任一项所述的至少一种非暂态计算机可读介质，其中，所述指令要使得所述至少一个处理器利用所述动态多维卷积过滤器处理所述输入特征图以确定所述卷积神经网络的所述层的输出特征图。

23.根据权利要求22所述的至少一种非暂态计算机可读介质，其中，所述输入特征图是第一输入特征图，所述一个或多个标量核是第一一个或多个标量核，所述动态多维卷积过滤器是第一动态多维卷积过滤器，所述输出特征图是第一输出特征图，并且所述指令要使得所述至少一个处理器：

24.根据权利要求13-23中任一项所述的至少一种非暂态计算机可读介质，其中，所述指令要使得所述至少一个处理器：

25.一种用于卷积神经网络的方法，所述方法包括：

26.根据权利要求25所述的方法，其中，所述一个或多个标量核包括对应于所述静态多维卷积过滤器的空间维度的第一标量核、对应于所述静态多维卷积过滤器的输入通道维度的第二标量核、以及对应于所述静态多维卷积过滤器的输出通道维度的第三标量核。

27.根据权利要求26所述的方法，其中，所述第一标量核包括分别对应于所述静态多维卷积过滤器沿着所述空间维度的位置的第一数量的元素，所述第二标量核包括分别对应于所述静态多维卷积过滤器沿着所述输入通道维度的位置的第二数量的元素，并且所述第三标量核包括分别对应于所述静态多维卷积过滤器沿着所述输出过滤器维度的位置的第三数量的元素。

28.根据权利要求26所述的方法，其中，所述缩放包括以下中的至少一个：

29.根据权利要求25所述的方法，其中，所述输入特征图具有空间维度和输入通道维度，并且对应于所述维度中的所述第一维度的所述一个或多个标量核中的所述第一标量核的所述计算包括：

30.根据权利要求29所述的方法，其中，执行所述空间变换包括跨所述输入特征图的所述空间维度执行全局平均池化以确定所述第一变换特征图。

31.根据权利要求29所述的方法，其中，执行所述通道压缩变换包括：

32.根据权利要求29所述的方法，其中，执行所述映射和缩放变换包括：

33.根据权利要求29所述的方法，其中，所述通道压缩变换基于第一经训练的全连接神经网络层，并且所述映射和缩放变换基于不同的第二经训练的全连接神经网络层。

34.根据权利要求25-33中任一项所述的方法，进一步包括利用所述动态多维卷积过滤器处理所述输入特征图以确定所述卷积神经网络的所述层的输出特征图。

35.根据权利要求34所述的方法，其中，所述输入特征图是第一输入特征图，所述一个或多个标量核是第一一个或多个标量核，所述动态多维卷积过滤器是第一动态多维卷积过滤器，所述输出特征图是第一输出特征图，并且进一步包括：

36.根据权利要求25至35中任一项所述的方法，进一步包括：

37.一种用于卷积神经网络的设备，所述设备包括：

38.根据权利要求37所述的设备，其中，所述一个或多个标量核包括对应于所述静态多维卷积过滤器的空间维度的第一标量核、对应于所述静态多维卷积过滤器的输入通道维度的第二标量核、以及对应于所述静态多维卷积过滤器的输出通道维度的第三标量核。

39.根据权利要求38所述的设备，其中，所述第一标量核包括分别对应于所述静态多维卷积过滤器沿着所述空间维度的位置的第一数量的元素，所述第二标量核包括分别对应于所述静态多维卷积过滤器沿着所述输入通道维度的位置的第二数量的元素，并且所述第三标量核包括分别对应于所述静态多维卷积过滤器沿着所述输出过滤器维度的位置的第三数量的元素。

40.根据权利要求38所述的设备，其中，所述维度缩放电路系统要进行以下中的至少一个：

41.根据权利要求37所述的设备，其中，所述输入特征图具有空间维度和输入通道维度，并且为了计算对应于所述维度中的所述第一维度的所述一个或多个标量核中的所述第一标量核，所述多尺度注意力核电路系统要：

42.根据权利要求41所述的设备，其中，为了执行所述空间变换，所述多尺度注意力核电路系统要跨所述输入特征图的所述空间维度执行全局平均池化，以确定所述第一变换特征图。

43.根据权利要求41所述的设备，其中，为了执行所述通道压缩变换，所述多尺度注意力核电路系统要：

44.根据权利要求41所述的设备，其中，为了执行所述映射和缩放变换，所述多尺度注意力核电路系统要：

45.根据权利要求41所述的设备，其中，所述通道压缩变换基于第一经训练的全连接神经网络层，并且所述映射和缩放变换基于不同的第二经训练的全连接神经网络层。

46.根据权利要求37-45中任一项所述的设备，其中，所述处理器电路系统用于执行所述第一操作、所述第二操作或所述第三操作中的至少一个以实例化用于利用所述动态多维卷积过滤器处理所述输入特征图以确定所述卷积神经网络的所述层的输出特征图的卷积层电路系统。

47.根据权利要求46所述的设备，其中，所述输入特征图是第一输入特征图，所述一个或多个标量核是第一一个或多个标量核，所述动态多维卷积过滤器是第一动态多维卷积过滤器，所述输出特征图是第一输出特征图，并且：

48.根据权利要求37-47中任一项所述的设备，其中，所述处理器电路系统要：

技术总结公开了用于实现用于卷积神经网络的动态三元组卷积的方法、设备、系统和制品(例如，物理存储介质)。本文中公开的用于卷积神经网络的示例设备要基于应用于卷积神经网络的层的输入特征图来计算一个或多个标量核，一个或多个标量核中的标量核对应于与卷积神经网络的层相关联的静态多维卷积过滤器的相应维度。所公开的示例设备还要基于对应于维度中的第一维度的一个或多个标量核中的第一标量核来沿着维度中的第一维度缩放静态多维卷积过滤器的元素，以确定与卷积神经网络的层相关联的动态多维卷积过滤器。技术研发人员：蔡东琪,姚安邦,C·李,陈玉荣,W·邵受保护的技术使用者：英特尔公司技术研发日：技术公布日：2024/9/17