一种自注意力机制计算方法、推理方法与流程

本技术涉及数据处理，特别是涉及一种自注意力机制计算方法、推理方法。

背景技术：

1、当前，文本翻译、异常行为检测等推理任务的实现过程中常需用到自注意力机制，但由于计算自注意力机制的过程中存在较多的除法操作，对硬件资源的占用较大，计算效率较低，因此，导致文本翻译、异常行为检测等推理任务的实现效率较低，也即，基于自注意力机制的推理任务的效率较低。

技术实现思路

1、本技术实施例的目的在于提供一种自注意力机制计算方法、推理方法，用以提高基于自注意力机制的推理任务的效率。具体技术方案如下：

2、第一方面，本技术实施例提供了一种自注意力机制计算方法，所述方法包括：

3、基于待处理对象确定查询矩阵、键矩阵、以及值矩阵；所述待处理对象包括图像、文本、视频、音频、信号中的任一种或多种；

4、对所述键矩阵进行转置，得到转置后键矩阵；并计算所述查询矩阵与所述转置后键矩阵的乘积，作为第一乘积矩阵；

5、以自然常数e为底数，并以所述第一乘积矩阵为指数，得到第二乘积矩阵；

6、若所述值矩阵的列数小于所述第一乘积矩阵的列数，计算所述第二乘积矩阵与所述值矩阵的乘积，作为第三乘积矩阵；

7、计算所述第二乘积矩阵的和值，作为矩阵和值；并计算所述第三乘积矩阵与所述矩阵和值的比值，作为基于自注意力机制得到的输出特征。

8、在一些实施例中，所述方法还包括：

9、若所述值矩阵的列数大于所述第一乘积矩阵的列数，计算所述第二乘积矩阵的和值，作为所述矩阵和值；并计算所述第二乘积矩阵与所述矩阵和值的比值，作为第四乘积矩阵；

10、计算所述第四乘积矩阵与所述值矩阵的乘积，作为所述基于自注意力机制得到的输出特征。

11、在一些实施例中，所述待处理对象为图像，

12、所述基于待处理对象确定查询矩阵、键矩阵、以及值矩阵，包括：

13、将所述图像进行分割，得到多个图像块；并从多个特征维度提取所述各图像块的特征，作为各图像块的特征；

14、基于所述各图像块、所述各图像块的特征，确定输入矩阵；所述输入矩阵为m×n的矩阵，所述输入矩阵的第a行第b列表示第a个图像块在第b个特征维度上的特征，其中，所述m为所述图像块的数目，所述n为所述各图像块对应的特征的数目，所述a为1至m中的任意一个正整数，所述b为1至n中的任意一个正整数；

15、基于所述输入矩阵，以及预设的权重矩阵，确定所述查询矩阵、所述键矩阵、以及所述值矩阵；其中，所述预设的权重矩阵包括所述查询矩阵对应的权重矩阵、所述键矩阵对应的权重矩阵、以及所述值矩阵对应的权重矩阵。

16、在一些实施例中，所述待处理对象为音频，

17、所述基于待处理对象确定查询矩阵、键矩阵、以及值矩阵，包括：

18、将所述音频进行分割，得到多个音频帧；并从多个特征维度提取所述各音频帧的特征，作为各音频帧的特征；

19、基于所述各音频帧、所述各音频帧的特征，确定输入矩阵；所述输入矩阵为p×q的矩阵，所述输入矩阵的第c行第d列表示第c个音频帧在第d个特征维度上的特征，其中，所述p为所述音频帧的数目，所述q为所述各音频帧对应的特征的数目，所述c为1至p中的任意一个正整数，所述d为1至q中的任意一个正整数；

20、基于所述输入矩阵，以及预设的权重矩阵，确定所述查询矩阵、所述键矩阵、以及所述值矩阵；其中，所述预设的权重矩阵包括所述查询矩阵对应的权重矩阵、所述键矩阵对应的权重矩阵、以及所述值矩阵对应的权重矩阵。

21、第二方面，本技术实施例还提供了一种推理方法，所述方法包括：

22、基于待处理对象确定查询矩阵、键矩阵、以及值矩阵；所述待处理对象包括图像、文本、视频、音频、信号中的任一种或多种；

23、对所述键矩阵进行转置，得到转置后键矩阵；并计算所述查询矩阵与所述转置后键矩阵的乘积，作为第一乘积矩阵；

24、以自然常数e为底数，并以所述第一乘积矩阵为指数，得到第二乘积矩阵；

25、若所述值矩阵的列数小于所述第一乘积矩阵的列数， 计算所述第二乘积矩阵与所述值矩阵的乘积，作为第三乘积矩阵；

26、计算所述第二乘积矩阵的和值，作为矩阵和值；并计算所述第三乘积矩阵与所述矩阵和值的比值，作为基于自注意力机制得到的输出特征；

27、基于所述输出特征，确定推理结果。

28、在一些实施例中，所述待处理对象为待检测区域的图像，所述推理结果为所述待检测区域中是否存在异常行为，和/或异常物体；

29、或者，所述待处理对象为文本，所述推理结果为对文本中文字的翻译；

30、或者，所述待处理对象为视频，所述推理结果为所述视频中是否存在异常行为；

31、或者，所述待处理对象为音频，所述推理结果为所述音频中是否存在异常用语；

32、或者，所述待处理对象为多个待处理图像，所述推理结果为基于所述多个待处理图像生成的视频。

33、第三方面，本技术实施例还提供了一种自注意力机制计算装置，所述装置包括：

34、矩阵确定模块：用于基于待处理对象确定查询矩阵、键矩阵、以及值矩阵；所述待处理对象为图像、文本、视频、音频、信号中任一种或多种；

35、矩阵计算模块：用于对所述键矩阵进行转置，得到转置后键矩阵；并计算所述转置后键矩阵与所述查询矩阵的乘积，作为第一乘积矩阵；以自然常数e为底数，并以所述第一乘积矩阵为指数，得到第二乘积矩阵；

36、所述矩阵计算模块：还用于若所述值矩阵的列数小于所述第一乘积矩阵的列数，计算所述第二乘积矩阵与所述值矩阵的乘积，作为第三乘积矩阵；计算所述第二乘积矩阵的和值，作为矩阵和值；并计算所述第三乘积矩阵与所述矩阵和值的比值，作为基于自注意力机制得到的输出特征。

37、在一些实施例中， 若所述值矩阵的列数大于所述第一乘积矩阵的列数，

38、所述矩阵计算模块：还用于计算所述第二乘积矩阵的和值，作为所述矩阵和值；并计算所述第二乘积矩阵与所述矩阵和值的比值，作为第四乘积矩阵；

39、计算所述第四乘积矩阵与所述值矩阵的乘积，作为所述基于自注意力机制得到的输出特征。

40、在一些实施例中，所述待处理对象为图像，所述矩阵确定模块，具体用于：

41、将所述图像进行分割，得到多个图像块；并从多个特征维度提取所述各图像块的特征，作为各图像块的特征；

42、基于所述各图像块、所述各图像块的特征，确定输入矩阵；所述输入矩阵为m×n的矩阵，所述输入矩阵的第a行第b列表示第a个图像块在第b个特征维度上的特征，其中，所述m为所述图像块的数目，所述n为所述各图像块对应的特征的数目，所述a为1至m中的任意一个正整数，所述b为1至n中的任意一个正整数；

43、基于所述输入矩阵，以及预设的权重矩阵，确定所述查询矩阵、所述键矩阵、以及所述值矩阵；其中，所述预设的权重矩阵包括所述查询矩阵对应的权重矩阵、所述键矩阵对应的权重矩阵、以及所述值矩阵对应的权重矩阵。

44、在一些实施例中，所述待处理对象为音频，所述矩阵确定模块，具体用于：

45、将所述音频进行分割，得到多个音频帧；并从多个特征维度提取所述各音频帧的特征，作为各音频帧的特征；

46、基于所述各音频帧、所述各音频帧的特征，确定输入矩阵；所述输入矩阵为p×q的矩阵，所述输入矩阵的第c行第d列表示第c个音频帧在第d个特征维度上的特征，其中，所述p为所述音频帧的数目，所述q为所述各音频帧对应的特征的数目，所述c为1至p中的任意一个正整数，所述d为1至q中的任意一个正整数；

47、基于所述输入矩阵，以及预设的权重矩阵，确定所述查询矩阵、所述键矩阵、以及所述值矩阵；其中，所述预设的权重矩阵包括所述查询矩阵对应的权重矩阵、所述键矩阵对应的权重矩阵、以及所述值矩阵对应的权重矩阵。

48、第四方面，本技术实施例还提供了一种推理设备，所述推理设备包括中包括第一运算单元、第二运算单元，

49、所述第一运算单元，用于基于待处理对象确定查询矩阵、键矩阵、以及值矩阵；对所述键矩阵进行转置，得到转置后键矩阵；并计算所述查询矩阵与所述转置后键矩阵的乘积，作为第一乘积矩阵；并将所述第一乘积矩阵发送至所述第二运算单元；其中，所述待处理对象包括图像、文本、视频、音频、信号中的任一种或多种；

50、所述第二运算单元，用于接收所述第一运算单元发送的所述第一乘积矩阵；以自然常数e为底数，并以所述第一乘积矩阵为指数，得到第二乘积矩阵；并将所述第二乘积矩阵发送至所述第一运算单元；

51、所述第一运算单元，还用于接收所述第二运算单元发送的所述第二乘积矩阵；若所述值矩阵的列数小于所述第一乘积矩阵的列数，计算所述第二乘积矩阵与所述值矩阵的乘积，作为第三乘积矩阵；并将所述第三乘积矩阵发送至所述第二运算单元；

52、所述第二运算单元，还用于接收所述第一运算单元发送的所述第三乘积矩阵；计算所述第二乘积矩阵的和值，作为矩阵和值；并计算所述第三乘积矩阵与所述矩阵和值的比值，作为基于自注意力机制得到的输出特征。

53、第五方面，本技术实施例还提供了一种电子设备，包括：

54、存储器，用于存放计算机程序；

55、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的自注意力机制计算方法。

56、第六方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的自注意力机制计算方法。

57、第七方面，本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的自注意力机制计算方法。

58、本技术实施例有益效果：

59、本技术实施例提供的技术方案中，基于待处理对象确定查询矩阵、键矩阵、以及值矩阵后，计算转置后键矩阵与查询矩阵的乘积，得到第一乘积矩阵；再以自然常数e为底数，并以所述第一乘积矩阵为指数，得到第二乘积矩阵；此时，相关技术中，紧接着计算第二乘积矩阵与第一乘积矩阵的和值的比值，再计算该比值与值矩阵的乘积，作为输出特征，这样，在运用除法操作计算比值时，执行的除法运算的次数与第一乘积矩阵中的元素数目一致；而本技术中，若值矩阵的列数小于第一乘积矩阵的列数，则计算第二乘积矩阵与值矩阵的乘积，作为第三乘积矩阵；此时，第三乘积矩阵的行数与第一乘积矩阵的行数相同，第三乘积矩阵的列数与值矩阵的列数相同，这样，第三乘积矩阵中的元素数目小于第一乘积矩阵中的元素数目，进而，后续计算第三乘积矩阵与第二乘积矩阵的和值的比值时，执行除法运算的次数小于相关技术中执行除法运算的次数，由此，本技术实施例提供的自注意力机制计算方法占用的硬件资源较少，计算效率较高，进而基于自注意力机制的推理任务的效率较高。

60、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。