使用注意力对信号的时间对准的制作方法

背景技术：

1、机器学习能够用于执行广泛范围的任务，诸如自然语言处理、信息检索和图像处理。机器学习的一个重要应用涉及对时变信号的处理，诸如音频信号或视频信号。然而，用于处理时变信号的常规机器学习技术具有各种缺陷，如下文详细讨论的。

技术实现思路

1、提供本概要以便以简化的形式介绍一些概念，这些概念将在下文的详细说明中进一步描述。本概要并不旨在标识所请求保护的主题的关键特征或基本特征，也并不旨在用于限制所请求保护的主题的范围。

2、描述总体涉及针对时变信号的对齐的技术。一个示例包括能够在计算设备上执行的方法或技术。所述方法或技术能够包括将第一时变信号和第二时变信号输入到训练模型中。所述方法或技术也能够包括使用训练模型的注意力层对所述第一时变信号与所述第二时变信号执行时间对齐，以获得时间对齐的第一时变信号。所述方法或技术也能够包括至少基于时间对齐的第一时变信号来增强所述第二时变信号，并且输出经增强的第二时变信号。

3、另一示例包括具有硬件处理单元和存储计算机可读指令的存储资源的系统。当由所述硬件处理单元执行时，所述计算机可读指令能够使得所述系统访问包括第一时变信号、第二时变信号和目标时变信号的训练数据。所述计算机可读指令也能够使得所述系统将所述第一时变信号和所述第二时变信号输入到具有注意力层的模型中，所述注意力层将所述第一时变信号与所述第二时变信号对齐，以获得时间上对齐的第一时变信号。所述计算机可读指令也能够使得所述系统至少基于时间对齐的第一时变信号来增强所述第二时变信号，以获得经增强的第二时变信号。所述计算机可读指令也能够使得所述系统至少基于在所述经增强的第二时变信号与所述目标时变信号之间的差值来修改所述模型的参数。

4、另一示例包括计算机可读存储介质。所述计算机可读存储介质能够存储指令，所述指令当由计算设备执行时，使得所述计算设备执行动作。所述动作能够包括接收第一时变信号和第二时变信号。所述动作也能够包括使用神经网络的注意力层将所述第一时变信号与所述第二时变信号对齐。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，所述第一时变信号和所述第二时变信号包括音频信号。

3.根据权利要求2所述的方法，所述第一时变信号包括远端信号，并且所述第二时变信号包括麦克风信号。

4.根据权利要求3所述的方法，所述经增强的第二时变信号包括预测的近端信号，所述增强包括从所述麦克风信号中移除以下中的至少一项：噪声、失真或回声。

5.根据权利要求4所述的方法，其中，所述执行时间对齐包括：

6.根据权利要求5所述的方法，其中，所述加权包括：使用根据所述麦克风帧产生的线性投影作为查询，并且使用根据所述多个远端帧产生的线性投影作为键。

7.根据权利要求6所述的方法，其中，所述加权包括计算权重向量，所述权重向量具有与所述查询和所述键中的每个键的相似度相对应的权重。

8.根据权利要求7所述的方法，其中，所述加权是使用softmax层来执行的，并且所述相似度是使用对所述查询和所述键中的每个键的点积运算来计算的。

9.根据权利要求8所述的方法，其中，所述经加权的远端帧包括由所述权重向量加权的所述多个远端帧的总和。

10.根据权利要求9所述的方法，其中，所述增强包括确定抑制掩码并且使用所述抑制掩码来修改所述麦克风信号，并且所述抑制掩码是由已经与所述注意力层联合训练的所述经训练的模型的一个或其他层来确定的。

11.一种系统，包括：

12.根据权利要求11所述的系统，其中，所述目标时变信号包括语音片段，所述第一时变信号包括根据所述语音片段生成的远端信号，并且所述第二时变信号包括根据所述语音片段生成的麦克风信号。

13.根据权利要求12所述的系统，所述参数是至少基于使用所述经增强的第二时变信号的频域表示和所述目标时变信号的频域表示计算的损耗函数来修改的。

14.根据权利要求13所述的系统，其中，所述模型输出抑制掩码，并且所述经增强的第二时变信号是通过使用所述抑制掩码修改所述麦克风信号来获得的。

15.根据权利要求14所述的系统，其中，所述指令当由所述处理器执行时，使得所述系统：

技术总结本文档涉及对诸如声音的时变信号的对齐。一个示例包括能够在计算设备上执行的方法或技术。所述方法或技术能够包括将第一时变信号和第二时变信号输入到经训练的模型中。所述方法或技术也能够包括使用所述经训练的模型的注意力层执行所述第一时变信号与所述第二时变信号的时间对齐，以获得在时间上对齐的第一时变信号。所述方法或技术也能够包括至少基于在时间上对齐的第一时变信号来增强所述第二时变信号，并且输出经增强的第二时变信号。技术研发人员：E·因登博姆,N·里斯泰亚,A·萨巴斯受保护的技术使用者：微软技术许可有限责任公司技术研发日：技术公布日：2024/12/23