为考虑语音检测而调节声音回放的方法和系统与流程

技术特征：
1.一种由包括头戴式耳机的音频系统执行的方法，所述方法包括：发送包含用户期望的音频内容的回放信号以驱动被用户佩戴的所述头戴式耳机的扬声器；从麦克风接收麦克风信号，所述麦克风被布置为捕获所述用户所处的周围环境内的声音；对所述麦克风信号执行语音检测算法以检测其中包含的语音；响应于语音的检测，确定所述用户是否意图参与与位于所述周围环境内的人的对话；以及响应于确定所述用户意图参与所述对话，基于所述用户期望的音频内容来调节所述回放信号。2.根据权利要求1所述的方法，其中所述麦克风是多个麦克风中的一个麦克风，其中确定所述用户意图参与与所述人的所述对话包括：使用所述多个麦克风来确定所述语音的到达方向doa；以及确定所述用户已执行指示所述用户的注意力指向所述doa的姿态。3.根据权利要求2所述的方法，所述方法还包括：从惯性测量单元imu接收指示所述用户的移动的运动数据；以及基于所述运动数据来将所述姿态确定为以下的至少一者：1)所述用户移向所述doa，2)所述用户转向所述doa，3)所述用户按所述doa移动，以及4)所述用户停止移动。4.根据权利要求2所述的方法，所述方法还包括：获得相机所捕获的数字图像；检测所述数字图像内的所述用户的眼睛；以及确定所述用户的所述眼睛的注视方向指向所述doa。5.根据权利要求1所述的方法，其中调节所述回放信号包括在所述用户期望的音频内容包括音乐内容时通过以下方式闪避所述回放信号：应用标量增益以便降低所述扬声器的声音输出级别。6.根据权利要求1所述的方法，其中调节所述回放信号包括在所述用户期望的音频内容包括语音内容时暂停所述回放信号。7.根据权利要求1所述的方法，其中所述麦克风是外部麦克风并且所述麦克风信号是第一麦克风信号，其中所述方法还包括：从内部麦克风接收第二麦克风信号，所述内部麦克风被布置为捕获所述用户的耳朵内的声音；对所述第二麦克风信号执行声学噪声消除anc操作以产生抗噪声信号；以及在所述用户未参与所述对话时发送所述回放信号和所述抗噪声信号以驱动所述头戴式耳机的所述扬声器。8.根据权利要求7所述的方法，所述方法还包括响应于确定所述用户意图参与所述对话，暂停所述anc操作的所述执行；以及对所述第一麦克风信号执行环境声音增强ase操作以产生ase信号，其中选择性地衰减所述周围环境的至少一个声音；以及
发送所述ase信号以驱动所述扬声器，从而再现在所述周围环境内捕获的所述声音的至少一部分。9.一种音频系统，所述音频系统包括：处理器；和其中存储有指令的存储器，所述指令在由所述处理器执行时使得音频设备：发送包含用户期望的音频内容的回放信号以驱动被用户佩戴的头戴式耳机的扬声器，从麦克风接收麦克风信号，所述麦克风被布置为捕获周围环境内的声音，对所述麦克风信号执行语音检测算法以检测其中包含的语音，响应于语音的检测，确定所述用户意图参与与位于所述周围环境内的人的对话，以及响应于确定所述用户意图参与所述对话，基于所述用户期望的音频内容来调节所述回放信号。10.根据权利要求9所述的音频系统，其中所述麦克风是多个麦克风中的一个麦克风，其中确定所述用户意图参与与所述人的所述对话的所述指令包括用于以下操作的指令：使用所述多个麦克风来确定所述语音的到达方向doa；以及确定所述用户已执行指示所述用户的注意力指向所述doa的姿态。11.根据权利要求10所述的音频系统，其中所述存储器已存储用于以下操作的进一步指令：从惯性测量单元imu接收指示所述用户的移动的运动数据；以及基于所述运动数据来将所述姿态确定为以下的至少一者：1)所述用户移向所述doa，2)所述用户转向所述doa，以及3)所述用户按所述doa移动。12.根据权利要求10所述的音频系统，其中所述存储器已存储用于以下操作的进一步指令：获得相机所捕获的数字图像；检测所述数字图像内的所述用户的眼睛；以及确定所述用户的所述眼睛的注视方向指向所述doa。13.根据权利要求9所述的音频系统，其中调节所述回放信号的所述指令包括在所述用户期望的音频内容包括音乐内容时通过以下方式闪避所述回放信号的指令：应用标量增益以便降低所述扬声器的声音输出级别。14.根据权利要求9所述的音频系统，其中调节所述回放信号的所述指令包括在所述用户期望的音频内容包括语音内容时暂停所述回放信号的指令。15.根据权利要求9所述的音频系统，其中所述麦克风是外部麦克风并且所述麦克风信号是第一麦克风信号，其中所述存储器已存储用于以下操作的进一步指令：从内部麦克风接收第二麦克风信号，所述内部麦克风被布置为捕获所述用户的耳朵内的声音；对所述第二麦克风信号执行声学噪声消除anc操作以产生抗噪声信号；以及在所述用户未参与所述对话时发送所述回放信号和所述抗噪声信号以驱动所述头戴式耳机的所述扬声器。16.根据权利要求15所述的音频系统，其中所述存储器已存储用于以下操作的进一步指令：响应于确定所述用户意图参与所述对话，
暂停所述anc操作的所述执行；以及对所述第一麦克风信号执行环境声音增强ase操作以产生ase信号，其中选择性地衰减所述周围环境的至少一个声音；以及发送所述ase信号以驱动所述扬声器，从而再现在所述周围环境内捕获的所述声音的至少一部分。17.一种由包括头戴式耳机的音频系统执行的方法，所述方法包括：发送包含用户期望的音频内容的回放信号以驱动被用户佩戴的所述头戴式耳机的扬声器；从麦克风接收麦克风信号，所述麦克风信号包含所述用户所处的周围环境的环境噪声；处理所述麦克风信号以确定所述环境噪声是否为一种类型的音频内容；以及当所述用户期望的音频内容是与所述环境噪声的音频内容的所述类型相同的类型的音频内容时，暂停所述回放信号。18.根据权利要求17所述的方法，其中所述麦克风是外部麦克风并且所述麦克风信号是第一麦克风信号，其中所述方法还包括：从内部麦克风接收第二麦克风信号，所述第二麦克风信号包含所述用户的耳朵处的声音；确定所述声音包括所述用户期望的音频内容和所述周围环境的所述环境噪声；确定是否能够处理所述回放信号以产生经处理的回放信号，所述经处理的回放信号在被发送以驱动所述头戴式耳机的所述扬声器时掩蔽所述用户的耳朵处的所述环境噪声的至少一部分，其中当所述用户期望的音频内容是与所述环境噪声的音频内容的所述类型相同的类型的音频内容时并且当无法处理所述回放信号以掩蔽所述用户的耳朵处的所述环境噪声时，暂停所述回放信号。19.根据权利要求18所述的方法，其中确定是否能够处理所述回放信号包括：确定所述环境噪声的环境噪声级别；确定所述用户的耳朵处的所述扬声器的声音输出级别；基于所述环境噪声级别和所述声音级别来确定掩蔽阈值，其中掩蔽阈值大于所述声音输出级别；以及基于所述头戴式耳机的设备特性来确定是否能够增加所述扬声器的所述声音输出级别以至少匹配所述掩蔽阈值。20.根据权利要求19所述的方法，其中确定所述声音输出级别包括：处理所述第二麦克风信号以确定所述扬声器的所述声音输出级别；或者接收所述系统的用户定义的音量级别作为所述声音输出级别。21.根据权利要求18所述的方法，所述方法还包括响应于确定能够处理所述回放信号，通过以下方式处理所述回放信号：对所述回放信号执行一个或多个音频处理操作以产生所述经处理的回放信号，并且发送所述经处理的回放信号以驱动所述扬声器。22.根据权利要求21所述的方法，其中所述一个或多个音频处理操作包括：对所述回放信号应用标量增益；以及
应用均衡操作以对所述回放信号的一个或多个频率分量进行频谱成形。23.根据权利要求21所述的方法，其中通过执行一个或多个音频处理操作来处理所述回放信号包括：对所述第一麦克风信号执行anc操作以产生抗噪声信号；以及将所述抗噪声信号与所述回放信号组合以产生所述经处理的回放信号。24.根据权利要求17所述的方法，所述方法还包括：确定所述用户期望的音频内容包括语音内容；确定所述环境噪声掩蔽所述语音内容的一个或多个频谱分量；以及作为响应，暂停所述回放信号。

技术总结
本公开涉及为考虑语音检测而调节声音回放的方法和系统。本发明公开了一种由包括头戴式耳机的音频系统执行的方法。该方法发送包含用户期望的音频内容的回放信号以驱动被用户佩戴的该头戴式耳机的扬声器；从麦克风接收麦克风信号，该麦克风被布置为捕获该用户所处的周围环境内的声音；对该麦克风信号执行语音检测算法以检测其中包含的语音；响应于语音的检测，确定该用户意图参与与位于该周围环境内的人的对话；并且响应于确定该用户意图参与该对话，基于该用户期望的音频内容来调节该回放信号。号。号。


技术研发人员：C
受保护的技术使用者：苹果公司
技术研发日：2021.06.16
技术公布日：2022/1/6