一种视频中人声和背景声音分离的方法与系统与流程

本发明属于视频声音分离，具体涉及一种视频中人声和背景声音分离的方法与系统。

背景技术：

1、随着数字视频内容的不断增加，视频编辑和制作工作变得越来越复杂。在许多视频中，人声和背景声音混合在一起，这给后期处理带来了挑战。尽管已经存在一些音频分离人声和背景声音分离的方法，但本申请采用一些新技术，达到了更好的效果。

技术实现思路

1、本发明要解决的技术问题是克服现有的缺陷，提供一种视频中人声和背景声音分离的方法与系统，利用旋转位置编码的注意力网络，通过对视频的音频轨道进行分析和处理，将人声和背景声音分离出来。

2、为实现上述目的，本发明提供如下技术方案：一种视频中人声和背景声音分离的方法，包括以下步骤：

3、步骤一、音频特征提取：从视频文件中提取音频轨道，并对其进行短时傅里叶变换，以获取音频的频谱；

4、步骤二、人声分离：利用经过训练的旋转位置编码的注意力网络，得到分离的人声和背景声音的频谱，再对两者进行短时傅里叶逆变换得到分离的人声和背景声音；

5、步骤三、混合重构：将分离出的人声和背景声音重新合成为两个独立的音频轨道，并与原视频进行融合。

6、优选的，利用旋转位置编码的注意力网络，实现对视频中人声和背景声音的准确分离，减少了人工干预的需求。

7、优选的，适用于各种类型的视频，包括电影、电视节目、网络视频等，且对不同语言和音乐类型都具有较好的适应性。

8、优选的，所提供的系统结构简单明了，易于实现和部署，可广泛应用于视频制作和后期处理领域。

9、优选的，可广泛应用于视频制作、电影后期处理、音视频编辑软件等领域；通过实现人声和背景声音的有效分离，可以满足用户对音频效果的需求。

10、一种用于实现上述方法的系统，包括视频文件输入模块、音频特征提取模块、人声分离模块和混合重构模块。

11、与现有技术相比，本发明提供了一种视频中人声和背景声音分离的方法与系统，具备以下有益效果：高效准确：利用旋转位置编码的注意力网络，实现对视频中人声和背景声音的准确分离，减少了人工干预的需求；普适性强：该方法适用于各种类型的视频，包括电影、电视节目、网络视频等，且对不同语言和音乐类型都具有较好的适应性；易于实现：所提供的系统结构简单明了，易于实现和部署，可广泛应用于视频制作和后期处理领域；应用领域：本发明可广泛应用于视频制作、电影后期处理、音视频编辑软件等领域；通过实现人声和背景声音的有效分离，可以满足用户对音频效果的需求；本发明提供了一种有效的视频中人声和背景声音分离的方法与系统，通过利用旋转位置编码的注意力网络实现了对音频的高效处理，为视频后期处理带来了新的可能性。

技术特征：

1.一种视频中人声和背景声音分离的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种视频中人声和背景声音分离的方法，其特征在于：利用旋转位置编码的注意力网络，实现对视频中人声和背景声音的准确分离，减少了人工干预的需求。

3.根据权利要求1所述的一种视频中人声和背景声音分离的方法，其特征在于：适用于各种类型的视频，包括电影、电视节目、网络视频等，且对不同语言和音乐类型都具有较好的适应性。

4.根据权利要求1所述的一种视频中人声和背景声音分离的方法，其特征在于：所提供的系统结构简单明了，易于实现和部署，可广泛应用于视频制作和后期处理领域。

5.根据权利要求1所述的一种视频中人声和背景声音分离的方法，其特征在于：可广泛应用于视频制作、电影后期处理、音视频编辑软件等领域；通过实现人声和背景声音的有效分离，可以满足用户对音频效果的需求。

6.一种用于实现上述方法的系统，其特征在于，包括视频文件输入模块、音频特征提取模块、人声分离模块和混合重构模块。

技术总结本发明公开了一种视频中人声和背景声音分离的方法与系统，包括以下步骤：步骤一、音频特征提取：从视频文件中提取音频轨道，并对其进行短时傅里叶变换，以获取音频的频谱；步骤二、人声分离：利用经过训练的旋转位置编码的注意力网络，得到分离的人声和背景声音的频谱，再对两者进行短时傅里叶逆变换得到分离的人声和背景声音；步骤三、混合重构：将分离出的人声和背景声音重新合成为两个独立的音频轨道，并与原视频进行融合；本发明提供了一种有效的视频中人声和背景声音分离的方法与系统，通过利用旋转位置编码的注意力网络实现了对音频的高效处理，为视频后期处理带来了新的可能性。技术研发人员：陈啸冬,曹宇飞,张良受保护的技术使用者：苏州小同科技有限公司技术研发日：技术公布日：2024/6/11