基于矢量量化对抗生成网络的情感音乐生成方法及系统

本发明属于智能音乐生成领域，具体涉及一种基于矢量量化对抗生成网络的情感音乐生成方法及系统。

背景技术：

1、音乐是人情感抒发的最佳方式，已经成为人们日常生活中不可分割的一部分。伴随着互联网和手机网络技术的飞速发展，数字音乐逐渐取代传统唱片成为主流的音乐产品形式，数字音乐相关产业也迅速成为音乐产业链的核心。传统的音乐创作方式需要投入大量的精力，且耗时较长、创作性能低下，由于人才稀缺和创作成本的提高，音乐创作的需求无法被满足。

2、音乐生成是指使用计算机技术生成新的音乐作品或进行音乐创作辅助的过程。人工智能技术的出现给人类音乐创作的发展带来了动力，人们开始借助计算机辅助进行艺术创作。音乐生成已经成为计算机音乐学中的一个重要领域，为音乐创作、音乐教育和音乐产业等领域提供了新的可能性。而情感音乐是通过对不同音乐作品的音乐内容和音乐风格进行学习，从而产生具有指定情感的音乐。任何一首音乐都包含着丰富的情感信息，不同的音乐风格带给听众的感受不同，不同的旋律、节奏可以代表不同的情绪。情感音乐能够产生积极的心理和生理反应，如减轻焦虑、提高情绪、增强注意力等。

3、目前的情感音乐生成模型大多无法准确聚类情感分布，且无法指定具体情感，生成的音乐结构性不强。本方法结合矢量量化对抗生成网络，从音乐中提取八种音乐元素特征用于训练深度神经网络，使其能够准确生成具有特定情感的音乐。

技术实现思路

1、为了解决现有技术中存在的问题，本发明提供了一种矢量量化对抗生成网络的情感音乐生成方法和基于八种音乐事件的数据表示方法，两者结合实现情感音乐生成。

2、为了实现上述目的，本发明采用的技术方案是：一种基于矢量量化对抗生成网络的情感音乐生成方法，包括以下步骤：

3、根据指定的情感标签，用训练好的情感音乐模型生成指定情感的音乐元素序列；

4、对指定情感的音乐元素序列进行解码及合成，得到情感音乐；

5、所述情感音乐生成模型框架为矢量量化对抗生成网络，包含1个编码器、1个解码器、1个码本和1个生成器；训练阶段输入为情感音乐元素序列，输出为相同情感音乐元素序列；推理阶段输入为指定的情感标签，输出为含有情感的音乐元素序列。

6、进一步的，获取情感音乐数据集，将情感音乐数据集转换为带情感的音乐元素特征；

7、将带情感的音乐元素特征输入构建好的情感音乐模型进行训练；

8、根据指定的情感标签，用训练好的情感音乐模型生成指定情感的音乐元素序列；

9、对指定情感的音乐元素序列进行解码及合成，得到情感音乐。

10、进一步的，所述情感音乐生成模型训练具体包括：

11、对音乐文件数据预处理，得到训练数据集；

12、将训练集依次输入情感音乐生成模型，将交叉熵损失函数作为损失函数，使用设定衰减率的adam优化器进行训练，得到训练好的情感音乐生成模型。

13、进一步的，所述音乐文件数据预处理具体包括：

14、将每个情感音乐文件转为midi文件；

15、对每个midi文件切分，得到若干个midi片段；

16、从每个midi片段中读取每个音符的起始时间、持续时间、音高、力度、和弦、速度、小节、音轨八种音符和事件信息，对八种音符和事件信息进行编码得到音乐序列；

17、将每个midi片段和原音乐情感标签一一匹配，组成音乐序列训练数据集。

18、进一步的，所述交叉熵损失函数lmse为：

19、

20、其中，y表示实际的音符概率分布，表示预测的音符概率分布，i表示第i个音乐序列，n表示音乐序列总数。

21、进一步的，所述对样本集的每个音乐文件进行预处理之前对每个样本文件进行人工标注情感标签，得到原音乐情感标签。

22、进一步的，训练情感音乐生成模型时，将预处理好的音乐序列作为输入，通过编码器输入音乐序列，首先通过编码器中的多层感知机扩展序列维度，然后经过编码器中的transformer encoder块输出等长等维度的序列；再将编码器输出序列作为码本模块的输入序列，将码本模块的输入序列中每个向量与码本序列中每个向量计算l2距离，接着将输入序列的每个向量替换为码本中l2距离最近的向量得到输出序列；然后将码本模块的输出序列作为解码器模块的输入序列，解码器模块的输入序列通过解码器中的transformerdecoder块，然后通过多层感知机对序列降维得到输出序列；最后将解码器模块的输出序列与最开始的音乐序列计算交叉熵损失，并进行反向传播，得到训练好的情感音乐生成模型。

23、基于和方法同样的构思，本发明还提供一种基于矢量量化对抗生成网络的情感音乐生成系统，数据集获取模块、模型训练模块以及情感音乐生成模块；

24、数据集获取模块用于获取情感音乐数据集，将情感音乐数据集转换为带情感的音乐元素特征；

25、模型训练模块用于将带情感的音乐元素特征输入预先建立好的情感音乐模型进行训练；

26、情感音乐生成模块用于根据指定的情感标签，用情感音乐模型生成指定情感的音乐元素序列；对指定情感的音乐元素序列进行解码及合成，得到情感音乐。

27、本发明还提供一种计算机设备，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或者全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现本发明所述的基于矢量量化对抗生成网络的情感音乐生成方法。

28、同时提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现本发明所述的基于矢量量化对抗生成网络的情感音乐生成方法。

29、与现有技术相比，本发明至少具有以下有益效效果：

30、相比循环对抗生成网络的情感迁移方法，本方法不需要为每对情感单独训练一个模型，而是统一训练统一生成，更节省训练成本；

31、相比普通对抗生成网络的情感音乐生成方法，本方法采用离散码本表示情感特征的高维向量，可以更好的将各情感数据进行集中聚类；

32、码本生成器引入transformer encoder模块可以有效地学习到音乐高维情感变量的上下文关系，试生成生成音乐的情感更加自然。

技术特征：

1.一种基于矢量量化对抗生成网络的情感音乐生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于矢量量化对抗生成网络的情感音乐生成方法，其特征在于，获取情感音乐数据集，将情感音乐数据集转换为带情感的音乐元素特征；

3.根据权利要求2所述的基于矢量量化对抗生成网络的情感音乐生成方法，其特征在于，所述情感音乐生成模型训练具体包括：

4.根据权利要求3所述的基于矢量量化对抗生成网络的情感音乐生成方法，其特征在于，所述音乐文件数据预处理具体包括：

5.根据权利要求3所述的基于矢量量化对抗生成网络的情感音乐生成方法，其特征在于，所述交叉熵损失函数lmse为：

6.根据权利要求3所述所述的基于矢量量化对抗生成网络的情感音乐生成方法，其特征在于，所述对样本集的每个音乐文件进行预处理之前对每个样本文件进行人工标注情感标签，得到原音乐情感标签。

7.根据权利要求2所述所述的基于矢量量化对抗生成网络的情感音乐生成方法，其特征在于，训练情感音乐生成模型时，将预处理好的音乐序列作为输入，通过编码器输入音乐序列，首先通过编码器中的多层感知机扩展序列维度，然后经过编码器中的transformerencoder块输出等长等维度的序列；再将编码器输出序列作为码本模块的输入序列，将码本模块的输入序列中每个向量与码本序列中每个向量计算l2距离，接着将输入序列的每个向量替换为码本中l2距离最近的向量得到输出序列；然后将码本模块的输出序列作为解码器模块的输入序列，解码器模块的输入序列通过解码器中的transformer decoder块，然后通过多层感知机对序列降维得到输出序列；最后将解码器模块的输出序列与最开始的音乐序列计算交叉熵损失，并进行反向传播，得到训练好的情感音乐生成模型。

8.一种基于矢量量化对抗生成网络的情感音乐生成系统，其特征在于，数据集获取模块、模型训练模块以及情感音乐生成模块；

9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取部分或者全部所述计算机可执行程序并执行，处理器执行部分或全部计算可执行程序时能实现权利要求1-7任一项所述的基于矢量量化对抗生成网络的情感音乐生成方法。

10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现权利要求1-7任一项所述的基于矢量量化对抗生成网络的情感音乐生成方法。

技术总结本发明公开一种基于矢量量化对抗生成网络的情感音乐生成方法及系统，方法包括以下步骤：根据指定的情感标签，用训练好的情感音乐模型生成指定情感的音乐元素序列；对指定情感的音乐元素序列进行解码及合成，得到情感音乐；所述情感音乐生成模型框架为矢量量化对抗生成网络，包含1个编码器、1个解码器、1个码本和1个生成器；训练阶段输入为情感音乐元素序列，输出为相同情感音乐元素序列；推理阶段输入为指定的情感标签，输出为含有情感的音乐元素序列。相比循环对抗生成网络的情感迁移方法，不需要为每对情感单独训练一个模型，更节省训练成本；本方法采用离散码本表示情感特征的高维向量，可以更好的将各情感数据进行集中聚类。技术研发人员：任美睿,王兆琪,李津,郭龙江,张立臣,刘勇受保护的技术使用者：陕西师范大学技术研发日：技术公布日：2024/4/8