一种灯光智能控制方法、设备及介质与流程

本发明涉及计算机，特别涉及一种灯光智能控制方法、设备及介质。

背景技术：

1、灯光和音乐可以分别从视觉和听觉上给人感官体验，两者的结合可以让人的感官体验更加丰满。一方面，现有的虚拟场景中的灯光颜色通常由设计师提供，并没有实现听觉和视觉的真正联动。另一方面，基于svm(support vector machine，支持向量机)模型对情感的愉悦度(valence)和激活度(arousa1)进行分类，然后通过标记关键点的颜色，再通过线性插值获得空缺颜色的方法存在以下缺点：(1)基于svm模型的情感分类准确率不高；(2)学术界对于某种情感在愉悦度和激活度分类上的具体值并没有统一的标准，并且以具体点来代表某个情感类别的方式并不合理，参见图1所示，图1为以某个点代表某个情感类别的示意图。

2、为此，如何提高情感分类的准确性，以实现听觉和视觉的真正联动，是本领域亟待解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种灯光智能控制方法、设备及介质，能够提高情感分类的准确性，以实现听觉和视觉的真正联动，其具体方案如下：

2、第一方面，本技术公开了一种灯光智能控制方法，包括：

3、获取音频数据，并提取所述音频数据对应的梅尔频谱特征；

4、将所述梅尔频谱特征输入至预先训练完的目标卷积神经网络模型中，以得到所述目标卷积神经网络模型中的第一输出神经元和第二输出神经元分别输出的第一情感维度得分和第二情感维度得分；所述第一情感维度得分为所述音频数据对应的情感愉悦度的得分，所述第二情感维度得分为所述音频数据对应的情感激活度的得分；

5、将由所述第一情感维度得分和所述第二情感维度得分构成的直角坐标转换为相应的极坐标，并分别基于所述极坐标中的极角和极径对待控制灯光的灯光颜色和灯光亮度进行控制。

6、可选的，所述待控制灯光包括虚拟场景中的灯光和/或实物场景中的灯光。

7、可选的，所述提取所述音频数据对应的梅尔频谱特征，包括：

8、基于预设采样率对所述音频数据进行重采样得到重采样后音频数据；

9、按照预设时间间隔将所述重采样后音频数据切分为若干音频片段，以利用所述若干音频片段生成与所述音频数据对应的梅尔频谱特征。

10、可选的，所述将所述梅尔频谱特征输入至预先训练完的目标卷积神经网络模型中之前，还包括：

11、获取历史音频数据，并对所述历史音频数据的情感愉悦度和情感激活度进行打分，以得到所述历史音频数据对应的标签信息；

12、提取所述历史音频数据对应的梅尔频谱特征；

13、将所述历史音频数据对应的梅尔频谱特征以及所述标签信息输入至待训练卷积神经网络模型进行训练，以得到所述目标卷积神经网络模型。

14、可选的，所述灯光智能控制方法，还包括：

15、将一个卷积层、第一线性整流激活函数、最大池化层、展平层、一个全连接层、第二线性整流激活函数、批标准化层和丢弃层进行依次连接，将所述丢弃层的输出端分别与所述第一输出神经元和所述第二输出神经元的输入端连接，并分别将所述第一输出神经元和所述第二输出神经元的输出端与sigmoid激活函数连接，以得到所述待训练卷积神经网络模型。

16、可选的，所述分别基于所述极坐标中的极角和极径对待控制灯光的灯光颜色和灯光亮度进行控制，包括：

17、从预先创建的目标色盘中查找与所述极坐标中的极角对应的目标颜色，并将所述待控制灯光的灯光颜色调整至所述目标颜色；

18、基于预设亮度计算公式计算与所述极坐标中的极径对应的目标亮度，并将所述待控制灯光的灯光亮度调整至所述目标亮度。

19、可选的，所述从预先创建的目标色盘中查找与所述极坐标中的极角对应的目标颜色之前，还包括：

20、基于所述情感愉悦度和所述情感激活度的取值范围确定待填充区域的区域范围；

21、以所述待填充区域的中心点为圆心，在所述待填充区域上每相隔预设角度划分一个子区域，以得到若干个待填充子区域；

22、对每个所述待填充子区域对应的所述情感愉悦度和所述情感激活度进行分析，以确定每个所述待填充子区域对应的填充颜色；

23、利用每个所述待填充子区域对应的填充颜色对相应的所述待填充子区域进行颜色填充，得到所述目标色盘。

24、可选的，所述预设亮度计算公式为：

25、i＝ex×i0；

26、其中，e为自然常数，x表示所述极坐标中的极径，i0为预先基于经验值确定的亮度。

27、可选的，所述提取所述音频数据对应的梅尔频谱特征，包括：

28、监测所述音频数据中的音频分割点；

29、基于监测到的所述音频分割点对所述音频数据进行分割，并分别提取分割后每个音频片段对应的梅尔频谱特征；

30、相应的，所述将所述梅尔频谱特征输入至预先训练完的目标卷积神经网络模型中，以得到所述目标卷积神经网络模型中的第一输出神经元和第二输出神经元分别输出的第一情感维度得分和第二情感维度得分，包括：

31、分别将每个所述音频片段的梅尔频谱特征输入至预先训练完的目标卷积神经网络模型中，以得到各所述音频片段分别对应的第一情感维度得分和第二情感维度得分。

32、可选的，所述监测所述音频数据中的音频分割点，包括：

33、确定所述音频数据中的若干句目标歌词以及相应的时间信息，以得到相应的歌词信息；

34、确定所述歌词信息对应的歌词相似矩阵；其中，所述歌词相似矩阵中的矩阵元素为任意两句所述目标歌词之间的相似度；

35、根据所述歌词相似矩阵对所述音频数据进行主副歌识别，得到若干个主副歌片段；

36、根据所述目标歌词的时间信息确定所述主副歌片段的时间戳序列，并基于所述时间戳序列确定所述音频数据中的音频分割点。

37、可选的，所述确定所述音频数据中的若干句目标歌词的过程中，包括：

38、监测所述音频数据中是否存在若干相邻的目标短句歌词；其中，所述若干相邻的目标短句歌词对应的拼接后歌词与所述音频数据中的任一目标长句歌词之间的相似度大于第一预设相似度阈值，并且，每一所述目标短句歌词与所述目标长句歌词之间的相似度均小于所述第一预设相似度阈值；

39、若所述音频数据中存在所述若干相邻的目标短句歌词，则将所述若干相邻的目标短句歌词对应的所述拼接后歌词确定为所述音频数据中的一句所述目标歌词。

40、可选的，所述根据所述歌词相似矩阵对所述音频数据进行主副歌识别，得到若干个主副歌片段，包括：

41、将所述歌词相似矩阵中的对角线元素以及所述相似度小于第二预设相似度阈值的目标元素进行置零操作，以得到置零后相似矩阵；

42、对所述置零后相似矩阵进行路径搜索，以从所述置零后相似矩阵中搜索出满足预设最优路径条件的目标路径；所述预设最优路径条件为基于预设路径长度阈值构建的条件；

43、基于所述目标路径确定所述音频数据中的相应的若干个主副歌片段。

44、第二方面，本技术公开了一种电子设备，包括：

45、存储器，用于保存计算机程序；

46、处理器，用于执行所述计算机程序，以实现前述公开的灯光智能控制方法。

47、第三方面，本技术公开了一种计算机可读存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的灯光智能控制方法。

48、可见，本技术提出一种灯光智能控制方法，包括：获取音频数据，并提取所述音频数据对应的梅尔频谱特征；将所述梅尔频谱特征输入至预先训练完的目标卷积神经网络模型中，以得到所述目标卷积神经网络模型中的第一输出神经元和第二输出神经元分别输出的第一情感维度得分和第二情感维度得分；所述第一情感维度得分为所述音频数据对应的情感愉悦度的得分，所述第二情感维度得分为所述音频数据对应的情感激活度的得分；将由所述第一情感维度得分和所述第二情感维度得分构成的直角坐标转换为相应的极坐标，并分别基于所述极坐标中的极角和极径对待控制灯光的灯光颜色和灯光亮度进行控制。

49、本技术的有益效果在于：本技术将音频数据的梅尔频谱特征输入至预先训练完的目标卷积神经网络模型中，以便通过目标卷积神经网络模型进一步提取音频数据的特征，然后根据提取到的特征得到音频数据对应的情感愉悦度的第一情感维度得分以及音频数据对应的情感激活度的第二情感维度得分，如此一来，本技术基于目标卷积神经网络模型提高了情感分类的准确性。进一步的，本技术将由第一情感维度得分和第二情感维度得分构成的直角坐标转换为相应的极坐标，并分别基于极坐标中的极角和极径对待控制灯光的灯光颜色和灯光亮度进行控制，需要指出的是，极坐标中的极角可以反映第一情感维度得分和第二情感维度得分的比例，极坐标中的极径可以反映第一情感维度得分和第二情感维度得分的幅度，因此，本技术不是简单的通过第一情感维度得分和第二情感维度得分构成的某个具体的点表示某种情感类别，而是根据上述两个情感维度得分的比例和幅度实现灯光颜色和亮度的控制，避免了用某个具体的点表示某种情感类别的不合理性，进一步提高了情感分类的准确性，实现了听觉和视觉的真正联动。