依据音频生成可视动画的方法以及电子装置与流程

本发明涉及动画生成，尤其涉及一种依据音频生成可视动画的方法以及电子装置。

背景技术：

1、需要说明的是，本部分所记载的内容并不代表都是现有技术。

2、目前的动画都是依靠技术人员根据经验制作和生成，然后再配上相关的音乐，这种方法不能够自动适应不同的风格和个性化需求。

技术实现思路

1、鉴于此，为了在一定程度上解决相关技术中的技术问题之一，有必要提供一种依据音频生成可视动画的方法、装置、电子装置以及存储介质，能够自适应地得到与声音风格相似的动作，能够满足个性化需求。

2、本发明提供一种依据音频生成可视动画的方法，所述方法包括：

3、读取音频数据并将音频数据转化为numpy 数组格式；

4、使用傅里叶变换将音频信号从时域转换为频域并去除高频噪声和杂波；

5、识别音频信号中的节拍位置并将其转化为byte数据；

6、将每个byte数据转换为对应的动作指令；

7、从数据库中查询与动作指令对应的动作信息；

8、根据查询到的动作信息，将动作指令转化为动画指令；

9、根据动画指令生成动画并将其保存为视频文件。

10、进一步的，所述使用傅里叶变换将音频信号从时域转换为频域并去除高频噪声和杂波，包括：

11、使用python数学库numpy中的numpy.fft.fft() 逆fft将音频数据从时域转换为频域，使用numpy.fft.ifft()来去除高频噪音和杂波。

12、进一步的，所述识别音频信号中的节拍位置并将其转化为byte数据，包括：

13、加载经过转化以及去除高频噪声和杂波的音频文件；

14、应用onset detection算法获得节拍位置；

15、将节拍的时间转化为样本索引；

16、将节拍样本索引转化为字节位置并得到byte数据。

17、进一步的，所述根据查询到的动作信息，将动作指令转化为动画指令，包括：

18、使用 python 库 cv2 将base64动画帧重新转换为opencv动画指令；其中，动作指令创建过程为：使用 python 库cv2来实现将动画帧转换为jpg格式，最后将jpg格式转换为base64格式字符串，并为其编码0-127后存储在数据库中，动画文件的编码为0时表示当byte指令为0时将使用该动画文件。

19、进一步的，所述使用 python 库 cv2 将base64动画帧重新转换为opencv动画指令，包括：

20、将base64字符串解码为jpg数据；

21、将jpg数据解码为opencv动画指令。

22、本发明提供一种依据音频生成可视动画的装置，所述装置包括：

23、读取模块，用于读取音频数据并将音频数据转化为numpy 数组格式；

24、第一转换模块，用于使用傅里叶变换将音频信号从时域转换为频域并去除高频噪声和杂波；

25、识别模块，用于识别音频信号中的节拍位置并将其转化为byte数据；

26、第二转换模块，用于将每个byte数据转换为对应的动作指令；

27、查询模块，用于从数据库中查询与动作指令对应的动作信息；

28、第三转换模块，用于根据查询到的动作信息，将动作指令转化为动画指令；

29、生成模块，用于根据动画指令生成动画并将其保存为视频文件。

30、进一步的，所述使用傅里叶变换将音频信号从时域转换为频域并去除高频噪声和杂波，包括：

31、使用python数学库numpy中的numpy.fft.fft() 逆fft将音频数据从时域转换为频域，使用numpy.fft.ifft()来去除高频噪音和杂波。

32、进一步的，所述识别音频信号中的节拍位置并将其转化为byte数据，包括：

33、加载经过转化以及去除高频噪声和杂波的音频文件；

34、应用onset detection算法获得节拍位置；

35、将节拍的时间转化为样本索引；

36、将节拍样本索引转化为字节位置并得到byte数据。

37、本发明提供一种电子装置，所述电子装置包括：

38、处理器；以及

39、存储装置，该存储装置包括有处理器可执行指令，所述可执行指令在由处理器执行时用于执行所述的依据音频生成可视动画的方法的步骤。

40、本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的依据音频生成可视动画的方法的步骤。

41、通过以上方案可知，本发明读取音频数据并将音频数据转化为numpy 数组格式；使用傅里叶变换将音频信号从时域转换为频域并去除高频噪声和杂波；识别音频信号中的节拍位置并将其转化为byte数据；将每个byte数据转换为对应的动作指令；从数据库中查询与动作指令对应的动作信息；根据查询到的动作信息，将动作指令转化为动画指令；根据动画指令生成动画并将其保存为视频文件。本发明将每个字节映射到一个动作，实现了声音与动作之间的转换，通过简单的语音命令或歌曲就能掌握并创造出各种丰富的动作，通过识别不同的动作和节拍，能够实现更高效、准确的动作识别和动画生成，同时也能够自动适应不同的动画风格和个性化需求。

技术特征：

1.一种依据音频生成可视动画的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的依据音频生成可视动画的方法，其特征在于，所述使用傅里叶变换将音频信号从时域转换为频域并去除高频噪声和杂波，包括：

3.根据权利要求1所述的依据音频生成可视动画的方法，其特征在于，所述识别音频信号中的节拍位置并将其转化为byte数据，包括：

4.根据权利要求1所述的依据音频生成可视动画的方法，其特征在于，所述根据查询到的动作信息，将动作指令转化为动画指令，包括：

5. 根据权利要求1所述的依据音频生成可视动画的方法，其特征在于，所述使用python 库 cv2 将base64动画帧重新转换为opencv动画指令，包括：

6.一种依据音频生成可视动画的装置，其特征在于，所述装置包括：

7.根据权利要求6所述的依据音频生成可视动画的装置，其特征在于，所述使用傅里叶变换将音频信号从时域转换为频域并去除高频噪声和杂波，包括：

8.根据权利要求6所述的依据音频生成可视动画的装置，其特征在于，所述识别音频信号中的节拍位置并将其转化为byte数据，包括：

9. 一种电子装置，其特征在于，所述电子装置包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的依据音频生成可视动画的方法的步骤。

技术总结本发明提供一种依据音频生成可视动画的方法，所述方法包括：读取音频数据并将音频数据转化为numpy数组格式；使用傅里叶变换将音频信号从时域转换为频域并去除高频噪声和杂波；识别音频信号中的节拍位置并将其转化为Byte数据；将每个Byte数据转换为对应的动作指令；从数据库中查询与动作指令对应的动作信息；根据查询到的动作信息，将动作指令转化为动画指令；根据动画指令生成动画并将其保存为视频文件。本发明能够自适应地得到与声音风格相似的动作，能够满足个性化需求。技术研发人员：温佳龙,卢韦华受保护的技术使用者：深圳蔓延科技有限公司技术研发日：技术公布日：2024/4/8