一种基于多模态数据的非物质文化遗产文化教学资源系统的制作方法

本发明涉及电子数字数据处理，具体涉及一种基于多模态数据的非物质文化遗产文化教学资源系统。

背景技术：

1、基于音乐相关的非物质文化遗产通常会产生大量的多模态数据，主要表现形式包括文本、音频、图片、视频等数据，为了保护和管理音乐相关的非物质文化遗产文化教学资源，需要对其产生的海量数据进行压缩存储。

2、音频数据是多模态数据中的重要组成部分，在对多模态数据中的音频数据进行编码压缩时通常使用flac(free lossless audio codec)算法，但是由于flac算法对音频数据进行分块处理时，得到的分块大小固定不变，固定大小的分块可能无法充分捕捉到其细节，导致无法适应于所有的音频数据，导致对音频数据的压缩效果不理想。

技术实现思路

1、本发明提供一种基于多模态数据的非物质文化遗产文化教学资源系统，以解决现有的问题。

2、本发明的一种基于多模态数据的非物质文化遗产文化教学资源系统采用如下技术方案：

3、本发明一个实施例提供了一种基于多模态数据的非物质文化遗产文化教学资源系统，该系统包括以下模块：

4、数据采集模块，用于获取包括文本数据、图像数据、音频数据以及视频数据的教学资源数据；

5、数据分段模块，用于构建第一窗口和第二窗口分别对音频数据进行遍历，在遍历过程中根据不同位置处第一窗口和第二窗口之间的差异获得第一窗口和第二窗口的相似性，根据第一窗口与不同位置处第二窗口之间的相似性分布情况以及第一窗口和第二窗口之间的距离，获得音频数据中若干个数据分段；

6、预测分析模块，用于根据数据分段中数据点之间的数值差异获得目标数据分段；

7、数据压缩模块，用于结合目标数据分段对教学资源数据的文本数据、图像数据、音频数据以及视频数据进行压缩编码，对压缩编码得到的压缩包进行存储。

8、进一步地，所述构建第一窗口和第二窗口分别对音频数据进行遍历，包括的具体方法为：

9、构建两个窗口分别为第一窗口和第二窗口，对音频数据进行逐数据点遍历，预设第一窗口的窗口大小为，预设窗口大小的迭代步长为，当第一窗口的窗口大小大于等于时，第一窗口的窗口大小停止迭代，其中表示音频数据中数据点的数量，表示向下取整；

10、将第一窗口置于音频数据的最开始位置处，将第二窗口置于第一窗口右侧且与第一窗口相邻，由第二窗口对音频数据进行遍历，当第二窗口对音频数据遍历完成后，第一窗口的窗口大小按照迭代步长进行迭代增加，第二窗口的窗口大小随第一窗口的窗口大小迭代增加，第二窗口的窗口大小始终与第一窗口的窗口大小保持一致，第二窗口继续对音频数据进行遍历，以此类推，获得对应位置处每一个窗口大小下的第一窗口以及对应窗口大小下若干个位置的第二窗口。

11、进一步地，所述在遍历过程中根据不同位置处第一窗口和第二窗口之间的差异获得第一窗口和第二窗口的相似性，包括的具体方法为：

12、根据不同位置处第一窗口和第二窗口之间的差异获得音强差异形成的音强差异序列以及音强差异序列的一阶差因子；

13、获取第一窗口和第二窗口对音频数据进行遍历的过程中，第一窗口和第二窗口的相似性，具体计算方法为：

14、

15、其中，表示第一窗口和第二窗口的相似性；表示第一窗口和第二窗口的第个数据点的音强差异；表示窗口中数据点的数量；表示音强差异序列中所有一阶差因子的方差；表示预设的超参数；表示以自然常数为底数的指数函数。

16、进一步地，所述根据不同位置处第一窗口和第二窗口之间的差异获得音强差异形成的音强差异序列以及音强差异序列的一阶差因子，包括的具体方法为：

17、将第一窗口中第个数据点与第二窗口中第个数据点之间数值的差值绝对值记为第一窗口和第二窗口的第个数据点的音强差异；将第一窗口和第二窗口的所有音强差异形成的序列记为音强差异序列，将音强差异序列中第个元素与第个元素之间的数值差值记为音强差异序列的一阶差因子。

18、进一步地，所述根据第一窗口与不同位置处第二窗口之间的相似性分布情况以及第一窗口和第二窗口之间的距离，获得音频数据中若干个数据分段，包括的具体方法为：

19、根据第一窗口与不同位置处第二窗口之间的相似性分布情况获得第一窗口的目标第二窗口；

20、将音频数据中第一窗口的第1个数据点与任意目标第二窗口的第1个数据点之间间隔的数据点的数量，记为对应位置和窗口大小下第一窗口与所述第一窗口的目标第二窗口之间的窗口距离；

21、根据第一窗口与所述第一窗口的所有目标第二窗口之间的窗口距离的分布情况，获得音频数据中若干个数据分段。

22、进一步地，所述根据第一窗口与不同位置处第二窗口之间的相似性分布情况获得第一窗口的目标第二窗口，包括的具体方法为：

23、获取第一窗口的位置和窗口大小不变时，第一窗口与遍历过程中的所有位置下的第二窗口之间的相似性形成的集合，记为对应位置和窗口大小下第一窗口的相似性集合，统计获取相似性集合对应的分布直方图记为对应位置和窗口大小下第一窗口的相似性直方图，利用大津法获取相似性直方图的分割阈值记为相似性分割阈值，当第二窗口与第一窗口之间的相似性大于相似性分割阈值时，将对应位置下的第二窗口记为第一窗口的目标第二窗口。

24、进一步地，所述根据第一窗口与所述第一窗口的所有目标第二窗口之间的窗口距离的分布情况，获得音频数据中若干个数据分段，包括的具体方法为：

25、根据第一窗口与所述第一窗口的所有目标第二窗口之间的窗口距离的分布情况获得第一窗口的规律参数；

26、获取当第一窗口的位置不变时不同窗口大小下第一窗口的规律参数，当第一窗口的规律参数最大时，将对应位置以及窗口大小的第一窗口内所有数据点形成的序列记为一个数据分段；

27、当第一窗口的窗口大小达到最大且第二窗口对音频数据遍历完成后，将第一窗口向右移动，使上一个数据分段的最后一个数据点的下一个数据点作为第一窗口中的第一个数据点，并将第一窗口的窗口大小还原回窗口大小，并由第二窗口遍历音频数据以对第一窗口的窗口大小进行迭代，重复数据分段的获取方法，获取音频数据中的若干个数据分段。

28、进一步地，所述根据第一窗口与所述第一窗口的所有目标第二窗口之间的窗口距离的分布情况获得第一窗口的规律参数，包括的具体方法为：

29、获取对应位置和窗口大小下第一窗口与所述第一窗口的所有目标第二窗口之间的窗口距离的方差，将记为对应位置和窗口大小下第一窗口的规律参数，其中表示以自然常数为底数的指数函数。

30、进一步地，所述根据数据分段中数据点之间的数值差异获得目标数据分段，包括的具体方法为：

31、首先，获取任意数据分段的二阶差分序列，将数据分段所对应位置和窗口大小下的第一窗口的规律参数记为数据分段的周期参数；

32、音频数据中任意数据分段的可预测性的具体计算方法为：

33、

34、其中，表示数据分段的可预测性；表示数据分段的周期参数；表示数据分段的二阶差分序列中元素的数量；表示数据分段的二阶差分序列中第个元素的数值；表示以自然常数为底数的指数函数；表示线性归一化函数；

35、然后，将可预测性大于预设的可预设性阈值的数据分段记为目标数据分段。

36、进一步地，所述结合目标数据分段对教学资源数据的文本数据、图像数据、音频数据以及视频数据进行压缩编码，对压缩编码得到的压缩包进行存储，包括的具体方法为：

37、首先，利用费希尔最优求解法对音频数据进行划分，在划分过程中将目标数据分段作为一个整体，获得若干个分段均记为音频数据的音频样本；

38、然后，利用flac算法对音频数据的所有音频样本进行编码压缩，获得的音频数据的压缩数据。

39、本发明的技术方案的有益效果是：通过结合数据的相似性和可预测性划分出若干个数据分段，从而更好地反映音频数据中的规律性变化，根据数据分段中数据点之间的数值差异，识别出具有较高可预测性的数据分段并将其作为一个整体，避免将可预测性高的数据分段划分，减少数据划分时的对应的计算量的同时，提高了可预测性更好的数据分段的数量，有助于提高对音频数据的压缩效率，通过对音频数据进行自适应分块处理，提高了对教学资源数据中音频数据的编码压缩效果，同时降低了编码开销，使得压缩效率更高。