一种具有引导和评估功能的智能钢琴教学方法及系统

本发明涉及音乐教学设备，尤其涉及一种具有引导和评估功能的智能钢琴教学方法及系统。

背景技术：

1、目前在音乐教学场景中，通常是通过教师教导进行学习训练，在教学训练中使用人工不仅成本高昂而且评估也不够标准化。随着智能教学钢琴的诞生，智能钢琴能够教导钢琴学习者弹奏钢琴，并给出标准化的评估来使钢琴学习更加高效且便宜。

2、学习钢琴需要同时使用双手、双眼和大脑进行协调，但是目前学习钢琴主要通过钢琴培训班和观看教学视频，其中，一、钢琴培训班通过老师一对一的指导，学习效率高但是学习成本也比较高，通过观看教学视频的方式学习钢琴也仅能给学习者展示不同的弹奏方式，辅助学习的效率低且效果差，学习体验感较差。二、乐器演奏教学在学习者自主练习的过程中，往往会遇到没有老师实时指导而需要反复练习的情况，学习效率低下且浪费了大量的时间。

3、当前，声音识别技术中可使用hmm(hidden markov model,隐马尔可夫模型)，使用hmm也可破解摩尔斯电码音频处理声音信号；而使用mfcc(mel frequency cepstralcoefficient，梅尔频率倒谱系数)特征提取算法来增强识别性能，研究出可以识别摩斯音频的音调和间隔以及单词和字母，能够帮助摩斯电码听者正确识别发送者传递的信息。但较少涉及将此模型用于弹出的钢琴曲质量鉴定及评估。

技术实现思路

1、本发明的主要目的在于提供一种具有引导和评估功能的智能钢琴教学方法及系统，解决现有技术中钢琴教学形式单一、学习体验感较差、学习成本高且教学效率较低的技术问题。

2、为解决上述技术问题，本发明所采用的技术方案是：一种具有引导和评估功能的智能钢琴教学方法，包括以下步骤：

3、s1：与终端通信，获取曲谱信息；

4、s2：采用音频信号处理技术，按顺序依次识别所述曲谱信息的所有音符，并提取每个音符的音符信息，获取音符序列，所述音符信息至少包括：音高和时长；

5、s3：对所述音符序列进行节奏分析，确定每个音符的位置和持续时长，将音符与对应的持续时长进行匹配，得到整个曲谱的时间序列；

6、s4：根据所述音符信息，在对应的琴键上设置照明提示模块；

7、s5：根据获取的音符序列和时间序列，启动对应的照明提示模块，用于指示按下相应的琴键；

8、s6：对曲谱的弹奏情况进行录音；

9、s7：对曲谱的弹奏情况，运用改进的hmm识别声音，并进行实时反馈。

10、优选方案中，所述音符序列通过转换得到曲谱的时间序列包括：

11、s21：采用使用快速傅立叶变换，将音频信进行频谱分析，提取频谱信息，以获取每个时间点的频率成分；

12、s22：采用预设峰值阈值，在频谱中检测并筛选出高于预设峰值阈值的所有有效频率；

13、s23：根据有效频率，确定峰值检测每个音符点的起始和结束点，将音频信号分割成各个独立的音符段；

14、s24：根据音符的特征，采用基于概率模型的方法，估计每个音符段的时长；

15、s25：将获取的音符段的时长匹配各个音符的音符符号及音符位置，确定最终的音符信息。

16、优选方案中，所述s4具体包括，采用模式识别算法，将提取的特征映射到音符的标识，并生成照明提示模块的控制信号。

17、优选方案中，步骤s7中，包括：所述反馈的功能由学习单元和支撑单元实现，学习单元包括依次连接的乐曲声音采集模块、乐曲声音预处理模块、乐曲音乐特征提取模块、乐曲音乐识别模块和纠错与评分模块；

18、支撑单元包括乐曲库、乐曲规范训练模型和打分映射模型；

19、其中，乐曲音乐识别模块接收乐曲规范训练模型传递的乐曲进行识别，乐曲音乐识别模块采用纠错与评分模块根据乐曲规范训练模型和打分映射模型进行。

20、优选方案中，所述实时反馈包括:乐曲音乐识别模块利用dtw模型和hmm识别自然语音，根据预设的自然语音规范模型，进行自然语音纠错，再通过打分映射模型，获取语音参数的一致度距离，计算得到自然语音评分，以评分的形式反馈。

21、优选方案中，步骤s22中，基于阈值的谱峰检测算法，均以浮点型格式读入采样数据队列：

22、f1,f2,f3,...,fi(i＝1,2,3,...,n)

23、其中，n为采样点个数，得到采样队列范围(fmin,fmax)；

24、使用数据去噪技术进行处理，得到数据队列：

25、i1,i2,i3,...,ii(i＝1,2,3,...,n)

26、再进行差分运算：

27、si＝ii+1-ii

28、si为前后两个数据的差值，若|si|>ε(ε为换键阈值)，则调控控制器需要控制的琴键。

29、优选方案中，所述s7中hmm采用viterbi算法进行语音识别，加入状态持续时间的因素，hmm的输出概率公式为：

30、

31、其中aij是从状态si到sj转移时的转移几率，符合0≤aij≤1，(其中n为总帧数)；bij(yn-k+1)为从状态位si到状态位sj转换过程中的可见值为yn-k+1的输出几率(其中k代表帧数)，τ表示自转移次数即停留帧数，并用将每帧计算进去，其中改进hmm参数的重估公式为：

32、

33、

34、

35、

36、其中n为状态总数，d停留帧数，d为所有状态中最多的停留帧数，πi的估计为状态i作为序列第一个状态的概率，的估计和传统hmm类似，为状态sj下，观察矢量为yn＝vk发生的次数与发生转移的全部次数之比，的重估是在任何持续长度下，模型处于状态sj的比率。

37、一种具有引导和评估功能的智能钢琴教学系统，包括：

38、通信单元，用于与终端通信，获取曲谱信息；

39、音频信号处理单元，用于采用音频信号处理技术，按顺序依次识别所述曲谱信息的所有音符，并提取每个音符的音符信息，获取音符序列，所述音符信息至少包括：音高和时长；

40、时间频域处理单元，用于对所述音符序列进行节奏分析，确定每个音符的位置和持续时长，将音符与对应的持续时长进行匹配，得到整个曲谱的时间序列；

41、照明提示单元，用于根据所述音符信息，在对应的琴键上设置照明提示模块；

42、指示单元，根据获取的音符序列和时间序列，启动对应的照明提示模块，用于指示按下相应的琴键；

43、录音单元，用于对曲谱的弹奏情况进行录音；

44、反馈单元，用于对曲谱的弹奏情况，运用改进的hmm进行识别声音，进行实时反馈。

45、本发明提供了一种具有引导和评估功能的智能钢琴教学方法及系统，终端获取曲谱信息，再将顺序依次识别曲谱信息的所有音符，并对每个音符的位置和持续时长，将音符与对应的持续时长进行匹配，得到整个曲谱的时间序列，再使得对应的按键、音符和时长对应，利用在对应的琴键上设置照明提示模块，引导和指示弹奏者进行操作，并对全过程进行及时纠错和录音，用于在音乐教学过程中，丰富了钢琴教学形式、增强了学习体验感，大大提高教学效率，无需老师只需要钢琴就能让初学者达到入门的地步，大大降低了钢琴的入门门槛，降低了钢琴学习的成本。