一种基于RCF网络的钢琴演奏姿势与手势识别方法及系统

本发明涉及钢琴演奏识别，特别指一种基于rcf网络的钢琴演奏姿势与手势识别方法及系统。

背景技术：

1、随着经济与科技的发展，规范化发展逐渐凸显优势，音乐教育的规范化也不断提上日程。然而在钢琴教学方面受困于钢琴教师的水平、钢琴教育本身的专业性和艺术性，使得学生难以获得系统、规范的教学，不同钢琴教师不同的教学理念也使钢琴教学规范化难以推行，而计算机技术是实现教学规范化的有效途径，因此产生了识别钢琴演奏姿势与手势的需求，正确识别钢琴演奏者的姿势与手势对接下来的分析与纠正具有重要意义。

2、针对钢琴演奏姿势与手势的识别，传统上采取边缘检测算法，边缘检测算法作为一项具有悠久发展历史的图像处理技术，其保留图像重要信息、减少图像冗余信息，以大幅简化钢琴演奏者演奏过程中的不必要信息，将精力集中于演奏姿势与手势这一关键信息。但是，传统边缘检测算法存在如下缺点，导致钢琴演奏姿势与手势的识别精度欠佳：

3、1、无法保证边缘的连续性或封闭性，导致边缘片段化，且不合理的阈值设定可能导致边缘点的误判，尤其对于噪声点和幅值较小的边缘，对于高细节区域可能产生大量碎片化的边缘，难以形成完整的大区域；2、富有噪声和边缘不平滑的图像给边缘检测带来多余的干扰信息，这会造成一些不连续的检测边缘,也可能丢失一部分边缘信息。

4、因此，如何提供一种基于rcf网络的钢琴演奏姿势与手势识别方法及系统，实现提升钢琴演奏姿势与手势识别精度，成为一个亟待解决的技术问题。

技术实现思路

1、本发明要解决的技术问题，在于提供一种基于rcf网络的钢琴演奏姿势与手势识别方法及系统，实现提升钢琴演奏姿势与手势识别精度。

2、第一方面，本发明提供了一种基于rcf网络的钢琴演奏姿势与手势识别方法，包括如下步骤：

3、步骤s1、获取大量的不同图像质量的钢琴演奏图像，基于各所述钢琴演奏图像构建训练集以及测试集；

4、步骤s2、基于rcf网络创建一钢琴演奏姿势与手势识别模型，设定所述钢琴演奏姿势与手势识别模型的损失函数为二分类交叉熵损失函数；

5、步骤s3、通过所述训练集对钢琴演奏姿势与手势识别模型进行训练，通过所述测试集对训练后的钢琴演奏姿势与手势识别模型进行测试；

6、步骤s4、通过测试后的所述钢琴演奏姿势与手势识别模型进行钢琴演奏姿势与手势的识别。

7、进一步的，所述步骤s1具体为：

8、获取大量的不同图像质量的钢琴演奏图像，各所述钢琴演奏图像至少包含钢琴演奏姿势或者钢琴演奏手势中的一个；所述不同图像质量具体指钢琴演奏图像包含一定的噪声信息，所述噪声信息包括因暗光环境、高iso、长曝光带来的亮度噪点干扰和颜色噪点干扰、钢琴演奏图像中的扭曲、失真、模糊；

9、基于各所述钢琴演奏图像构建图像集，对所述图像集中的各钢琴演奏图像中的钢琴演奏姿势或者钢琴演奏手势进行标注，基于预设的分割比例将所述图像集划分为训练集以及测试集，对训练集中的各所述钢琴演奏图像依次进行灰度化和二值化的预处理。

10、进一步的，所述步骤s2还包括：

11、在所述二分类交叉熵损失函数前添加一用于将二分类交叉熵损失函数的损失值约束在0～1之间的sigmoid层，设定所述钢琴演奏姿势与手势识别模型的mini-batch为200，以将所述训练集中的数据以200个为单位进行分组，每训练完一个batch输出一次所述损失函数的累计值。

12、进一步的，所述步骤s3具体为：

13、通过所述训练集对钢琴演奏姿势与手势识别模型进行训练，训练过程中加入反向传播算法，直至所述二分类交叉熵损失函数的损失值小于预设的损失阈值，通过所述测试集对训练后的钢琴演奏姿势与手势识别模型进行测试，判断识别准确率是否大于预设的准确率阈值，若是，则测试通过；若否，则测试不通过，扩充所述训练集继续训练；

14、所述钢琴演奏姿势与手势识别模型训练过程中保存tp值、tn值、fp值以及fn值，基于所述tp值、tn值、fp值以及fn值计算精确度以及召回率，基于所述精确度以及召回率计算ods-f值以及ois-f值，通过所述ods-f值以及ois-f值评判钢琴演奏姿势与手势识别模型的识别效果。

15、进一步的，所述步骤s4具体为：

16、将测试后的所述钢琴演奏姿势与手势识别模型运行在本地，通过运行的所述钢琴演奏姿势与手势识别模型进行钢琴演奏姿势与手势的识别。

17、第二方面，本发明提供了一种基于rcf网络的钢琴演奏姿势与手势识别系统，包括如下模块：

18、钢琴演奏图像获取模块，用于获取大量的不同图像质量的钢琴演奏图像，基于各所述钢琴演奏图像构建训练集以及测试集；

19、钢琴演奏姿势与手势识别模型创建模块，用于基于rcf网络创建一钢琴演奏姿势与手势识别模型，设定所述钢琴演奏姿势与手势识别模型的损失函数为二分类交叉熵损失函数；

20、钢琴演奏姿势与手势识别模型训练模块，用于通过所述训练集对钢琴演奏姿势与手势识别模型进行训练，通过所述测试集对训练后的钢琴演奏姿势与手势识别模型进行测试；

21、钢琴演奏姿势与手势识别模块，用于通过测试后的所述钢琴演奏姿势与手势识别模型进行钢琴演奏姿势与手势的识别。

22、进一步的，所述钢琴演奏图像获取模块具体用于：

23、获取大量的不同图像质量的钢琴演奏图像，各所述钢琴演奏图像至少包含钢琴演奏姿势或者钢琴演奏手势中的一个；所述不同图像质量具体指钢琴演奏图像包含一定的噪声信息，所述噪声信息包括因暗光环境、高iso、长曝光带来的亮度噪点干扰和颜色噪点干扰、钢琴演奏图像中的扭曲、失真、模糊；

24、基于各所述钢琴演奏图像构建图像集，对所述图像集中的各钢琴演奏图像中的钢琴演奏姿势或者钢琴演奏手势进行标注，基于预设的分割比例将所述图像集划分为训练集以及测试集，对训练集中的各所述钢琴演奏图像依次进行灰度化和二值化的预处理。

25、进一步的，所述钢琴演奏姿势与手势识别模型创建模块还用于：

26、在所述二分类交叉熵损失函数前添加一用于将二分类交叉熵损失函数的损失值约束在0～1之间的sigmoid层，设定所述钢琴演奏姿势与手势识别模型的mini-batch为200，以将所述训练集中的数据以200个为单位进行分组，每训练完一个batch输出一次所述损失函数的累计值。

27、进一步的，所述钢琴演奏姿势与手势识别模型训练模块具体用于：

28、通过所述训练集对钢琴演奏姿势与手势识别模型进行训练，训练过程中加入反向传播算法，直至所述二分类交叉熵损失函数的损失值小于预设的损失阈值，通过所述测试集对训练后的钢琴演奏姿势与手势识别模型进行测试，判断识别准确率是否大于预设的准确率阈值，若是，则测试通过；若否，则测试不通过，扩充所述训练集继续训练；

29、所述钢琴演奏姿势与手势识别模型训练过程中保存tp值、tn值、fp值以及fn值，基于所述tp值、tn值、fp值以及fn值计算精确度以及召回率，基于所述精确度以及召回率计算ods-f值以及ois-f值，通过所述ods-f值以及ois-f值评判钢琴演奏姿势与手势识别模型的识别效果。

30、进一步的，所述钢琴演奏姿势与手势识别模块具体用于：

31、将测试后的所述钢琴演奏姿势与手势识别模型运行在本地，通过运行的所述钢琴演奏姿势与手势识别模型进行钢琴演奏姿势与手势的识别。

32、本发明的优点在于：

33、1、通过获取大量的不同图像质量的钢琴演奏图像，基于各钢琴演奏图像构建训练集以及测试集，接着基于rcf网络创建钢琴演奏姿势与手势识别模型，设定钢琴演奏姿势与手势识别模型的损失函数为二分类交叉熵损失函数，通过训练集对钢琴演奏姿势与手势识别模型进行训练，通过测试集对训练后的钢琴演奏姿势与手势识别模型进行测试，最后通过测试后的钢琴演奏姿势与手势识别模型进行钢琴演奏姿势与手势的识别；即通过样本丰富的钢琴演奏图像对钢琴演奏姿势与手势识别模型进行训练，使得钢琴演奏姿势与手势识别模型能更好的对真实场景下拍摄的钢琴演奏图像进行识别，通过设定钢琴演奏姿势与手势识别模型的损失函数为二分类交叉熵损失函数，可以在传播过程中得到一个凸的优化问题，有助于在梯度下降的过程中找到全局最优解，最终极大的提升了钢琴演奏姿势与手势识别精度。

34、2、通过各钢琴演奏图像构建训练集以及测试集来对钢琴演奏姿势与手势识别模型进行训练，避免钢琴演奏姿势与手势识别模型训练过程中出现过拟合现象。

35、3、通过在二分类交叉熵损失函数前添加一用于将二分类交叉熵损失函数的损失值约束在0～1之间的sigmoid层，防止钢琴演奏姿势与手势识别模型(神经网络)额外训练其中的网络层，使优化器(optimizer)将输出值变成nan而导致网络错误。

36、4、通过设定钢琴演奏姿势与手势识别模型的最小训练批次，即通过减少更新梯度所需要的数据量来提高训练速度，同时降低收敛性能不好的影响。