一种基于机械手的钢琴演奏方法、系统、设备及介质

本发明涉及钢琴模拟演奏，特别指一种基于机械手的钢琴演奏方法、系统、设备及介质。

背景技术：

1、随着经济与科技的发展，规范化发展逐渐凸显优势，音乐教育的规范化也不断提上日程。然而在钢琴教学方面受困于钢琴教师的水平、钢琴教育本身的专业性和艺术性，使得学生难以获得系统、规范的教学，不同钢琴教师不同的教学理念也使钢琴教学规范化难以推行，因此产生了通过机械手演奏钢琴以进行规范化教学的需求。

2、然而，目前缺乏有效的钢琴乐谱识别及转译机制，无法将钢琴乐谱的乐谱信息准确转化为控制指令，导致机械手经常会出现误触的情况，且机械手与钢琴的接触方式不够适配，导致钢琴模拟演奏的效果欠佳。

3、因此，如何提供一种基于机械手的钢琴演奏方法、系统、设备及介质，实现提升钢琴模拟演奏效果，成为一个亟待解决的技术问题。

技术实现思路

1、本发明要解决的技术问题，在于提供一种基于机械手的钢琴演奏方法、系统、设备及介质，实现提升钢琴模拟演奏效果。

2、第一方面，本发明提供了一种基于机械手的钢琴演奏方法，包括如下步骤：

3、步骤s1、获取待演奏的钢琴乐谱的乐谱图像，通过图像识别技术将所述乐谱图像转换为指位表；

4、步骤s2、通过python将所述指位表转译为机械手的运动轨迹运行脚本；

5、步骤s3、与指腹部设有硅胶套的机械手建立连接并进行参数配置后，执行连接测试；

6、步骤s4、基于所述运动轨迹运行脚本控制机械手在钢琴上位移，以进行钢琴模拟演奏。

7、进一步的，所述步骤s1具体为：

8、获取待演奏的钢琴乐谱的乐谱图像，对所述乐谱图像依次进行至少包括灰度化、二值化、滤波的操作，再对所述乐谱图像进行剪裁以剔除背景，进而完成图像增强的预处理，接着通过图像识别技术将所述乐谱图像转换为指位表。

9、进一步的，所述步骤s2具体为：

10、通过python的open()函数和只读的文件操作模式，使用readlines()方法将所述指位表中的指位信息读取到预设的列表，对所述列表中的各指位信息进行预处理和解析得到对应的指位，基于所述指位设定机械手位移的至少包括坐标、时间戳以及速度的轨迹参数，基于各所述轨迹参数实时生成机械手的运动轨迹运行脚本。

11、进一步的，所述步骤s3具体为：

12、通过2g通信模块、3g通信模块、4g通信模块、5g通信模块、nb-iot通信模块、lora通信模块、wifi通信模块、蓝牙通信模块、zigbee通信模块或者有线通信模块与指腹部设有硅胶套的机械手建立连接，并进行至少包括ip地址、端口号、机械手型号的参数配置后，向机械手发送测试指令，接收机械手反馈的应答通知，对所述应答通知进行校验以执行连接测试。

13、第二方面，本发明提供了一种基于机械手的钢琴演奏系统，包括如下模块：

14、指位表生成模块，用于获取待演奏的钢琴乐谱的乐谱图像，通过图像识别技术将所述乐谱图像转换为指位表；

15、指位表转译模块，用于通过python将所述指位表转译为机械手的运动轨迹运行脚本；

16、机械手连接模块，用于与指腹部设有硅胶套的机械手建立连接并进行参数配置后，执行连接测试；

17、钢琴模拟演奏模块，用于基于所述运动轨迹运行脚本控制机械手在钢琴上位移，以进行钢琴模拟演奏。

18、进一步的，所述指位表生成模块具体用于：

19、获取待演奏的钢琴乐谱的乐谱图像，对所述乐谱图像依次进行至少包括灰度化、二值化、滤波的操作，再对所述乐谱图像进行剪裁以剔除背景，进而完成图像增强的预处理，接着通过图像识别技术将所述乐谱图像转换为指位表。

20、进一步的，所述指位表转译模块具体用于：

21、通过python的open()函数和只读的文件操作模式，使用readlines()方法将所述指位表中的指位信息读取到预设的列表，对所述列表中的各指位信息进行预处理和解析得到对应的指位，基于所述指位设定机械手位移的至少包括坐标、时间戳以及速度的轨迹参数，基于各所述轨迹参数实时生成机械手的运动轨迹运行脚本。

22、进一步的，所述机械手连接模块具体用于：

23、通过2g通信模块、3g通信模块、4g通信模块、5g通信模块、nb-iot通信模块、lora通信模块、wifi通信模块、蓝牙通信模块、zigbee通信模块或者有线通信模块与指腹部设有硅胶套的机械手建立连接，并进行至少包括ip地址、端口号、机械手型号的参数配置后，向机械手发送测试指令，接收机械手反馈的应答通知，对所述应答通知进行校验以执行连接测试。

24、第三方面，本发明提供了一种基于机械手的钢琴演奏设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。

25、第四方面，本发明提供了一种基于机械手的钢琴演奏介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。

26、本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

27、通过获取待演奏的钢琴乐谱的乐谱图像，通过图像识别技术将乐谱图像转换为指位表，接着通过python将指位表转译为机械手的运动轨迹运行脚本，与指腹部设有硅胶套的机械手建立连接并进行参数配置后，执行连接测试，最后基于运动轨迹运行脚本控制机械手在钢琴上位移，以进行钢琴模拟演奏；即通过对乐谱图像进行至少包括灰度化、二值化、滤波的操作，再对乐谱图像进行剪裁以剔除背景，以执行图像增强操作，再通过python将由乐谱图像转换得到的指位表转译为机械手的运动轨迹运行脚本，转移过程结合机械手位移的坐标、时间戳以及速度的轨迹参数，以将钢琴乐谱的乐谱信息准确转化为控制指令，通过在机械手的指腹部设置硅胶套以改善机械手与钢琴的接触方式，最终极大的提升了钢琴模拟演奏效果。

28、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种基于机械手的钢琴演奏方法，其特征在于：包括如下步骤：

2.如权利要求1所述的一种基于机械手的钢琴演奏方法，其特征在于：所述步骤s1具体为：

3.如权利要求1所述的一种基于机械手的钢琴演奏方法，其特征在于：所述步骤s2具体为：

4.如权利要求1所述的一种基于机械手的钢琴演奏方法，其特征在于：所述步骤s3具体为：

5.一种基于机械手的钢琴演奏系统，其特征在于：包括如下模块：

6.如权利要求5所述的一种基于机械手的钢琴演奏系统，其特征在于：所述指位表生成模块具体用于：

7.如权利要求5所述的一种基于机械手的钢琴演奏系统，其特征在于：所述指位表转译模块具体用于：

8.如权利要求5所述的一种基于机械手的钢琴演奏系统，其特征在于：所述机械手连接模块具体用于：

9.一种基于机械手的钢琴演奏设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的方法。

10.一种基于机械手的钢琴演奏介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的方法。

技术总结本发明提供了钢琴模拟演奏技术领域的一种基于机械手的钢琴演奏方法、系统、设备及介质，方法包括如下步骤：步骤S1、获取待演奏的钢琴乐谱的乐谱图像，通过图像识别技术将所述乐谱图像转换为指位表；步骤S2、通过Python将所述指位表转译为机械手的运动轨迹运行脚本；步骤S3、与指腹部设有硅胶套的机械手建立连接并进行参数配置后，执行连接测试；步骤S4、基于所述运动轨迹运行脚本控制机械手在钢琴上位移，以进行钢琴模拟演奏。本发明的优点在于：极大的提升了钢琴模拟演奏效果。技术研发人员：姚俊峰,朱承奥,汤泽瑞受保护的技术使用者：厦门大学技术研发日：技术公布日：2024/8/27