一种识别钢琴弹奏错误的方法及系统

    专利查询2026-02-28  4


    本发明涉及钢琴智能教学,特别是涉及一种识别钢琴弹奏错误的方法及系统。


    背景技术:

    1、钢琴初学者在弹奏过程中常见的错误主要包括以下几个方面:手型不正确,手指过于弯曲或伸直、手掌塌陷、手腕过高或过低等,这些都会影响手指的灵活度和力度控制,进而影响弹奏效果;音符读错,对乐谱上的音符识别错误,导致弹奏的音高不准确,过于依赖背谱,缺乏抬头看谱的习惯,影响了视奏能力的培养;节奏把握不准,不能准确按照乐谱上的节奏标记进行弹奏,出现忽快忽慢的情况;速度控制不当,弹奏速度过快,容易导致弹错音,同时也会影响弹奏的韵律感和完整性。因此急需一种识别钢琴弹奏错误的方法及系统来解决。


    技术实现思路

    1、基于此,有必要针对目前的机床定位夹具所存在的问题,提供一种识别钢琴弹奏错误的方法及系统,以消除或改善现有技术中存在的一个或更多个缺陷。

    2、上述目的通过下述技术方案实现:

    3、一种识别钢琴弹奏错误的方法,包括以下步骤:

    4、获取演奏者弹奏钢琴视频,并将所述视频逐帧分解为多个图像帧;

    5、对所述图像帧进行预处理得到处理后的图像帧;

    6、采用动作识别模型对处理后的图像帧进行分析,获取手部动作特征和琴键动作特征;

    7、将所述手部动作特征和所述琴键动作特征分别与琴谱对应的正确手部动作特征和琴键动作特征进行对比,获得对比结果以识别演奏者弹奏是否错误。

    8、优选的,对所述图像帧帧进行图像校正、去噪、增强对比度处理;所述去噪处理包括以下步骤:获得去噪模板并确定所述去噪模板大小和形状;将所述去噪模板在所述图像帧上漫游,并与每个像素点重合;计算所述去噪模板覆盖所述图像帧区域内像素点的灰度平均值;将计算得到的平均值赋给去所述噪模板中心对应的像素点。

    9、优选的,构建动作识别模型的方法包括以下步骤:

    10、基于人体手部模型对处理后的图像帧中的手部动作进行姿态估计,获得手部动作特征;

    11、基于图像识别方法获得琴键动作特征;

    12、基于所述手部动作特征和所述琴键动作特征,采用特征融合网络与分类器构建动作识别模型。

    13、优选的,获得手部动作特征的方法包括:

    14、通过相机标定和背景建模,进行人体手部模型参数信息和姿态的初始化,获得初始化人体手部模型;

    15、提取处理后的图像帧的底层特征,对相邻图像帧间的底层特征进行特征匹配,获得初始动作特征;

    16、将初始动作特征匹配到初始化人体手部模型中,进行手部动作特征姿态估计,获取当前图像帧的手部动作特征。

    17、优选的,对钢琴键盘进行图像采集,提取出键盘的轮廓和每个琴键的位置信息,基于键盘的轮廓和每个琴键的位置信息获取每个琴键按压状态信息和按压时长信息,基于琴键所述按压状态信息和所述按压时长信息获得所述琴键动作特征。

    18、优选的,所述特征融合网络的构建方法包括以下步骤:

    19、使用改进的循环神经网络使所述手部动作特征和所述琴键动作特征时间序列对齐,通过注意力机制整合时间序列对齐后的手部动作特征和琴键动作特征,完成特征融合网络的构建。

    20、优选的,所述手部动作特征包括手指关节点的位置和手掌的姿态。

    21、优选的,所述琴键动作特征包括琴键编号、琴键按压深度、按压的开始和结束时间。

    22、一种识别钢琴弹奏错误的系统,包括:

    23、图像获取模块,用于获取演奏者弹奏钢琴视频,并所述该视频逐帧分解为多个图像帧;

    24、预处理模块,用于对所述图像帧进行预处理得到处理后的图像帧;

    25、动作识别模块,用于采用动作识别模型对处理后的图像帧进行分析,识别出手部动作特征和琴键动作特征;

    26、动作对比模块,用于将识别出的手部动作特征和琴键动作特征分别与琴谱对应的正确手部动作特征和琴键动作特征对比,获得对比结果以识别演奏者弹奏是否错误。

    27、优选的,所述预处理模块包括:

    28、去噪模板获取单元,用于获得去噪模板并确定去噪模板大小和形状;

    29、漫游单元,用于将所述去噪模板在所述图像帧上漫游,并与每个像素点重合;

    30、计算单元,用于计算所述去噪模板覆盖所述图像帧区域内像素点的灰度平均值;

    31、赋值单元,用于将计算得到的平均值赋给去所述噪模板中心对应的像素点。

    32、本发明的有益效果是:

    33、1、提高弹奏准确性:通过精确识别演奏者的手部动作和琴键动作,并与琴谱中的正确动作进行对比,能够及时发现并指出演奏中的错误,帮助演奏者纠正错误,提高弹奏的准确性。

    34、2、个性化教学反馈:该方法能够为每位演奏者提供个性化的反馈。由于识别是基于视频分析,因此可以捕捉到每位演奏者独特的弹奏习惯和问题,从而给出更加针对性的改进建议。

    35、3、减轻教师负担:在传统钢琴教学中,教师需要花费大量时间观察和纠正学生的错误。而这种方法能够自动完成部分纠错工作,减轻教师的负担,使他们能够更专注于教学计划的制定和高级技巧的传授。

    36、4、提升练习效率:通过快速识别弹奏错误,演奏者可以更加有针对性地进行练习,避免在已掌握的部分重复劳动,从而提升练习效率。



    技术特征:

    1.一种识别钢琴弹奏错误的方法,其特征在于,包括以下步骤:

    2.根据权利要求1所述的识别钢琴弹奏错误的方法,其特征在于,对所述图像帧帧进行图像校正、去噪、增强对比度处理;所述去噪处理包括以下步骤:获得去噪模板并确定所述去噪模板大小和形状;将所述去噪模板在所述图像帧上漫游,并与每个像素点重合;计算所述去噪模板覆盖所述图像帧区域内像素点的灰度平均值;将计算得到的平均值赋给去所述噪模板中心对应的像素点。

    3.根据权利要求1所述的识别钢琴弹奏错误的方法,其特征在于,构建动作识别模型的方法包括以下步骤:

    4.根据权利要求3所述的识别钢琴弹奏错误的方法,其特征在于,获得手部动作特征的方法包括:

    5.根据权利要求4所述的识别钢琴弹奏错误的方法,其特征在于,对钢琴键盘进行图像采集,提取出键盘的轮廓和每个琴键的位置信息,基于键盘的轮廓和每个琴键的位置信息获取每个琴键按压状态信息和按压时长信息,基于琴键所述按压状态信息和所述按压时长信息获得所述琴键动作特征。

    6.根据权利要求4所述的识别钢琴弹奏错误的方法,其特征在于,所述特征融合网络的构建方法包括以下步骤:

    7.根据权利要求1所述的识别钢琴弹奏错误的方法,其特征在于,所述手部动作特征包括手指关节点的位置和手掌的姿态。

    8.根据权利要求1所述的识别钢琴弹奏错误的方法,其特征在于,所述琴键动作特征包括琴键编号、琴键按压深度、按压的开始和结束时间。

    9.一种识别钢琴弹奏错误的系统,其特征在于,包括:

    10.根据权利要求9所述的识别钢琴弹奏错误的系统,其特征在于,所述预处理模块包括:


    技术总结
    本发明提供了一种识别钢琴弹奏错误的方法及系统,上述方法包括以下步骤:获取演奏者弹奏钢琴视频,并将所述视频逐帧分解为多个图像帧;对所述图像帧进行预处理得到处理后的图像帧;采用动作识别模型对处理后的图像帧进行分析,获取手部动作特征和琴键动作特征;将所述手部动作特征和所述琴键动作特征分别与琴谱对应的正确手部动作特征和琴键动作特征进行对比,获得对比结果以识别演奏者弹奏是否错误。通过精确识别演奏者的手部动作和琴键动作,并与琴谱中的正确动作进行对比,能够及时发现并指出演奏中的错误,帮助演奏者纠正错误,提高弹奏的准确性。

    技术研发人员:唐懿倾,苏培添
    受保护的技术使用者:广州理工学院
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-34770.html

    最新回复(0)