您现在的位置是:首页 >动态 > 2021-03-07 13:22:00

人工智能可以识别和评估小提琴手的弓步动作

在播放音乐时,手势非常重要,部分原因是它们与音乐家的声音和表现力直接相关。今天,技术存在捕获运动并且能够非常精确地检测手势细节。在本月3月发表在心理学前沿的研究中,David Dalmazzo和RafaelRamírez是UPF信息和通信技术部(DTIC)音乐技术组(MTG)音乐和机器学习实验室的成员,人工智能根据表演者的动作自动分类小提琴弓手势。

“我们录制了由专业小提琴手演奏的七种代表性弓技术(Détaché,Martelé,Spiccato,Ricochet,Sautillé,Staccato和Bariolage)的动作和音频数据。我们从右前臂获得了关于惯性运动的信息,我们将其与音频录音,“该研究的作者达尔马佐和拉米雷斯解释说。

系统识别小提琴手的鞠躬技术,准确率为94%

本研究中使用的数据可在在线公共存储库中获得。在提取了有关运动和音频的信息特征后,研究人员训练了一个系统来自动识别用于拉小提琴的不同弓技术。该模型可以确定所研究的不同技术的准确度超过94%。结果使得该工作能够应用于实际的学习场景,其中小提琴的学生可以从系统实时提供的反馈中受益。

本研究是在TELMI(乐器技术增强学习表现)项目的框架内进行的。其目的是研究技术(传感器,多模态数据,人工智能和计算机系统)如何改善音乐学生的实践,帮助他们专注于良好实践的精确开发,特别是在融入新的音乐技能时。

以小提琴为案例研究,该项目的主要目标之一是为学生提供实时反馈,并让他们将自己的表现与领先专家的表现进行比较。“我们的研究结果已经推广到其他乐器并应用于音乐教育环境,”该项目首席研究员RafaelRamírez补充道。