第二十届中国虚拟现实大会 (ChinaVR 2020)

207 / 2020-09-08 17:27:27

“灵手千曲”--基于AI+AR的手势钢琴教学系统

增强现实,钢琴教学系统,机器学习,真人手势生成

竞赛作品 > 02 未来虚拟现实产品创意组

钢琴作为一项广受欢迎的乐器，有着庞大的教学需求市场。近年来，随着软件技术、信息技术的发展，许多钢琴教学软件纷纷面世，其中佼佼者也受到广泛的欢迎。然而，观察发现，市面上的钢琴教学软件通常局限于桌面式二维图像显示。对这些只有曲谱音符标记的软件由于缺乏对于弹奏手势的示范和矫正，初学者难以跟弹，也无法掌握基本功。因此，他们对于初学者起到的帮助有限，甚至是十分不利的。另有少数利用真人弹奏视频演示的软件，演奏视频都受二维视角局限，且可选择练习的曲目不够丰富，不能做到想学的曲目都能找到示范。 在此背景上，本项目组考虑应用AR(Augmented Reality）技术，实现智能模拟真人弹奏的钢琴教学系统。做到曲目内容上不受限--任何有midi文件的曲目都可以提供手势示范以供练习；视角上不受限--3D建模双手，VR头戴式显示器输出，360°观察每个动作细节。同时我们在实现上力求简洁，实现端对端系统。 综上，本项目旨在完成一个交互式的增强现实钢琴教学系统。系统由两个主要模块组成：1.MIDI 至 弹奏手势模块：通过机器学习算法，自动为钢琴曲的MIDI文件，标注弹奏的指法；提出了自动转换算法，将标注了指法的MIDI文件转化为3D演奏动画。2. 动画-AR交互模块：将弹奏钢琴的3D动画通过头戴式显示器叠加在真钢琴上。此外，可应用USB-MIDI接口技术对用户弹奏进行检错报错，最终实现交互式AR钢琴教学系统。