基于增強現實技術的鋼琴教學系統研究

[摘要]隨著“互聯網+”的推進，計算機輔助教學得到了快速發展，由于鋼琴教學的特殊性，使得鋼琴教學還處在較為傳統的模式，如何使用現有互聯網技術輔助鋼琴教學是現在鋼琴教育研究的重點。本文主要介紹如何將增強現實技術應用到鋼琴教學系統中，將樂譜通過投影輸出到鋼琴琴鍵上，方便演奏者實時觀看，同時將演奏者的音頻數據還原成樂譜進行系統指導或人工指導。

[關鍵詞]增強現實技術；教學系統；鋼琴

中圖分類號：G6135

文獻標志碼：A

文章編號：1007-2233（2016）11-0030-03

近年來，高校信息化的發展作為高校自身發展一部分，越來越受到高校管理者的重視。[1]鋼琴教學的研究在高校也異常火熱，利用互聯網技術輔助鋼琴教學是鋼琴教師從事鋼琴教學的迫切需要。

以增強現實技術為基礎的鋼琴教學系統通過將虛擬琴鍵與實體鋼琴鍵的信息集成，實現鋼琴演奏者的實時交互性，并通過采集演奏者的音頻數據，可以進行系統指導和人工指導。

本文在增強現實技術的基礎開發，將樂譜轉換在按琴鍵序直接投影到實體鋼琴鍵上，來檢測演奏者是否彈錯，并通過分析演奏者音頻數據，實現實時指導。

一、增強現實技術增強現實（Augmented Reality，AR）也稱為混合現實，是指利用計算機技術，將虛擬物體實時地疊加到一個真實畫面或空間，形成具有實時交互的三維圖像畫面，給用戶帶來更真實的體驗與感受。[2]AR通過軟硬件人機交互通道，從視覺、聽覺、運動、觸覺、味覺、嗅覺等方面建立一套感官刺激，與現實世界的感官融合，在現實世界中延伸出新的交互環境。[3]它借助計算機視覺技術、傳感器技術和可視化技術、交互技術等將計算機生成的虛擬圖像或其他信息有機地疊加到用戶所看到的真實世界的場景中，包括視覺、聽覺、嗅覺、觸覺信息等，從而達到超越現實的感官體驗。[4]增強現實技術實現一般框架，由四個部分組成：虛擬圖形渲染、現實實景采集、計算機虛實圖形融合和顯示輸出，如圖1所示。

虛擬圖形渲染將虛擬景物通過圖形渲染技術進行三維呈現，現實實景采集通過圖像采集設備（如3D攝像頭）采集實體場景，計算機虛實圖形融合利用計算機視覺技術將虛擬景物與實景在立體空間通過本給定位進行融合，顯示輸出將融合后場景進行輸出。

二、系統架構

基于增強現實技術的鋼琴教學系統Piano AR架構從下往上分別是：數據采集層、數據處理層、行為指導層和輸出層，如圖2所示。

（1）數據采集層：包括圖像采集和音頻采集。圖像采集，通過多臺3D攝像機采集手指按鋼琴鍵的位置、深淺及腳部動作；音頻采集，通過全向麥克風采集鋼琴演奏音。

（2）數據處理層：包括對鋼琴音律和鋼琴譜的建模、音頻的處理和分析。

（3）行為指導層：包括系統指導和人工指導。系統指導，由數據處理層將指導信息輸出到輸出層；人工指導，由遠程老師進行人工指導輸出信息到輸出層。

（4）輸出層：包括投影界面和音頻輸出。投影界面，將圖形界面投影到鋼琴鍵面上；音頻輸出，并播放所需的音頻流或音頻文件。

三、鋼琴音律和鋼琴譜建模Piano AR系統輸出層的投影界面輸出的影像鋼琴鍵面與實體鋼琴的鋼琴鍵面一一對應，如圖3所示，通過3D攝像機采集到實體鋼琴琴鍵界面，將琴鍵界面傳送到計算機屏幕上，計算機在屏幕上建立一個二維坐標，將虛擬的鋼琴琴鍵界面與實體鋼琴琴鍵界面進行重疊，進而可以通過3D攝像機采集演奏人員的彈鋼琴琴鍵的動作，鋼琴琴鍵建模，如圖4所示。

接下來采集鋼琴演奏的音頻數據，并對音頻數據進行分析，來識別音頻的音高數據。該音頻處理的方法已申請專利，申請號為：2016103808743，如圖5所示。

音高數據的采集是通過基音頻率識別器，基音頻率識別器中含多種音高頻率算法，比如小波變換法、諧波峰值法、倒譜法和并行處理法等來獲取音高數據，依據十二平均律來計算不同鋼琴鍵頻率與對應音高頻率進行比較，可以得到鋼琴演奏的音頻在五線譜的位置，圖6為十二音平均律頻率值示意圖。

從音頻數據到樂譜認識，整個過程可以分為三個階段：音頻數據準備階段、音符識別階段和音名識別階段，如圖7所示。音頻數據準備階段通過音頻采集單元，完成音頻數據采集、消除噪音等預處理工作；音符識別階段通過基音頻率識別器獲得音高數據；音名識別階段根據識別的音高信息與依據十二平均律來計算與之對應的音名。

四、總 結本文提出一種將增強現實技術應用于鋼琴教學Piano AR系統，利用投景技術將虛擬琴鍵投景到實體琴鍵上，通過3D攝像機捕捉演奏者按琴鍵是否與虛擬琴鍵匹配，通過對采集音頻數據進行分析，根據需求進行系統指導或人工指導。

本文下一步要做的研究是實現多個演奏者通過AR進行協調，同步進行鋼琴演奏。

[參 考 文 獻]

[1]胡 銳，胡伏原，陳麗春.基于Hadoop的高校公共數據平臺的構建[J].蘇州科技學院學報，2015（03）：52—53

[2]宋燕燕，曹效業，周 靈.移動增強現實技術在互動展示中的應用研究[J/OL].計算機技術與發展，2016（09）.http：//www.cnki.net/kcms/detail/61.1450.TP.20160823.1359.056.html

[3]王德宇，宋述強，陳 震.增強現實技術在高校創客教育中的應用[J/OL].中國電化教育，2016（10）.http：//www.cnki.net/kcms/detail/11.3792.20161010.1149.038.html.

[4] 孫 源，陳 靖.智能手機的移動增強現實技術研究[J].計算機科學，2012（s1）：493—498

（責任編輯：邢曉萌）