許錦生,林嘉宇,周 巍
(國防科學技術大學電子科學與工程學院,長沙 410073)
近年來,隨著生活水平的提高,人們對于樂器學習的熱情逐漸升溫。但就整個社會而言,能夠有資質進行樂器教學的單位或個人畢竟有限,更由于人工教學水平能力的不確定性,以及受到場地時間等的限制,人們傾向于通過各種預先編制了學習教學程序的設備來學習各種內容,比如各種早教機、點讀機、學習機等。如果能夠開發出針對個人的電子樂譜顯示和播放設備,再配合相應的學習功能,那么對于普及樂器學習以及降低樂器學習的難度,可以有很大的促進效果。
這里主要介紹基于電子樂譜顯示技術,配合音樂合成、樂音識別、音樂檢索,設計一個可以進行樂譜顯示、音樂播放、演奏糾錯、自動翻頁和樂譜庫管理的電子設備。
對于音樂的記載,遠古時期,人類采用的是口頭傳唱的方式來傳承。后來人們認識到音樂的規律之后,對音樂有了進一步了解,音樂理論逐漸得到發展,通過使用特殊符號來記錄音樂。進入計算機時代,音樂制作和表現發生了很大變化。1981年,工程師戴夫·史密斯在他的論文中首次提出了MIDI(Music Instrument Digital Interface 音樂設備數字接口)標準。1983年8 月,MIDI 規范1.0 發布。目前基于MIDI的各種應用都很成熟。1994年2 月,一些音樂軟件提供商共同提出了NIFF(Notation Interchange File Format 音樂符號交換文件格式)。它彌補了MIDI 對音樂中的小節、重復、連奏表現力的不足。并且能描述出音樂的各個元素在樂譜中的表現形式。但是由于NIFF是二進制格式,結構復雜,不便應用。2004年1 月Recordare 公司發布了MusicXML1.0 版本。2005年5 月發布了1.1 版,2007年6 月發布了2.0 版。MusicXML 最大的優點在于非常便于網絡在線交流,閱讀方便,結構清晰,對于音樂信息記錄非常規范。比較三種現今使用的數字音樂格式,NIFF 已經于2006年2 月關閉網站,一些以前對NIFF 提供支持的音樂軟件商都放棄了對NIFF的技術支持,因此不適合作為考慮的格式。MusicXML 雖然有很多優點,但是作為新生的格式,應用還不夠廣泛。MIDI 作為使用范圍最廣的格式,不僅具有公開的標準化文件格式,而且網絡上有大量現成的資源可以選用,這個優勢是其它格式不可比擬的。因此在進行格式選擇上,可優先選擇MIDI格式應用。
經過檢索,樂譜的顯示及播放方法主要有以下幾種:
(1)湖北工業大學機械工程學院的舒嵐等人在論文《基于嵌入式系統的電子讀譜器》中提到,使用嵌入式技術,采用S3C2410 處理器構建硬件平臺,利用Platform Builder 定制操作系統,應用Embedded Visual C++,完成基于Windows CE.Net的應用軟件開發。相比較傳統的機械式翻譜器來說,體積小巧、存儲量大、操作簡單、攜帶方便,能很好的解決外出演奏時攜帶樂譜和現場演奏時翻譜的問題。電子讀譜器采用觸摸屏輸入,能夠迅速捕獲、顯示輸入信息,用戶可直接在樂譜上作標記符號,并記錄創作心得;采用腳踏無線遙控開關控制樂譜翻頁,工作可靠且無噪聲;內置節拍器,有利于培養音樂愛好者的節奏感[1]。
(2)東南大學的艾曉輝等人在論文《電子樂譜的設計與實現》中描述,通過使用帶有兩個顯卡及聲卡的計算機,兩個15 英寸的液晶顯示器,MIDI 設備,兩個按鍵開關及其與計算機的接口電路,實現了自動翻譜、選曲等功能。系統包括4 大模塊即顯示模塊、編輯模塊、樂曲操作模塊和翻譜模塊。
顯示模塊的設計包括樂譜顯示和用戶界面兩個子模塊設計,其中樂譜顯示子模塊主要完成將MIDI音樂顯示出樂譜圖形,而用戶界面子模塊用來提供良好的人機交互界面。
編輯模塊有樂譜修改、樂譜打印、總譜分離和分譜綜合四個子模塊。樂譜修改主要實現對樂譜的各種編輯操作功能;樂譜打印模塊完成樂譜的打印功能;總譜分離模塊用來實現由指揮所用的譜(所有演員所用的譜的合成)文件,即總譜MIDI 音樂文件直接產生各個演員所用的分譜MIDI 音樂文件;分譜綜合則是由各個分譜MIDI 音樂文件直接產生總譜MIDI 音樂文件。
樂曲操作模塊主要完成樂曲庫的建立和維護,包括四個子模塊:刪除舊曲、自動搜曲、作曲、選曲。作曲子模塊提供了兩種可供音樂工作人員作曲的方式:通過MIDI 設備邊演奏音樂邊記錄樂曲和通過鍵盤直接輸入樂符后轉化為MIDI 音樂文件。選曲子模塊主要是為了電子樂譜使用者提供方便快捷的選曲操作界面。
翻譜模塊用來完成電子樂譜的核心功能,即自動翻譜,它是通過采樣實際音樂演奏速度來決定翻譜時間。電子樂譜為了在翻譜時提示使用者正在翻頁,提供了兩種可選的動畫翻頁模式:翻書模式、切屏模式。翻書模式是指電子樂譜在翻譜時產生類似人們翻書的動畫效果,產生一次翻譜動作,電子樂譜兩個顯示器的樂譜都刷新。切屏模式是指電子樂譜自動翻譜時,一次只刷新一個顯示屏的樂譜[2]。
(3)山西武藝民發明的“拼對式一步成樂譜排版軟件”通過以類似平時書寫樂譜形式的拼對式樂譜輸入方式實現了樂譜輸入,即將一行樂譜分成上中下三行不同的音樂符號拼對而成。中行是音符、休止符、附點、括號、小節線、反復號和終止線的書寫位置;下行是低音電和代表不同時值的減時線的書寫位置;上行是連線、裝飾音以及強弱、快慢、頓音、吸音等記號的書寫位置。
(4)劉曉翔等人設計并實現了一個支持筆輸入的樂譜編輯器[3],用戶使用筆和書寫板輸入樂譜符號,利用基于網格編碼的單筆畫手勢識別算法識別手勢符號,生成與輸入相應的樂譜,具有實時播放功能。與傳統交互界面的樂譜編輯器相比較,該系統更加符合人們對樂譜的書寫和認知習慣,使樂譜輸入過程變得簡單、自然、高效。
(5)2009年的“Hotpress Show 2009”音樂展覽中展出的“i-tab 選項卡”是一個5 英寸的觸摸屏設備,作為世界上第一個專為吉他手而設的小巧的樂譜顯示器。i-tab的主要功用是顯示樂譜。設計者稱可以把它放在任何吉他床頭的頭部,i-tab 選項卡提供了一個內置4GB的存儲空間,提供足夠的空間來攜帶成千上萬的歌詞。但是實際上i-tab 顯示的內容并不是六線譜或者五線譜,而只是簡單的歌詞和和弦譜。
上述幾種方法是當前樂譜顯示和播放主要使用的方法,都能夠實現樂譜的自動翻頁,有的還可以實現樂譜的播放。但是這些方法都有一些不足。
第一種方法腳踏式翻頁,雖然能夠實現及時翻頁,在處理上也比較簡單,容易實現。但是沒有能夠從根本上解決自動翻頁的問題。翻頁工作仍然需要人工操作,沒有能夠實現智能化翻頁,演奏者仍然需要分心去關注樂譜的翻頁。同時樂譜雖然可以直接使用網絡上現成的樂譜,但是在使用前需要用戶先進行相應的命名更改,以適應設備的引用文件規則。這個設定在樂譜較少時還可以較好的實現,當保存的樂譜量較大時,工作量將增加許多。方法一還能夠實現對樂譜的修改保存,但是這樣的修改和保存僅僅是對圖片的一種處理和保存,不能夠做到將修改保存的內容形成樂音,直觀性不夠好。
第二種方法較好的實現了樂譜的及時智能化翻頁,但是需要使用的器件和設備較多,而且有些功能對于理想設備的設計不是很合適,主要表現在:①電子樂譜主要是單人使用,不需要進行樂譜的總譜分離和分譜結合。同時,電子樂譜的定位為單顯示器的便攜式樂譜顯示和播放設備,因此如果還需要使用一臺配套電腦進行搭配使用,那么對于便攜性來說是很不適宜的。②方法二中僅僅能夠實現樂譜的顯示功能,沒有能夠將所顯示的樂譜數字化,更不用說能夠播放相對應的樂譜樂音。
方法三中武藝民發明的“拼對式一步成樂譜排版軟件”能夠實現樂譜的編輯和打印。但是軟件僅僅只能夠實現樂譜的文本編寫和打印,無法實現樂譜與樂音的匹配。也就是說,創作人員不能夠直接聽到自己當時所編寫的內容的樂音。
劉曉翔等人設計的《支持筆輸入的樂譜編輯器》能夠通過簡單的筆畫手勢來進行音樂創作。雖然作者強調了筆輸入的樂譜編輯器比傳統的交互界面更加符合人們對樂譜的書寫和認知習慣。但是事實上文章中沒有能夠真正的實現符合音樂創作人習慣的所見即所得的創作方式,文章中提出了使用另外定義的20~30個交互手勢命令代替原本的樂譜符號。而這個替代,本身就增加了使用人員的使用難度,不如傳統的交互式樂譜編輯界面直觀。
“i-tab”作為一個在吉他上使用的樂譜顯示器,便攜性毋庸置疑。但是在樂譜顯示上,由于5 英寸屏的顯示限制,導致了i-tab 不可能顯示正常的樂譜。
通過借鑒前人的經驗,作為電子樂譜應該具有顯示功能、播放功能、教學功能、樂譜庫管理功能等四大部分。
一是顯示功能,主要包括樂譜的顯示功能,樂譜的翻頁功能。
樂譜顯示功能是通過顯示器將演奏者所指定的樂譜內容顯示在屏幕上。這里顯示的樂譜將是基于用戶所提供的音頻文件即時生成并顯示在屏幕上的。
翻頁功能是本設備的核心功能之一。可以通過三個步驟來實現。①對樂譜的數字化。輸入設備的信息是MIDI 格式的樂音,通過對MIDI 文件的分析檢索,將MIDI 文件的主旋律音軌抽取出來,形成比照模板。②采集演奏者輸入的樂音。分析處理形成待匹配的數據。③實施翻頁動作。實現翻頁動作采取2 套協作判斷的方法。第一套方法是采集輸入樂音和原始樂音的演奏速度,在每頁固定小節的情況下,可以預估演奏到翻頁觸發點的時間。第二套方法是對比輸入和模板的數據,判斷演奏位置,決定是否翻頁,以及翻頁的時機。兩套方法互相印證,最終決定翻頁動作的實施。
二是播放功能,主要包括播放已經錄制的演奏者的原始樂音,播放顯示的樂譜樂音。
播放功能可以實現兩個目的。一是回放演奏者演奏的樂音,二是播放所顯示的樂譜聲音。通過播放可以做到以下功能。
(1)播放可變速,可以讓使用者慢放樂譜音,通過放慢樂音速度,來熟悉樂曲。
(2)播放可疊加,可以讓使用者將自己的演奏音和樂譜的標準音進行比對播放。一共有2種方式,一是設定左聲道為播放標準音,右聲道為播放演奏音,需要的時候可以提高或降低一個聲道的音量來突出另一個聲道,達到對比的目的。另一種方式可以先播放一段標準音,再播放一段演奏音,前后進行對比。通過對比播放,有利于使用者找出實際彈奏過程中存在的問題。
(3)普通播放功能。包括播放、暫停、停止、重復、上一首、下一首等功能。
三是教學功能,能夠對演奏者演奏的樂音進行糾錯,提高學習的準確性。
糾錯功能的實現是基于演奏樂音和樂譜樂音的比對形成的。可以有2種方式,一是實時糾錯,將出錯的部分在設備相對應的位置顯示出來。另一個是事后糾錯,將演奏者的樂音轉換為樂譜,與原始樂譜共同顯示,突出不同的部分。
四是樂譜庫管理功能,主要包括樂譜的生成、保存、修改、刪除和搜索。
樂譜生成有2種方式,一是通過輸入音樂轉化為樂譜,包括采用導入MIDI 文件和接收外界樂音兩種方式生成樂譜。二是通過人工打譜的方式生成樂譜。
生成的樂譜可以決定是否保存。保存可以實現圖片格式保存和特定格式保存。保存為特定格式的樂譜將自動和源文件鏈接,下次使用時將自動調用。
樂譜的修改,可以在生成的樂譜上進行修改,比如樂音的時值、音高等等信息。
樂譜的刪除,可以將不需要的樂譜刪除。
樂譜搜索可以對哼唱、演奏過的音樂進行識別和檢索,找到需要的音樂。也可以通過輸入搜索項目進行搜索。搜索項目包括樂曲名、作者名、樂曲的一段旋律等內容。
隨著現代科學技術的迅猛發展,數字化革命就像一股強勁的潮流涌入了人們的學習、工作和生活中。電子樂譜在音樂領域取代傳統紙質樂譜的趨勢逐漸顯現。電子樂譜在樂器學習中的作用將體現得更加明顯。可以想象,這樣一個既可以實現樂譜顯示和播放功能又具有學習功能的電子樂譜將比一般的電子樂譜擁有更大的競爭力和生存空間。
[1]舒嵐,徐巍,張業鵬,李莉.基于嵌入式系統的電子讀譜器[J].湖北工業大學學報,2008,23(9):56-58.
[2]艾曉輝,孫大有,劉昊,陸生禮,鄧松亮.電子樂譜的設計與實現[J].電子器件,2001,24(3):228-232.
[3]劉曉翔,張樹生,宋寶華,朱玉璋.支持筆輸入的樂譜編輯器[J].計算機工程與應用,2005,41(4):122-124.
[4]黃志剛,周昌樂,蔣 雋.MIDI 文件主旋律音軌的抽取[J].廈門大學學報,2010,49(1):43-46.
[5]馮國杰,王吉軍.基于分層次聚類的MIDI 音樂主旋律提取方法[J].計算機工程與應用,2009,45(26):233-239.
[6]Recordare LLC.《MusicXML 2.0 Tutorial》[J/OL].Recordare LLC.2010[2011].www.recordare.com.