輔助聽障兒童音樂教育的可視化方法研究

柳茗千

摘要：本文所介紹的可視化方法的成功之處既在于其優(yōu)美的藝術(shù)設(shè)計(jì)，更在于其通過將音樂轉(zhuǎn)換為圖形從而使聽障兒童也能通過觀察圖形對音樂產(chǎn)生新的理解，并使用圖像處理技術(shù)進(jìn)一步對音樂進(jìn)行對比分析。

關(guān)鍵詞：音頻可視化；數(shù)字圖像處理；聽障學(xué)生教育

中圖分類號：G760 文獻(xiàn)標(biāo)志碼：A 文章編號：1674-9324（2017）01-0275-02

一、可視化技術(shù)在音頻方面的應(yīng)用

1.音頻可視化的定義和常見形式。隨著數(shù)字媒體技術(shù)的興起，我們能將日常生活中所接觸到的信息以更加清楚直觀、更具藝術(shù)性的方式展現(xiàn)出來。音樂可視化是指一種以視覺為核心，以音樂為載體，以大眾為訴求對象，借助多種新媒體技術(shù)等傳播媒介，通過畫面、影像來詮釋音樂內(nèi)容的、視聽結(jié)合的大眾化傳播方式。它能為理解、分析和比較音樂藝術(shù)作品形態(tài)的表現(xiàn)力和內(nèi)外部結(jié)構(gòu)提供一種直觀視覺呈現(xiàn)的技術(shù)。盡管聽障人士不能像我們一樣聆聽音樂，但音樂傳達(dá)出的數(shù)據(jù)之美卻能轉(zhuǎn)化為圖形，同樣為聽障人士所享受。

傳統(tǒng)的方式常用頻譜圖或波形圖進(jìn)行音樂可視化。音樂的頻譜圖是指某一單音信號（即瞬間聲音的聲波）通過物理方式的轉(zhuǎn)換，獲得的以振幅（即音量的大小）為縱軸，頻率為橫軸的頻率成分分布的圖像。[3]頻譜只能表現(xiàn)瞬間的頻率震動(dòng)，不能對整首歌曲進(jìn)行宏觀的把握。多數(shù)音頻可視化也都是采用類似的方式對每個(gè)時(shí)間片采樣到的數(shù)據(jù)進(jìn)行可視化，并以更加藝術(shù)化的方式呈現(xiàn)出來，其關(guān)聯(lián)的數(shù)據(jù)都是頻譜。音頻處理軟件中使用的音頻波形圖也是一種音樂可視化，它能讓人一目了然的對整個(gè)音頻的走勢和特征有大體的掌握，但更適用于數(shù)據(jù)處理和分析，缺少動(dòng)感和觀賞性。

2.音頻可視化對于聽障兒童音樂教育的重要意義。音樂教育對于特殊兒童非常必要，它的目的不僅是彌補(bǔ)特殊兒童聽說能力的缺失，更在于通過音樂欣賞嘗試體會(huì)正常人能感受到的美好，增強(qiáng)自信和表達(dá)、理解能力，釋放不良情緒，改變孤獨(dú)、自閉的行為方式。[2]音樂活動(dòng)能使他們在愉快的心情下忘卻自己的缺陷，主動(dòng)與他人合作、交流，提升兒童的感知能力、認(rèn)知能力、記憶力、思維能力、想象力和創(chuàng)造力等方面，促進(jìn)身心和諧發(fā)展。[4]

聽障兒童不能直觀的感受音樂，通常利用“通感”（使感覺轉(zhuǎn)移，將人的聽覺、視覺、嗅覺、味覺、觸覺等感覺相交換，將甲感覺用于表示乙感覺）的形式將音樂帶給正常人的感受以另外一種形式表現(xiàn)出來，對聽障兒童進(jìn)行音樂教學(xué)。現(xiàn)在常見的聽障兒童音樂教學(xué)法有通過感受物體振動(dòng)傳達(dá)節(jié)奏概念的“律動(dòng)教學(xué)”、通過手語歌詞理解音樂內(nèi)容、結(jié)合律動(dòng)教學(xué)練習(xí)舞蹈的音樂教育等等。越來越多的“別樣形式的音樂”正幫助聽障兒童更好地認(rèn)識音樂，感受音樂。

二、一種新的音樂可視化實(shí)現(xiàn)方法

1.用Web Audio Api提取音頻信息并進(jìn)行可視化。本文介紹的方法基于Web Audio Api，獲取音頻數(shù)據(jù)的方法是用audio標(biāo)簽將音樂嵌入網(wǎng)頁，并設(shè)置analysernode（分析節(jié)點(diǎn)）對網(wǎng)頁上的音頻數(shù)據(jù)進(jìn)行實(shí)時(shí)解析。Canvas實(shí)時(shí)繪制每個(gè)時(shí)間片的采樣數(shù)據(jù)，觀察者既能經(jīng)歷圖形創(chuàng)建的過程，又能在歌曲結(jié)束之后對整首歌有宏觀上的體會(huì)和把握。

圖2.1所示的可視化用一個(gè)正十邊形的雷達(dá)圖將音頻的頻域由高到低分成十個(gè)部分，并將音頻數(shù)據(jù)映射到其中，反應(yīng)每個(gè)部分的能量大小，數(shù)字標(biāo)號示意了由低頻到高頻的排列順序。繪圖點(diǎn)距離原點(diǎn)距離越遠(yuǎn)表示該分段能量越大。這種可視化方法利用了不同音源發(fā)聲頻率不同的原理，后面的分析與比對也將基于這樣的數(shù)據(jù)提取。圖2.2展示了其中兩個(gè)在網(wǎng)頁中將雷達(dá)圖放在藝術(shù)場景中進(jìn)行觀賞的情形。將繪制路徑顏色與背景相搭配，在播放音樂的同時(shí)進(jìn)行繪畫，這何嘗不是一種藝術(shù)創(chuàng)作呢？通過在精心制作的場景中觀察圖形的變化，聽障兒童可以感受到音樂的律動(dòng)，并根據(jù)圖形的意義體會(huì)音樂內(nèi)容。

圖2.3所示的可視化是對當(dāng)前時(shí)刻的頻率進(jìn)行采集、計(jì)算并以順時(shí)針掃描的方式繪制。每個(gè)瞬間在畫布上留下的痕跡拼湊起來可以像拼圖一樣展示出一幅比較完整的畫卷。《舟山鼓樂》是一首只有鼓聲參與其中的音樂，由于其聲音的不連續(xù)性，造成多個(gè)連續(xù)的峰，每一聲鼓點(diǎn)的可視化結(jié)果都如一個(gè)花瓣般非常美麗。聽障兒童據(jù)此可以體會(huì)到音樂的美好，彌補(bǔ)身體上的缺憾。

2.以C++為基礎(chǔ)用MFC比對獲取的圖片信息。分析用數(shù)據(jù)采用了圖2.1所示的雷達(dá)圖。由于每一幀的繪圖結(jié)果都疊加在一起，為了對能量大小做加成平均得到平均路徑，繪圖時(shí)設(shè)置了透明度。計(jì)算時(shí)由中心點(diǎn)沿著分段的分界線發(fā)出十條射線，將黑色的深淺作為加成的權(quán)重。得到平均路徑后即可將兩首歌進(jìn)行比對（如圖2.4-2.5所示），同一首歌的兩個(gè)版本差異最小，同一位歌手風(fēng)格相近的歌曲其次，而風(fēng)格、內(nèi)容相差較大的兩首歌很有可能在不同的頻段各有發(fā)揮，如純音樂能量較小，主要集中在中低頻，而熱情奔放的流行樂和電子樂在低頻和高頻部分都大有作為。

3.建立音頻數(shù)據(jù)庫對音頻內(nèi)容進(jìn)行推測。目前有很多音樂檢索的方式，包括基于音頻分析和索引的內(nèi)容檢索法、基于情感語義相似度的音樂檢索、基于歌曲屬性關(guān)鍵字的文本匹配法等。[1]這些方法通過提取歌曲中的聲學(xué)特征，基于音頻內(nèi)容對音樂進(jìn)行分類和檢索，這說明歌曲中的情感和語義是可以由科學(xué)的方法分析出來的。基于這個(gè)原理，本文用人工標(biāo)注法構(gòu)造音頻數(shù)據(jù)庫，將不同頻段的能量大小作為區(qū)分不同類型音樂的識別特征。將同一標(biāo)簽的多首樂曲數(shù)據(jù)進(jìn)行平均以達(dá)到訓(xùn)練的目的。圖2.6展示了此方法的初步實(shí)驗(yàn)結(jié)果。

三、對相關(guān)方向發(fā)展的展望

本文所介紹的方法優(yōu)點(diǎn)在于新穎獨(dú)創(chuàng)，有藝術(shù)性，缺點(diǎn)在于提取數(shù)據(jù)麻煩，人工參與部分多，數(shù)據(jù)庫太小，因此準(zhǔn)確性尚且較差。目前對于音樂內(nèi)容的提取及可視化研究還比較少，但“聽歌識曲”，“哼唱搜索”等基于音頻內(nèi)容分析的音樂檢索已經(jīng)越來越多的出現(xiàn)在音樂軟件中。相信未來從音頻中提取更多信息的技術(shù)一定大有所為。筆者作為本科三年級學(xué)生，學(xué)識和技巧實(shí)在有限，但希望本文提出的觀點(diǎn)能夠拋磚引玉，引發(fā)更多學(xué)者和專業(yè)人士對聽障兒童音樂教育的思考和認(rèn)識，不斷完善相關(guān)領(lǐng)域的研究，為聽障兒童帶去福音。

參考文獻(xiàn)：

[1]周利娟.基于情感語義相似度的音樂檢索模型研究[D].大連：大連理工大學(xué)，2011.

[2]孟妍妍.淺論聾啞兒童音樂教育[J].研究生論壇，2009，（11）：80-81.

[3]成蒙.從音樂到圖形——音樂信息的可視化研究[D].西安：西安美術(shù)學(xué)院，2014.

[4]吳躍躍李平平喻秋蘭.特殊兒童音樂教育的性質(zhì)、特點(diǎn)及教育價(jià)值[J].中國音樂教育，2008，（11）.

Visualization Method Aid Music Education in Hearing-Impaired Children

LIU Ming-qian

（School of Information Science&Technology of BJFU （Beijing Forestry University），BeiJing 100083，China）

Abstract：As described in this article，the success of this visualization method lies in both its beautiful art design，and more in its convertion of music into graphics so that hearing impaired children can reach a new understanding of music by simply observing the graphics.This article also introduced how to use digital image processing technology to step forward on comparing and analyzing the difference between music.

Key words：music visualization；digital image processing；Hearing-Impaired student education