基于多音頻特征提取的音樂可視化方法研究*

孔 娟

（河南理工大學(xué)音樂學(xué)院，河南 焦作 454000）

基于多音頻特征提取的音樂可視化方法研究*

孔 娟

（河南理工大學(xué)音樂學(xué)院，河南 焦作 454000）

音樂作為人們情感表達(dá)的一種獨(dú)特藝術(shù)形式，注重的是對音樂聽眾靈魂上的一種渲染、虛擬現(xiàn)實(shí)世界的一種再體驗(yàn)，這種體驗(yàn)是全方位的，而不僅僅只局限于聽覺。傳統(tǒng)意義上的聽音樂已經(jīng)無法滿足人們對色彩斑斕世界的追求。在當(dāng)前高速發(fā)展下的互聯(lián)網(wǎng)信息時(shí)代，計(jì)算機(jī)技術(shù)蓬勃發(fā)展，音樂可視化日益得到了學(xué)界的研究以及市場的關(guān)注，繼而催生了一系列的可視化應(yīng)用技術(shù)。換言之，聽音樂是一種很自然的事情，但是我們應(yīng)當(dāng)清楚的認(rèn)識到，人們喜愛音樂，源之于音樂的藝術(shù)性、意境性，在這種情形下，視覺上帶來的沖擊往往與單純的聽覺刺激更為強(qiáng)烈，聽眾對音樂與生活的感觸也更加深刻。

多音頻；音樂可視化；頻譜

一、基本概念界定

（一）音樂可視化

可視化是指利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換成圖形或者圖像，并將其顯示在人肉眼可以觀測到的屏幕上，以此來實(shí)現(xiàn)進(jìn)行交互處理的方法、技術(shù)。本課題研究，重點(diǎn)介紹的音樂可視化，則是專指一種以視覺為核心的傳播媒介，將音樂作為傳播載體，借助于計(jì)算機(jī)信息與多媒體技術(shù)，以大眾訴求為對象，通過畫面、影像來詮釋音樂內(nèi)容，最終達(dá)到視聽結(jié)合的大眾化傳播。如此一來，可以為廣大的音樂愛好者、聽眾提供更加直觀的視覺呈現(xiàn)。

（二）音頻特征提取

音樂之所以受到人們的青睞，源于它擁有豐富多樣的特征，而這些特征來源于生活，大多都是普通群眾生活工作中常接觸到的，能夠了解的一些要素，比如，響度、音高、旋律、音色等。除此之外，還有一些是需要經(jīng)過研究才能了解到的，比如，短時(shí)能量、短時(shí)過零率、語譜圖、帶寬等。在日常生活中，人們在欣賞音樂的時(shí)候，一般有兩種音頻類型，第一種屬于自然音頻，例如MP3格式和wav格式；另外一種屬于結(jié)構(gòu)化音頻，也可以稱其為模塊化音頻，例如MIDI格式。關(guān)于自然音頻特征提取，一般都是使用傅里葉變換、加窗、分幀來進(jìn)行預(yù)處理；結(jié)構(gòu)化音頻特征的提取，對于相關(guān)要求比較高，必須了解、分析出音頻特征的規(guī)則和屬性，并對其進(jìn)行翻譯，最終方能得出相對應(yīng)的特征量。

二、基于多音頻特征提取的音樂可視化方法探究

在探索與研究音樂可視化方法及相關(guān)應(yīng)用技術(shù)之前，我們必須搞清楚虛擬現(xiàn)實(shí)與音樂可視化的關(guān)系。首先可以給音樂可視化一個(gè)形象的定義，可以表述為“從音樂到圖形”，換言之，音樂可視化，就是借助于某種傳播媒介或者系統(tǒng)平臺，將音樂信息視覺化。從純技術(shù)的視角來看，音樂可視化也屬于虛擬現(xiàn)實(shí)技術(shù)的研究范疇。在人們需求越來越高的信息化時(shí)代，以往單純的平面與立體圖形已經(jīng)無法滿足人們的需求，以此也就催生了虛擬現(xiàn)實(shí)應(yīng)用技術(shù)，比如大家比較熟悉的一些領(lǐng)域，技能培訓(xùn)、休閑娛樂、建筑設(shè)計(jì)、動畫模擬等。總之，只要有立體圖形的地方，就可以應(yīng)用虛擬現(xiàn)實(shí)技術(shù)。那么可想而知，音樂可視化的本質(zhì)，就是從聲音到圖形，所以自然離不開虛擬現(xiàn)實(shí)技術(shù)。

在多音頻特征提取層面，需要收集音樂的數(shù)字信號，加以整理分析處理。所提取的特征大多數(shù)是普通音樂聽眾不怎么了解的一些“事物”，這也是音樂專業(yè)領(lǐng)域的人群與普通聽眾的水平所在，而音樂可視化的目的正是要將這種“差距”縮小化，讓聽眾更為全面的了解、體驗(yàn)音樂的刺激與魅力。在特征提取上，有短時(shí)平均過零率、短時(shí)平均能量、短時(shí)自相關(guān)函數(shù)、語譜圖、譜質(zhì)心、頻域帶寬等。對于這些無法從音頻信號中直接讀取的數(shù)字信號，需要預(yù)處理。整個(gè)過程為“分幀-預(yù)加重-加窗-靜音幀判別（是/拋棄，否/提取）-結(jié)束”。預(yù)處理環(huán)節(jié)是第一個(gè)環(huán)節(jié)，它是音頻分析的第一步，比較重要。

實(shí)際上，在可視化的過程中，自然音頻特征的提取一般都比較困難，并且數(shù)據(jù)也不夠準(zhǔn)確。因此，多音軌MIDI旋律特征的提取成為了首選。在可視化方法流程的構(gòu)建中，第一步，建立MIDI文本文檔，即一個(gè)文件頭塊/多個(gè)音軌塊，第二步，音樂頭和MIDI事件，音樂頭涵蓋了塊標(biāo)識和快長，而MIDI事件包含了通道信息與系統(tǒng)信息。

在音頻特征提取環(huán)節(jié)，首先是主副音軌特征的提取，挖掘、找尋出特殊的音頻特征，以便更精準(zhǔn)的將輔音軌和主音軌區(qū)分開來。在這里可供利用的幾個(gè)特征有，音高、音長、力度、響度、聲道的平衡度，當(dāng)然，可以提取分析音程比（音程是指相鄰兩音間的高度差，而音程比是指音軌中0-6度音程所占的比重）。其次是MIDI主旋律的提取，可供選擇的方法有三種，我們可以選用最為直接的一種，即將MIDI文件在音軌信息描述部分相關(guān)說明的信息挖掘出來，之后再利用這些信息去除掉其中的干擾音軌。

三、結(jié)語

本文基于多音頻特征體育的音樂可視化方法的探討與研究，結(jié)合著當(dāng)前國內(nèi)在該領(lǐng)域的研究發(fā)展現(xiàn)狀，以及個(gè)人的一些認(rèn)識，簡單表述了一些看法和觀點(diǎn)。本課題研究，提出了問題的關(guān)鍵，即音樂可視化亟待解決的問題，也就是音樂特征的提取問題。有頻率、振幅、音色、音調(diào)、音長、音高、旋律、節(jié)拍，以及新發(fā)現(xiàn)的一些特征，有能量、過零率、頻譜流、帶寬、噪音幀率等。傳統(tǒng)的音樂特征提取技術(shù)，如果單純對每種特征一一提取，費(fèi)時(shí)費(fèi)力，并且效果不佳，不夠現(xiàn)實(shí)。隨著計(jì)算機(jī)信息技術(shù)、媒體技術(shù)的研發(fā)與進(jìn)步，音樂可視化成為了一種可能，并且被廣泛應(yīng)用。

[1] 孫博文,張艷鵬,趙振國,等.基于多音軌MIDI主旋律提取的音樂可視化表達(dá)[J].軟件,2012,33(3):64-66.

[2] 張屹南.音樂可視化設(shè)計(jì)中的多通道映射模式研究[J].設(shè)計(jì)藝術(shù)研究,2014,04:58-63.

[3] 齊蕊源.數(shù)字音樂可視化在交互中的體驗(yàn)與應(yīng)用[J].大眾文藝:學(xué)術(shù)版,2014,18:159-160.

河南省教育廳人文社會科學(xué)青年基金項(xiàng)目研究成果（2015-QN-451）