基于傅立葉變換的音樂(lè)可視化創(chuàng)作方法研究

摘 要 本文研究了基于傅里葉變換的音樂(lè)與視覺(jué)的互動(dòng)形式，提供了一種可視化的方法，這種可視化方法可用于音樂(lè)學(xué)相關(guān)的研究，以及互動(dòng)媒體創(chuàng)造方法中。

關(guān)鍵詞 音樂(lè);可視化;FFT;傅立葉變換

在音樂(lè)創(chuàng)作領(lǐng)域中，近些年出現(xiàn)了探索音樂(lè)與視覺(jué)之間的關(guān)系的研究方向。有很多方法可以將音樂(lè)“轉(zhuǎn)換”為二維（或三維）視覺(jué)效果（圖像，視頻），盡管它們始于手動(dòng)轉(zhuǎn)換，現(xiàn)在有許多自動(dòng)轉(zhuǎn)換的方法進(jìn)行逆向轉(zhuǎn)換（從視覺(jué)到音樂(lè)）的方法較少，主要涉及聲音化而不是輸出音樂(lè)。而且，許多流行的可視化工具都使用聲音而不是音樂(lè)作為輸入（例如，媒體播放器），因此，除了音樂(lè)本身之外，這種可視化還受到樂(lè)器音色和人類演奏的影響。僅將抽象音樂(lè)符號(hào)作為其輸入的可視化將提供對(duì)音樂(lè)結(jié)構(gòu)而不是特定音樂(lè)錄音的一般特征的洞察。

傅立葉變換是檢測(cè)信號(hào)周期性的工具。它在分析音頻和聲音時(shí)非常有用，因?yàn)樗梢栽诙虝r(shí)間內(nèi)（通常為100ms）提供聲音的頻譜。如果在水平時(shí)間線上垂直繪制一組這些頻譜（低頻在底部，高頻在頂部），則將獲得二維頻譜圖。這樣的頻譜圖顯示了隨時(shí)間變化的頻率（音符）和諧波，等效于計(jì)算機(jī)音樂(lè)音序器軟件中使用的鋼琴側(cè)傾圖，但未顯示或編碼較高級(jí)別的內(nèi)部音樂(lè)結(jié)構(gòu)和較長(zhǎng)的周期性。

傅立葉變換（FT）通常顯示信號(hào)的周期性，但是也可以用于將一般的非周期性信號(hào)變換為其傅立葉分量。基于這樣的想法，可以嘗試將FT方法應(yīng)用于音樂(lè)結(jié)構(gòu)本身。在這種情況下，與典型頻譜計(jì)算的FT相比，必須覆蓋更長(zhǎng)的時(shí)間。這樣較長(zhǎng)的時(shí)間窗（一維）FT的輸入信號(hào)可能是音頻信號(hào)本身。這樣的FT頻譜將顯示高頻分量的經(jīng)典FT頻譜（等效于音樂(lè)音符本身），但也有望顯示出此類音符變化的低頻結(jié)構(gòu)（<10Hz）。由于需要較長(zhǎng)的時(shí)間窗（>0.5秒）來(lái)計(jì)算FT，因此對(duì)此的計(jì)算要求相對(duì)較高。一種更簡(jiǎn)單的方法是將一段時(shí)間內(nèi)的音樂(lè)事件單獨(dú)視為此“慢速”FT的輸入，而不是計(jì)算整個(gè)頻譜。這導(dǎo)致了使用二維鋼琴滾動(dòng)圖作為輸入的想法：它們基本上是二維聲譜圖，顯示了音符在設(shè)定的時(shí)間窗口內(nèi)隨時(shí)間的分布。如果將二維FT算法應(yīng)用于該圖，則所得二維FT將顯示與音符隨時(shí)間和音高分布相關(guān)的特征。實(shí)際上，這是應(yīng)用于一維FT（頻譜）的時(shí)間圖的二維FT。

這種FT計(jì)算方法已經(jīng)在20世紀(jì)60年代開(kāi)發(fā)出來(lái)，該技術(shù)已用于諸如語(yǔ)音識(shí)別之類的信號(hào)處理應(yīng)用中，但尚未應(yīng)用于音樂(lè)。本文中研究的是如何將FT用于可視化音樂(lè)。

1算法分析

下列等式中給出了使用復(fù)數(shù)表示法的一維離散FT的基本方程。是離散采樣波輸入，這些方程式以復(fù)數(shù)形式表示。

對(duì)于二維離散FT，必須在輸入數(shù)組的兩個(gè)軸上進(jìn)行求和。二維FT通常用于圖像處理，圖像分析，壓縮和過(guò)濾。在下面的中給出了用于計(jì)算具有點(diǎn)的陣列上的結(jié)果FT的等式。

盡管FT的輸入可以只是虛部為零的實(shí)數(shù)數(shù)組，但生成的FT通常是復(fù)數(shù)的數(shù)組，每個(gè)復(fù)數(shù)也可以顯示為具有幅度和相位的數(shù)組。對(duì)于可視化，通常大小是有意義的變量，但是為了保持輸入要素的正確時(shí)間線關(guān)系，相位也是必不可少的。

一種快速計(jì)算FT的算法是20世紀(jì)60年代開(kāi)發(fā)的快速傅立葉變換（FFT）算法，它可將復(fù)雜度降低到將二維FT計(jì)算為復(fù)雜度。該算法在計(jì)算頻譜的許多應(yīng)用中使用[1]。

2數(shù)字音樂(lè)信息提取

從音頻信號(hào)中提取信息的方法稱為基于內(nèi)容的音頻處理。它是音樂(lè)信息檢索（MIR）的眾多學(xué)科之一，MIR可以從音頻信號(hào)計(jì)算許多特征。由于這些特征描述了音頻數(shù)據(jù)的各個(gè)方面，因此它們被稱為描述符。在音頻處理的上下文中，有三種類型的描述符：低級(jí)描述符是直接或在變換后根據(jù)信號(hào)計(jì)算的。中級(jí)描述符描述了音樂(lè)流派或音調(diào)等特征。用于計(jì)算這種信息的算法將音頻信號(hào)的特征與參考數(shù)據(jù)進(jìn)行比較以用于分類目的。高級(jí)描述符描述了包含語(yǔ)義的特征，如“快樂(lè)”或“悲傷"。由于對(duì)高級(jí)特征的感知是主觀的，因此算法要基于其他歌曲的用戶評(píng)級(jí)來(lái)計(jì)算這些特征。

基于內(nèi)容的音頻處理源是PCM音頻信號(hào)，其首先被分成幀。這些幀表示在信號(hào)的幾毫秒范圍內(nèi)的時(shí)間間隔，是進(jìn)一步計(jì)算的基礎(chǔ)。典型的幀長(zhǎng)約為20ms。在執(zhí)行計(jì)算之前，將處理函數(shù)應(yīng)用于每個(gè)幀，以便將開(kāi)始和結(jié)束處的不連續(xù)性最小化。此外，連續(xù)幀通常有一些重疊，要允許效果更平滑的分析。最后，對(duì)于每個(gè)幀，計(jì)算每個(gè)描述符的一個(gè)標(biāo)量值。

Processing處理核心API不支持音頻，但開(kāi)發(fā)社區(qū)提供了此功能的庫(kù)。其中一個(gè)是Minim，包括聲音訪問(wèn)，處理和分析等功能。Minim支持播放WAV，AIFF，AU，SND以及MP3文件，并提供從處理中訪問(wèn)音頻信號(hào)的方法。它還允許通過(guò)音頻緩沖區(qū)直接訪問(wèn)播放歌曲的信號(hào)，音頻緩沖區(qū)可從左，右和混合區(qū)訪問(wèn)。這些緩沖區(qū)提供對(duì)要播放的下一個(gè)樣本的緩沖和同步訪問(wèn)。因此緩沖器中寫入的音頻幀是特征提取和可視化的基礎(chǔ)。雖然Minim還可以分別訪問(wèn)保存左右揚(yáng)聲器信號(hào)的緩沖區(qū)，但本文討論的可視化僅使用混合緩沖區(qū)，其中包含兩個(gè)通道的混合。當(dāng)通過(guò)Minim.loadFile加載音頻文件時(shí)，可以指定緩沖區(qū)中包含的樣本數(shù)[2]。

3可視化方法

音樂(lè)可視化的一種簡(jiǎn)單方法是以原始形式可視化幀數(shù)據(jù)-即緩沖數(shù)據(jù)。這可以通過(guò)從draw方法內(nèi)部訪問(wèn)混合緩沖區(qū)來(lái)輕松完成。然后可以通過(guò)將緩沖區(qū)長(zhǎng)度映射到窗口的寬度和樣本值來(lái)可視化緩沖區(qū)數(shù)據(jù)，音頻信號(hào)的一小部分圖形，也稱為波形。

Minim提供了一個(gè)可用于實(shí)現(xiàn)轉(zhuǎn)換的STFT。FFT類提供了許多有用的方法，可用于計(jì)算強(qiáng)度平均值或?qū)㈩l帶映射到頻率等。它還可以配置為在轉(zhuǎn)換之前自動(dòng)將漢寧窗口應(yīng)用于緩沖區(qū)數(shù)據(jù)，從而使得結(jié)果平滑。最簡(jiǎn)單的形式是，所獲得的數(shù)據(jù)可以通過(guò)將頻帶的數(shù)據(jù)映射到窗口寬度以及將頻帶的強(qiáng)度映射到窗口的高度來(lái)可視化，這類似于用于波形可視化的方法。

另一個(gè)有用的可視化是頻譜圖，它顯示了信號(hào)的頻率分布如何隨時(shí)間變化。譜圖可以揭示可用于識(shí)別目的的模式。最簡(jiǎn)單的形式是譜圖具有三個(gè)維度：水平軸表示時(shí)間，垂直軸頻率，顏色表示給定頻帶的強(qiáng)度。這意味著特定時(shí)間的頻率由可視化中每個(gè)點(diǎn)的顏色表示。

在Processing中實(shí)現(xiàn)譜圖可視化并不像到目前為止所描述的可視化那樣簡(jiǎn)單。基本上，通過(guò)將表示時(shí)間的計(jì)數(shù)器映射到顯示窗口的水平位置，將頻帶映射到窗口的高度以及將頻帶的強(qiáng)度映射到顏色來(lái)計(jì)算頻譜圖。問(wèn)題是需要在以前的繪制調(diào)用中計(jì)算的數(shù)據(jù)。一種方法是使用諸如LinkedList之類的集合，該集合可以保存在當(dāng)前和之前的調(diào)用繪制期間計(jì)算的頻率數(shù)據(jù)。然后可以從集合中讀取最后的w值（w是顯示窗口的寬度）并使用該數(shù)據(jù)進(jìn)行繪制。可以從集合中刪除較舊的值。這種方法的問(wèn)題在于效率非常低，因?yàn)槊看握{(diào)用繪圖時(shí)都必須訪問(wèn)和繪制wn（n表示頻帶的數(shù)量）值。

解決此類問(wèn)題的方法是基于所謂的屏幕外緩沖區(qū)的使用。在最簡(jiǎn)單的情況下，這樣的緩沖區(qū)只是像素值改變的圖像（PImage類的對(duì)象）。此外，Processing提供了PGraphics類，一個(gè)離屏渲染緩沖區(qū)，支持與Processing相同的繪圖功能，可以像普通圖像一樣顯示。通過(guò)使用緩沖器，以有效的方式實(shí)現(xiàn)光譜圖可視化。首先，初始化具有寬度w和高度n的緩沖器，以及設(shè)置計(jì)數(shù)器c為零。然后，在每次調(diào)用繪制時(shí)，c遞增，并且基于當(dāng)前音頻幀的頻率信息用于繪制離屏緩沖器的c行。然后，緩沖區(qū)顯示Processing的圖像，直到c>w。但此方法最終會(huì)超出緩沖區(qū)寬度，解決方案是在發(fā)生這種情況時(shí)將c重置為零，即開(kāi)始新的迭代。使用此方法，當(dāng)前迭代的值將覆蓋上一次迭代的值。

本文介紹了一種音樂(lè)可視化的方法，它是Processing的眾多應(yīng)用領(lǐng)域之一。討論了如何訪問(wèn)音樂(lè)，通過(guò)計(jì)算機(jī)從音頻數(shù)據(jù)流中獲取信息。介紹了使用Processing音樂(lè)可視化支持庫(kù)，這個(gè)庫(kù)基于FT，可以用于音樂(lè)頻譜的視覺(jué)表現(xiàn)。它提供了一種可逆的方式來(lái)檢測(cè)音樂(lè)的特征和結(jié)構(gòu)，從而提供了可視化和音樂(lè)創(chuàng)作的新方式。

參考文獻(xiàn)

[1] 列阿斯.Processing語(yǔ)言權(quán)威指南[M].北京：電子工業(yè)出版社，2013：51.

[2] Rao K R，Kim D N，Hwang J J.快速傅里葉變換：算法與應(yīng)用[M].北京：機(jī)械工業(yè)出版社，2013：77-78.

作者簡(jiǎn)介

陳玨（1972-），男，江蘇省蘇州人;畢業(yè)院校：東南大學(xué)，學(xué)歷：本科，中級(jí)講師/工程師，現(xiàn)就職單位：蘇州工藝美術(shù)職業(yè)技術(shù)學(xué)院，研究方向：交互設(shè)計(jì)。