人工智能玩轉音色 以亞歷山大·舒伯特《合流》為例

文字_薛蕙心

在音樂創作領域，人工智能的加持在技法、效果與理念等方面都為作曲家提供了更多的可能性。“音色”這一音樂作品中較為復雜的參數，在人工智能技術的輔助下得以在一定程度上被分析與復現。德國作曲家亞歷山大·舒伯特（Alexander Schubert）在2020至2021年創作的《合流》（Convergence），正是一部為弦樂合奏與人工智能而作的作品。該作品采用了自編碼器（Auto Encoder）的音色合成技術，產生了獨特的音色效果。作曲家通過這一技術，表達了人與人工智能之間在某種程度上的“合流”。

基于人工智能的音色合成技術

人工智能技術參與音樂創作并不是近幾年才出現的，相關研究與實踐表明，這項技術很多年前就已開始應用在音樂創作中。聚焦當下，人工智能參與音樂創作的主要原理是運用遺傳算法、神經網絡、馬爾科夫鏈和混合型算法等，將音樂作品中一些能夠總結、量化出的規律“投喂”給計算機，給計算機制定規則并建立包含海量“學習素材”的數據庫，計算機會進一步分析素材的各項特征信息，在此基礎上生成新的音樂。在這個過程中，研究者們嘗試使用計算機從多種維度分析、模仿、學習構成作品的音樂元素，如音高、節奏、結構等，以此參與音樂創作。

相比其他音樂元素，計算機對音色的分析與復現更為困難。探究單個音符的音色往往需要依賴其他參數特征，例如音量、時間甚至是演奏法等。基于生成對抗網絡（Generative Adversarial Network）的方法能夠將一件樂器的音色轉化并映射到另一件樂器，但它本身不夠靈活，無法對音色進行建模。為了實現可控的音色建模，我們需要使用基于自編碼器的神經網絡。基于自編碼器模型的神經合成器（Neural Synthesizer）是著名的神經音頻合成（Neural Audio Synthesis）模型，它可以使用隱空間的插值（interpolation）來對音色進行建模，將多個聲音輸入編碼器，將輸出結果按一定比例混合后給到解碼器，即可合成新的聲音。

圖一 自編碼器原理圖示

眾所周知，目前人工智能視域中比較常用的幾種音色合成技術均為“編碼——解碼”的結構。相比傳統模型，“編碼——解碼”結構的靈活性體現在其能夠直接選擇合成哪幾種聲音，并控制其合成比例。如作曲家想要實現A音色到B音色的轉換，只需要使用A音色的編碼器和B音色的解碼器即可完成，而其他一些音色合成技術都需要選定好A與B音色的種類，再訓練A到B音色合成的模型才能夠實現。如果想更進一步，實現A、B、C三種音色的互相轉換，“編碼——解碼”結構同樣只需要訓練三個模型，再將它們按需組合即可，其他技術則通常需要訓練六種模型，即AB、AC、BA、BC、CA、CB。因此“編碼——解碼”結構能夠更靈活地控制和影響輸出的結果，從而解決音色合成中“是否可控”這一問題。

自編碼器是一類在半監督學習和非監督學習中使用的人工神經網絡（Artificial Neural Networks），其功能是通過將輸入信息作為學習目標，對輸入信息進行表征學習（representation learning）。它是深度學習中的一種常用的生成算法，常被運用于計算機視覺與自然語言處理任務中，例如圖像去噪、圖像恢復、圖像生成、降維和文本生成等。

圖一展示的便是自編碼器的工作原理。編碼器（Encoder）首先將原始數據映射到較低維度空間中，神經元逐漸減少的過程是其中的關鍵。從圖中我們可以看到，隱空間（Latent Space）是編碼器運算的結果，是對輸入數據的特征提取，以低維數據來代表輸入的數據。例如訓練人聲的自編碼器，編碼器并不需要額外的音色信息來表示人聲的數據，便可直接將原始的人聲數據（波形或語譜圖）映射為一個低維數組，從而表示原始的人聲數據。而解碼器（Decoder）是對編碼過程的反轉，使用較低維度數據去創造較高維度數據，由此得到最終的輸出數據，例如訓練人聲的自編碼器時，解碼器會盡可能去還原原始的人聲數據來優化其自身。

自編碼器的優勢在于其能夠從數據樣本中進行無監督學習，算法能夠直接從原始數據中捕捉到最顯著的特征。就好像是給一個人看一張貓的圖片，然后要求他在一段時間后畫出那只貓，通常他會畫出貓的兩只眼睛、三角形的耳朵和長長的胡須，這就是所謂提取到的最“顯著”的特征。

亞歷山大·舒伯特的《合流》

德國作曲家亞歷山大·舒伯特出生于1979年，在漢堡音樂戲劇大學獲得多媒體作曲博士學位，任教于漢堡音樂學院，其作品曾在維也納現代音樂節中演出。

他的作品以實驗性音樂為主，因在作品中巧妙使用技術手段展現出了超前、先鋒的藝術理念而受到關注。他常在作品中使用多媒體、傳感器、交互、人工智能等技術手段，并將爵士音樂、電子音樂等風格融入其中，如為小提琴、傳感器、現場電子設備和現場視頻而作的《首選武器》（Weapon of Choice），為配備傳感器的合奏和現場電子設備而作的《嚴肅微笑》（Serious Smile）和裝置藝術《圓滿輪回》（A Perfect Circle）等，其對技術的大膽使用和獨特的藝術效果給人留下了深刻的印象。

近幾年，許多音樂創作者都試圖將人工智能融入自己的作品，亞歷山大·舒伯特也不例外。《合流》是一部成功地將人工智能應用在音樂創作中的作品，其中具有典型性的基于自編碼器的音色合成技術尤其具有分析與研究的價值。

亞歷山大·舒伯特在作品簡介中寫道：《合流》使用了人工智能的概念來學習人類音樂家的特征，根據演奏錄音來重建新的實體。在這部作品中，演奏家與人工智能生成的對應部分進行交互，他們看到自己的轉換與重塑。從隱喻的角度，作品展示了一個被構造和參數化的世界。機器感知和人類世界感知之間的摩擦是解決自我流動性和感知限制問題的起點。

《合流》中基于自編碼器的音色合成技術實現過程

在創作這部作品之前，作曲家的構想是探索、創造新的聲音與視覺形態，演奏者能在作品中和使用人工智能技術創建出的實體相遇、互動、協同演出，并在作品中展現出人工智能技術捕捉的過程。

在聆聽作品時，我們能夠發現許多新奇聲音的存在，例如尖叫的小提琴、像樂器一樣夸張的人聲以及一些“像樂器又好像不是樂器”的聲音。作曲家將許多弦樂與人聲的聲音片段，包括弦樂的演奏法、歌聲、說話聲和尖叫聲等輸入到計算機中，讓其進行學習，由此訓練出多個弦樂與人聲的“聲音模型”。在此學習過程中，編碼器會分析出每個聲音片段中最獨特且區別于其他聲音的代表性特征。除此之外，聲音的“共性特征”也會被整個自編碼器學習并記錄。

圖二 “人聲尖叫聲”音頻語譜圖

圖三 “小提琴演奏聲”音頻語譜圖

圖四 “人聲尖叫聲”與“小提琴演奏聲”音色合成后的音頻語譜圖

圖五 創作團隊為《合流》研發的音色合成工具

在《合流》這部作品的創作過程中，自編碼器模型主要做了兩件事：音色復現與音色遷移，可統稱為音色合成。音色復現為分析學習聲音特征，訓練自編碼器模型還原聲音。在復現過程中，模型會一遍遍地比較復現結果與原始音頻，以此進行優化，作品中聽到的一些“像樂器又好像不是樂器”的聲音大多就是音色復現的結果。而音色遷移的實現則更依賴于作曲家的音頻庫。若原素材為一個“人聲尖叫聲”與一個“小提琴演奏聲”，那么人聲的編碼器模型將提取該聲音的個性特征，并將此數據存于隱空間中，然后再輸入給小提琴模型的解碼器。由此生成的聲音，聽感上便像是“尖叫的小提琴”。

從圖二、圖三、圖四這幾張音頻語譜圖中可以發現，合成后音頻的中高頻能量比人聲音頻更加飽滿，且具有不同的泛音特征。這些參數變化，一方面與合成后的聲音音色具有小提琴特征有關，另一方面也與模型特征有關。

為了方便音色合成的實現，創作團隊研發了一個音色合成工具，操作界面如圖五所示。在此過程中，團隊對自編碼器特定模型進行訓練，模型包含錄制的大量不同演奏技巧的聲音數據，然后通過上述計算機訓練過程對代表這些演奏技巧的模型進行訓練。在基于訓練的模型界面中，“audio loader”部分顯示加載的聲音，“latent series”部分表示在隱空間中對聲音進行編碼。接下來，想要用何種聲音來展示這段加載聲音的個性特征，只需將其放入該聲音模型中即可。

“人工智能”在《合流》中的藝術化呈現

《合流》時長為三十四分二十五秒，其中的元素包括弦樂演奏者的現場演奏和表演，以及計算機處理后的聲音與視覺等。

圖六 演奏者面對攝像機，向計算機輸入“小提琴演奏”的聽覺與視覺信息

作品結構大致可分為三個部分（存在過渡與交錯的部分）。開頭至第十二分鐘左右為第一部分，由計算機播放指令，演奏者根據指令完成相應行為，向計算機輸入數據；第十二分鐘左右至第二十分鐘左右為第二部分，多角色進行相遇、對話與碰撞，包括現場演奏與人工智能生成的聲音之間、人類音樂家與計算機之間等，作品中的元素明顯增多；第二十分鐘左右至結尾為作品第三部分，這一部分蘊含了作曲家對人類、人工智能、世界、宇宙等問題的思考。

我們都知道，人工智能深度學習需要收集大量的數據，這是一個枯燥的過程，而《合流》的獨特之處便在于將此過程搬上了舞臺，使之成為最終呈現的一部分。在作品第一部分，由預置的一個機械化的女聲發出“下弓”“上弓”“重復”“放慢”“加快”等指令，演奏者面對攝像機根據指令完成演奏。如圖六所示，畫面以攝像機的視角呈現，畫面下方顯示其演奏聲音的各個參數。

在此過程中，演奏者仿佛進入了近似恍惚、冥想的狀態，所有演奏均聽從指令執行，純粹地面對計算機展示自己，并接受著計算機的掃描和讀取。這一過程像是演奏者與計算機之間的一種互動：計算機通過這些指令向演奏者發出請求，而演奏者也在指導計算機進一步了解我們。

這個過程讓我想起，當我們剛剛開始學習演奏一件樂器時，老師會手把手教我們如何去演奏，如“下弓”“上弓”分別是什么，應當如何操作。我們在學習過程中會根據自己的理解和認知，聽、看、模仿，從而領悟并“內化”其中的要領。老師與我們的這種關系，現在似乎被放到了演奏家與計算機之間。但此刻，演奏家與計算機之間究竟是誰在向誰學習，答案似乎不是確定的。正如作曲家所說，計算機正在觀察我們，而我們也在試圖去理解計算機是如何觀察我們的，如何在其內部用數據分析、表示音樂，并在一遍遍學習中不斷優化與比較。計算機似乎擁有與人類相似的思維方式，包含“輸入”“分析”“映射”這些過程，每一步都十分重要且必不可少。

作品中許多以“計算機視角”發出的聲音都使用了人聲的音色，包括第一部分與第三部分計算機的指令與提問，以及出現于第二部分的許多合成聲音的音色。個人認為從藝術處理的角度來講：一是作曲家對計算機的一種擬人化的藝術處理，以突出計算機在作品中的“角色感”；二是用音樂暗示計算機與人類思維方式的相似性，計算機也在觀察人類，學習、模仿人類的行為，模仿人類音樂家的演奏。

《合流》十分三十秒處的畫面

在作品的第三部分，出現了許多包含作曲家思考的句子，如“這究竟是一個夢境，還是一種清晰的感知？……所有感知都是經過重建的，沒有哪種呈現是絕對化的……我們是參數化的，所有參數都可以被替代……我在一個永恒的循環中對自己進行編碼與解碼，放大所有的特征……”預置音頻以計算機的身份播放出這些句子。

關于人類對事物的感知問題，大量心理學與神經科學研究顯示，人類對自我的感知模式也是一個參數化的模型。人類思考的過程往往發生在潛意識情況中，對一些現象、概念或身份的認知常常過于絕對化。而通過人工智能重建的模型是具有可塑性的，例如自編碼器的表達可以被人為調整，可以編輯與轉換，使之發生變化。從這個意義上來說，人工智能系統實現了這種可塑性：不同的人、角色特征、評價或性別等，代表其特征的參數可以從社會、臨床或生物等許多角度進行改變。人工智能系統用于實現這種改變，告訴人們對事物的認識不應當是絕對化的。

人工智能就像一面鏡子，反映了人類感知事物的一部分過程與特征，鏡子里所發生的與人類構建認知的過程相平行。因此從某種意義上講，對人工智能及自編碼器程序的應用可以讓我們從一個新的角度去認識世界、認識自己。而這種思維方式或是觀點，究竟是人類引領的，還是計算機驅動的？這部作品中存在的對這些問題的思考與隱喻，是對它們的一種開放式的展現，作曲家并沒有在作品中給出絕對的答案。

關于《合流》這部作品，亞歷山大·舒伯特在聲音層面的創意為“音色合成”，基于自編碼器的音色合成技術較為靈活而可控，以此來實現作品中獨特而創新的聲音效果；在呈現上，他將人工智能技術的實現過程搬上了舞臺，讓聽眾清晰地了解到數據是如何進行輸入，計算機是如何分析學習的；在理念層面，作曲家表達了人與人工智能之間在“感知”與表現力等方面的“合流”。

這部作品是在智能化環境下對人類本身具有的感知力和表現力的一種形式化展示，在此過程中引發觀眾對人類學習與感知事物過程的聯想、對自我的思考、對人類以及人類外部世界在存在、意識、生命、身份等方面的新的理解。在人工智能越來越多地對音樂創作產生影響的今天，我們除了需要關注技術本身外，也應當對音樂人工智能的美學以及哲學、倫理方面的問題進行跟進。

科技的發展會對音樂的創作、呈現、接受和音樂哲學等產生深遠的影響，人類的音樂藝術也將因人工智能的參與而更加豐富多彩。