基于CycleGAN的音頻風格遷移改進方法

王 歡，蔡志偉，許鑫亮，張 豹，吳文益

(大連民族大學 計算機科學與工程學院，遼寧 大連116650)

音樂風格沒有明確的概念，不同語義下音樂風格含義不同[1]，可能是音樂流派，如：古典樂、爵士樂等，也可能是音色、音調的不同，本文研究的音樂風格遷移指的是音樂流派風格的遷移。

音樂是一個1維的時間序列，且音樂的特征信息較多，特征之間連接較為復雜緊密，在提取特征上較為復雜。目前大多數對音頻進行風格遷移的方法都是直接采用的圖像風格遷移的算法。

國際上的科學家研究了復雜的表示和信號處理技術。Engel[2]等人使用GAN通過模擬STFT幅度和相位角來生成音樂音色，但沒有生成特定風格的音頻。Huang等[3]提出的Timbertron通過提取音頻的CQT特征，然后通過CycleGAN對其進行音色轉換。隨后通過訓練好的聲碼器將轉換后的CQT特征轉換成原始音頻。但該方法是在單一音色域上進行風格變換。Noam等[4]提出了一個通用的音樂翻譯網絡，該網絡通過訓練一個WaveNet音樂編碼器和多個WaveNet解碼器來實現音樂音色轉換。該網絡實現了從一種音色域轉換到多種音色域，但是想要實現不同風格，需要訓練多種解碼器，這對機器的算力有較高的要求，當更換風格時又需重新訓練解碼器，不具有泛化性。

針對目前存在的多種音頻風格轉換模型不具備泛化性、計算量大等問題。本文提出了一種CycleGAN音頻風格遷移的改進方法來克服上述模型存在的問題。

1 本文方法

本文采用CycleGAN[5]實現音頻的風格遷移，針對音樂數據的特殊性對CycleGAN進行了改進。生成式對抗網路是Gosodfellow等[6]提出的一類隱式生成模型。CycleGAN模型結構如圖1。它的核心是通過兩個生成對抗網絡的合作組成的。第1組生成對抗網絡是生成器GA→B(從A到B的生成)與鑒別器DB，兩個生成器GA→B和GB→A的目標是盡可能生成對方領域中的圖像以騙過各自對應的鑒別器，鑒別器用于判斷圖像是否屬于指定領域。

圖1 CycleGAN模型結構

1.1 改進的ResNet結構

為了減少計算量，本文在生成器中的ResNet殘差網絡中加入了瓶頸結構如圖2。利用1×1的卷積核[7]，1×1的卷積核能夠減少計算量而不會損失太多原來的信息。上一級輸入通過1×1的卷積核，進行降維同時進行壓縮操作，在3×3的卷積核后面再設置一個1×1的卷積，使其維度與輸入時保持一致。

圖2 瓶頸結構

生成器網絡結構如圖3。通過3個卷積層進行下采樣，輸入到ResNet殘差網絡，ResNet網絡由10個Resnet Block組成，在每一層Resnet layer中加入瓶頸結構，減少計算量同時不會損失太多原來信息。最后通過反卷積進行上采樣還原回原來尺寸。

圖3 生成器網絡結構

1.2 提高生成音頻可信性

為了提高生成音頻的可信性，使生成的音樂更像真實音樂，本文在兩組對抗生成網絡中各增加1個鑒別器。將多領域音樂與通過1個生成器生成的音頻輸入該鑒別器，以使得生成器學習音樂更高級的特性，從而使生成的音頻更具有可信性。增加1個鑒別器后的1組生成對抗網絡如圖4。

圖4 附加鑒別器后的生成對抗網絡

2 實驗結果分析

本文采用不同流派數據集，為實驗模型實用性提供可靠保證。

2.1 數據集及預處理

本文采用的音頻格式為MIDI格式，MIDI音樂就是利用音樂軟件中的音序編輯方法，通過MIDI系統處理合成制作出的計算機音樂[8]。其類似于活頁樂譜的符號音樂，MIDI文件中并不存在波形數據，而是將所演奏的樂曲信息用信息字節來描述。在本文中，使用的歌曲流派有：爵士樂，古典音樂與流行樂，數據集見表1。數據集從YouTube上收集,可以從https:∥goo.gl/ZK8wLW下載。

表1 數據集

首先對數據集進行預處理如圖5。過濾掉錯誤音樂，并將得到的規格音樂轉換成2維矩陣，2維矩陣存放的數據為時間和音高[9]。

圖5 數據預處理

2.2 實驗方法對比

古典音樂與爵士樂的差異在于音高[10]，古典音樂的音高比爵士樂音高高。本文根據這一特點，在進行古典音樂轉換為爵士樂風格時，降低原音頻的音高；進行爵士樂轉換為古典音樂風格時，提高原音頻的音高。

本文將原音頻與轉換后的音頻的音高特征圖繪制出來進行直觀的比對，同時將改進后生成的音頻與傳統CycleGAN生成的音頻進行對比。

為古典音樂音高特征圖如圖6。傳統CycleGAN生成的古典音樂轉換為爵士樂風格音頻的音高特征圖如圖7。本文改進后的CycleGAN生成的古典音樂轉換為爵士樂風格音頻的音高特征圖如圖8。

圖6 古典音樂音高特征圖

圖7 古典轉爵士音高特征圖

圖8 改進后古典轉爵士音高特征圖

從圖7中可以看出實現了音高的降低，但效果不是很好，圖像上與原音頻音高特征圖相比較為稀疏，這是因為通過傳統CycleGAN生成的音頻丟失掉了一部分音高信息，表現在聽覺效果上為音頻不連續。

從圖6中可以看出實現了音高的降低，與傳統CycleGAN生成的音頻音高特征圖，圖7相比音高較低效果更好一些，與原音頻音高特征圖，圖6相比音高信息保留較為全面，且與圖7相比，音高信息保留更多。聽覺效果上更為連續。

爵士樂音高特征圖如圖9，傳統CycleGAN生成爵士樂轉換為古典音樂風格音頻的音高特征圖如圖10。本文改進后的CycleGAN生成爵士樂轉換為古典音樂風格音頻的音高特征圖如圖11。

圖9 爵士樂音高特征圖

圖10 爵士轉古典音高特征圖

圖11 改進后爵士轉古典音高特征圖

從圖10中可以看出實現了音高的提高，但效果不是很好，且傳統CycleGAN生成的音頻丟失了較多的音高信息，導致聽起來不連續。

從圖11中可以看出改進后生成的音頻音高提高效果較傳統CycleGAN生成的音頻音高特征圖，圖10相比較好，且保留較多信號信息，聽起來更為連續。

3 評估指標

生成的音樂既要實現風格的遷移又需滿足人類的主觀感受，為此本文采取主觀評價與客觀評價相結合的方式。

3.1 主觀評價

主觀評價采用國際標準MOS平均主觀意見分，MOS評價標準見表2，即由不同的人分別對原始音頻和通過系統生成的音頻進行主觀感覺對比，得出MOS分，最后求平均分。MOS一般5個等級：很差、差、一般、良好、優秀。

表2 MOS評價標準

本文以發送調查問卷的形式，來實施對音頻遷移效果的主觀評估。共回收了623張問卷。結果如圖12。

從圖12中可以看出本文實現的音頻遷移效果較好。其中良好占40.03%，優秀占33.44%，一般占25.24%，差占0.96%，很差占0.32%。說明音頻風格遷移能夠較好地滿足人們對音樂的主觀要求。

圖12 主觀評價統計圖

3.2 客觀評價

PA(xA)=CA,B(xA)>0.5;

(1)

(2)

另外，對于模型的評估還需看其損失率和正確率。損失越小，正確率越高，模型越好。本文改進的CycleGAN模型當迭代100次時，正確率達88.71%，損失值很小，超出了計算機精度范圍，幾乎為0。

傳統CycleGAN基本在迭代73次時損失值不發生明顯變化；本文改進的CycleGAN在迭代72次時損失值已不發生明顯變化，對比改進前后在不同程度高斯噪聲下迭代70次的損失值見表3。

由表3可以看出該二分類器魯棒性很好、具有很好的泛化性，且改進后降低了損失值，說明改進后在客觀指標上也表現良好。

4 結 語

本文提出基于CycleGAN音頻風格遷移改進方法。在傳統CycleGAN網絡生成器中的ResNet中加入瓶頸結構，可以提高計算速度同時不損失原來信息。本文附加兩個鑒別器使CycleGAN網絡中的生成器可以學習更高級的特性，這有助于規則生成器生成具有多樣性的音頻，使其生成的音頻更接近現實音樂。不論是主觀上MOS評估還是客觀上二分類器評估結果均顯示該模型的音頻風格遷移具有不錯的效果。