基于神經網絡架構的AI音樂定制平臺設計

尹俊恒

人工智能與物聯(lián)網時代的到來，讓越來越多的行業(yè)面臨產業(yè)升級。藝術類行業(yè)由于其審美多樣性及復雜性，一直未能完全實現(xiàn)人工智能化。但隨著數(shù)據(jù)積累量日益龐大，機器算法層次越來越復雜，計算機也比以前更能理解人類的審美品位和創(chuàng)作意圖，進而從大量基礎素材中加工出優(yōu)秀的作品，為音樂創(chuàng)作和商業(yè)應用提供巨大助力。

近年來，人工智能越來越多地進軍樂壇，甚至成為音樂宣傳中的時髦元素。Google推出的鋼琴機器人AIDuet基于TensorFlow框架和Magenta項目開源工具等打造，其神經網絡會尋找與輸入音符相匹配的旋律和節(jié)奏，并以此為基礎生成原創(chuàng)旋律。小冰樂隊基于一種端到端的旋律和排列生成框架，成功實現(xiàn)流行音樂的自動生成，并曾在央視《機智過人》節(jié)目中挑戰(zhàn)現(xiàn)場作曲。Vochleamusic公司創(chuàng)建了一個人工智能音頻引擎，以支持用戶使用他們的聲音創(chuàng)作、控制和操縱音樂。

一、實驗內容

1.數(shù)據(jù)獲取和預處理

利用爬蟲搜集中文歌曲，建立中文歌曲庫。初步篩除庫中的重復歌曲和歌詞中的不必要信息，如作曲、作詞和英文歌詞等。由于大量的重復歌詞會引導生成的模型趨向于產生重復歌詞，雖然重復使用歌詞段是歌曲的創(chuàng)作特色，但期于模型產生更加多樣的歌詞變化和搭配，所以進一步篩除單首歌曲中的重復歌詞段。

2.建立歌詞模型

基于巨大的互聯(lián)網數(shù)據(jù)集，GPT-2語言模型在文本生成上有良好的表現(xiàn)，由用戶選擇的單詞給出可能性排名前十的下一個單詞及其對應概率，從而保證文本在上下文的邏輯連貫。利用開源的預訓練中文版GPT-2并選擇作者提供的散文預訓練模型，在包含大約2000首中文歌詞的數(shù)據(jù)集上進行預訓練，得到歌詞生成語言模型。該模型將用戶輸入的簡單字符串作為網絡的輸入來預測下一個字符，不斷重復字符生成過程直到這些字符組成一串新行。

3.建立旋律模型

Google公司開源的Magenta項目內的GANSynth模型，將生成式對抗網絡模型由圖像類數(shù)據(jù)任務訓練拓展到聲音類序列數(shù)據(jù)任務訓練，GANSynth模型從單個潛在向量生成整個音頻片段，在區(qū)分音高和音色等全局特征上有更好的表現(xiàn)。主要選擇布魯斯、爵士和流行3種音樂類型，將選取好的旋律模板作為輸入，以此生成新的旋律。

4.搭建平臺

使用HTML、CSS和JavaScript來組建平臺前端的部分，平臺主要分為歡迎頁面、旋律生成頁面和歌詞生成頁面。歌詞生成頁面如圖1，用戶可以在文本框內輸入其希望的歌曲開頭，按下提交按鈕，后臺隨即啟動程序，生成相應的歌詞。按下重置按鈕，文本框清空，用戶可以繼續(xù)輸入。旋律生成頁面設置了布魯斯、爵士和流行3種可選的音樂流派，如圖2，用戶點擊相應的音樂流派，后臺程序就會自動生成音樂旋律，并在下方播放器內播放。平臺前端及后臺搭建具體流程如圖3所示。

二、總結分析

傳統(tǒng)的神經網絡自然語言處理并不具備單詞間相似度的概念，單詞由簡單的單詞表序號進行表示，雖然簡單且易于觀察，但難以體現(xiàn)不同單詞之間的內在聯(lián)系。GPT-2語言模型類似只帶有解碼器的transformer模型，可以連接音樂中先前的信息到當前的任務上，在經過中文歌詞語料訓練后，模型的歌詞續(xù)寫有著不錯的表現(xiàn)。GANSynth模型以GAN為基礎，優(yōu)化對數(shù)量級和瞬時頻率的頻率分辨率建模，保證音頻的高保真和局部相干，使生成旋律更趨向平滑和結構一致。

本課題用于模型訓練的數(shù)據(jù)集因預處理篩選而不夠充足，且基于硬件原因模型訓練花費時間較長，使得模型的歌詞生成效果未能達到最優(yōu)。由于歌詞生成和旋律生成模型不同且分開訓練，歌詞和旋律在最終結果上沒有實現(xiàn)有效結合。未來需要添加更多有效歌詞和旋律數(shù)據(jù)以完善模型，探究歌詞與旋律之間的深層特征，在實現(xiàn)AI音樂中歌詞和旋律融合對應上更進一步。