靈動音科技：用AI讓音樂創作更簡單

方興未艾的短視頻，帶動了音樂行業的發展。全球音樂用戶現已逾16億，然而在生產層面，能夠參與到音樂創作的人數占比仍然寥寥。由于音樂創作本身具備一定的專業門檻，非專業人士很難借助音樂表達自我。正如全民K歌等App降低了錄歌的門檻，讓大量非專業人士參與自己錄歌的過程，人工智能生成內容（AI-Generated Content，以下縮寫為AIGC）的發展給音樂創作帶來了另一種可能性。

靈動音科技，自2018年成立以來，以其獨創的AIGC技術在中國音樂服務行業中獨樹一幟。該公司專注于將先進的AI音樂技術賦能各類音樂愛好者的創作過程，開發出許多創新的應用和產品。靈動音不僅降低了音樂制作工具的使用門檻，更借助AI技術全方位降低音樂創作過程中諸如作詞、作曲、編曲、演唱、混音等一系列工作的難度，讓不具備樂理知識的普通大眾，也能夠在靈動音AI輔助工作功能的支持下實現音樂創作。其推出的AI隨身音樂工作站“和弦派”，能夠基于AI音樂生成引擎，從和弦入手進行音樂創作，讓音樂創作變得輕而易舉。此外，靈動音持續深耕科技成果的產品落地和商業化探索，其旗下還有口袋樂隊、BGM貓等音樂產品，滿足上億用戶的音樂實踐需求。2023年，憑借在人工智能音樂領域的技術探索和應用實踐，靈動音入選由極客公園旗下的科技創業者社區Founder Park發布的“中國最具價值的人工通用智能（AGI）創新機構TOP 50”榜單。

心之所向：一切源于對音樂的熱愛

靈動音創始人劉曉光和音樂有著不解之緣。他從三歲半就開始學電子琴，九歲時通過了中央音樂學院的電子琴9級考試。上中學時，他喜歡周杰倫和林俊杰，白天聽到喜歡的歌，晚上回家就用電子琴彈奏出來，并在此過程中初步產生了對于音樂創作的感知。2009年，劉曉光考入清華大學化學系本科，學業的壓力并沒有阻擋他對音樂的熱愛，他把大部分的課余時間都投入到了和音樂相關的事情上。大學畢業后，劉曉光曾短暫創業做過VR和AR，也在音樂培訓機構做過老師，同時持續進行自己的音樂創作，譜寫過上百首音樂作品。在此過程中，劉曉光結識了不少擅長音樂制作的朋友，為其后來創辦靈動音積累了一定的人力資源。

2016年，谷歌的人工智能開發者們推出了“Magenta”項目，嘗試用AI生成音樂。那時，即便是最先進的AI技術，也難以模仿藝術家創作的繪畫或音樂，更遑論自主生成的概念。同年，清華大學的幾位本科生和研究生組成了一個在AI音樂領域開展研究的興趣小組。年底，曾擔任清華大學吉他協會會長、彼時正就讀于清華大學化學系的研究生劉曉光加入這個小組。2018年，該興趣小組發展成為一家公司——靈動音科技，劉曉光擔任CEO。另一位聯合創始人苑盛成就讀于清華大學工程物理系，他和劉曉光一樣，自幼兒時就開始學習電子琴，對音樂一直抱有濃厚的興趣。當劉曉光找到苑盛成，希望他可以和自己一起發揮所長，共同為國內人工智能音樂領域做一些有意義的事情時，苑盛成經過深思熟慮，放棄了去美國發展，加入靈動音。靈動音公司有一間設施完備的樂器室，四壁包裹了吸音海綿，放滿了各種樂器，桌子上甚至還擺放著一套Genelec（真力）音響。這種音響通常只會出現在專業的音樂工作室里，靈動音團隊雖然從事人工智能技術的開發工作，卻始終沒有忘記其最初對于音樂的熱愛和執著。

彼時，AIGC的浪潮遠未到來。與一些在2023年看到ChatGPT的火爆才匆匆“上車”的創業公司不同，此時的靈動音已經在AI領域積累了五年多的探索經驗。“這是個挺長周期的事情，堅持到現在才有一些收獲。”劉曉光坦言。自2019年起，劉曉光團隊便專注于探索娛樂科技領域。在該領域內，他們尤其關注那些專注于游戲、影視、動漫和音樂等娛樂主題的技術型企業。這些公司涵蓋了從渲染物理仿真到人工智能生成等多種技術，展現了當時豐富多樣的數字化娛樂形式。劉曉光對于創業方向的選擇，源于對其產生深刻影響的一本書——《哥德爾、艾舍爾、巴赫》。這本書通過講述數學家哥德爾、版畫家艾舍爾、音樂家巴赫的故事，探討了數學、人工智能、哲學和藝術之間的融合問題。在劉曉光看來，娛樂科技的本質也是這樣。娛樂行業雖然給人的第一印象是充滿感性的，但也常常借助于一系列科學技術增強其體驗。在娛樂科技的多個分支中，音樂占據了一個非常重要的位置，它不僅與人們的日常生活緊密相連，還是一個有著深厚傳統的行業。劉曉光經常思考的問題是，能否打造一個系統又完善的“AI+數據”驅動的音樂軟件，可以革新整個行業。在調研AIGC音樂賽道時，劉曉光注意到谷歌在人工智能音樂方面的兩個技術模型AudioLM和MusicLM，他認為這兩個模型的出現證明了“從文本直接生成音頻”技術路線的可行性。基于在這個領域的技術積累以及對音樂的熱愛和激情，創業團隊對自己的創業項目變得更加堅定。

見微知著：AIGC音樂關鍵在于“G”

在音樂行業中，內容被分為功能性和藝術性兩種，比如抖音短視頻的背景音樂一般屬于前者，而周杰倫的歌曲則屬于后者。AI直接生成的音樂，主要解決功能性問題，但現實是，功能性音樂只占音樂市場的1%，屬于一個超飽和市場。雖然理論層面可以利用AIGC技術解決“傳統音樂制作門檻高”這一痛點（見表1），但是要想在一個供大于求的市場里脫穎而出，仍面臨諸多挑戰和未知因素。“我們輸入一段自然語言，然后生成一段音樂，這雖然看上去很好玩，但不一定是真正有用的東西。”對于“AIGC”所包含三個部分：AI，指生成內容的方式；G，指生產的過程；C，指生產的內容，劉曉光認為，最關鍵的是“G”，即AI生產內容的過程。AI的引入，使沒有音樂基礎的人對音樂創作不再望而卻步，在AI的幫助下，人們可以不必接受長時間的復雜學習，就有機會直接參與到音樂創作的過程中，甚至通過AIGC技術提升用戶生成內容（User Generated Content）的質量。

更重要的是，AIGC技術所帶來的變革不只限于內容創造領域，同時還代表了人機交互方式的重大創新，這也正是促使劉曉光團隊選擇在AIGC領域創業的深層動機。在公司成立之初，團隊成員就已經認同了這樣一種創新理念：讓人工智能根據其與人的互動生成音樂內容，這一理念彼時已經體現了人工智能生成內容的精髓。他們希望讓音樂能夠被人的更多感官感受到，從而使用戶以一種更加游戲化的方式獲得娛樂體驗。在劉曉光看來，AIGC技術將開啟多樣化的交互場景和內容消費模式——在應用層面，AIGC技術能夠催生許多創新的服務模式，并找到新的贏利點占據市場。劉曉光尤其看好教育和游戲領域，因為這兩個領域具有強烈的人機交互特性。在面對不同的付費內容時，用戶有不同的心理預期和支付意愿。例如，用戶可能不太愿意為一個工具或視頻平臺支付費用，但對于游戲，他們可能愿意投入更多的金錢。因此，劉曉光認為AIGC技術很可能會在游戲化或教育化的應用中率先獲得成功。

迎難而上：如何讓AI有情感地表達

靈動音的愿景是幫助音樂愛好者以更高的效率進行音樂創作。將AIGC技術應用于音樂生成時，會發現兩個突出的問題。第一，當利用該工具來創作音樂時，用戶很可能不會傾向選擇一個完全自動化生成的音樂作品，因為這樣的作品并不真正屬于用戶自己，并且很難完全表達想要表達的情感。如果生成多首音樂作品后再挑選，雖然最初生成的幾個作品可能聽起來相當悅耳，但隨著生成數量的增加，作品開始顯得千篇一律。這種現象的根源在于神經網絡模型的工作原理，由于這些模型是基于概率統計建構的，它們在生成內容的過程中可能會在無意之中淡化不同音樂作品的獨特性。然而，正是這些獨特性，賦予了優秀音樂作品魅力與價值。

另一個問題是，并非所有情感都能被語言模型準確捕捉和表達。例如，當用戶想要生成一首能夠傳達悲傷情緒的音樂作品時，可以通過在語言模型中設置相應的情緒標簽，并將悲傷的標簽作為輸入條件，來生成相應的音頻片段，這在理論上看起來是可行的。然而，如果用戶提出更細致的要求，比如希望悲傷的情感表達得更為內斂、更有深度，那么基本的語言模型目前還難以滿足這些復雜細微的情感需求。

劉曉光認為，音樂人能夠通過大量的學習和實踐，建立情感和音樂知識之間的映射經驗，一旦掌握了這些經驗，再加上適當的指導，人們就能更輕松地利用AIGC技術使音樂更好地表達情感。針對上述兩個難題，劉曉光團隊查閱了很多知識庫，他們注意到在音樂領域，可用于操作和分析的數據集相對有限。因此，劉曉光團隊著力收集更多數據進行標注。相比于自然語言圖像的標注，音樂標注的難度更大，為了提高收集效率和精確度，團隊設計并開發了統一的、云化的音樂知識數據結構及標注工具UMP Board。這套數據標準解決了音樂領域沒有音頻對齊音樂數據的問題，該標準現已被多個產品使用。同時，團隊將基于超過2萬首歌曲的音樂理論信息轉換成數據庫，以此用來訓練模型，識別準確率逾90%，足以滿足大多數用戶的需求。目前，經過多輪優化的UMP Board系統已經能夠獨立完成對40萬首歌曲的人工智能自動標注工作。此外，靈動音正在擴充出海音樂內容，加速推進海外市場布局。

值得注意的是，不同于“端到端”的AI生成技術，靈動音所采用的是一種“符號音樂”的AI生成技術（見圖1）。“端到端”生成是直接從現有音頻中生成新音頻的技術，類似于AI圖像生成領域中的DALL·E 2模型，用戶只需輸入一段描述，如“飛行員吃蘋果”，模型就能自動生成包含飛行員、蘋果和其他航空元素的圖片。“端到端生成”音樂亦是實現類似的功能，即用戶只需輸入一句話，就能生成一段音樂以呈現這句話的意思。由于“端到端”生成過程具有封閉性，這對生成的音樂進行再編輯或進行分軌處理帶來困難。同時，由于音頻數據的復雜性，提升音質需要投入極高的算力。這限制了端到端音樂生成技術在一些應用場景下的廣泛使用。“符號音樂生成”技術是將現有的音頻材料轉換成音樂符號，這些音樂符號被用來創作新的音樂符號，最終轉換成新的音頻文件。符號音樂生成技術在音樂創作領域具有重要意義，它通過提取音頻中的各種信息（如詞曲、和弦、樂器等），將其轉換成類似音樂功能譜的數據形式，在“詞曲編錄混”各個環節都可以生成內容，并且使每個環節都具有可控性，具有廣闊的應用前景。它不僅為專業音樂人提供靈感和創作工具，還賦能音樂教育，幫助學生理解音樂理論和創作技巧。此外，隨著技術的進步，符號音樂生成技術可以進一步降低音樂創作的門檻，激發更多非專業用戶的創作熱情，釋放UGC（用戶生成內容）音樂的無限潛力。

嶄露頭角：搭建AI音樂產品矩陣

以往音樂人做一首歌，通常要經過“詞、曲、編、錄、混”五個過程。從技術角度看，這些工作來自于不同模態，特別是混音，是一個工程化的工作。如果人們想通過一款產品完全賦能到場景上，需要很大的工作量。它首先需要一個工程化的基礎，其中包含各種各樣的模塊技術，從而建立一個“數字音樂工作站”，為用戶創造多重價值。例如，作詞人可以通過AIGC技術生成多版本歌詞，從中汲取靈感，使創作過程變得更加高效。作為AI音樂領域里最交叉的兩個環節，作曲和編曲同樣需要這樣的靈感，靈動音團隊在這兩個環節投入了極大的精力。例如，團隊自主研發了音頻引擎Mutrix，讓音樂編輯可以在不同系統、不同性能、不同品牌的手機上都可以操作，從而實現了真正的跨平臺高性能的音樂創作體驗。傳統的音樂創作軟件，如庫樂隊對于普通人而言使用門檻依然很高，需要用戶了解甚至會演奏每一種其想編輯樂曲所使用的樂器，才能得到高質量的創作結果。靈動音開發的產品“和弦派”采用基于和弦的樂器生成算法，使用戶不需要學習樂器演奏也能得到高質量的編曲結果。傳統的音樂工作站都是以很多軌道呈現音樂信息，和弦派則使用更直觀的功能譜呈現音樂創作內容的信息，以使廣大的音樂愛好者更輕松地體會到音樂實踐的快樂。當用戶直觀地輸入和弦、旋律、歌詞等需求，AI輔助創作功能就能為用戶一站式輸出完整的Demo，賦予用戶大量的靈感，使原本枯燥繁瑣的創作過程變得更加有趣。

除了“和弦派”以外，靈動音的產品還包括“BGMCAT”和“口袋樂隊”（見表2）。BGMCAT是為了在功能性音樂上直接滿足多場景需求而設計的，它能夠根據用戶輸入視頻的時長和描述標簽，一鍵生成相匹配的背景音樂，為視頻創作者提供便利。具體而言，用戶可以通過選擇不同的場景、風格和心情標簽定制背景音樂，BGMCAT的AI系統根據對包括輸入字符長度、描述和選定標簽的分析，輸出與其相對應的原創音樂，時長在30秒到5分鐘。此外，BGMCAT提供官方商業授權，這意味著生成的所有音樂均已授權用于商業用途，用戶不必擔心版權問題。

口袋樂隊則是一個AI音樂工作站，旨在通過更加親民的可視化方式，讓每個用戶都能感受到聽覺加視覺的良好交互體驗。具體表現為，它允許用戶通過選擇不同的樂手和樂器來創作音樂。該產品支持200余種演奏方式，讓用戶可以輕松地進行作曲、編曲、錄唱和混音，使得非音樂專業的朋友也能實現自己的音樂想法。口袋樂隊旨在讓音樂創作變得像玩游戲一樣簡單有趣，它通過AI音樂引擎的支持，幫助用戶發現音樂的魅力并創造無限可能。無論是專業的音樂人，還是音樂愛好者，都可以使用口袋樂隊創作個性化的音樂作品。

大有可為：AIGC音樂浪潮的到來

在音樂創作領域，創作者與聽眾之間的界限正在逐漸變得模糊。過去，錄制一首歌曲需要投入許多資金，通過在錄音棚錄制，最終得到一盒磁帶。在互聯網時代，僅需一款錄音軟件就能完成這項工作。如果進一步降低知識門檻，普通大眾也能輕松參與音樂創作。因此，音樂生產就不再只是少數創作者的專利，而成為每個人都能參與創作、每個人都能享受他人作品的過程，創作者和消費者的角色相互交織在一起。

劉曉光堅信，隨著時間的推移，音樂的交互體驗將變得更加沉浸和多元。今天的音樂人只需專注于創作出優秀的音樂作品，隨著虛擬現實（VR）和元宇宙等技術的發展，音樂的呈現方式將融入更豐富多元的感官體驗。靈動音團隊期待在“全民音樂人”時代到來時承擔起相應的責任，貢獻自己的力量。未來，靈動音將繼續深耕技術成果的產品化轉化和商業化探索，迎著AIGC的浪潮，讓音樂創作變得像現在的短視頻創作等一樣簡單快捷。