AI技術(shù)革新視聽體驗(yàn) 開啟未來視聽無限可能

隨著大模型、數(shù)字人技術(shù)的迅猛發(fā)展，AI技術(shù)為視聽行業(yè)的不斷創(chuàng)新帶來更多可能。成立于2014年的趣丸科技，是一家集人工智能、電子競技、興趣社交等業(yè)務(wù)于一體的創(chuàng)新型科技企業(yè)。作為音頻行業(yè)的代表，趣丸科技始終站在技術(shù)前沿，積極探索和布局AI技術(shù)的研發(fā)與應(yīng)用。憑借多年積累的人工智能和音頻技術(shù)，趣丸科技自主研發(fā)了集成運(yùn)用音頻處理技術(shù)和集人工智能深度學(xué)習(xí)、大數(shù)據(jù)分析、音樂制作于一體的AI自動(dòng)作曲技術(shù)，一站式解決音樂創(chuàng)作的全流程問題，為行業(yè)帶來了關(guān)于AI技術(shù)革新視聽體驗(yàn)的新范例。

一、未來聲音的趨勢和發(fā)展

（一）聲音的重要性

聲音在人類生活、科技領(lǐng)域和文化領(lǐng)域中具有極其重要的作用。在人類生活中，聲音是一種重要的交流方式，能夠傳達(dá)情感、思想和信息。人們通過說話、歌唱、交談等方式，使用聲音溝通和表達(dá)，建立人際關(guān)系，傳遞知識(shí)和交流情感。

在科技領(lǐng)域，聲音被廣泛應(yīng)用于語音識(shí)別、語音合成、聲音識(shí)別、聲音編輯和制作等方面，在智能家居、智能設(shè)備、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等方面發(fā)揮重要作用。

在文化領(lǐng)域，聲音藝術(shù)如音樂、配音、演講等占有重要地位，能夠傳達(dá)情感、表達(dá)思想，對(duì)人們的精神生活產(chǎn)生深遠(yuǎn)影響。

（二）聲音技術(shù)的發(fā)展歷程

聲音技術(shù)的發(fā)展歷程是一個(gè)不斷進(jìn)步和變革的過程，涵蓋了從最初的模擬技術(shù)到現(xiàn)代AI音頻技術(shù)的演變。主要時(shí)間節(jié)點(diǎn)包括：

1.傳統(tǒng)音頻（模擬音頻技術(shù)）。19世紀(jì)末期，最早的錄音技術(shù)誕生，托馬斯·阿爾巴·愛迪生發(fā)明了留聲機(jī)。

2.磁帶與錄音技術(shù)。1928年，磁帶錄音技術(shù)出現(xiàn)，聲音可以被存儲(chǔ)在磁性介質(zhì)上，這種方式比留聲機(jī)的蠟筒或唱片更為靈活且易于編輯。

3.數(shù)字音頻。20世紀(jì)70年代末，數(shù)字音頻技術(shù)出現(xiàn)，聲音被轉(zhuǎn)換成數(shù)字信號(hào)進(jìn)行處理和存儲(chǔ)。1982年，CD（Compact Disc）面世，它為數(shù)字音頻的普及打下了基礎(chǔ)。

4.網(wǎng)絡(luò)音頻與MP3。20世紀(jì)90年代，隨著互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)音頻開始發(fā)展，MP3格式被發(fā)明并迅速流行，這使得音頻文件可以在互聯(lián)網(wǎng)上被輕松共享和下載。1993年，MP3格式標(biāo)準(zhǔn)化。

5.流媒體音頻。21世紀(jì)前10年，網(wǎng)絡(luò)帶寬的提升促使流媒體音頻服務(wù)興起，改變了人們獲取和消費(fèi)音樂的方式。

6.AI音頻。21世紀(jì)10年代至今，AI技術(shù)開始被應(yīng)用于音頻領(lǐng)域，出現(xiàn)了自動(dòng)化音樂創(chuàng)作、智能音頻編輯、語音合成等技術(shù)。

近年來，深度學(xué)習(xí)技術(shù)的進(jìn)步使得AI音頻技術(shù)日益成熟，比如，能夠模擬特定人聲的合成器、智能音樂推薦系統(tǒng)等。AI音頻技術(shù)的發(fā)展至今仍在繼續(xù)，隨著人工智能和機(jī)器學(xué)習(xí)技術(shù)的不斷進(jìn)步，我們可以預(yù)見在音頻合成、音樂生成、聲音識(shí)別和處理等方面，將有更多突破和創(chuàng)新。

（三）AI技術(shù)在音頻領(lǐng)域的應(yīng)用

AI技術(shù)在音頻領(lǐng)域的應(yīng)用已經(jīng)非常廣泛，并且隨著技術(shù)的進(jìn)步，這些應(yīng)用在不斷擴(kuò)展和深化。

在音樂生成領(lǐng)域，AI可以用來創(chuàng)作音樂，包括生成旋律、和弦、鼓點(diǎn)等。一些軟件能夠根據(jù)用戶提供的參數(shù)或者學(xué)習(xí)過的海量音樂數(shù)據(jù)自動(dòng)創(chuàng)作歌曲。

其中，聲音識(shí)別是AI在音頻領(lǐng)域的著名應(yīng)用之一，包括語音識(shí)別和聲音識(shí)別。AI能夠識(shí)別和轉(zhuǎn)錄人類語音，以及識(shí)別特定的聲音模式。

在語音合成領(lǐng)域，AI能夠?qū)⑽谋巨D(zhuǎn)換為聽起來自然的語音，這在語音助手、自動(dòng)化客服和閱讀器中得到廣泛應(yīng)用。

在虛擬數(shù)字人領(lǐng)域，它可以提供自然、個(gè)性化和多功能的語音表達(dá)和理解能力，從而增強(qiáng)了虛擬數(shù)字人與用戶的交互體驗(yàn)。

在聲音監(jiān)測和安全性方面，AI能夠監(jiān)測異常聲音，可用于安防系統(tǒng)或者監(jiān)測噪聲污染等。

二、音頻合成技術(shù)的應(yīng)用案例

以趣丸科技的技術(shù)應(yīng)用為例，我們研發(fā)了集人工智能、音頻處理、深度學(xué)習(xí)、大數(shù)據(jù)分析以及輔助作詞、作曲、編曲、混音等為一體的創(chuàng)新性AI技術(shù)。其功能包括三詞成曲、三鍵成曲、哼唱成曲等，可以自由選擇樂器、和弦組合及演奏方式，創(chuàng)作者即便不會(huì)使用樂器，也能輕松實(shí)現(xiàn)彈唱，大幅降低內(nèi)容創(chuàng)作門檻，讓專業(yè)用戶獲得靈感，讓“小白”用戶輕松邁入音樂創(chuàng)作殿堂。

AI音樂是技術(shù)與藝術(shù)的融合，既需要用戶創(chuàng)作時(shí)的靈光乍現(xiàn)，也需要技術(shù)帶來的無限可能。我們的算法團(tuán)隊(duì)圍繞“讓人人都能自由創(chuàng)作音樂，讓專業(yè)音樂人不再被靈感枯竭所限”的目標(biāo)，在音樂創(chuàng)作流程的“作曲”“編曲”“演唱”等多個(gè)環(huán)節(jié)持續(xù)創(chuàng)新，開發(fā)了諸如“自動(dòng)作曲技術(shù)”“多維織體編曲技術(shù)”“AI歌姬演唱技術(shù)”等系統(tǒng)。

同時(shí)，我們針對(duì)不同音樂風(fēng)格，實(shí)現(xiàn)了多種音樂旋律生成的垂類模型（如BERT掩碼模型、GPT模型），針對(duì)用戶選擇的不同風(fēng)格、情緒，實(shí)現(xiàn)從歌詞到旋律自動(dòng)作曲，智能化控制每句歌詞的音高與節(jié)奏；在歌詞寫作方面，采用NLP大模型技術(shù)，實(shí)現(xiàn)歌詞自動(dòng)寫作功能，用戶只需輸入關(guān)鍵詞，即可生成結(jié)構(gòu)性強(qiáng)的歌詞；為了保證模型生成高質(zhì)量的旋律樂譜，在自動(dòng)作曲系統(tǒng)的后端，我們?nèi)诤狭嘶趶?qiáng)化學(xué)習(xí)、對(duì)比學(xué)習(xí)等技術(shù)方案的樂譜打分模塊，多個(gè)模塊的串并聯(lián)，讓AI音樂更具備“可記憶性”“有關(guān)聯(lián)性”及“音樂前后的結(jié)構(gòu)性”，真正為AI作曲注入靈魂。

多維織體編曲技術(shù)不僅結(jié)合了編曲業(yè)內(nèi)學(xué)院派的嚴(yán)謹(jǐn)編曲作風(fēng)，同時(shí)積極學(xué)習(xí)風(fēng)格不同編曲人的自由與創(chuàng)新精神，為了讓音色選擇及樂器搭配符合不同風(fēng)格需求，團(tuán)隊(duì)開發(fā)了基于CNN的配器推薦模型。該模型能夠根據(jù)用戶風(fēng)格、情緒、場景，甚至歌手、年代等參數(shù)，推薦適配度最高的樂器。為了進(jìn)一步讓和弦及樂器織體的編排符合和聲學(xué)的框架，同時(shí)讓兩者具備更多自由度與多樣性，我們開發(fā)了多維織體生成框架，包含基于Transformer的深度學(xué)習(xí)模型，以及由業(yè)內(nèi)編曲專家打造的機(jī)器學(xué)習(xí)專家系統(tǒng)。該框架為每一個(gè)織體都賦予了7至10種維度屬性，讓樂器織體與和弦能夠最大程度地匹配用戶情緒及音樂曲風(fēng)。兩項(xiàng)核心技術(shù)共同構(gòu)筑了我們的自動(dòng)編曲大框架，為用戶精準(zhǔn)生成“心中的音樂”。

針對(duì)不善于歌唱的用戶，基于Diffusion概率擴(kuò)散模型的技術(shù)方案，開發(fā)了“AI歌姬演唱”歌曲合成技術(shù)，能夠讓用戶自主選擇歌姬的音色，實(shí)現(xiàn)歌曲自動(dòng)生成，極大程度降低了音樂創(chuàng)作門檻。

為了進(jìn)一步提高用戶參與度，獲得音樂創(chuàng)作樂趣，在“AI歌姬演唱”技術(shù)中，引入了音色克隆技術(shù)。團(tuán)隊(duì)成員借助聲紋識(shí)別、音色遷移等技術(shù)，可以實(shí)現(xiàn)Zero-shot零樣本音色克隆技術(shù)，僅需用戶極短的聲音采樣，就可以使用用戶的音色唱出用戶心中的歌曲。這個(gè)技術(shù)的研發(fā)，滿足了用戶個(gè)性化歌聲音頻生成場景的需求，豐富整個(gè)產(chǎn)品的可玩性。

其中，三詞成曲又叫文生音樂，輸入三個(gè)關(guān)鍵詞，使用簡易提示，關(guān)鍵詞擴(kuò)充生成完整歌詞，再使用文本輸入自由控制音樂風(fēng)格，根據(jù)輸入的歌詞及音樂元素，一鍵作曲編曲混音生成歌曲，創(chuàng)作者還可以對(duì)生成結(jié)果二次調(diào)整編輯，可控性更強(qiáng)。創(chuàng)作者也可以錄制自己的聲音，上傳成為虛擬歌手，用自己的聲音演唱，這就是我們剛才提到的音色克隆技術(shù)。

三鍵成曲是一種作曲中用到的即興創(chuàng)作手法。在AI加持下，用戶只需根據(jù)AI提示，敲下3至6個(gè)鍵作為“動(dòng)機(jī)”，AI根據(jù)你的輸入生成指定風(fēng)格的完整曲目。通過這項(xiàng)技術(shù)，普通人也能零門檻體驗(yàn)專業(yè)作曲。

哼唱成曲，用戶只需哼唱5秒鐘，AI就能捕捉這短暫的聲音，并將其擴(kuò)展成一首完整的音樂作品。哼唱玩法極大簡化了音樂創(chuàng)作復(fù)雜性，使得每個(gè)人都有機(jī)會(huì)將自己的靈感轉(zhuǎn)化為音樂。無論是紀(jì)念一個(gè)特別的時(shí)刻，還是記錄一個(gè)有趣的聲音，都能讓那些有意義的聲音變成音樂作品。

AI音樂在行業(yè)中應(yīng)用非常廣泛。在音樂發(fā)行方面，AI音樂可以生成大量風(fēng)格各異的音樂，大大降低了音樂創(chuàng)作和制作成本，提高了音樂作品的產(chǎn)量和質(zhì)量。這對(duì)于獨(dú)立音樂人、小型音樂工作室、獨(dú)立電影制作人等音樂需求者來說，都是非常實(shí)用的工具。在短視頻BGM（Background Music）方面，AI音樂還可以根據(jù)視頻內(nèi)容自動(dòng)生成適合的背景音樂，為短視頻提供更加豐富和個(gè)性化的配樂選擇。

未來，將持續(xù)布局?jǐn)?shù)字經(jīng)濟(jì)新賽道，搶占數(shù)字經(jīng)濟(jì)發(fā)展高地，并持續(xù)在AI、大數(shù)據(jù)、音視頻、興趣社交等技術(shù)領(lǐng)域深耕。推出的TT語音平臺(tái)已成為“Z世代”圈層中流行的興趣社交平臺(tái)，累計(jì)注冊(cè)用戶超過2億。旗下電競俱樂部TT電競是華南地區(qū)唯一擁有四大頂級(jí)電競聯(lián)賽席位的俱樂部。

我們堅(jiān)信，隨著AI技術(shù)不斷演進(jìn)，數(shù)字化視聽內(nèi)容創(chuàng)新將展現(xiàn)更加廣闊的發(fā)展前景。唯有通過共同的努力，從業(yè)者才能夠引領(lǐng)這一創(chuàng)新浪潮。同時(shí)，趣丸科技將不斷創(chuàng)新，繼續(xù)深耕數(shù)字化視聽及人工智能領(lǐng)域，為人們帶來更多娛樂、教育、科技和文化的可能性。W

（作者任少峰系廣州趣丸網(wǎng)絡(luò)科技有限公司副總裁、總編輯）