音樂與科技的協同共生之路

2019年，教育部正式提出大力發展新文科的要求，意在突破傳統文科的思維模式，打破文理科之間的學科壁壘，實現文理交融。在此背景下，藝術學界提出了構建“新藝科”的設想，其含義是“新文科語境下的藝術學學科建設構想”，既要具備“新文科”提倡的文理交融性，又要顧及藝術學各學科的獨特性。長期以來，文科與藝術學學科處于相對封閉的狀態， 欲迅速改變現狀須借助外力做功， 而科技正是新時代的最佳外力。“新藝科”的建設方針正是基于科技飛速發展的背景下提出， 為包括音樂在內的藝術創作與研究帶來了全新的生態環境。

2024年10月11—13日，中國地質大學（武漢） 舉辦了第11屆全國聲音與音樂技術會議。大會聚集了來自人工智能、計算機科學、電子工程、數學以及音樂學等領域的眾多學者。此次會議可謂是對“新文科”與“新藝科”建設構想的一次積極響應，極大促進了“兩科”的發展。會議研討專題多達14個，如音樂學+ 計算機、民族樂器+ 計算機、聲學+ 計算機等。根據這些專題的研究對象和研究方法，可將其分為三類：音樂與人工智能的新興結合點、樂器與樂譜的數字化研究、音樂與聲音評價標準的定量研究。本文試圖以會議內容為出發點， 一窺音樂與科技協同共生的態勢及其所面臨的諸多問題。

一、音樂與人工智能的新興結合點

音樂與科技的結合很早便存在于人類漫長的歷史長河中。如早在先秦時期，編鐘的鑄造要兼顧尺寸大小成序和音階模式成列的雙重目的，這對鑄鐘技術提出了非常嚴格的“標準化”要求。

人工智能時代，音樂與科技的關系進入到全新的態勢中，一些新興技術給音樂帶來了近乎顛覆性的影響。音樂與人工智能的深度結合是兩個領域共生發展的重要增長點， 也是本次會議的重要議題之一。

科技為音樂生產帶來了新模式和新生態。“人工智能生成內容”（Artificial"Intelligence Generated Content，簡稱AIGC）是指通過訓練人工智能模型以生成與原始訓練數據相似的內容，如當下日益更新的音樂生成模型、語音克隆和文本轉語音等均是AIGC在音樂上的實際應用。日本廣島大學于漪副教授從多模態人工智能的角度探討了音樂生成的方法。她的研究關注音樂的歌詞、旋律和舞蹈三者之間以“語義”為聯通樞紐的潛在關系， 通過整合三者之間的“語義”相關性，便可生成具有語義一致性的音樂與舞蹈。網易云音樂的鄧陽介紹了流媒體平臺在音樂AIGC 方面的應用，他首先剖析了國際上音樂生產的主流模式及其難題， 再以網易天音內容生產引擎為例， 詳述其設計理念和技術框架。中國傳媒大學的林義超等人采用AI 語音克隆技術，探索跨語言語音在電影領域的應用；此類技術能夠將任意語音素材轉換成跨語言的語音內容， 它可解決演員遇到非母語臺詞發音不準的難題。美國羅徹斯特大學段志堯副教授分享了其實驗室團隊在實時人機即興演奏、中西音樂風格融合、音樂模型框架開發和歌聲深度鑒偽等方面的成果。

“基于內容的音樂信息檢索”（Content-based Music Information Retrieval，簡稱CBMIR）是在海量數字音樂帶來分類組織、查詢檢索、內容理解與分析等一系列問題的基礎上產生的一個新興交叉學科。如相似歌曲檢索是當今每個智能手機用戶都會碰到的場景， 但是如何根據用戶輸入的內容（如歌詞、旋律等）得到與之相似或匹配的輸出結果？ 來自網易云音樂的何其锜指出， 通過應用經過深度學習和訓練的語義大模型， 可提高檢索效率與結果準度； 在音樂平臺中， 這項技術還可根據用戶的需求提供個性化的音樂服務。

可見， 人工智能的介入為音樂帶來了新的機遇，音樂也為人工智能拓寬了應用范圍，這種互動關系本身成為一個重要思考點。例如，華中科技大學蔡新元教授并不局限于講述AI 工作流程等復雜的技術原理，而是站在藝術的立場，思考如何利用AI 技術拓寬藝術研究的范圍和視角，增加人機共創的可能性。這是藝術學界與科技學界需要共同思索的延展性問題。

二、樂器與樂譜的數字化研究

自古以來， 樂器是音樂中最能與科技產生直接聯系的部分， 如中國歷朝歷代對弦律與管律的實驗與實踐，無不融合了數學、聲學和古代天文學等多學科知識。中國古代樂譜自魏晉南北朝至明清時，便已有文字譜、減字譜、律呂譜和工尺譜等多種記譜形態。進入科技時代，樂器與樂譜這類具象化的實物是否會煥發出新的研究面貌？ 日益更新迭代的計算機技術給出了答案：建立樂器數據集和進行樂譜數字化工作。

樂器數據集與樂譜數字化是本次會議的研討重點之一。中央音樂學院的博士研究生張宇指出， 當前人工智能多集中于西方古典音樂和流行音樂，而在傳統音樂方面尚待深入研究。她將人工智能多模態技術與中國傳統胡琴類樂器相結合， 構建出第一個中國胡琴音樂標注數據集。她從胡琴標注數據集的構建原則、建設過程及未來應用等方面展示了計算機技術輔助音樂研究的優勢。此外，她還將數據集上傳至Zenodo平臺免費公開， 真正落實其提出的FAIR 原則。東南大學王元成博士則以琵琶為研究對象，采用光電傳感器捕捉琴弦振動的信號，以輔助確定演奏者彈奏的準確位置。他還創造性地開發出一套用于樂器自動轉錄和表達的標注系統（TEAS），構建了中國第一個多模態琵琶標注數據集。在該數據集中，數據類型包括音頻、弦振信號、視頻、樂譜和標注等多種模態，每一類數據在時間上都需要做到精確對齊， 真正將傳統樂器與新興科技進行深度融合。

自動轉錄技術是一項十分具有創造性和挑戰性的研究， 它可將音頻與視頻中的內容轉換為書面文本，如將音視頻中的語音轉為文字。北京郵電大學李榮鋒博士等人以彈撥樂器為切入點，提出一種基于多模態網絡的自動轉錄技術。其方案是增加音頻和視頻兩個維度， 從中提取表演特征， 再以特征集合來預測彈撥樂器演奏的旋律、和聲和指法等多種信息。這與張宇和王元成的多模態（包含音頻、視頻、數字化樂譜和豐富的標注文件）樂器標注數據集原理相似，說明多模態特征的整合是增強自動轉錄技術的優良方案之一， 進一步優化了樂器的數據化研究效度。

本次會議“最佳論文獎”頒給了樂譜數字化方面的成果。北京郵電大學的碩士研究生卜凡等人以簡譜為研究對象，采用OMR（光學音樂識別）技術，構建樂譜數據集，并基于此搭建了一個可聽化平臺——“工尺留聲”。卜凡及其導師李榮鋒博士還有志于將中國民間音樂“四大集成”（《中國民間歌曲集成》《中國戲曲音樂集成》《中國曲藝音樂集成》《中國民族民間器樂曲集成》）全部數字化，以期構建中國民間音樂樂譜數據集。除此之外，中國人民大學的博士研究生夏翠娟以古琴減字譜為研究對象， 構建了減字譜的多模態數據集， 這也極大地推動了減字譜的數字化過程。

上述研究使得傳承千百年的中國樂器和樂譜在新時代煥發出新的生命力， 展現了科技對音樂研究的促進作用。誠然，我國民間依然存有大量民族樂器和樂譜亟待深入研究， 這條路雖剛剛起步， 但它預示了音樂與科技互相結合研究的新興路徑和巨大前景。

三、音樂和聲音評價標準的定量研究

音樂評價活動自古有之， 但是常見的音樂評價是基于人的主觀意識進行的， 并無定量標準這一客觀維度， 這種研究能揭示音樂中許多潛在的客觀規律。本屆會議的一個重要議題是如何對音響文本進行客觀評價。

量化研究對于辨識音樂作品中不同國家或民族的風格元素帶來科學手段。西南大學石豐愷副教授試圖對中國音樂風格的音色語義特征建構一套量化標準。他指出，20世紀初中國音樂家借鑒歐洲交響樂模式， 創作出一系列具有中國特色的交響樂作品， 但中西文化差異可能導致對音色語義的理解發生偏離，如“明亮”和“黯淡”等詞在中西方語境中可能存在偏差。其研究篩選出36個音色評價術語，并通過計算歐氏距離的方法， 根據數據點之間的距離大小對數據進行排序，評價術語間的相關性，最終創建了中國風格交響樂作品音色評價術語集。該研究有助于克服音樂理解的文化障礙， 更加精確地辨識交響樂作品中的“中國風格”。

不同國家和民族的聲樂演唱風格差異可以借助量化分析進行更精確地界定。英國倫敦瑪麗女王大學李輿坤博士通過比較各國典型聲樂作品的音高， 揭示了各類聲樂作品之間的客觀差異。這種差異是由于各國文化風情不同所致， 如瑞士的約德爾唱法、俄羅斯民歌與中國梆子戲之間的穩定音和顫音情況具有本質差異。如何定量描述這種差異性？ 李輿坤博士使用音高識別軟件分別計算出三者的穩定音與顫音的時長比值， 從而進行聲樂作品的跨文化風格對比分析。可見， 此類研究已深入到音樂的微觀層面。

量化手段在更加廣泛的聲音現象研究中也發揮著不可替代的作用。中國傳媒大學的一眾師生集中于各類聲音的主、客觀評價研究。如郭靖怡等人基于中國人的主觀感知，探究了HRTF（頭相關傳輸函數）對三維立體聲場效果的影響， 此研究涉及聲學現象與數學原理之間的關聯性解讀。張思雨等人針對近年來猛然增長的AI 語音及其鑒偽模型，認為在語音自然度方面，人耳自身的檢測能力具有一定優勢。陳柳如等人探討了三維聲拾音技術與主觀評價指標（偏愛度、音色自然度等）之間的相關性。唐爽等人則以流行歌曲為對象， 強調了計算機對歌聲的評價應當加入人耳主觀感知維度。這些研究有兩個共同點： 一是都需要一定數量的測試人員參與評價，強調聲音與音樂中的主觀性；二是均采用多元線性回歸分析法，以得到目標對象與其影響因素之間的關系。

上述表明， 以科技輔助的實證手段在音樂研究中具有不可忽視的作用。由于“定量分析”側重于實證預測和統計分析等， 強調客觀性與科學主義， 往往能揭示音樂中潛在的不易發現的規律、趨勢或現象，是補充“定性分析”的有力手段。

四、音樂與科技協同共生的相關問題反思

顯然， 新興科技是未來任何領域的一條新賽道。但對于音樂此類需要注入人類創造力與情感價值的藝術活動來說，科技可謂是把雙刃劍，它勢必會導致“新文科”與“新藝科”建設下的音樂學科產生喜憂交叉的雙重態勢。此次會議已經很大程度上展現了音樂與科技珠聯璧合的協同共生之路，但是其中有待深入反思的問題也初見端倪。

一方面， 音樂與科技的結合將在多方面產生相輔相成的作用。

其一，拓寬雙方的研究模式。如王元成和張宇等人構建的琵琶與胡琴標注數據集， 又如李榮鋒、卜凡和夏翠娟等人在工尺譜、簡譜與減字譜數字化方面所做的努力， 這些都是拓展音樂研究的實例。當然，音樂也可反哺科技。如張宇利用其構建的胡琴標注數據集展開進一步研究——利用演奏技法的可視化實驗提高算法的精確性，并促進計算機多模態的學習。他們不僅促進了當下音樂與科技深度融合的步伐，還奠定了兩者未來研究的基礎。

其二，影響雙方的發展方向。本次會議不乏有關音樂生成的研究成果， 這類音樂人工智能技術使音樂創作的方式發生巨大變化。如一鳴驚人的Suno AI基于歌詞創作、語音合成和音樂生成的多模態網絡，能夠快速“生產”出一首完整的音樂作品。這降低了普通人創作音樂的門檻，節約了各類媒體公司的生產成本，促進了音樂產業的轉型發展等。而對音樂創作要求的提升（如作曲技法的復雜化、音樂風格的多樣化等）也反推著各類人工智能產品不斷更新換代。

其三，彰顯雙方的現實價值。中國地大物博且歷史悠久，其積累的音樂類非物質文化遺產形態各異、數量龐大，然而多數均面臨傳承土壤消解以致后繼無人的時代困境。本次會議已有學者涉及建立樂器數據集和進行樂譜數字化等技術手段，這些保護傳統音樂的措施又使得科技方進一步思考，如何通過技術手段有效地使“非遺”在人類生活與生產中落地生根。

另一方面， 音樂與科技的聯姻也帶來了許多值得思考的問題。

其一，如何看待人工智能“創作”的音樂作品的價值？ 人工智能是基于程式性的算法產生音樂，雖然其底層算法邏輯是人類賦予的，但它在“創作”時又直接省略了人類發揮主觀能動性這一過程。筆者將其稱為“程式性的主觀能動性”， 這導致人工智能音樂作品的價值難以評判。此外，此類作品的受眾群體是誰，作品意義為何等問題都需要思考。如2024年9月，中央音樂學院開學典禮首次亮相“智音” 指揮機器人，并由它登臺執棒指揮開場曲《歡迎》（此曲也由人工智能創作）。當樂隊指揮被算法精確主導時，那么樂隊的靈魂是否也隨之消失？

其二， 如何看待科技研究與音樂研究之間的關系？ 在各類科技的加持下，人們可能會一味地追求科技層面的表現而淡化音樂規則。本次會議中，許多研究都是從科技角度來闡釋音樂，將音樂當成科技研究的附屬品， 因而并未真正理解音樂。如各類音樂生成大模型采用海量數據喂養的方式簡單粗暴地生產音樂； 各種感應裝置追求極高的精確度而忽略了音樂的自由性與表達性； 以及定量研究采用理想化的數理公式而摒棄了音樂的現實性等等。可以說，它們皆以科技主導音樂，而并未融洽地接納音樂。

其三， 如何看待當下音樂與科技研究的學科定位？ 從此次參會人員的構成來看，大多來自計算機科學、電子工程和數學等理工科，而來自音樂學院的研究者占比極低， 這顯得此次會議更像是“一個人的狂歡”。這確實是值得音樂學界反思的一個問題。音樂研究者往往對自然科學的研究手段感到陌生，而科技研究者又往往因專業音樂素養的局限而無法深入透徹理解音樂的本質及其規律。在這種背景下，雙方該如何看待對方的定位與價值？ 這必定是值得長期探索的一個宏觀性問題。

綜上， 雖然科技在某些方面淡化了人類在音樂創作中特有的思維與情感， 但它更大程度上促進了音樂產業的快速發展， 展現了音樂研究、音樂創作與音樂傳承的未來前景。反之，音樂也加速了科技某些方面的更新速度， 反推著科技方進一步思索該如何落實到人類的生活與生產中去。正如韓寶強所言，人工智能音樂的最佳選擇應當是社會音樂教育， 因為它能輔助音樂教育領域中的很多重復性勞動， 如基礎性的音樂理論學習和日復一日的樂器訓練。筆者認為，音樂與科技的結合，只有與人發生實質性關系時才有意義， 這為兩者的結合提供了一個可借鑒的價值評判導向。

此外，從“新文科”與“新藝科”的建設趨勢來看，當下音樂與科技的融合尚處在一個合作共贏的階段。目前音樂與科技的研究成果，幾乎都是由音樂人員與科技人員共同完成。但是隨著時代發展，率先邁出自身“舒適圈”的一方必定優先掌握話語權。不過，所謂“術業有專攻”，在音樂與科技各自規律和壁壘的限制下，雙方人員在很長一段時間內仍需互相擁抱與接納。

郭西洋 武漢音樂學院碩士研究生

（特約編輯 盛漢）