基于人工智能的鋼琴編曲音色識別系統設計

仝智倍

摘? 要： 為了改善當前音色識別系統識別準確率低、時間開銷較大等問題，結合人工智能技術提出并設計基于人工智能的鋼琴編曲音色識別系統。首先給出系統整體架構和功能模塊設計方案，使用數字化識別方法提取鋼琴樂曲音色特征矩陣，得知鋼琴特征矩陣不同于其他樂器;接著分析音色倍頻點，得到音強包絡曲線;最后結合鋼琴音色特征矩陣和音強包絡曲線有效區分不同樂曲音色的差異，實現鋼琴編曲音色識別。實驗結果表明，利用所提系統進行鋼琴編曲音色識別具有較高的識別準確率，值得進一步推廣和應用。

關鍵詞： 鋼琴編曲; 音色識別系統; 人工智能; 音色特征提取; 音強包絡曲線; 實驗分析

中圖分類號： TN915?34; TP311.13? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）04?0183?04

Design of piano arrangement timbre recognition system based on artificial intelligence

TONG Zhibei

（College of Applied Engineering， Henan University of Science and Technology， Sanmenxia 472000， China）

Abstract： A piano arrangement timbre recognition system based on artificial intelligence technology is proposed and designed to improve the problems of low recognition accuracy and high expenditure of time in the current timbre recognition system. The design scheme of the overall architecture and functional module of the system are given. The feature matrix of the piano music timbre is extracted by means of the digital recognition method， and it is known that the piano feature matrix is different from other instruments. The timbre frequency doubling point is analyzed and the envelope curve of timbre intensity is obtained. The differences of different music timbres are distinguished in combination with the piano timbre feature matrix and the envelope curve of sound intensity， so as to realize the timbre recognition of piano arrangement. The experimental results show that the proposed system has high recognition accuracy for the piano arrangement timbre recognition， which is worth further promotion and application.

Keywords： piano arrangement; timbre recognition system; artificial intelligence; timbre feature extraction; sound intensity envelope curve; experiment analysis

0? 引? 言

隨著人工智能技術的深入發展，鋼琴逐漸受到了更多愛好者的廣泛推崇和喜愛，將鋼琴的音色通過電子等手段合成后形成新的旋律，能夠突出鋼琴音色的獨特性，將其與人工智能創作的樂曲相融合[1?2]。基于人工智能的鋼琴編曲音色識別在鋼琴編曲中扮演著重要的角色，展現出了廣闊的市場前景。人工智能技術的出現推動了當代電子音樂的發展，并且技術應用領域也在不斷拓展[1，3]。基于人工智能技術的音樂編曲音色識別、特征提取等問題受到了廣泛關注。鋼琴相比其他樂器，音域更廣，音色識別能力更強，在鋼琴編曲音色識別中占據重要地位。

通過鋼琴樂曲的邊界音對諧波信號的處理得到的結果來判定鋼琴音色信號的連續性，完成鋼琴編曲音色識別系統的構建，提出基于改進的線性變調的鋼琴編曲音色識別系統[4]，但該系統識別精度較低。文獻[5]提出基于改進PSO?SVM的鋼琴編曲音色識別系統。該系統通過對鋼琴樂曲音色進行特征提取，并根據該特征進行音色文件分類，判定音色文件是否被調整過，對比識別結果與真實結果發現，該系統識別正確率較低。

針對上述音色識別系統存在的問題，提出并設計了基于人工智能的鋼琴編曲音色識別系統。

1? 基于人工智能的鋼琴編曲音色識別系統

1.1? 系統總體架構

本文設計的基于人工智能的鋼琴編曲音色識別系統主要由訓練樣本集、音色挖掘、音色識別等部分構成。系統總體框架如圖1所示。

從圖1可以看出，音色文件的旋律資料是通過鋼琴編曲音色文件預處理后得到的，通過分析、辨別音色文件的特點，實現鋼琴編曲音色最終識別結果。將鋼琴旋律信息作為初始數據輸入得到基本的數據[6]，它是電腦的數據來源，不同種類的音色文件就是通過這些基本的數據得到的。這些數據中心包括MP3，WAVE以及MIDI等，鋼琴編曲音色旋律框架的形成是將選擇確定的鋼琴編曲音色文件的信息進行分段、檢測等，MIDI文件類型相比MP3和WAVE較為豐富，能夠統計鋼琴音符發出的不同音高、音強[7]。

1.2? 系統功能模塊設計

本文設計的基于人工智能的鋼琴編曲音色識別系統模塊含有多個功能，為了實現系統多個模塊和其他模塊的協同合作以及實現其功能，需要確保該系統功能的使用及穩定性。鋼琴編曲音色識別系統的功能模塊設計如圖2所示。

鋼琴編曲音色識別系統具體模塊可劃分為模擬鋼琴模塊、音色編輯模塊和樂譜展示模塊，不同功能模塊還可具體劃分為三個對應的子模塊，以下對其進行詳細闡述：

1.2.1? 模擬鋼琴模塊

鋼琴是所有樂器之王，通過鋼琴可以演奏出所有樂譜，適用范圍極為廣泛。

1） 鋼琴展示控制子模塊。通過該模塊可將鋼琴演奏過程展示出來。該模塊的放大和縮小功能是為了有效識別鋼琴琴鍵位置，準確地將鋼琴每個按鍵的音展示出來。

2） 鋼琴彈奏子模塊。主要用戶控制鋼琴演奏過程中單鍵的發音以及多鍵的發音等。

3） 鋼琴音色調整子模塊。這個模塊功能是對演奏過程產生的音色進行識別和處理。鋼琴不同于其他樂器，對音色要求極高，因此為了使創作的樂曲音色更加優美，還需要利用多種音色技術對其進行有效的處理。

1.2.2? 鋼琴音色編輯模塊

通過使用不同的技術手段將鋼琴演奏過程中產生的多種音色進行記錄，在此創作過程中對音域廣泛的樂音的處理是十分必要的。

1） 音色編輯初始化子模塊。通過設置不同的參數，在此基礎上構成了鋼琴編曲音色的初始文件，展示鋼琴編曲音色初始狀態。

2） 音色編輯子模塊。該模塊主要功能為清理音色中的干擾音色。將鋼琴音色通過最基本的處理后，再依據不同的編輯方法將該音色進行辨別，剔除存在的噪音。

3） 樂譜展示子模塊。該模塊是對樂譜的顯示情況進行處理，樂譜的最普遍的呈現形式式是通過五線譜來呈現，將處理之后得到的樂譜進行編寫，其中包含高音譜和低音譜。

1.2.3? 樂譜展示模塊

初學者在學習鋼琴樂譜時，需要學習樂譜的發展歷程，這就要將樂譜由譜到曲進行演示，讓初學者能夠感受鋼琴樂譜的演化過程。現在大部分鋼琴課程都將樂譜的播放功能融入課程中，為初學者提供樂譜的播放展示。

1） 樂譜播放控制子模塊。該模塊主要用于控制鋼琴樂譜的播放效果，例如播放速度、循環播放等。

2） 樂譜展示控制子模塊。該模塊主要用于對樂譜播放的效果進行控制，例如升降調播放展示、循環播放展示等。

3） 編曲演示音色處理子模塊。主要用于音色的處理，通過音色的處理提高鋼琴播放的音色質量。

通過上述對基于人工智能的鋼琴編曲音色識別系統模塊的描述，可為鋼琴編曲音色特征的動態識別打下堅實的基礎。

1.3? 鋼琴編曲音色識別

該系統的核心是鋼琴編曲音色的識別，在完成有關模塊解析的同時，通過數字化識別模式利用高級程序設計語言進行編寫程序，實現鋼琴編曲音色識別[8]。利用傅里葉變換方法設計基于人工智能的鋼琴編曲音色識別系統的流程圖，如圖3所示。

通過對圖3的分析，想要實現人工智能鋼琴編曲音色識別系統的設計，就必須先對鋼琴頻譜進行仔細的研究，以及一同將其播放。其中不能夠被直接辨別的音色文件通過反復的分析和篩選，最終也會完成對該系統的設計。

2? 系統關鍵技術

2.1? 提取鋼琴編曲音色特征矩陣

在實際鋼琴演奏階段，其頻率結構較為平穩，因此可使用傅里葉變換法對鋼琴全部發音頻段進行分析。

有關研究人員認為加權柯西函數反映波形的基頻和倍頻與鋼琴的發音波形大體相同，以及其模仿的聲音也大體相同。本文采用的鋼琴編曲音色的模仿和取得是利用5次倍頻方法進行的[9]。

設定鋼琴編曲音色信號[y（n）]的傅里葉變換形式為[Yi（jω）]，即：

[Yi（jω）=Si（jω）?Fi（jω）] （1）

[Si（jω）=Ai·aia2i+（ω-ωi）2，? ωi-ai≤ω≤ωi+aiAi2ω-ωi，? ? ? ? ? ? ?其他] （2）

式中：鋼琴演奏過程中發出的[i]音的音頻或是倍頻可表示為[ωi];與其相對應的振幅表示為[Ai];利用[ai]可表示波形寬度，該波形寬度是指調節基頻或倍頻[ωi]相近區域的波形寬度。頻域波形的構建是在加權柯西函數的基礎上進行的。使用傅里葉變換來模擬鋼琴演奏，準確仿真鋼琴演奏階段的音色、音強等，能夠在計算機上通過鼠標以及鍵盤的操作實現鋼琴演奏。

2.2? 提取音強包絡函數

對包絡函數的獲取是實現鋼琴樂音電子合成的必經之路。在編制曲目過程中，該函數能夠明顯反映出音強在時間不同時的變化，根據包絡函數的提取可以確保鋼琴編曲音色合成過程與函數變化趨勢基本一致，同時去除一些過度雜音。以Matlab程序為根據，通過提取模塊的構建，依據該模塊對鋼琴樂音振幅的特點進行有效分析，如圖4所示。

通過分析圖4可知，若想實現鋼琴樂音合成，需要確保振動能量在給定時間維度內準確分配，對此進行仿真分析，通過振動能量的真實曲線匹配，為鋼琴樂音合成奠定基礎。

2.3? 數字化識別

采用傅里葉變換方法分析鋼琴與其他樂器頻譜之間的差異。經分析可知，每種樂器有與其相應的倍頻點振幅，根據提取其音色特征矩陣即可實現識別，辨別不同樂器音色。

采用振幅特征提取代碼分析鋼琴這種樂器與其他樂器之間包絡函數可知，包絡函數在不相同樂器中反映是不同的，將鋼琴音色的特點矩陣和音強包絡曲線相融合，能夠對不同樂曲音色的差別進行有效的分辨，也就是對鋼琴編曲音色進行識別。

3? 實驗結果與分析

為了驗證本文提出的基于人工智能的鋼琴編曲音色識別系統的綜合性能，本文以單音文件為實驗數據，所有實驗樣本選取美國麥吉爾大學樂器音色采樣庫。其中包括很多以wav格式記載的音色資料，以45.2 kHz作為實驗的采樣頻率。該實驗的仿真環境為：操作系統為Windows 8，內存為4 GB，處理器為2.4 GHz Intel。

表2給出鋼琴編曲經過音色識別所得的頻率、時值及誤差。時值實質為鋼琴樂曲中全部音符音名，它是對全音符、二分音符及四分音符進行分別的最好方法。

分析表2可知，本文系統能夠準確識別出鋼琴樂譜中全部音符的時值，全分音符的時值是0.39 s，二分音符和四分音符的是0.27 s和0.36 s。通過對每個音符時值之間的時間間隔具體分析可知，其中差別最大的是全分音符和二分音符之間的時值，相差較小的是全分音符和四分音符之間的時值。具體分析誤差可知，僅需要將時值誤差控制在（-5%，5%）范圍內，即可調整全部時值。綜上，本文系統可以準確識別全部音符，通過相關模塊來調整時值即可完成編曲。

4? 結? 語

本文提出基于人工智能的鋼琴編曲音色識別系統，設計系統的整體框架和功能模塊。通過實驗結果得出，本文設計的音色識別系統可以合成清澈的鋼琴樂曲，且音色識別性能良好，值得廣泛應用。

當前階段，本文所研究的成果雖然能夠對鋼琴編曲音色文件進行特征分析并識別，且具有較高的識別準確率，但實驗過程中測試樣本較少，致使識別結果存在微小誤差。未來階段，將采集更多的樣本數據，進一步提高音色元素識別準確率。

參考文獻

[1] 張琳，吳建明.基于計算機技術的鋼琴音色識別與電子合成系統設計[J].自動化與儀器儀表，2018（10）：11?14.

[2] 焦杰潔.鋼琴音色識別與電子合成系統的設計與實現研究[J].景德鎮學院學報，2017，32（6）：19?22.

[3] NAKAMURA E， YOSHII K， DIXON S. Note value recognition for piano transcription using markov random fields [J]. IEEE/ACM transactions on audio， speech， and language processing， 2017， 11（1）： 11?12.

[4] ALLEN E J， MOEREL M， LAGECASTELLANOS A， et al. Encoding of natural timbre dimensions in human auditory cortex [J]. Neuroimage， 2017， 166： 60?70.

[5] 范凌云，周婧.音式階的合理性模識別校對方法[J].現代電子技術，2018，41（8）：160?162.

[6] 郭福星，辛剛，于大鵬.基于量化軟信息輸入的密鑰協商算法[J].計算機仿真，2018，35（6）：297?301.

[7] 劉媛.音樂庫中檢索特征音調歌曲智能識別仿真[J].計算機仿真，2017，34（8）：356?359.

[8] 祝義，黃志球，周航，等.函數式程序模板元編程的元建模實現方法[J].計算機工程與應用，2018，54（7）：1?10.

[9] 劉琉，趙博楠，文躍然.鋼琴音板振動模態的測試和調整[J].科技通報，2017，33（9）：255?260.

[10] 陳艮生.基于多標簽分類法的和弦音樂的音色識別[D].上海：上海師范大學，2011.