基于隱含語義分析的音樂檢索

周皓東，劉 煒

（江西省科學院 高科技開發中心，江西 南昌330029）

0 引 言

由于音樂形式的多樣性和內容的復雜性，普通人很難準確表達出音樂的曲調，但收聽曲調類似、相近的音樂卻是一般用戶都具有的需求。傳統基于人工標注風格的音樂檢索方式會產生過多的結果而不能找到最接近的音樂，而使用曲譜的查詢則只會找到完全相同的曲調，因此對音樂的近似檢索一直受到研究者的重視。近年來，基于哼唱等近似音樂檢索方法取得了一系列突破，許多研究者在提出了相關的解決方案。基于音樂特征的提取與匹配，陳曉穎［1］等人提出使用音高和音長描述樂曲的方法，并利用平均音高差和平均音長變化率建立 M樹索引結構，在一定搜索半徑內查找與輸入最相似的音樂文件。秦 靜［2］等人提出基于動態閾值分割音符并將音高模板歸一化的加權綜合匹配算法，提高音樂檢索的精確性和魯棒性。李鵬［3］等人采用改進的YIN算法提取基音序列，然后使用 “小閣”基音后處理方法對基音序列的規整化操作，基于旋律輪廓進行音樂的模糊匹配。劉怡與郝云飛［4］對比了各種近似匹配算法的性能，指出音樂哼唱檢索系統中基于單側連續匹配的算法不僅查詢速度快，而且查詢的準確率較高。基于單側連續匹配的算法，于琪［5］等人提出一種分層聚類的方法，提取音樂數字特征并進行聚類，在保證音樂檢索中查準率同時提高了檢索效率。音樂特征除了片斷中的音高與音高變化外，還體現在片斷間的變化，王小鳳［6］等人提出基于單句特征和多句轉換相結合的檢索方法，獲得了良好的檢索效果。

從研究成果來看，特征值匹配是現有方法的基礎，但現有特征值主要是從數學上對原數據進行精簡，音樂中有許多信息正是由被數學上忽略掉的 “冗余”數據表達，因此根據具體音樂分析潛在的相關性遠比簡單的數字特征匹配有意義。潛在語義分析 （latent semantic analysis，LSA）是一種較好的潛在相關性分析方法，在文本檢索中取得了較好的成果。近年來，一些研究者嘗試了將LSA引入多媒體數據檢索或分類排序，如針對遙感圖像中 “同物異譜”和 “同譜異物”的現象，陶超［8］等人提出一種基于潛在語義分析的遙感圖像分類排序方法，有效提高了遙感圖像分類精度。常軍［9］等人對描述視頻內容結構的視頻文檔矩陣進行潛在語義分析，使用可視特征相關性的關系矩陣進行視頻檢索，改善了視頻語義內容檢索的效果。王新穎［10］等人提出一個基于潛在語義分析的非線性降維方法并用于三維模型的語義檢索，在三維模型的特征降維處理和檢索結果方面都取得了較好的效果。為使檢索結果更加接近用戶意圖，本文嘗試了基于LSA的音樂檢索方法。

本文算法首先建立音樂詞典，再將音樂矩陣化表示，最后進行詞匯相關性分析，算法總體技術方案如圖1所示。

圖1 音樂語義檢索總體技術方案

圖1中，詞典建立為矩陣化表示提供基礎數據，相關性分析同時使用詞典和樂曲矩陣，最后基于語義進行檢索。

1 音樂詞曲的建立

1.1 曲譜的標準化表示

曲譜是音樂的核心內容，代表了樂曲的曲調，也是大多數人檢索音樂的主要依據。無論節奏、音高還是情感，都通過曲譜來表達。然而，傳統的曲譜表達雖然主體部分是1－7的數字，但同時也夾雜了其它非數字符號，并不利于計算機表達或數值化分析。為此，首先要對曲譜進行標準化表示，方便程序處理。

曲譜由不同的音符通過不同的方式連接而成，不同音符代表了不同的音高 （mh），音符間的連接則包含了不同的音長 （ml）和音轉 （mc）方式，對曲譜的標準化表示主要是對音高 （mh）、音長 （ml）和音轉 （mc）進行描述。

對一般音樂來說，共有七個音符，而每個音符又有高、中、低這3個音階，加上休止符0，共22個，因此可以將音高映射到集合MH＝ ｛mh｜0≤mh≤21，mh∈Z｝。

音長是曲譜中決定一個音符延續時間的因素，理論上一個音符可以延續任意音長，幸運的是，所有音長都是按“拍”來計算，理論上最短的音長為三十二分之一拍，而常見的音符最短為八分音符。由于十六分音符和三十二分音符很少見，忽略它不會影響檢索結果，為簡化計算，我們將八分音符定為基本音長單位 （mu），而將短于八分之一拍的音符近似為八分音符，于是所有音符長度可以轉換為音長單位的整數倍，曲譜中所有音符都可被拆分為單位音符的連接。

對較長音符進行拆分后，同一音符被轉化為多們音符的連接，但這種連接與多個相同音符的發音顯然不同，另外，不同音符間還存在上弧線的連接和普通連接之分，為區分不同單位音符間的連接方式，為每個單位音符后都附加一個音轉方式屬性mc∈MC，MC＝ ｛c，a，s｝，其中c代表普通連接，a代表弧線連接，s代表同音延續。于是任意曲譜可以表示為標準音符和音轉的交替串：Staff＝mu0mc0…munmcn。

1.2 音樂詞典建立

理論上，mu、mc對 （以下記為muc）間的排列方式可以有無限多個，實際應用中，曲譜總是按句分段，每段的長度有限，并且排列的方式具有一定的規則，為提高檢索效率，先將常用排列方式組合成 “詞”。曲譜的詞沒有固定的長度或顯式的表達，需要利用人工智能方法自動提取常用的詞匯。提取詞匯的目標是找到最常用的muc排列方式，一般來說，單個muc使用頻率高于包含它的多muc排列，小的muc排列使用頻率高于包含它的大muc排列，由此可以得到以下音樂詞匯統計算法。

算法1 （音樂詞匯統計算法）

步驟1 將音樂庫轉換為標準muc排列集MUS，令詞匯表容量為V，MUS的總muc數為｜MUS｜，則規定頻率閾值Fthre＝V／ （V－｜MUS｜）。

步驟2 將所有單個muc加入詞匯表W，統計各詞匯wi在MUS中的出現頻率fi，若fi＜Fthre，則將wi移除。令迭代數t＝1，hasnew＝false。

步驟3 對詞匯表W 長度為t的詞匯，計算它們與長度為1的詞匯組合wnew出現的頻率fnew，若fnew＞＝Fthre則令W＝W∪ ｛wnew｝，hasnew＝true。

步驟4 若hasnew＝false，轉步驟5，否則令t＝t＋1，轉步驟3。

步驟5 在W中選擇頻率最大的V個詞匯作為最終詞匯表，結束。

2 樂曲的矩陣化表示

隱含語義分析的關鍵過程是進行奇異矩陣分解，為此需要首先將各樂曲進行矩陣化表示。樂曲通常都有自然分句，但這些分句長度可能不同，為使各分句能整齊地轉化為相同維數的向量，使用最長的分句長度作為標準維數

由于詞語間存在包含、重疊的情況，各語句存在不同的劃分方式，使用每句的最短長度作為語句的參考長度，即

在確定標準維數后，需要對較短的語句進行單詞分割（顯然，根據算法1產生的單詞的分割仍然是單詞），我們使用增加頻率和的算法進行單詞的重新分割，算法如下：

算法2 （樂曲語句再分割方法）

步驟1 令語句現有單詞集為Wn，單詞數量為｜Wn｜，對語句中各單詞按詞典中的頻率排序，選擇其中頻率最小的Lstd－｜Wn｜個長度大于1的單詞作為候選分割集Wdiv，令Wn＝Wdiv，i＝1。

步驟2 對wi∈Wdiv，令j＝｜wi｜／2，wij為wi中從0到j個muc所組成的單詞，wij中從j到｜wi｜個muc所組成的單詞。

步驟3 若fwi（j＋1）＋fwi（j＋1）＞ fwij＋fwij，則令j＝j＋1，重復步驟3。

步驟4 若fwi（j－1）＋fwi（j－1）＞ fwij＋fwij，則令j＝j－1，重復步驟4。

步驟5 令Wn＝Wn∪ ｛wij，wij｝，若i＜｜ Wdiv｜，則令i＝i＋1，轉步驟2。

步驟6 若｜Wn｜＜Lstd，則轉步驟1，否則結束。

通過算法2將樂曲的各句轉化為固定數量的單詞序列，再將各單詞根據出現頻率編號，則語句可以表示為編號組成的向量，樂曲可以表達為語句向量所組成的矩陣。

3 樂曲語義相關性分析

對語義相關性的分析是實現語義檢索的關鍵。當前，對語義相關性的描述方法很多，一般可以分為潛在語義、詞網 （WordNet）關系、本體等三類。詞網要求檢索內容間存在嚴格的關聯規則，音樂內容和樂譜中的關聯并不嚴格，因此詞網的方式不適合表達音樂相關性。本體關系要求被描述對象有明確的規范，音樂本身是一種自由的情感表達，并沒有嚴格的規范或要求，因此無法總結出各種音樂的本體，也不容易將本體的概念用于描述音樂的語義。潛在語義分析使用奇異值矩陣描述對象間的關系，并不要求被描述對象有特殊標準或規范。綜合對比，本文采用潛在語義分析作為樂曲語義相關性分析的工具。

經過矩陣化表示，樂曲可以通過向量、矩陣的相似性進行檢索，但這種檢索只能獲得表面相近的結果，檢索的優劣依賴于向量、矩陣的距離定義。為了使檢索結果能體現更多的潛在相關性，我們采用向量空間矩陣來分析和處理，以反映語義特征相關性的關系。

令樂曲表達矩陣K可以進行奇異值分解

對式 （3）兩邊右乘以V、Is（其中Is為對角矩陣，前s個對角元素為1，其余元素為0）：

令需要查詢的語句向量為q，則將查詢語句與樂曲矩陣相似性定義為

其中，VIs代表了從詞語空間到語義空間的映射，KVIs構成了語義空間中的樂曲矩陣；qVIsT構成了語義查詢向量。

式 （4）可以進一步整理為

式 （6）中的R既能反映矩陣K的自相關性，又能獲得K與q的互相關性，因此通過式 （6）可以得到樂曲的完整相關性，利用這種相關性對樂曲排序，可以產生令用戶滿意的檢索結果。

4 實驗結果

為驗證算法的有效性和執行效率，我們建立了相關的樂曲庫和檢索材料進行了實驗。從中國曲譜網 （http：／／www.qupu123.com）下載和識別曲譜20601首建立曲譜庫（其中民歌13861首，通俗5359首，美聲1381首），識別過程使用區域分割和谷歌OCR包。為對比傳統哼唱音樂檢索方法，邀請了50人哼唱曲譜庫中的歌曲各2首，并人工標注哼唱的預期前10項檢索結果。實驗中使用三星NP400B2B筆記要電腦，CPU頻率2.10GHz，內存4.0G，操作系統為64位 Windows 7。實驗對比算法包括 “小閣”基音后處理方 法［3］（CPT），單側 連續匹 配方法［4］（OSCM），分層聚類音樂檢索方法［5］（HCMR），將本文算法稱為潛在語義分析檢索算法 （LSAR）。

實驗測試了算法對音樂檢索的結果，分別使用哼唱和原曲進行檢索，統計檢索結果的命中率、精準度和滿意度，其中命中率為檢索結果中存在目標樂曲的比例，精準度為檢索的前10個結果中存在預期結果數量的比例，滿意度為預期結果正確排序的比例，即

其中，對于僅有單個結果的檢索算法，將上一次檢索結果排除后再進行下一次實驗，以獲得檢索結果集及其排序。測試結果見表1。

表1 檢索結果的命中率、精準度和滿意度

在表1中，CPT與OSCM的滿意度在某些時候超過了LSAR，但由于其精準度較低，故實際滿意的結果并不如LSAR。HCMR的精準度在哼唱檢索中超過了LSAR，但其命率和滿意度均低于LSAR，在實際檢索中HCMR滿意的結果數目仍然不如LSAR。

對音樂檢索來說，檢索時間也是需要考慮的因素之一，為驗證LSAR的時間有效性，對不同長度的音樂進行了檢索時間統計，結果如圖2所示。

圖2 音樂檢索時間對比

圖2中統計了幾種檢索算法對不同長度音樂檢索的平均時間，檢索時均使用原曲進行檢索。

雖然LSAR在檢索時間上與其它算法相比并無明顯優勢，但在給用戶帶來語義檢索的功能同時保證了時間上的性能。

5 結束語

本文將潛在語義分析的方法引入音樂檢索問題中，建立了音樂的詞匯表、表示矩陣和語義相關性分析方法，總體上獲得了良好的檢索結果。與現有的方法相比，基于語義的檢索方法在進行哼唱檢索中可以獲得更高的命中率，檢索結果中具有更多與人們預期排序相符的樂曲。但需要注意的是在哼唱檢索中，由于個人哼唱技術的差異，本文方法并不能獲得100%的命中率，這在實際應用中是無法使用戶滿意的；相應地，哼唱檢索時本文算法在檢索精準度也低于HCMR算法。要進一步提高音樂檢命中率，使檢索結果達到用戶滿意的程度，需要改進對用戶哼唱的識別算法和適應方法，作者下一步工作將繼續研究哼唱特征的提取和哼唱語義的表達等問題。

［1］CHEN Xiaoying，GAO Feng，LU Ruzhan.New indexing method for content－based music information retrieval and its application ［J］.Computer Engineering and Applications，2007，43（14）：233－235 （in Chinese）.［陳曉穎，高峰，陸汝占.一種新型的音樂信息檢索索引方法及其應用 ［J］.計算機工程與應用，2007，43 （14）：233－235.］

［2］QIN Jing，ZHOU Mingquan，WANG Xingce，et al.MIR approach based on dynamic thresholds segmentation and weighted synthesis match ［J］.Computer Engineering，2007，33 （13）：194－199 （in Chinese）.［秦靜，周明全，王醒策，等.基于動態分割和加權綜合匹配的音樂檢索算法 ［J］.計算機工程，2007，33 （13）：194－199.］

［3］LI Peng，ZHOU Mingquan，XIA Xiaoliang，et al.A music retrieval research and implementation of new methods ［J］.Journal of Beijing University of Posts and Telecommunications，2010，33 （3）：62－66 （in Chinese）.［李鵬，周明全，夏小亮，等.音樂檢索新方法的研究與實現 ［J］.北京郵電大學學報，2010，33 （3）：62－66.］

［4］LIU Yi，HAO Yunfei.Evaluation of approximate match algorithms in large query by humming music retrieval systems ［J］.Journal of Hunan University of Science ＆ Technology （Natural Science Edition），2009，24 （1）：81－86 （in Chinese）.［劉怡，郝云飛.大型音樂哼唱檢索系統中的近似匹配算法及性能評測 ［J］.湖南科技大學學報 （自然科學版），2009，24 （1）：81－86.］

［5］YU Qi，JIANG Yongping，XU Du，et al.A kind of application hierarchical clustering in music retrieval ［J］.Computer Engineering and Applications，2011，47 （30）：113－115 （in Chinese）.［于琪，蔣永平，徐杜，等.一種分層聚類方法在音樂檢索中的應用［J］.計算機工程與應用，2011，47 （30）：113－115.］

［6］WANG Xiaofeng，GENG Guohua，LIU Xiaoning，et al.Multisentencemusic retrieval algorithm based on relative features［J］.Application Research of Computers，2011，28 （3）：918－920（in Chinese）.［王小鳳，耿國華，劉曉寧，等.基于相對特征的音樂哼唱多句檢索算法 ［J］.計算機應用研究，2011，28（3）：918－920.］

［7］Park LAF，Ramamohanarao K.An analysis of latent semantic term self－correlation ［J］.ACM Transactions on Information Systems，2009，27 （2）：1－35.

［8］TAO Chao，TAN Yihua，PENG Bifa，et al.A probabilistic latent semantic analysis based classification for high resolution remotely sensed imagery ［J］.Acta Geodaetica et Cartographica Sinica，2011，40 （2）：156－162 （in Chinese）.［陶超，譚毅華，彭碧發，等.一種基于概率潛在語義模型的高分辨率遙感影像分類方法 ［J］.測繪學報，2011，40 （2）：156－162.］

［9］CHANG Jun，HU Ruimin，WANG Zhongyuan，et al.A correlation analysis method of latent semantic for semantic－based video retrieval［J］.Geomatics and Information Science of Wuhan University，2011，36 （11）：1256－1258 （in Chinese）.［常軍，胡瑞敏，王中元，等.基于隱含語義相關性分析的視頻語義檢索 ［J］.武漢大學學報 （信息科學版），2011，36 （11）：1256－1258.］

［10］WANG Xinying，LV Tianyang，WANG Shengsheng，et al.3Dmodel retrieval based on latent semantic linear embedding［J］.Journal of Chinese Computer Systems，2010，31 （4）：761－765 （in Chinese）.［王新穎，呂天陽，王生生，等.一種基于潛在語義線性嵌入的三維模型檢索方法 ［J］.中國計算機系統雜志，2010，31 （4）：761－765.］