詞間相關性的CMRM圖像標注方法

劉詠梅，代麗潔

(哈爾濱工程大學計算機科學與技術學院，黑龍江哈爾濱 150001)

詞間相關性的CMRM圖像標注方法

劉詠梅，代麗潔

(哈爾濱工程大學計算機科學與技術學院，黑龍江哈爾濱 150001)

自動圖像標注因其對圖像理解和網絡圖像檢索的重要意義，近年來已成為新的熱點研究課題.在圖像標注的CMRM模型基礎上，提出了一種基于詞間相關性的CMRM標注方法.該方法提取了標注字之間的詞間相關關系，并利用圖學習算法，通過將詞間相關性矩陣疊加到初始標注矩陣的方法對標注結果進行了改善.利用Corel5k標注圖像庫中的自然場景圖像進行實驗.實驗結果表明，該方法很好地完成了對測試集圖像的自動標注，在查全率與查準率上較CMRM模型有所提高.

圖像標注;CMRM模型;相關關系;詞間相關性矩陣

有效的圖像描述方法［1］是圖像數據管理的基礎.目前圖像描述方法主要采用人工標注的方式進行，但是由于人工方式耗時費力而且缺乏客觀性，因此需要對圖像進行自動標注.

此外，對圖像進行自動的語義標注是圖像檢索中重要且非常具有挑戰性的工作［2］.對于提高檢索系統的效率有著重要的意義.因此如何快速有效地進行自動的圖像標注就變得異常重要.

通過對CMRM算法的研究發現，該模型只考慮了視覺特征與標注關鍵字之間的對應關系，卻忽略了關鍵字本身所具有的相關性，因此，提出了一種基于詞間相關性的CMRM圖像標注方法.首先利用CMRM模型對圖像進行標注，然后從訓練集中提出關鍵字之間的相關關系，并利用圖學習算法，將這種相關關系在各個關鍵字之間進行傳播，從而得到新的圖像標注關鍵字.

1 CMRM圖像標注方法

聯合媒體相關模型(cross－media relevance models，CMRM)將相關語言模型(relevance－based language model)［3－4］應用到圖像標注中，通過對訓練圖像集的學習獲取圖像的視覺詞元與關鍵字的聯合概率分布.利用概率統計方法，獲得每個關鍵字作為圖像標注的概率，并以此作為選擇標注的依據.該模型在圖像標注領域取得了較好的成績，現在已經成為各種新圖像標注方法進行性能對比的標準方法.

在利用CMRM算法對圖像進行標注過程中常用的圖像描述方法如下:

1)關鍵字記為wi，i=1，2，…，n.

2)視覺詞元記為bi，i=1，2，…，m.并用它對圖像進行表示.

3)訓練圖像記為Ji={b1，b2，…，bm，w1，w2，…，wn}，其中i為圖像的編號.

4)測試圖像記為I={b1，b2，…，bm}.

1.1 CMRM標注的基本原理

CMRM模型采用一種生成式的語言建模方法［4－5］，該方法認為每幅圖像的視覺特征與標注關鍵字之間都有一種潛在概率分布P(·|I)，并且將這個分布看作是I的相關模型［4－6］.可以將圖像的視覺詞元表示{b1，b2，…，bm}看作是從P(·|I)中進行m次隨機采樣得到的.同理，很自然地想到對圖像I進行標注可以看作是從它的相關模型P(·|I)中隨機抽樣n次得到了n個關鍵字.為了能對相關模型進行抽樣需要對標注集中每個關鍵字都估計概率.

由于P(·|I)本身是未知的，因此可以考慮利用條件概率P(w|b1，b2，…，bm)近似P(w|I)［6］，即

對于式(1)等號右邊的概率，可以首先利用已標注的訓練圖像集來估計在一幅圖像中同時觀察到關鍵字w和視覺詞元b1，b2，…，bm的聯合分布，然后對該分布按w進行邊緣化得到.而聯合分布可以利用訓練集中的圖像J的期望得到

假設某一幅訓練圖像J被選定后，關鍵字w和視覺詞b1，b2，…，bm是否出現是相互獨立的［4－6］.因此可以將式(2)重寫為

式中:P(J)可以對訓練集中的所有圖像保持一致.由于J中同時包含了全部視覺詞元與關鍵字，因此可以利用平滑的期望最大化算法對式(3)中的概率進行估計，當給定一幅訓練圖像J時，可以同時觀察到關鍵字w和視覺詞元b的概率由式(4)、(5)給出.

式中:#(w，J)表示w出現在圖像J的標注中的次數，因為同一個詞很少會多次出現在同一個標題中，所以該值一般取為0或1;#(w，T)表示w出現在訓練集T中的總次數，它等于用該關鍵字標注的訓練圖像的總數;同理，#(b，J)和#(b，T)也表示相應的次數.利用式(1) ～ (5)［4－7］估計出概率P(w|I)后，就可以直接利用這個概率對圖像進行標注.本文中將αJ和βJ這2個參數經評估后分別取為αJ=0.1，βJ=0.9.

1.2 CMRM的圖像標注算法

利用聯合媒體相關模型對圖像進行標注的主要步驟總結如下:

1)從數據集的文件中統計出的基本信息.

#(w，J):每個關鍵字出現在每幅圖像的標注中的次數，一般為0或1.

#(w，T):關鍵字出現在數據集中的總次數.

#(b，J):視覺詞元b出現在每幅圖像中的次數.

#(b，T):視覺詞元b出現在全部訓練圖像中的次數.

2)利用統計信息計算關鍵字和視覺詞元的條件概率P(w|J)和P(b|J).

3)利用條件概率對關鍵字和視覺詞元的聯合概率進行估計.

4)利用p(w，b1，b2，…，bm)來近似p(w|b1，b2，…，bm).

2 基于詞間相關性的CMRM圖像標注

CMRM算法是根據圖像的底層特征等對圖像進行標注的，由于“語義鴻溝”的存在，使得該算法的標注性能受到影響.在利用CMRM對圖像進行初始的標注之后，利用圖學習方法，將從訓練集中得到的詞間相關關系矩陣作用到初始標注矩陣上，使得關鍵字之間的相關性在圖的各個頂點之間進行傳播，從而實現了對標注結果的改善.

2.1 詞間相關性描述

詞間相關性是指2個關鍵字同時標注一幅圖像的特性.相關程度用詞間相關性矩陣表示.為了獲得關鍵字之間的相關性矩陣，可以對訓練集中關鍵字出現的次數進行統計，文中將2個關鍵字作為同一幅圖像的標注出現的次數稱為它們的共生次數.

要準確地獲取關鍵字之間的詞間相關性矩陣，需要對訓練集數據進行統計和整理，并進行相應的計算.下面將詳細說明計算該矩陣的算法.算法的主要步驟如下:

1)讀入訓練圖像集中的標注信息，即訓練圖像本身自帶的標注關鍵字;

2)從訓練集的標注信息中，統計出任意2個關鍵字的共生次數，即K(w1，w2);

3)統計每個關鍵字在訓練圖像集中作為標注出現的次數n1;

4)按照式(6)計算出詞間相關性矩陣;

5)對矩陣進行歸一化處理.

2.2 相關關系傳播算法

本文利用圖學習算法來實現詞間相關性在各個關鍵字之間的傳播.文獻［8］將圖學習算法應用于圖像標注中，所提出的基于圖學習的標注框架首先進行初始標注，即以圖像為節點，以圖間相似性為邊建立圖，通過圖學習算法將標注信息從已標注圖像傳遞到未標注圖像，然后對標注結果進行改善.這時，利用詞間相關性建立以詞為節點的圖，以初始標注結果設置初始狀態向量，通過學習算法得到圖像的最終標注結果.本文方法借鑒了這一框架.

設G=(V，E)表示圖，其中V={x1，x2，…，xn}是圖的頂點，對應標注的關鍵字;E代表圖的邊，邊上的權值對應它所連接的2個關鍵字之間的相關強度.同時，設CMRM標注結果用矩陣Y表示，它的元素yij表示第i幅圖像被標注為第j個關鍵字的概率.結果矩陣R的元素表示每幅圖像被標注為每個關鍵字的最終概率結果，由下面的迭代過程產生［8］:

式中:t表示迭代次數，其初值為0，R(0)=Yβ是傳播系數，它決定了相關矩陣對標注結果的影響程度，本文中t的終值取500，β取0.25.

從上面的描述可以看出，迭代過程中有2個最重要的矩陣，相似矩陣S和初始標注矩陣Y，前者對應著上一節中得到的共生矩陣，而后者由CMRM算法對測試圖像進行標注而得到.

2.3 基于詞間相關性標注算法

下面給出算法的具體步驟如下.

1)從數據集的文件中讀入訓練數據信息，進而完成對基本信息#(w，J)、#(w，T)、#(b，J)、#(b，T)的統計，并轉2).

2)估計關鍵字w和視覺詞元b的條件概率，并計算關鍵字與視覺詞元之間的聯合概率.

3)提取詞間相關性矩陣S.

4)將2)中得到標注矩陣與式(7)中的初始狀態矩陣Y對應，進行迭代計算，直到收斂，得到的新矩陣就是最終標注結果.

5)對矩陣每行的元素按概率值排序，取概率最大的N個作為最終的標注關鍵字，在本文方法中N=5.

3 實驗結果與分析

3.1 實驗數據

本文采用帶有標注字的 Corel5k圖像集［9］實驗.整個圖像集中共包含50個文件夾，每個文件夾100張圖像，共5 000張圖像.從每個文件夾中選取80張圖像作為訓練圖像，再先取10張作為評估圖像集，用于對參數進行評估，其余10張圖像作為測試圖像［4］.

對所有圖像均先利用NCut算法進行圖像分割，取前10個面積較大的區域作為有效區域，進行特征提取.區域的視覺特征為36維特征向量，包括18種顏色特征、12種紋理特征和6種形狀特征.對訓練圖像，利用K－均值聚類算法(K=500)對所有有效區域進行聚類，由聚類結果得到500個視覺詞元.

3.2 實驗結果

對500幅測試圖像進行了自動的標注，計算了每個關鍵字(標注字)的平均查全率和平均查準率.查全率(recall)度量出對單個詞查詢的完整性，查準率(precision)反映出查詢的精度.對于給定的標注字w，若在測試圖像集的手工標注結果中包含w的圖像個數為Nm，使用自動標注模型的標注結果中包含該詞的圖像個數為Na，其中參照手工標注結果有Nr個是正確的，則單個標注字的查全率和查準率為

采用標注字的平均查準率和平均查全率來考察本文方法的標注性能.與CMRM算法相比，部分關鍵字的查全率與查準率有明顯的提高，如圖1及圖2所示.

圖1 本文方法與CMRM模型的部分關鍵字的查全率對比Fig.1 Recall contrast results of partial words with CMRM model

圖2 本文方法與CMRM模型的部分關鍵字的查準率對比Fig.2 Precision contrast results of partial words with CMRM model

對測試圖像集中500幅圖像的標注結果進行統計，對標注性能最好的前49個標注字的平均查全率為0.375，平均查準率為0.38.本文方法與CMRM模型的標注性能進行了對比，見表1.

表1 與CMRM模型的性能對比Table 1 Efficiency contrast results with CMRM model

本文方法充分考慮了標注關鍵字之間的相關性，這種相關性反映了各個關鍵字之間的語義聯系，通過相關性將2個緊密聯系的關鍵字的標注概率進行調整，并對CMRM的標注結果進行調整，使得標注結果在查準率和查全率上較CMRM有所提高.表2給出了部分圖像的標注結果.

本方法無論在查全率還是查準率方面，都較CMRM模型有所提高.但是由于圖像的視覺詞元對最終標注結果的影響是非常大的，不可避免地出現了一些標注效果不理想的情況.標注性能受以下幾方面因素影響:1)顏色、形狀特征在全部特征中所占的比重，各種特征直接影響聚類的效果;2)對于詞間關系的提取不夠全面;3)所有圖像的標注長度相同，影響了最終的查全率與查準率.

4結論

本文在CMRM模型基礎上，利用標注字之間的詞間相關性對CMRM標注方法進行了改進，取得了更好的標注效果.下一步的研究工作可以從以下幾個方面進行.

1)優化圖像的特征提取方法，在不影響算法性能的前提下，盡量全面地采用各種特征，以消除某些特征對聚類的影響.

2)對于共生關系矩陣的提取，可以借助一些結構化的詞典來進行，普林斯頓大學開發的WorldNet就是一個不錯的選擇，該詞典收錄了大量的單詞，且按語義對單詞進行組織，能夠更加全面地衡量關鍵字之間的相關性.

3)可以對圖像進行長度不固定的標注，例如對圖像中每個區域進行單獨的標注，然后對于標注相同的區域進行融合，這樣可以更好地消除噪聲關鍵字對查全率和查準率的影響.

［1］陳世亮，李戰懷，袁柳.一種基于區域特征關聯的圖像語義標注方法［J］.計算機工程與應用，2007，43(2):53－57.

CHEN Shiliang，LI Zhanhuai，YUAN Liu.Image semantic annotating method based on region features relevancy［J］.Computer Engineering and Applciations，2007，43(2):53－57.

［2］YU Feiyang，HORACE H S.Semantic content analysis and annotation of histological images［J］.Computers in Biology and Medicine，2008，38:635－649.

［3］LAVRENKO V，CROFT W.Relevance－based language models［C］//Proceedings of the 24th Annual International ACM SIGIR Conference.New Orleans，USA，2001:120－127.

［4］LAVRENKO V，CHOQUETTE M，CROFT W.Cross－lingual relevance models［C］//Proceedings of the 25th Annual International ACM SIGIR Conference.Tampere，Finland，2002:175－182.

［5］王斌.圖像檢索中自動標注與快速相似搜索技術研究［D］.長沙:中國科學技術大學，2007:5－45.

WANG Bin.Researches on automatic image annotation and fast similarity searching technology in CBIR［D］.Changsha:University of Science and Technology of China，2007:5－45.

［6］袁曾任.人工神經元網絡及其應用［M］.北京:清華大學出版社，1999:40－50.

［7］JEON J，LAVRENKO V，MANMATHA R.Automatic image annotation and retrieval using cross－media relevance models［C］//Proceedings of the 26th International ACM SIGIR Conference.Toronto，Canada，2003:119－126.

［8］盧漢清，劉靜.基于圖學習的自動圖像標注［J］.計算機學報，2008，31(9):1629－1639.

LU Hanqing，LIU Jing.Image annotation based on graph learning［J］.Chinese Journal of Computers，2008，31(9):1629－1639.

［9］http://www.cs.arizona.edu/people/kobus/research/data/eccv_2002

［10］紀穎.一種基于實例的圖像自動語義標注方法［J］.哈爾濱理工大學學報，2009，14(1):38－42.

JI Ying.An instance－based method for automatic image semantics annotation［J］.Journal of Harbin University of Science and Technology，2009，14(1):38－42.

劉詠梅，女，1973年生，副教授，碩士生導師，博士.主要研究方向為模式識別、圖像理解和生物信息學.

代麗潔，女，1983年生，碩士，主要研究方向為圖像處理與模式識別、圖像標注.

A method of CMRM image annotation based on inter-word correlation

LIU Yongmei，DAI Lijie
(School of Computer Science and Technology，Harbin Engineering University，Harbin 150001，China)

Automatic image annotation is significant for image understanding and retrieval of web images.As a result，it has become a hot research topic in recent years.On the basis of a CMRM image annotation model，an efficient image annotation method was proposed based on inter－word correlations.The correlations between the annotated words were picked up，and the inter－word correlation matrix was added to the initial labeling matrix by a graph learning algorithm.The proposed annotation approach was tested by a Corel5k database with natural scene images.The experimental result shows that the method can automatically label the images in the test set very well.The recall and precision are increased compared to CMRM.

image annotation;CMRM;correlation;word－correlation matrix

TP391

A

1673－4785(2011)04－0350－05

10.3969/j.issn.1673－4785.2011.04.012

2010－03－15.

中央高校基本科研業務費專項資金資助項目(HEUCF100604).

劉詠梅.E－mail:liuyongmei@hrbeu.edu.cn.