基于雙模語義空間的圖像標注

曹瑛

摘要：本文著眼于圖像底層視覺和文本標簽這兩種模態(tài)信息，探討基于雙模語義空間的圖像標注技術。將視覺特征與文本標注表示為同一對象的兩種視圖方式，考慮兩個特征空間之間的語義對偶關系，在雙模主題構成的對稱空間上構建一個非概率主題標注模型，為圖像標注研究提供新思路和理論依據(jù)。

關鍵詞：圖像標注；雙模；語義

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2017）10-0098-01

隨著網(wǎng)絡多媒體數(shù)據(jù)的劇增，圖片正呈爆炸式增長，人們如何從海量的圖像中找到自己想要的圖像是當前研究的熱點。如果能將圖片用若干文本進行標注，就能將圖像的檢索問題轉換成更為成熟的文本檢索問題來處理，所以實現(xiàn)圖像語義檢索的關鍵便是自動圖像標注技術，即給未知圖像添加能描述其內容的文本關鍵詞的方法。

1 自動標注常用算法

圖像自動標注方法大概可以分成兩類：有監(jiān)督分類的方法和關聯(lián)建模的方法。其中有監(jiān)督分類的方法是將各個語義類別看作獨立的概念，為每個語義類別建立單獨的分類器[3]。新進一幅圖片，通過計算視覺特征相似度，將相應的文本關鍵詞傳播給新圖片。

關聯(lián)模型這類方法利用現(xiàn)有的已標注好的圖像數(shù)據(jù)集，試圖在無監(jiān)督的基礎上學習圖像的視覺特征和文本關鍵詞之間的關聯(lián)，再將這種關聯(lián)應用于未標注的新圖像，通過統(tǒng)計推理來預測新圖像的語義信息。

借助有標注的圖像訓練集，運用無監(jiān)督學習的方法對圖像視覺特征和標簽關鍵詞之間的語義關聯(lián)進行建模，對于新的未標注圖像，通過這種關聯(lián)再進行統(tǒng)計推理得到標注詞匯。這種基于概率關聯(lián)的模型方法最早提出的有機器翻譯模型、跨媒體相關模型、對偶跨媒體相關模型[2]。近年來LDA模型[3]取得了更好的成效，首先在圖像的視覺特征空間和文本特征空間分別生成潛在主題，選擇一個子集形成混合的LDA模型來實現(xiàn)語義標注。基于概率的PLSA-MIXED模型[4]，則是將視覺特征和文本特征串聯(lián)組合成一個混合的特征空間，完成基于潛在語義分析的圖像標注。PLSA-FUSION模型[5]則是通過分別建立視覺潛在語義空間和文本潛在語義空間，然后采用動態(tài)自適應的方法進行融合，形成它們共同的潛在主題空間。

這些提取圖像不同模態(tài)潛在主題的統(tǒng)計模型在圖像標注領域已取得成功的應用，但是在這些基于PLSA的圖像標注模型中，既沒有考慮文本關鍵詞之間的語義關聯(lián)，也沒有考慮視覺特征之間的語義關聯(lián)，如果能將這兩種因素都進行考慮，必然會提升圖像標注的性能。

本文著力于構建一個語義空間能夠很好的反映圖像與圖像、標注與標注、圖像與標注之間的語義對應關系，提出基于雙模語義空間的圖像標注技術。首先將視覺特征與文本標注表示為同一對象的兩種視圖方式，運用偏最小二乘（PLS）的多元統(tǒng)計分析理論，考慮兩個特征空間之間的語義對偶關系，抽取得到雙模態(tài)共有語義信息，在雙模主題構成的對稱空間上構建一個非概率主題標注模型，為圖像標注研究提供新思路和理論依據(jù)。

2 雙模語義的圖像標注

我們擬在數(shù)據(jù)集上，將視覺特征與對應的標注看成是從同一表示層面描述相同對象形成的不同視圖，提取同一對象在各表示層面上的語義表示，綜合考慮圖像與圖像、標注與標注、圖像與標注之間的語義對應關系，構建雙模態(tài)的潛在語義主題空間。圖像集中的m幅圖像的兩種模態(tài)特征分別表示為視覺特征和文本特征，使用偏最小二乘（PLS）從數(shù)據(jù)集中為圖像視覺特征和標簽文本特征抽取對偶主題空間，通過模型化語義相關性的統(tǒng)計依賴關系來建立雙模主題的語義對應關系。圖像投影到雙模主題空間計算圖像與圖像的相似度，標注與標注的相似度進一步改善圖像的標注。

新來一幅未標注圖像，視覺特征表示為

，經(jīng)變換得到：

（1）

其中，，然后根據(jù)訓練得到的ξi，按照下面的公式，遞推出未標注圖像在視覺主題空間的投影向量：

（2）

（3）

其中，pk是回歸系數(shù)，tk0是中間變量，最終圖像的標注屬性可以這樣計算出來：

（4）

可以看到矩陣y方便的表示圖像的標簽屬性，而對于每一幅待標注圖像最終得到預測向量，它的每個分量代表對應標簽的預測結果，預測結果越接近，分配該標簽關鍵詞的可能性越大。我們通過對每一個標簽關鍵詞預設一個闡值來判斷它是否作為圖像的標注信息。

參考文獻

[1]Blei DM， Jordan MI. Modeling annotated data. In： Proc. of the 26th Intl ACM SIGIR Conf. on Research and Development in Information Retrieval. New York： ACM Press， 2003. 127-134.

[2]Jeon J， Lavrenko V， Manmatha R. Automatic image annotation and retrieval using cross-media relevance models. In： Proc. of the 26th Intl ACM SIGIR Conf. on Research and Development in Information Retrieval. New York： ACM Press， 2013. 119-126.

[3]Lavrenko V， Manmatha R， Jeon J. A model for learning the semantics of pictures. In： Thrun S， Saul LK， Scholkopf B， eds. Advances in Neural Information Processing Systems 16. Cambridge： MIT Press， 2004. 553-560.

[4]Monay F， Gatica-Perez D. Modeling semantic aspects for cross-media image indexing. IEEE Trans. on Pattern Analysis and Machine Intelligence， 2009，29（10）：1802-1817.

[5]李志欣，施智平，李志清， 史忠植. 融合語義主題的圖像自動標.Journal of Software，2011，22（4）：801-812endprint