融合空間信息LDA的視覺(jué)對(duì)象識(shí)別研究

摘 要： 近年來(lái)國(guó)內(nèi)外有很多學(xué)者將廣泛用于自然語(yǔ)言處理的LDA模型引入視覺(jué)對(duì)象識(shí)別，對(duì)象分割，場(chǎng)景分類(lèi)等應(yīng)用中。LDA模型是產(chǎn)生式模型，所以必然存在產(chǎn)生式模型共有的弊端即它假設(shè)每個(gè)視覺(jué)詞匯所對(duì)應(yīng)主題的產(chǎn)生是條件獨(dú)立的。根據(jù)圖像本身的特征，圖像的空間信息對(duì)圖像物體識(shí)別起了很大的作用，一個(gè)視覺(jué)詞匯主題的生成過(guò)程是受其相鄰視覺(jué)詞匯主題所影響的，為了提高圖像視覺(jué)詞匯的主題分配正確率，提出融合空間信息LDA模型，即融合條件隨機(jī)場(chǎng)的LDA模型，從而在圖像的局部主題標(biāo)簽上融合二維圖像空間信息，即避免空間信息的丟失同時(shí)可以提高其視覺(jué)詞匯的主題分配正確率。論文主要研究?jī)?nèi)容：首先對(duì)LDA模型進(jìn)行改進(jìn)，并在該模型中引入條件隨機(jī)場(chǎng)，同時(shí)推導(dǎo)出使用期望最大化算法確定的模型參數(shù)。該論文提出使用條件隨機(jī)場(chǎng)獲得圖像的二維空間信息，將產(chǎn)生式模型和判別式模型融合，在增強(qiáng)由圖像本身性質(zhì)所決定的相鄰區(qū)域主體標(biāo)簽的空間關(guān)聯(lián)性的同時(shí)也提高了視覺(jué)對(duì)象識(shí)別的精確度，完成圖像的自動(dòng)標(biāo)注。

關(guān)鍵詞：視覺(jué)對(duì)象識(shí)別，LDA模型，空間信息，條件隨機(jī)場(chǎng)，期望最大化算法

中文圖書(shū)分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)號(hào)：A 文章編號(hào)：2095-2163（2013）04-

LDA Model Combined Spatial Information for Visual Object Recognition Search

LI Yang， LIU Yang， GUO Maozu

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： In recently years， many scholars introduce the LDA model which is widely used in nature language processing into visual object recognition， object segmentation， scene classification and so on. LDA model is a novel generative model， so there must be common defect between generative models that it assumes latent topic assignments of different visual words are conditionally independent. According to the characteristics of images， spatial information of the images plays an important role in image object recognition， that is to say， the generation process of the latent topics given the visual words is influenced by its adjacent visual words’ latent topics. In order to improve the accuracy of the distribution of the topics given the visual words， the paper proposes the LDA model combined spatial information， namely LDA model combined CRF， which is fused the 2D image spatial information in the local latent topic label to avoid the loss of spatial information and can improve the accuracy of the distribution of the latent topics. The main research contents of this paper： firstly， improve the LDA model， and combine the conditional random field into LDA model， and derive the model parameters using the corresponding EM algorithm. This paper uses the conditional random fields for getting 2D spatial information of the images； combines the generative model and the discriminative model. The paper enhances the spatial correlation of the latent topic labels of the adjacent visual words determined by the images’ nature characteristic， at the same time， improves the recognition rate of the visual objects.

Keywords：Visual Object Recognition； LDA Model； Spatial Information； CRF； EM Algorithm

0 引言

基于計(jì)算機(jī)的視覺(jué)對(duì)象識(shí)別與語(yǔ)義理解是人工智能的一項(xiàng)主要研究?jī)?nèi)容，近年來(lái)，針對(duì)這一問(wèn)題，各種方法不斷涌現(xiàn)，包括產(chǎn)生/判別式方法，以及多示例學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和遷移學(xué)習(xí)等新的機(jī)器學(xué)習(xí)思想[1-4]。特別是將廣泛應(yīng)用于文本領(lǐng)域的“詞匯包”（bag of words）[5-6]表示方法引入到計(jì)算機(jī)視覺(jué)領(lǐng)域后，相應(yīng)地，研究人員即將適合自然語(yǔ)言處理的統(tǒng)計(jì)模型——“主題模型”（topic model）[7]也引入到圖像檢索和對(duì)象識(shí)別問(wèn)題中來(lái)。主題模型中，兩個(gè)常用的模型為概率潛語(yǔ)義分析模型（PLSA）與潛在狄利克雷分布模型（LDA）[8]，這兩個(gè)模型在圖像對(duì)象識(shí)別上都得到廣泛的應(yīng)用。中科院計(jì)算所史忠植研究員等提出適用于連續(xù)視覺(jué)特征建模的圖像語(yǔ)義標(biāo)注系統(tǒng)[9]；吳飛博士和莊越挺教授[10]則融合了圖像與文本的相關(guān)性實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)圖像聚類(lèi)，并通過(guò)引入單詞與單詞之間關(guān)聯(lián)度等來(lái)改進(jìn)LDA模型，Zisserman[11]使用尺度不變性PLSA學(xué)習(xí)Google搜索得到圖片的對(duì)象類(lèi)別。LDA模型是一個(gè)產(chǎn)生式模型，在LDA模型中將圖像表示成獨(dú)立于空間信息的視覺(jué)詞匯的集合，在每個(gè)視覺(jué)詞匯上都對(duì)應(yīng)著一個(gè)主題，這個(gè)主題的產(chǎn)生獨(dú)立于其他視覺(jué)詞匯的主題。所有文檔共享一系列主題，并且每篇文檔對(duì)應(yīng)不同的主題比例，這個(gè)主題比例產(chǎn)生于狄利克雷分布。LDA模型中每個(gè)主題產(chǎn)生于狄利克雷分布，因而不能反映主題間的依賴(lài)關(guān)系，這與現(xiàn)實(shí)明顯不符，所以需改進(jìn)主題產(chǎn)生的方式，即假設(shè)主題產(chǎn)生于高斯分布，使用協(xié)方差矩陣的結(jié)構(gòu)來(lái)表達(dá)主題之間的共現(xiàn)關(guān)系，即一個(gè)主題與另一個(gè)主題的相關(guān)性概率。

此外，在LDA模型中，文本或者視覺(jué)詞匯的主題分配都是條件獨(dú)立的，并不依賴(lài)于詞匯出現(xiàn)的順序。近幾年提出很多方法，這些方法針對(duì)詞匯的主題分配的條件獨(dú)立性缺陷進(jìn)行了改進(jìn)，多是采用在主題模型上加入馬爾可夫隨機(jī)場(chǎng)（MRF），例如Fei-Fei Li[12]將LDA模型與主題隨機(jī)場(chǎng)模型融合并用于圖像分割，Triggs[13]使用全局PLSA模型與局部MRF模型共同作用實(shí)現(xiàn)圖像分類(lèi)。Liangliang Cao[14]在沒(méi)有引入MRF的情況下，使用空間關(guān)聯(lián)性潛在主題模型識(shí)別圖像中對(duì)象的類(lèi)別和場(chǎng)景，其中并未引入MRF，而是將圖像劃分為很多區(qū)域，每個(gè)區(qū)域表示成兩個(gè)部分：一部分表示該區(qū)域的所有視覺(jué)詞匯，另一部分表示該區(qū)域的整體外表特征，所以依然沒(méi)有融合各個(gè)區(qū)域間的二維空間相互關(guān)系。馬爾可夫隨機(jī)場(chǎng)有其自身的缺點(diǎn)和弊端。在馬爾可夫鏈中都是有向圖，這個(gè)有向圖就反映一定的依賴(lài)關(guān)系，而這種依賴(lài)關(guān)系卻不能很好地對(duì)應(yīng)現(xiàn)實(shí)的依賴(lài)關(guān)系。另外，在現(xiàn)實(shí)中標(biāo)簽之間的轉(zhuǎn)移概率不僅依賴(lài)于當(dāng)前所觀察到的狀態(tài)，同時(shí)也依賴(lài)于以前和未來(lái)的觀察狀態(tài)，這在MRF中均未得到很好的詮釋?zhuān)鴹l件隨機(jī)場(chǎng)（CRF）則很好地融合了相鄰詞匯間主題分配的馬爾科夫依賴(lài)關(guān)系，其當(dāng)前詞匯所對(duì)應(yīng)的主題不僅依賴(lài)于當(dāng)前的詞匯，而且是建模在整個(gè)所觀察到的視覺(jué)詞匯序列上。針對(duì)圖像二維空間性，將線性鏈CRF轉(zhuǎn)換成二維CRF來(lái)實(shí)現(xiàn)，從而融合二維圖像空間的相鄰視覺(jué)詞匯的相互作用關(guān)系。

本文主要貢獻(xiàn)可歸納為：

將二維CRF模型融合到主題產(chǎn)生于高斯分布的LDA模型[17]中，使得每個(gè)詞匯所對(duì)應(yīng)的主題分布不再是條件獨(dú)立的，而是與其二維空間中的相鄰詞匯有關(guān)，解決了相鄰詞匯間的依賴(lài)問(wèn)題。

1 融合空間信息的LDA模型

1.1 LDA 模型

潛在狄利克雷分配模型運(yùn)用層次貝葉斯定義了文檔的似然函數(shù)。具體來(lái)說(shuō)就是為每個(gè)文檔定義一個(gè)主題比例向量，這個(gè)比例向量來(lái)自于狄利克雷分布，每篇文檔的詞匯采樣于一個(gè)特定的主題詞匯分布。LDA模型可以是有監(jiān)督學(xué)習(xí)，也可以是無(wú)監(jiān)督學(xué)習(xí)。本文采用了無(wú)監(jiān)督學(xué)習(xí)。但是，LDA模型中的狄利克雷分布不能獲取主題之間的相關(guān)性，這與現(xiàn)實(shí)極為不符，因?yàn)楝F(xiàn)實(shí)中一個(gè)主題的出現(xiàn)常會(huì)反映出另外主題出現(xiàn)的可能性，所以需對(duì)LDA模型加以改進(jìn)。將狄利克雷分布改為高斯分布，令表示k維的均值和方差矩陣，令表示K*N的矩陣，那么對(duì)于一需有N 個(gè)詞匯的文檔，改進(jìn)的LDA模型的產(chǎn)生過(guò)程如下：

（1）獲取主題概率分布

（2）For ：

（a）選擇隱含主題

（b）生成一個(gè)詞匯.

這個(gè)過(guò)程與LDA的生成過(guò)程相同，改進(jìn)之處在于文檔中主題分布來(lái)自于高斯分布，而非狄利克雷分布，通過(guò)協(xié)方差矩陣表示主題之間的共現(xiàn)關(guān)系，與現(xiàn)實(shí)更加相符。圖1給出了LDA圖模型表示。

1.2 二維CRF

CRF[15]（Conditional random fields）是一種判別式模型。這是一個(gè)無(wú)向圖，滿(mǎn)足馬爾可夫性質(zhì)，即對(duì)隨機(jī)場(chǎng)中的任何一個(gè)隨機(jī)變量，給定場(chǎng)中的其他所有變量下該變量的分布，等同于給定場(chǎng)中該變量的鄰居節(jié)點(diǎn)下該變量的分布。CRF是在馬爾科夫隨機(jī)場(chǎng)中加入了觀測(cè)值。馬爾可夫隨機(jī)場(chǎng)中每一個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)隨機(jī)變量，節(jié)點(diǎn)之間的邊表示節(jié)點(diǎn)對(duì)應(yīng)的隨機(jī)變量之間有概率依賴(lài)關(guān)系。在CRF中，要確定的是在給定觀察集合下其MRF的分布，而不僅僅是在當(dāng)前的觀測(cè)值下的MRF分布。

由于圖像的二維特性，需對(duì)線性鏈CRF進(jìn)行改進(jìn)，使其成為二維CRF。每個(gè)詞匯的主題分布不僅依賴(lài)其前后位置詞匯的主題，而且依賴(lài)其上下位置詞匯的主題，所以本文采用八鄰域法。根據(jù)LDA模型中一篇文檔的產(chǎn)生過(guò)程，融合空間信息的LDA模型的圖模型產(chǎn)生過(guò)程如圖2所示。

這里，假設(shè)對(duì)每幅圖像提取特征，獲取每個(gè)patch塊所對(duì)應(yīng)的視覺(jué)詞匯的索引值。每幅圖像有n 個(gè)視覺(jué)詞匯。該模型中，一幅圖像的生成過(guò)程與LDA模型的生成過(guò)程較為相似，不同之處只在于不再滿(mǎn)足多項(xiàng)式分布，而是定義為廣義線性模型：

式中，是K維的特征函數(shù)向量，這個(gè)特征函數(shù)定義了與圖像中視覺(jué)詞匯相關(guān)的特征，是一個(gè)K維的向量。根據(jù)上式，該模型的產(chǎn)生過(guò)程為：

其中，滿(mǎn)足高斯分布，是在參數(shù)為下的主題概率分布，可以將式（1）改寫(xiě)為：

其中，是保證式（2）為概率模式的歸一因子，其就散公式如下：

1.3 特征函數(shù)

特征函數(shù)的選擇對(duì)條件隨機(jī)場(chǎng)極為重要，這里特征函數(shù)分為兩種。第一種為獨(dú)立特征函數(shù)，是僅與當(dāng)前詞匯相關(guān)的特征函數(shù)；第二種為相關(guān)性特征函數(shù)，是指當(dāng)前詞匯的主題分布要受到其相鄰的詞匯主題分布的影響，在此則體現(xiàn)了融合空間特性的目的。監(jiān)獄圖像的二維特性，需要考慮二維相鄰區(qū)域詞匯間主題的影響，本文采用八鄰域法，如圖3所示。

在此，對(duì)兩種特征函數(shù)的形式與分析如下：

（1）獨(dú)立特征函數(shù)：

由式可見(jiàn)，是一個(gè)K維的矩陣，K為所有圖像共享主題的個(gè)數(shù)，是一個(gè)指示函數(shù)，表示如果這個(gè)詞的主題為K，那么賦值為1，否則為0。

（2）相關(guān)性特征函數(shù)：

假設(shè)當(dāng)前詞匯的八鄰域詞匯所對(duì)應(yīng)的主題分別是，那么在相關(guān)性特征函數(shù)的K維矩陣的相應(yīng)位置上加1，最后得到的特征函數(shù)向量為：

2 后驗(yàn)推理與參數(shù)估計(jì)

隱含變量的分布和未知參數(shù)的推理都較為困難的問(wèn)題，即如何推理是需要考慮的核心問(wèn)題。在二維CRF中，計(jì)算難度不僅是因?yàn)橐环鶊D像中每個(gè)詞匯所對(duì)應(yīng)的主題不是獨(dú)立產(chǎn)生的，而是與其鄰域很多詞匯的主題分布有關(guān)，并且還因?yàn)樵跉w一因子中存在對(duì)潛在主題分布的指數(shù)級(jí)求和，所以使用變分推理方法替代精確推理方法就可以有效計(jì)算似然函數(shù)的下界。在圖模型中，變分推理方法[16]有著通用的準(zhǔn)則，但是這里需要考慮該模型中特殊的結(jié)構(gòu)。參數(shù)估計(jì)采用最大似然估計(jì)方法。

使用Jensen不等式對(duì)似然函數(shù)進(jìn)行變換，就得到似然函數(shù)的下界：

其中，為變分分布的熵。所以上述期望都是潛在變量變分分布的期望。這里設(shè)為模型參數(shù)，為變分參數(shù)。繼續(xù)假設(shè)隱含變量的變分分布滿(mǎn)足：

連續(xù)變量的變分分布為K 個(gè)相互獨(dú)立的高斯分布，與分別是高斯分布的均值和方差。則為主題為分布的K維參數(shù)。

在似然函數(shù)的下界中第一項(xiàng)通過(guò)計(jì)算得到：

似然函數(shù)的下界的第二項(xiàng)：

但是由于歸一因子是log形式，式（10）不能有效地計(jì)算出來(lái)，所以根據(jù)不等式：

得到第二項(xiàng)中對(duì)歸一因子的log形式的期望：

其中，，。將上述不等式帶入似然函數(shù)中，獲得似然函數(shù)的一個(gè)下界，并且是參數(shù)的函數(shù)。

給定一個(gè)模型的參數(shù)和一幅圖像，變分推理算法相對(duì)于變分參數(shù)來(lái)優(yōu)化式（6）。使用梯度下降法迭代優(yōu)化一個(gè)參數(shù)時(shí)，其它參數(shù)都保持不變。對(duì)于參數(shù)，則有其迭代優(yōu)化公式：

對(duì)于參數(shù)，通過(guò)對(duì)公式（3.1）求導(dǎo)得到其迭代優(yōu)化公式：

其中第一項(xiàng)來(lái)自于詞匯生成模型的多項(xiàng)式分布，第二項(xiàng)既考慮了獨(dú)立特征函數(shù)，也考慮了相關(guān)性特征函數(shù)，在第二項(xiàng)中，特征函數(shù)就融合了圖像二維空間相鄰區(qū)域間的相互依賴(lài)關(guān)系。

對(duì)于參數(shù)，使用梯度下降法，則對(duì)于參數(shù)的梯度分別為：

首先設(shè)

信念傳遞算法可以有效計(jì)算dedao 和，在優(yōu)化時(shí)并沒(méi)有解析式解，所以可選用梯度下降算法優(yōu)化這兩個(gè)變分參數(shù)。

給出圖像集合，通過(guò)最大化圖像的似然函數(shù)來(lái)實(shí)現(xiàn)參數(shù)估計(jì)，并使用最大期望算法通過(guò)對(duì)公式（3.1）中所有圖像求和來(lái)最大化似然函數(shù)的下界。

在E步中，本文對(duì)變分參數(shù)最大化似然函數(shù)下界，完成對(duì)每篇文檔的變分推理。在M步中，本文對(duì)模型參數(shù)最大化似然函數(shù)下界。E步和M步重復(fù)進(jìn)行，直到收斂為止。

下面給出M步中，模型參數(shù)估計(jì)的公式。

對(duì)于模型參數(shù)，是高斯分布的均值向量，使用E步中得到的變分參數(shù)獲得該均值向量，計(jì)算公式為：

其中，表示訓(xùn)練模型中文檔的總數(shù)。

對(duì)于模型參數(shù)，是高斯分布的協(xié)方差矩陣，能夠反映主題間共現(xiàn)關(guān)系概率。對(duì)每一文檔，首先計(jì)算一次中間變量cov_s，其計(jì)算公式為：

最后得到矩陣的每個(gè)元素：

其中：

對(duì)于模型參數(shù)，是一個(gè)K*N的矩陣，表示給定主題下詞匯的分布概率，即，其計(jì)算公式為：

其中，式中的 指對(duì)每一行求和，使得該行的元素和相加為1。

3實(shí)驗(yàn)

本文使用VOC（2007）圖像數(shù)據(jù)庫(kù)的訓(xùn)練集合和測(cè)試集合，分別進(jìn)行模型的訓(xùn)練和測(cè)試。該圖像庫(kù)共有20個(gè)類(lèi)別的圖像。使用融合空間信息的LDA模型訓(xùn)練得到該模型的參數(shù)，這里設(shè)置主題數(shù)為100，并且對(duì)4 952幅進(jìn)行測(cè)試，得到每幅圖像的主題分布矩陣，該矩陣作為SVM輸入?yún)?shù)，使用SVM分類(lèi)器對(duì)不同類(lèi)別的圖像進(jìn)行分類(lèi)。在使用SVM分類(lèi)器進(jìn)行分類(lèi)時(shí)，將當(dāng)前需要識(shí)別的圖像設(shè)置為正例，將其他所有類(lèi)別的圖像設(shè)置為反例，形成多個(gè)2分類(lèi)問(wèn)題。本文采用precision、recall和accuracy這三個(gè)量化標(biāo)準(zhǔn)評(píng)價(jià)圖像識(shí)別率的好壞：

最后通過(guò)precision和recall得到Aero-plane，Bottle，Bus，Cat 這四類(lèi)圖像的AP曲線，并且與LDA模型與SVM分類(lèi)器得到的識(shí)別率的AP曲線進(jìn)行比較，對(duì)比結(jié)果如圖4、圖5、圖6、圖7所示。可以看出，本模型相比LDA模型，AP曲線較穩(wěn)定，沒(méi)有出現(xiàn)LDA模型AP曲線的不穩(wěn)定性情況。

4討論

通過(guò)將二維圖像空間信息融合進(jìn)LDA模型，構(gòu)建條件隨機(jī)場(chǎng)LDA模型，使得每次視覺(jué)詞匯主題的產(chǎn)生不再條件獨(dú)立，而與其相鄰區(qū)域視覺(jué)詞匯的主題存在一定的依賴(lài)關(guān)系，這更加符合圖像特性，并且文檔所對(duì)應(yīng)的主題的產(chǎn)生不再來(lái)自于狄利克雷分布，而是高斯分布，那么高斯分布的協(xié)方差矩陣就可以反映主題間的共現(xiàn)關(guān)系，即一個(gè)主題的出現(xiàn)也表現(xiàn)了其他主題出現(xiàn)的概率，可用于場(chǎng)景識(shí)別的應(yīng)用。融合空間信息的LDA模型，可以提高圖像視覺(jué)詞匯主題分配的準(zhǔn)確率，從而達(dá)到提高視覺(jué)對(duì)象識(shí)別率的目的。

參考文獻(xiàn)：

？基金項(xiàng)目：國(guó)家自然科學(xué)基金（61171185，61271346，60932008）；高等學(xué)校博士學(xué)科點(diǎn)專(zhuān)項(xiàng)科研基金（20112302110040）。

作者簡(jiǎn)介：李陽(yáng)（1987-） 女，遼寧朝陽(yáng)人，碩士研究生，主要研究方向： 機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺(jué)；

劉揚(yáng)（1976-） 男，吉林懷德人，博士，副教授，主要研究方向： 機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺(jué)；

郭茂祖（1966-）男，山東夏津人，博士，教授，博士生導(dǎo)師，主要研究方向： 機(jī)器學(xué)習(xí)，計(jì)算生物學(xué)，生物信息學(xué)，圖像理解。

[1]BOSCH A， ZISSERMAN A，MUNOZ X. Scene classification using a hybrid generative/discriminative approach [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. Pattern Analysis and Machine Intelligence， 2008，30（4）：712-727.

[2] VIJAYANARASIMHAN S，GRAUMAN K. Keywords to visual categories： Multiple-instance learning for weakly supervised object categorization[C]//IEEE Conference on Computer Vision and Pattern Recognition， 2008.6：1-8.

[3] CANINI K R， SHASHKOV M M， GRIFFITHS T L. Modeling transfer learning in human categorization with the hierarchical Dirichlet process[C]//Proceedings of the 27th International Conference on Machine Learning ， 2010-06.

[4] BERGAMO A， TORRESANI L. Exploiting weakly-labeled Web images to improve object classification： a domain adaptation approach[C]//Neural Information Processing Systems， 2010.

[5] LOWE D G.？Distinctive image features from scale-invariant keypoints[J].？International Journal of Computer Vision，？2004 60（2）： 91-110.

[6] JURIE F， TRIGGS B. Creating efficient codebooks for visual recognition[C]//Proceedings of the IEEE International Conference on Computer Vision， 2005，10（1）：604-610.

[7] STEYVERS M， GRIFFITHS T. Probabilistic topic models[M]. Handbook of Latent Semantic Analysis， 2007.？

[8] BLEI D M， NG A Y， JORDAN M I. Latent Dirichlet allocation[J]. Journal of Machine Learning Research3， 2003：993–1022.

[9] 李志欣， 施智平， 劉曦， 史忠植. 建模連續(xù)視覺(jué)特征的圖像語(yǔ)義標(biāo)注方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2010， 22（8）：1412-1420.

[10] 吳飛， 韓亞洪， 莊越挺， 邵健. 圖像-文本相關(guān)性挖掘的Web 圖像聚類(lèi)方法[J]. 軟件學(xué)報(bào)， 2010， 21（7）：1561-1575.

[11] FERGUS R， L Feifei PERONA P， et al. Learning object categories from Google image search[C]//ICCV 2005. Tenth IEEE international conference，2005，2：1816 - 1823.

[12] ZHAO Bin， LI Feifei， XING E P. Image segmentation with topic random field[C]//European Conference on Computer Vision，2010，6315：785-798.

[13] VERBEEK J， TRIGGS B. Region classification with Markov field aspect models[C]//Computer Vision and Pattern Recognition，2007：1-8.

[14] CAO Liangliang， LI Feifei. Spatially coherent latent topic model for concurrent segmentation and classification of object and scenes[C]//Pattern Analysis and Machine Intelligence，IEEE Transaction，2010，32（9）：1627-1645.

[15] LAFFERTY J， MCCALLUM A ， PEREIRA F. Conditional random fields： probabilistic models for segmenting and labeling sequence data[C]// ICML， 2001.

[16] WAINWRIGHT M， JORDAN M. A variational principle for graphical models[C]//New Directions in Statistical Signal Processing， MIT Press， 2005.

[17] BLEI D. LAFFERTY J. Correlated topic models[C]//NIPS，2006.