一種基于Corr-LDA-ITD模型利用類標促進標注的方法研究

羅菊香

（江西服裝學院 大數據學院，江西 南昌 330000）

0 引言

圖像自動標注是指針對圖像的視覺內容，通過機器學習的方法自動給圖像添加反映其內容的文本特征信息的過程。基本思想是：利用已標注圖像集或其他可獲得的信息，自動學習語義概念空間與視覺特征空間的潛在關聯或映射關系，給未知圖像添加文本關鍵詞。經過圖像自動標注技術的處理，圖像信息問題可以轉化為技術已經相對較成熟的文本信息處理問題。傳統的圖像標注是通過人工方式完成的，隨著圖像數據的爆發式增長，人工方式成本高而效率低，同時也存在一定的主觀性，使得效果不理想。為了能夠高效地從大量圖像數據中尋找到自己需要的圖像，對圖像自動標注研究就變得非常重要。

目前，各種標注模型及方法層出不窮，其中，很多圖像標注概率主題模型是基于Corr-LDA 模型的［1］。而 Corr-LDA-ITD 模型［2］是對 Corr-LDA 改進之后的圖像標注模型，具有更好的標注效果。文獻［3］提出了基于Corr-LDA 模型，利用類別信息來促進圖像標注的方法。基于此，本文利用Corr-LDA-ITD 模型對不同類別的圖像進行學習，選取log 似然值最大的模型來對2 個數據集（Labelme 和Uiuc-sport）中的測試集圖像進行標注實驗。

1 Corr-LDA與Corr-LDA-ITD模型

LDA 模型是單模態的主題模型，對LDA 模型進行擴展，形成文本和圖像的多模態概率主題模型Corr-LDA 模型，而 Corr-LDA-ITD 將 Corr-LDA 的文本主題的均勻分布抽取修改為在已抽取的圖像主題中按圖像主題分布抽取，這種生成方式更加符合真實圖像，均勻分布只是認為的理想情況，從已抽取的圖像主題中按圖像主題分布抽取更能體現真實圖片的圖片主題情況。因此相較于Corr-LDA 模型，Corr-LDA-ITD 模型中文本和圖像的關系更緊密，文獻［2］中的實驗驗證了Corr-LDA-ITD模型的標注性能要優于Corr-LDA 模型。文獻［3］是基于Corr-LDA模型利用類別信息促進標注，因此，本文在Corr-LDA-ITD模型的基礎上進行改進，利用類別信息來促進圖像標注，提出了一種基于Corr-LDA-ITD 模型利用類標促進標注的方法，利用該模型可以對未標注圖像集進行自動標注。概率圖模型如圖1所示。

圖1 Corr-LDA-ITD的概率圖模型

模型的具體生成過程為：假設圖像集由D張照片經過圖像處理之后構成M個圖像詞匯和N個文本詞匯，首先按照狄利克雷分布抽取主題比例θ；對每一個圖像詞匯vm先按照多項式分布抽取圖像主題Zm|θ，再按照多項式分布抽取圖像詞vm|Zm；對每一個文本詞wn，先按照多項式分布抽取主題比例Tn|Z，再按照多項式分布抽取文本詞wn|Tn。模型的潛變量和觀測變量的聯合分布為：

2 基于Corr-LDA-ITD模型標注圖像的方法

本文基于文獻［2］和文獻［3］，利用類標信息結合Corr-LDA-ITD 模型進行模型構建，因為不同類別的圖像之間，圖像呈現的事物差距較大，相同類別的圖像之間，圖像呈現的事物相近。標注方法的構建過程如圖2所示。

圖2 模型選擇

模型構建首先利用Corr-LDA-ITD對各個類的圖像進行學習，然后用各個類圖像集學習出的模型對測試圖像集進行測試，選出所有模型中log 似然值最大的標注模型來對圖像進行標注，模型通過公式（2）確定log似然值。

模型具體標注過程是首先使用訓練好的模型參數計算圖像主題分布；再依據該分布選擇文本主題；最后按照這個選中的主題生成標注詞，確定概率較大的前4個標注詞作為圖像的標注模型：

3 實驗結果與分析

為比較本文方法的標注效果，實驗在2個真實圖像集（Labelme和Uiuc-sport）上進行，模型選取6組主題（K=20，40，60，80，100，120）進行標注實驗，實驗將本文方法與Corr-LDA模型、Corr-LDA-ITD 模型以及Mca-SLDA［4］模型進行標注比較，在 2 個真實圖像集（Labelme 和Uiuc-sport）的實驗效果分別如圖3—4 所示。

圖3 Labelme數據集上F-mesaure值性能比較

圖4 Uiuc-sport數據集上F-mesaure值性能比較

從實驗結果可知，本文方法在2 個真實圖像集（Labelme 和Uiuc-sport）上表現出了圖像標注效果總體要高于相比較的3 個模型。Labelme 和Uiuc-sport數集都是在主題數為60 時表現出最好的標注效果，在實驗的幾組主題上標注效果都優于相比較的其他3個模型。

4 結語

本文利用類標信息結合Corr-LDA-ITD模型進行模型構建，通過在各個類圖像集中進行模型學習，利用所有模型中log似然值最大的標注模型來對圖像進行標注。實驗驗證了本文方法相較于其他模型標注效果有所優化。

目前，自動圖像標注是計算機視覺和自然語言處理交叉研究領域的研究熱點，近年來學術界和工業界都對其進行了大量的研究。其中有一部分學者致力于卷積神經網絡在圖像標注中的應用研究。卷積神經網絡融合了人工神經網絡及深度學習的理論基礎，可以大幅度減少參數估計的數量。因此相比于其他網絡結構，卷積神經網絡會更容易得到訓練，也可以有效避免傳統人為干預選擇特征提取方式時的預處理過程，筆者后續也將著力于這方面的研究。