基于狄利克雷混合模型的圖像分類算法研究

曹會蕊 關文博 楊帆

(北方工業大學信息學院,北京 100144)

0 引言

概率混合模型是重要的統計建模工具,在人工智能領域得到了極其廣泛的應用。在實際應用中,通常采取高斯分布的假設來構建概率混合模型。然而大量研究表明,現實中的很多數據具有非高斯特性。近年來,數據的非高斯建模得到了國內外學者的廣泛關注。狄利克雷混合模型[1]就是一種典型的非高斯混合模型,國內外學者對其展開了比較深入的研究,并且將其應用于解決圖像分類、目標檢測、文本分類等問題。

在狄利克雷混合模型的實際應用中,模型學習是一項非常重要的工作,主要包括估計模型參數和確定混合分量數。目前狄利克雷混合模型的學習方法主要有變分推理(Variational Inference)、馬爾科夫鏈蒙特卡洛(Markov Chain Monte Carlo)、期望傳播(Expectation Propagation)等。然而這些方法每次迭代優化過程中都需要對全體訓練集進行計算,因此無法處理大規模數據或者動態流數據,無法在實際應用中推廣。

針對變分推理的這些缺點,Hoffman等[2]提出了隨機變分推理(Stochastic Variational Inference),它結合了重采樣和自然梯度優化方法,是針對海量數據集的概率模型的高效學習方法。國內關于隨機變分推理的研究處于起步階段,如柴變芳等[3]利用隨機變分推理研究了基于概率模型的大規模網絡結構發現方法,蔣曉娟等[4]利用隨機變分推理研究了加權網絡的在線結構學習算法。國外關于隨機變分推理的研究發展比較迅速,隨機變分推理已經被廣泛應用于許多類型的模型,包括主題模型[5]、統計網絡分析[6]、過程因子分析[7]、層次狄利克雷過程-隱馬爾可夫模型[8]、貝葉斯時間序列模型[9]、大規模離散選擇模型[10]等。

本文針對狄利克雷混合模型的隨機變分推理算法展開深入的研究,對其提出完備的隨機變分學習框架,進而將其成功應用于解決圖像分類問題,實驗結果證明了該算法的有效性和可行性。

1 狄利克雷混合模型

2 模型推理與學習

狄利克雷混合模型的具體方法流程如下:

(1)選擇一個恰當的混合分量數,初始化混合分量I;(2)初始化C0,α0,μ0;(3)利用K-means算法初始化rsi;(4)從N個樣本中隨機采樣S個樣本;(5)利用式(14)更新抽樣數據的局部變分參數;(6)利用式(16)、式(17)和式(18)更新中間全局變分參數;(7)利用式(19)、式(20)和式(21)更新全局變分參數;(8)重復第4、5、6、7這四步直至收斂。

3 圖像自動分類

將上述狄利克雷混合模型用于圖像分類的應用場景中,本文采用兩個公共可獲得的圖像數據集來測試上述提出算法的有效性和可行性。第一個圖像數據集是Caltech4,第二個圖像數據集由兩類圖像組成:Georgia Tech人臉和非人臉背景圖。

對于上述數據集中的每類圖像,選取一半作為訓練集,另一半作為測試集,重復20次實驗。對比本文提出的方法(記為SVI-DMM)與基于單下界(Single Lower Bound,SLB)近似策略的狄利克雷混合模型的變分推斷方法[1](記為VI-DMMSLB)以及基于多下界(Multiple Lower Bound,MLB)近似策略的狄利克雷混合模型的變分推斷方法的性能[11](VI-DMMMLB)。見表1與表2。

表1 圖像數據集1:分類準確率(%)、時間(s)、p-value 對比Tab.1 Image dataset 1: comparison of classification accuracy (%),time (s) and p-value

表2 圖像數據集2:分類準確率(%)、時間(s)、p-value 對比Tab.2 Image dataset 2: comparison of classification accuracy (%),time (s) and p-value

由表1與表2可以看出,本文提出的狄利克雷混合模型的隨機變分推斷方法是有效的,雖然在識別率上低于另外兩種方法,但是其最大的優勢是計算成本較低,并且不會隨著數據量的增多而有大幅度的變化,適用于大規模數據。

4 結語

本文針對狄利克雷混合模型提出了一種有效的隨機變分推理算法,首先,通過下界近似策略找到了抽樣數據的變分目標函數的下界函數;其次,通過最大化該下界函數,求解出局部變分參數和中間局部變分參數的解析解表達式;最后,采用隨機優化的方法,求解出全局變分參數的解析解表達式。通過實際數據集驗證了該算法的高效性。