杜靜++匡泰++張麗娜

摘 要 子空間聚類是尋找從高維空間抽取最適合樣本點的多個子空間表示的一個問題。現有的聚類模型一般采用不同的規范來描述噪聲,這相當于假設數據被特定類型的噪聲所破壞。然而,實際上,噪音要復雜得多。因此,簡單地用一定的范數來模擬噪聲是不合適的。因此,我們提出了將噪聲用混合高斯模型表示的混合高斯回歸子空間聚類。混合高斯回歸提供了一個有效的模型來表示更廣泛的范圍內的噪聲分布。其結果是,所得到的關聯矩陣能夠更好地表征實際應用中數據的結構。多個視頻火焰數據集上的檢測結果表明,混合高斯回歸模型大大優于當前最優的子空間聚類方法。
關鍵詞 子空間聚類;混合高斯回歸;視頻火焰檢測
中圖分類號 TP2 文獻標識碼 A 文章編號 2095-6363(2017)16-0023-02
在過去的20年中,多種子空間聚類方法已經被相關學者提出。這些方法大致可分為四大類:代數方法、迭代方法、統計方法和基于光譜聚類的方法[1]。應該指出的是,基于譜聚類的方法,它是基于譜圖理論,已在許多實際應用中體現出優良的性能。
一般的基于譜聚類的方法包括兩個步驟。首先,建立一個關聯矩陣來捕捉樣本點對之間的相似性。其次,將圖割方法應用于一個圖,圖的頂點是樣本,其權值由關聯矩陣確定,用于對樣本點進行分割。建立有效的關聯矩陣是保證聚類結果良好的關鍵。因此,許多子空間聚類方法都關注于建立有效的關聯矩陣。
幾乎所有的分布都可以用足夠數量的高斯模型混合來近似表示,本文即運用了這種概率思想。本文利用復雜的混合高斯模型來精確地描述真實的噪聲,而不是假設噪聲是一些具體分布。高斯模型的個數可以通過交叉驗證來估計。對Z的正則化,我們就選擇Frobenius范數。原因有兩方面。首先,我們要演示噪聲建模對子空間聚類的影響。因此,Z上的正則化可以更好地展示這種影響。其次,對Z的正則化可以更容易估計高斯模型的個數。例如,我們可以利用傳統的期望最大化算法來解決本文提出的子空間聚類模型。
1 混合高斯回歸的子空間聚類
如文獻[2]所述的,我們考慮子空間聚類作為以下優化問題:
(1)
其中,
L(E)代表描述噪聲的損失函數,R(Z)代表表示表征矩陣Z上的一些性質的正則項。從公示(1)可以看出,如何描述噪聲在子空間聚類中有著重要的意義。
1.1 混合高斯回歸
在本文中,我們提出了一種新的方法稱為混合高斯回歸,采用混合高斯模型描述一般的噪聲來實現魯棒的子空間聚類。
我們假設E的每一列服從一個混合高斯分布。
其中,K是高斯分量的個數,代表權值代表均值為0的多元高斯分布。代表協方差矩陣。與經典回歸分析相似,E中的所有列都假定為獨立同分布。所以我
們有:
在一般的混合高斯模型中,我們期望找到使最大化。
我們利用代替LSR模型中的Frobenius 范數,則我們提出的混合高斯回歸模型將可以寫成如下形式:
(2)
其中,
為正則化參數。我們選擇Frobenius范數來正則化Z。在Z上利用Frobenius范數不僅能夠減少計算量還可以表示出利用混合高斯回歸模型表示噪聲來計算子空間聚類的效果。
一般利用EM算法來解決公式(2),它可以迭代地找到參數的最大似然估計。它從一個初始猜測開始,迭代地運行一個期望(E)步驟,它使用當前估計的參數來評估后驗概率,以及最大化(M)步驟,它基于E步驟中計算的概率重新估計參數。直到滿足某些收斂條件[3],
迭代停止。結合EM算法的傳統步驟,我們可以得到問題(2)的解。
1.2 混合高斯回歸的子空間聚類
與以前的方法相似,我們的聚類方法也基于譜聚類理論[4]。解決公式(2)后得到表示矩陣Z,我們定義為關聯矩陣,即:
其中,C中的每個分量測量了數據點和之間的相似性。混合高斯回歸子空間聚類的方法更善于描述噪聲的分布,從而表現出更強的集群效應和恢復真實子空間結構的能力更強。最后,我們對關聯矩陣C利用Normalize-cut[5]算法來產生最終的聚類結果。
2 視頻火焰檢測結果
本文提取視頻火焰圖片的顏色特征、LBP紋理特征、通過累積差分算法得出的火焰動態特征,將混合高斯回歸的子空間聚類應用于上述三種特征組合成的特征向量,實驗結果如圖1所示。
3 結論
在本文中,我們提出了一種新的子空間聚類方法,該方法采用混合高斯回歸模型來描述復雜的噪聲分布。理論分析表明,本文提出的混合高斯回歸方法保持了集群效果。在運動分割實驗中,手動標記聚類和復雜的視頻火焰圖片聚類表明了該方法的優越性。假定噪聲服從高斯分布或者是稀疏噪聲,該方法在處理一般噪聲方面,穩定性和魯棒性較好。
參考文獻
[1]E.Elhamifar and R.Vidal. Sparse subspace clustering:Algorithm,theory,and Applications.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013,35(11):2765-2781.
[2]C.Lu,J.Tang,M.Lin,L.Lin,S.Yan,and Z.Lin.Correntropyinduced l2 graph for robust subspace clustering InProceedings of IEEE International Conference on ComputerVision,2013:1801-1808.
[3]D.Nettleton. Convergence properties of the EM algorithmin constrained parameter spaces. Canadian Journal of Statistics,1999,27(3):639-648.
[4]A.Y.Ng,M.I.Jordan,Y.Weiss,et al.On spectral clustering:Analysis and an algorithm. Advances in neural informationprocessing systems,2002(2):849-856.
[5]J.Shi and J.Malik.Normalized cuts and image segmentation.IEEE Transactions on Pattern Analysis and MachineIntelligence,2000,22(8):888-905.endprint