一種結合深度學習特征和社團劃分的圖像分割方法

胥杏培，宋余慶，陸 虎

(江蘇大學 計算機科學與通信工程學院，江蘇 鎮江 212013)

1 引 言

近幾年來，圖像分割作為計算機視覺領域中十分重要的研究領域，吸引了大量學者的興趣.圖像分割被廣泛應用于圖像檢索，醫學圖像的處理，人臉識別，遙感圖像處理[1]等領域.圖像分割是對圖像的每個像素點進行處理，劃分成若干個相似區域.但是在實際應用中，我們所要求的是要求圖像分割能夠得到更好的分割的結果，在時間上，要求有更快的速度.雖然該領域已經出現了很多好的算法，但想要開發出一種簡單有效的圖像分割算法仍存在較大的困難和挑戰.

尋找到一種好的特征對于提高分割的準確性是非常重要的，大多數現有的特征都依賴人工標定.例如HOG，SIFT，LBP，GLCM等特征.最近，用深度學習的方法自動獲取特征在機器學習領域廣泛應用.例如，在計算機視覺領域，深度學習算法從原始圖像去學習得到一個低層特征，例如邊緣檢測器，小波濾波器等，然后在這些低層次特征的基礎之上，通過非線性組合來獲得高層次的特征.常用的深度學習模型結構包括自動編碼器(Auto Encoder)[2]，深信度網絡(Deep Belief Networks)[3]，卷積神經網絡( Convolutional Neural Networks)等.其中，卷積神經網絡(CNN)[4-6]成功應用于計算機視覺領域，歸結于它能夠很好的將圖像的低級特征通過非線性方式整合成高級特征[7].

在本文中，我們提出了一種新的自適應圖像分割方法.為了解決以像素點為單位分割的龐大計算量，我們通過SLIC超像素算法對圖像預處理之后，將改進的VGG-16模型作為特征提取器，提取單個超像素區域的深度學習特征.并且提取對應超像素區域Lab顏色特征，構建兩個相似度矩陣，通過線性組合構建成一個相似度矩陣.用社團劃分的思想在相似度矩陣的基礎上對圖像進行分割，如圖1所示.為了得到合理的分割結果，本文采用譜聚類算法對圖像進行聚類，并用模塊度Q[8,21]來選擇最佳的分割類別數，因此省去了繁瑣的人工設定分割類別數的過程.

圖1 基于深度學習特征和社團劃分的圖像分割方法

2 相關工作

本章節我們主要回顧前人的相關工作.目前圖像分割方法主要是通過整合人工特征對圖像進行分割.S.J.Li等人提出了一種基于超像素的HOS算法[14]，該算法通過提取超像素區域的顏色特征和紋理特征，但該算法在構建相似度矩陣的過程中，迭代的時間較長，從而使得算法的時間復雜度較高.Ester.M提出了超像素和密度函數，將高密度的區域劃分為簇，并且在數據空間中進行聚類的DBCAN算法[10]，該算法是基于密度函數定義，相對抗噪音能相對處理任意形狀的簇.Ncut算法[11]是一種經典的圖像分割方法.Pizzuti提出了利用遺傳算法和Ncut算法相結合的Gencut算法[12].L.Zelnik等人提出了一種基于自適應譜聚類Self-tuning算法[13]. 由于算法需要將圖像的維數設定為固定大小，因此該算法只適用于維度較小的圖像.

針對以像素點為單位的龐大的計算以及人工提取特征的不確定性，我們通過將深度學習和社團劃分相結合的方法，來對圖像進行分割.首先通過SLIC超像素算法對圖像進行預處理，將圖像由像素級劃分為區域級.將圖像劃分為若干超像素區域，然后再通過微調VGG-16模型，將該模型作為本文深度學習特征提取器，提取單個超像素區域的深度學習特征.并且提取單個超像素區域的Lab顏色特征，通過線性疊加，構建相似度矩陣.將單個超像素點看成社團中的節點，通過社團劃分方法對圖像進行自適應分割.大量的實驗結果驗證了本文算法的有效性.

3 算法描述

3.1 多尺度特征提取

超像素算法已經被廣泛應用于計算機視覺的各個領域中.超像素可以有效的捕捉圖像的結構化信息，本文首先使用簡單線性迭代聚類(SLIC)[15]方法對圖像進行過分割，得到一定數量的超像素.本文設定的超像素的個數為200.其次，本文采用兩種特征描述符來表示一幅圖像，分別為Lab顏色特征以及深度學習特征(改進VGG-16模型學習的特征[16]).

本文的低級特征采用Lab顏色特征.因為對于彩色圖像而言，顏色是最直接和最重要的特征之一.為了降低計算復雜度，在計算相似度矩陣之前先計算超像素的鄰接矩陣.超像素i，j對應鄰接矩陣為：

(1)

我們定義單個超像素區域的Lab顏色特征的相似度矩陣為：

(2)

本文使用改進的VGG-16模型提取深度學習的特征，該模型是在Caffe框架下，通過訓練ImageNet數據集得到.本文通過微調VGG-16模型，將該模型的全連接層替換成全卷積.并且將模型的第15層FC2層的特征維度由4096維降成1024維.大量的實驗表明，模型收斂更快，能夠得到更好的高級特征.

由于我們提取的超像素區域可能是一個不規則的區域，而該模型的輸入必須是一個規則區域，因此我們將單個超像素區域放入到一個矩形框內.輸入圖像，并在該模型的全連接層FC2層提取圖像的特征，得到1024維的深度學習特征.于是得到的不同超像素區域的深度學習特征維度為200×1024.同時我們在超像素鄰接矩陣的基礎上構建.然后計算歐式距離來構建超像素鄰接矩陣的相似度矩陣

(3)

其中n表示超像素的個數.i，j∈[1,n] ，并且xi，xj，表示單個超像素的深度學習特征，維度為1×1024.

綜合上述的改進VGG-16模型提取深度學習特征得到相似度矩陣W(deep)(維度為200×200)，和Lab顏色特征的相似度矩陣W(color)(維度為200×200).我們通過線性疊加的方式，用平衡參數a來調整顏色特征和深度學習特征所占的比重，得到新的混合特征W(mix)定義為：

W(mix)=a×W(color)+(1-a)×W(deep)

(4)

3.2 社團劃分

隨著復雜網絡理論的發展，基于圖論的圖像分割技術已經有了很大的發展.我們將SLIC超像素算法得到的單個超像素點看成是社團中的節點.通過計算節點之間的相似度，對社團進行聚類.將圖像的分割問題歸結為社團劃分問題.

為了有效評價社團劃分的合理性，Newman和Girvan[19,20]提出了一個用以評價網絡分解滿意度的指標的質量函數或者稱為模塊度Q[21]，應用于加權網絡分析.適用于加權網絡和加權鄰接矩陣，模塊度Q被定義為：

(5)

BSDS500數據集是由伯克利大學提供的自然圖像數據集，該數據集包含500張自然圖像，并且每張圖像包含對應的ground-truth.且人工標定的圖像超過95%的類別數都小于20，因此在本文中我們設定譜聚類算法n的輸入為[2，20]，分別計算19個聚類結果，然后通過計算模塊度Q的值，來選取最佳的聚類結果.

3.3 算法流程

本文算法如下：基于深度特征學習的圖像分割算法

輸入：圖像

輸出：最終的分割結果

Step1.通過SLIC過分割獲得超像素

Step2.提取超像素顏色特征以及深度學習特征，構建兩個相似度矩陣W(color)和W(deep).

Step3.通過參數a，構建相似度矩陣w(mix)

Step4.對獲得的相似度矩陣w(mix)，通過譜聚類，得到個聚類的結果

Step5.通過模塊度Q計算每個聚類對應的Q值，選取最大的Q值對應的聚類

Step6.得出聚類結果，實現圖像分割

4 實驗結果與分析

在本章節中，為了驗證算法的有效性，我們在BSDS500數據集上進行了測試，并將實驗的數據結果與CTM算法[9]，Gencut算法[12]，DBSCAN算法[10]，HOS算法[14]，Ncut算法[11]，self-tuning算法[13]進行了比較.算法的實驗環境為：CPU：i-6700k，顯卡：GTX1080，內存：32G，操作系統：Ubuntu 14.04.

為得到定量分析結果，我們通過兩種指標來對分割進行評價度量，(1)概率蘭德指數(PRI)[22]，(2)信息變化(VOI)[23].

概率蘭德指數(Probabilistic Rand Index，PRI)是一個經典的評價聚類的標準.PRI需要給定實際類別信息C，假設K是聚類結果，a表示在C與K中都是同類別的元素對數，b表示在C與K中都是不同類別的元素對數，則概率蘭德指數為：

(6)

信息變換(Variation of Information，VOI)被定義為：

VOI(c，c′)=H(c)+H(c′)-2I(c，c′)

(7)

其中H(c)和H(c′)是c和c′分割的熵，并且I(c，c′)是c和c′分割的互信息，這一指標的范圍是[0，+∞]，VOI的值越小越好.

如圖2所示.我們在BSDS500數據集上測試了本文的算法.根據大量的實驗結果顯示，當a=0.3時PRI和VOI的指標達到最佳.本文針對不同算法，選取合適的參數，整個數據集求PRI和VOI的均值得到如圖2所示的直方圖.

圖2 本文算法與其它流行算法的PRI和VOI值的比較

如圖3 所示，本文算法與與CTM算法[9]，Gencut算法[12]，DBSCAN算法[10]，HOS算法[14]，Ncut算法[11]，Self-tuning算法[13]分割結果的比較，由于BSDS500數據庫中的圖像大小為321×481或者481×321，然而Ncut算法，和Self-tuning算法不能直接處理這樣大的圖像，因此我們先將圖像維度縮小為160×160，然后對圖像進行分割.本文算法，CTM算法，Gencut算法，DBSCAN算法，HOS算法均可以在原圖上進行分割.試驗中算法均需要設置參數，對于CTM算法，我們按照對應文獻中的參數選擇方法，并在一定范圍內變化，選擇最優的結果.DBSCAN算法需要預先定義超像素的個數k.

為了方便比較，我們設定了和本文算法相同的超像素的個數.Gencut算法需要預先設定9個參數，該算法通過遺傳算法和Ncut算法的結合進行分割，CTM算法是在超像素的基礎之上，通過對紋理特征的擬合進行分割，DBSCAN是通過超像素預處理之后，根據密度函數進行分割.HOS算法通過超像素對圖像進行預處理之后，提取圖像的HOG紋理特征和Lab顏色特征對圖像進行分割，Ncut算法和Self-tuning算法需要預定義像素點k領域，試驗中我們設置k=8，本文算法通過超像素算法對圖像進行預處理，引入深度學習的思想，提取圖像的深度學習特征，并且結合傳統的顏色特征，構建相似度矩陣，通過譜聚類算法對圖像進行分割，通過下圖可以看出我們的算法在PRI和VOI指數上均取得較好的實驗結果.

表1 針對a的不同取值PRI和VOI的值

如表 1所示，我們通過平衡參數a來調整深度學習的特征和Lab顏色特征之間的權重.表1的實驗結果是在BSDS500數據集測試，并對實驗結果求均值.本文設定a的取值范圍屬于[0，1]之間，當a=0.3時，本文算法的PRI值最大，VOI值最小.

如圖4所示，本文算法與其他6中算法實驗對比圖.本文算法相較于其他幾種算法，對于山的輪廓部分能夠很好的分割出來.并且對于整個山體的細節部分可以很好的分割出來.由于本文算法不僅注重底層的顏色特征的提取，并且能夠把握深度學習提取的高層特征.將兩者相結合構建新的相似度矩陣，并且通過一個線性參數來調整兩者的比重.再通過社團劃分的思想對圖像進行分割.

圖4 本文算法和其他流行方法的比較，依次為原圖，CTM，DBSCAN，HOS，Gencut，CTM，Self-tuning，以及本文算法

如圖 5所示，我們的算法在BSDS500上進行了測試，圖 5的上半部分是原圖，下半部分是分割后的結果圖.我們通過選取BSDS500數據集中自然圖像的風景，物體，動物，人等具有代表性的圖像.來證實我們算法的有效性.從圖中我們可以看出，我們的算法能夠很好的處理簡單以及復雜背景的自然圖像，并且能夠有效的避免過分割現象.

圖5 算法在BSDS500數據集上測試的結果，上部分原圖，下部分為分割圖

5 結 語

在本文中，我們提出了一種基于深度學習特征和社團劃分的彩色圖像分割方法.首先對圖像進行超像素預處理之后，提取超像素區域的顏色特征以及深度學習特征，構建相似度矩陣.在相似度矩陣的基礎上，利用譜聚類算法進行聚類.選取最大模塊度Q值來判斷實驗最佳聚類效果.大量的實驗結果驗證了本文提出的算法的有效性.此外，我們的算法在公共數據集BSDS500上進行了測試.并與現有的幾種著名圖像分割方法進行比較.在不同圖像上的分割實驗結果表明，我們提出的圖像分割算法優于其它幾種方法.該算法能夠有效的處理復雜背景的圖像，并減少過分割現象.