基于神經網絡的圖像弱監督語義分割算法

顧　攀　張烽棟

(復旦大學計算機科學技術學院　上海 201203) (上海市智能信息處理重點實驗室(復旦大學)　上海 201203)

0　引　言

圖像分類任務就是通過訓練得到一個模型，該模型可以對于每一幅圖像標注其語義的分類。而圖像的語義分割任務是需要訓練一個更為復雜的模型，它可以對于圖像中的每一個像素，標注其像素的分類。相較于普通的圖像分類而言，圖像的語義分割可以提取得到更多的信息，不僅可以找到圖像中的語義信息，還可以精確地定位到所有的語義信息在圖像中的位置。

近些年來，越來越多的學者、專家在圖像的語義分割這個領域作出了卓越的貢獻。一些研究組也發布了他們所提供的圖像數據集合(如Pascal VOC Challenge中的分割任務[1])，數據集中的所有圖像都具有強監督標簽的信息(所謂強監督的標簽信息，就是對于每一幅圖像中的每一個像素，都標記了該像素是屬于哪一個分類的)，大大地加快了圖像的語義分割問題的研究進展速度。可是隨之而來的一個問題在于，強監督的訓練數據總是只在有限的數據集中提供，所有利用這些數據訓練算法的魯棒性和實用性都局限于數據集中的數據量。

圖像語義分割的算法起源于文獻[2]，其中介紹了一種基于條件隨機場模型的算法，它通過對圖像每一個像素為離散點，構建了條件隨機場模型。而后隨著技術的發展，傳統圖像語義分割的算法大多都是通過設計一種提取像素(或圖像)級別特征的算法，再與分類器(如支持向量機)相結合，計算語義分割的結果[3]。隨著2015年全卷積網絡的提出[4]，圖像的語義分割算法的研究開始偏向于使用深度學習的技術進行解決，大多數的研究都在全卷積網絡的基礎上進行。使用強監督數據訓練的神經網絡模型在該任務上取得了非常好的效果，同時，算法的魯棒性與實用性都是取決于數據集中大量的強監督訓練數據才達到的。

可是，現在除了那些少量的公開的數據集，具有強監督標注的數據在生活中幾乎不存在，而另一種類型的數據，具有弱監督標簽的圖像數據(所謂弱監督的標簽信息，就是對于每一幅圖像而言，僅僅標注了圖像中所包含的物體的類別)，可以輕松地在互聯網上進行收集得到。相對于數據集中有限的場景，如果能將生活中的數據全部加以利用，訓練得到的模型的魯棒性一定會大大提高。如何利用弱監督的圖片數據來對深度學習模型進行訓練，變成了一個值得研究的問題。

由于全卷集網絡[4]的提出，近期提出的算法大多都是基于強監督標簽的算法，相對于利用強監督標簽數據進行訓練的算法，利用弱監督標簽的算法在效果上要較為差一些。主要是因為弱監督標簽僅包括了圖像級別的標注信息，而語義分割的任務需要得到的是像素級別的標注信息，在這種標注信息的層級不同的前提下，難以設計一種有效的損失函數。大多數現有的算法都是通過一些近似算法來回避這個問題。如果設計出一種有效的損失函數，讓神經網絡可以達到端對端的訓練過程的話，那么算法的效果一定會得到巨大的提升。

本文提出了一套基于神經網絡的圖像弱監督語義分割框架，通過設計一個可以兼容弱監督標簽的損失函數，使神經網絡達到端對端的訓練過程。方法也結合了一些經典的方法，將圖像的語義分割與圖像的目標檢測相結合，提取并計算圖像的語義分割結果。

1　圖像弱監督語義分割框架

本節將介紹一種新的圖像語義分割算法，它基于深度神經網絡框架，并且可以通過弱監督的數據對網絡進行端到端的訓練，以最大化深度神經網絡的效果。這里將首先介紹算法對于一種特殊的情況(圖像中只存在單目標問題時)的檢測算法，再通過提出多塊損失函數，將算法擴展至對于多目標圖像內容的檢測。

1.1　弱監督的單目標圖像語義分割

首先定義圖像訓練集中的圖像為x，圖像級別的標簽為y，并x∈RN×M，y∈{0,1}C，其中N與M為圖像的寬與高，而C為圖像中一共可能包含的語義類別的數量。定義s為任務最終輸出的語義分割結果，并s∈{0,1,2,…,C}N×M，每一個元素si,j表示了像素xi,j的語義類別，為0時表示屬于背景(或不屬于任何一個語義類別信息)。

在類別激活熱度圖算法中[5]，如圖1中所示的深度神經網絡結構，可以通過弱監督的數據對網絡結構進行訓練，并獲取得到在低層神經網絡輸出的特征幀。通過在特征幀與語義層之間，利用一個全局均值池化層將特征圖轉換成單個類別的置信度。由于最終的圖像在一個類別上的置信度可以通過f1,f2,…,fK進行線性組合得到，所以對于某一個類別的熱度圖可以通過計算特征圖中的每一幀的線性組合得到。

圖1　利用全局均值池化層的神經網絡語義層結構

(1)

式中：F表示最后的特征圖層的內容并且K表示該特征圖層的通道數。通過熱度圖的結果，可以近似地計算得到物體在圖像中所處于的位置，但無法求得物體更詳細的邊緣信息。而物體的邊界信息可以通過一些其他的無監督的算法進行提取[6]，這里可以定義提取得到的邊界為m∈{0,1}N×M，其中每一個元素mi,j表示單個像素是否屬于該物體中，將輪廓信息與熱度圖的內容相結合，可以求出該輪廓中所包括的物體所屬的分類為：

(2)

式中：S=∑i,jmi,j表示物體輪廓所占據的區域大小，在計算得到該物體具體所屬的分類后可以計算圖像x的圖像語義分割結果：

s=cmax×m

(3)

1.2　弱監督的多目標圖像語義分割

圖2是本文算法的整個算法框架內容，算法中神經網絡的結構參考殘差網絡[10]的特征提取層進行實現。算法首先通過一些無監督的對象預檢測算法在圖像中找到所有的物體位置，這些物體所包含的語義類別的并集肯定會包含圖像中所有出現的類別數。根據1.1節中所介紹的算法內容，對于僅包含單個分類的物體的圖像可以通過深度神經網絡的算法計算得到其圖像語義分割的結果。

在通過對象預檢測算法對圖像進行檢測后，可以得到多個包含物體的區域，將其截取后可以得到I1,I2,…,IT個圖像，其中T是子圖的個數。根據之前算法的介紹，每一幅子圖都可以通過神經網絡的內容計算得到單幅圖像的語義分割結果si，在全部計算完畢后可以計算整幅圖像的語義分割結果：

(4)

1.3　多塊損失函數的應用

在1.2節中所介紹的方法中，對于每一幅子圖而言，算法并不能獲取得到每一幅子圖中所包含的對象所屬的分類信息，如果要僅通過弱監督的數據對深度神經網絡的模型進行訓練，需要對網絡結果進行修改。使用弱監督的數據對神經網絡參數進行訓練，只能使用圖像級別的標注，即對于每一幅圖像x而言，存在標簽y∈{0,1}1×C表示該圖像中是否包含對應的類別的物體。在算法中，將所有的子圖看作是一個整體作為輸入，所有的子圖將會送入深度神經網絡中進行訓練，在網絡最后的語意層輸出類別信息的位置，加入本文介紹的多塊損失函數，即可完成使用弱監督數據對深度神經網絡的訓練過程。

圖2　弱監督圖像語義分割算法框架

在介紹多塊損失函數之前，首先回顧一下在深度神經網絡算法中的經典問題，圖像分類問題中所使用的代價函數：

定義多塊損失函數為：

MPF(y1,y2,…,yT;y)

(5)

(6)

對于神經網絡而言，它對于子圖的類別輸出結果應趨近于只有一個維度較高的情況(由于每一個子圖中應該只包含了一個物體)，使用求最大值的操作可以將這些子圖的輸出全部結合成為一個向量。所以在這里，多塊損失函數具體可以被描述為：

(7)

式(7)所介紹的多塊損失函數可以直接被用于深度神經網絡訓練過程的前向傳播過程中，而在訓練過程的反向傳播中所使用到的損失函數的梯度大小，對于每一個子圖所輸出的類別置信度yt的梯度可以被計算為：

(8)

2　實　驗

對于在第1節中所提出的算法，進行了一些在數據集中的實驗。本節將介紹實驗的具體配置以及實驗的結果，并進行關于結果的適當的分析。

2.1　數據集配置及實現細節

算法在MSRC-21以及VOC2012[1]數據集中進行了實驗，并與一些其他算法進行了比較。對比算法首先選擇了一種基于特殊的隨機森林的算法[7]，它通過比較像素周圍像素的值計算出像素特征，再通過隨機森林對每一個像素進行分類。另一個對比算法是基于超像素分割的算法[3]，首先將圖像分割成超像素，然后再使用分類對超像素進行類別的判斷，最終得到圖像的語義分割的結果。這兩個算法都是基于弱監督數據對模型進行訓練的，與本文所介紹的算法條件相同。

訓練用的兩個數據集都是帶有強標簽信息的真實圖像數據集，強標簽的信息僅僅用于測試算法的語義分割結果，而在訓練的過程中僅使用弱監督標簽的部分。MSRC-21數據集包含了大小為320×213的591幅不同的圖片，它們被分在了21個不同的分類中。需要一提的是，由于“horse”與“mountain”兩個分類的圖像數量較少，在訓練及測試的過程中算法忽略了這兩個分類的結果。而在VOC2012數據集中包括了1 464幅不同的訓練圖片以及1 449幅測試圖片，它們被分在了20個不同的前景的分類中。

第1節所介紹的基于深度神經網絡的圖像語義分割的算法基于MatConvNet框架[8]進行構建，該框架是基于MATLAB語言的計算機視覺框架，它可以自定義不同的神經網絡層、代價函數等，可以順利地通過該框架將算法所介紹的神經網絡算法進行實現。

在訓練的過程中，為了在圖像中提取所有物體的子圖，使用Deep Mask算法[11]作為對象預提取算法。對于所有提取得到的子圖都將包括一份對象的輪廓信息以及子圖屬于對象的置信度，并設計一個閾值，當子圖屬于對象的置信度大于該閾值時將該子圖作為一個有效的對象在訓練、測試過程中進行使用。對于一幅圖像中有效的子圖將它們打包后一齊送入深度神經網絡，使用在第1.3節中介紹的多塊損失函數對網絡進行訓練。

2.2　實驗結果

算法在兩個數據集中都是通過準確率作為評價標準的，準確率計算了在所有測試圖像中所有的像素在語義分割問題中分類的正確率。

表1總結了算法與對比算法在MSRC-21數據集中圖像的語義分割問題的結果。由于MSRC-21數據集中包含了許多個屬于背景分類的像素，而算法中包含對象預檢測算法的存在，對于圖像中有大多數部分是背景，算法對背景區域不會特別敏感，性能將會受到一定的影響，所以在最終結果上要略遜于對比實驗的算法。

表1　算法在MSRC-21數據集中的結果

表2總結了算法與對比算法在VOC2012數據集中圖像的語義分割問題的結果。相對于MSRC-21數據集而言，VOC2012數據集中包含前景的圖像部分較多，所以在該數據集中算法表現的效果要比對比算法都要高上不少。

表2　算法在VOC2012數據集中的結果

這里要進一步介紹在VOC數據集中實驗的結果以及細節，如表3所示，表格展示了在數據集中每一個具體分類的實驗結果。其中“本”所表示的就是本文所介紹的算法，其他的對比算法以參考文獻編號進行表示。在對比的實驗中，增加了一些近年來強監督的算法作為比較算法，可以直觀地看出弱監督算法與強監督算法之前的一些差距。

表3　算法在VOC2012數據集中的詳細結果　　%

可以看出，在大多數分類中本文算法實驗的結果都比其他弱監督算法優秀，在一些分類的結果上已經可以追上強監督分類的算法結果。在物體屬性很明顯的類別中算法的效果已經接近與強監督的算法，但在那些“和背景較像”的分類中(如“沙發”、“餐桌”等)，算法的表現非常不盡人意。因此，算法會受到一定的背景因素的影響，在VOC數據集中這個影響已經變低了不少，但還是依然存在，也證明了算法受背景的影響程度較高，這也是本文算法的一個不足之處。

3　結　語

本文提出了一種基于深度神經網絡的圖像語義分割的算法，算法可以通過弱監督的數據對模型進行端到端的訓練，在訓練數據易于收集的同時可以最大化神經網絡的性能。在深度神經網絡模型中，本文提出的多塊損失函數很好地將多個不同的圖像輸出結合，使模型達到了端到端的訓練過程。

本文的工作也還存在著一些不足，文中的對象預檢測模塊還是一個獨立的模塊，并無法用網絡端到端的訓練優化這一個模塊的內容。在未來的工作中，如何將對象預檢測模塊與語義分割網絡相結合是一個較為重要的問題。

[1] Everingham M,Van Gool L,Williams C K I,et al.The pascal visual object classes challenge 2012 (voc2012) results (2012)[OL].2010.http://www.pascal-network.org/challenges/VOC/voc2011/workshop/index.html.

[2] Shotton J,Winn J,Rother C,et al.TextonBoost:Joint Appearance,Shape and Context Modeling for Multi-class Object Recognition and Segmentation[J].Proc Eccv May Graz Austria,2006,1(2):1-15.

[3] Zhang K,Zhang W,Zheng Y,et al.Sparse reconstruction for weakly supervised semantic segmentation[C]//International Joint Conference on Artificial Intelligence,2013:1889-1895.

[4] Long J,Shelhamer E,Darrell T.Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015:3431-3440.

[5] Zhou B,Khosla A,Lapedriza A,et al.Learning deep features for discriminative localization[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2016:2921-2929.

[6] Papandreou G,Chen L C,Murphy K P,et al.Weakly-and semi-supervised learning of a deep convolutional network for semantic image segmentation[C]//Proceedings of the IEEE International Conference on Computer Vision,2015:1742-1750.

[7] Shotton J,Johnson M,Cipolla R.Semantic texton forests for image categorization and segmentation[C]//Computer vision and pattern recognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.

[8] Vedaldi A,Lenc K.Matconvnet:Convolutional neural networks for matlab[C]//Proceedings of the 23rd ACM international conference on Multimedia.ACM,2015:689-692.

[9] Papandreou G,Chen L C,Murphy K P,et al.Weakly-and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation[C]//IEEE International Conference on Computer Vision.IEEE,2015:1742-1750.

[10] He K,Zhang X,Ren S,et al.Deep Residual Learning for Image Recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas,NV,United States,2016:770-778.

[11] Pinheiro P O,Lin T Y,Collobert R,et al.Learning to Refine Object Segments[C]//European Conference on Computer Vision 2016.Lecture Notes in Computer Science,2016,9905:75-91.