基于弱監督學習的圖像語義分割方法綜述

曾孟蘭　楊芯萍　董學蓮　羅倩

摘? 要：為了解決全監督語義分割網絡訓練成本高的問題，研究者們提出了基于弱監督學習下的語義分割方法。文章對弱監督學習的語義分割方法進行綜述，并介紹了語義分割領域常用的數據集和評價指標，最后提出了弱監督語義分割的發展方向。

關鍵詞：弱監督學習;語義分割;數據集;評價指標

中圖分類號：TP391? ? ? ? ?文獻標志碼：A? ? ? ? ?文章編號：2095-2945（2020）08-0007-04

Abstract： In order to solve the problem of high training cost of fully supervised semantic segmentation network， researchers proposed a semantic segmentation method based on weakly supervised learning. This paper summarizes the semantic segmentation methods of weakly supervised learning， introduces the data sets and evaluation indexes commonly used in the field of semantic segmentation， and finally puts forward the development direction of weakly supervised semantic segmentation.

Keywords： weakly supervised learning; semantic segmentation; dataset; evaluation index

引言

圖像的語義分割技術就是利用神經網絡模型對圖像中的每一個像素點進行分類，進而得到對應目標的語義標簽信息和位置信息。該技術可以使得智能機器人等對周圍環境有更全面的理解，在無人駕駛、無人機和機器人導航工作領域扮演著重要角色。

早期的語義分割方法主要是基于全監督學習的圖像語義分割，該方法首先需要專業人員對訓練的數據集樣本進行精準的像素級標注，然后利用標注好的數據對語義分割神經網絡進行訓練，最后將訓練好的分割網絡用于圖像的分割。因為有精準的訓練數據，所以基于全監督學習方法的圖像語義分割能夠得到較為準確的分割結果。但是，基于全監督學習方法的圖像語義分割結果過度依賴于精準的數據集標注，而標注相對精準的數據集是一項需要消耗大量人力以及時間的任務，這無疑增加了科研工作的成本。一些研究者為了降低神經網絡的訓練成本，提出了基于弱監督學習的語義分割方法，實現通過使用一些低成本的訓練數據，使神經網絡達到相對精準的分割效果。

弱監督語義分割主要通過一些簡單形式的標簽信息進行圖像學習，以此來降低神經網絡的訓練成本。但是因為弱監督語義分割學習僅僅依靠一些簡單的圖像標簽進行學習，語義信息不強，所以分割精度并不高。如何提高弱監督語義分割的精度，成為了深度學習的研究熱點。

1 基于弱監督學習的語義分割方法

為了解決全監督學習分割網絡的高成本問題，研究者們提出了基于弱監督學習的語義分割方法，使用弱標簽圖像數據進行網絡訓練，減輕網絡模型對精確數據的依賴，降低數據的標注成本。根據使用標簽類型的不同，我們可以將弱監督學習的圖像語義分割方法分為以下幾類：基于邊界框的語義分割法、基于圖像級標簽的語義分割法、基于點標簽的語義分割法和基于涂鴉式標簽的語義分割法。

1.1 基于邊界框的方法

邊界框標注方法是使用一個矩形框選取圖像中的目標區域作為標簽信息。于標注方面來說，邊界框標注的操作是弱標注方法中最為復雜的一種。但是，邊界框標簽包含更多的圖像信息，得到的分割效果也更令人滿意。Dai[1]等人提出了基于邊界框標注數據的BoxSup算法，該方法首先使用MCG[2]獲得初始的圖像目標候選區域，然后不斷迭代對象目標的候選區并調整神經網絡參數，提升分割網絡的性能。Papandreou[3]提出使用期望最大化法，將邊界框標簽與像素級標簽結合的方式對分割網絡進行訓練，達到與全監督方法接近的分割效果。Khoreva等人[4]提出把弱監督問題看作是輸入標簽的噪聲問題，試圖使用遞歸訓練去除噪聲，加入GrabCut算法提升語義分割效果。基于邊界框標簽數據訓練的弱監督網絡無需大量精準的數據，而它的分割效果卻能達到全監督網絡的分割水平。

1.2 基于圖像級標簽的方法

圖像級標簽是弱監督學習中最簡單的一種標注形式，它只提供了圖像中存在的類別，并沒有明確給出對象的位置和形狀等信息，所以使用圖像級標簽訓練的分割網絡在語義分割中，得到的分割結果并不理想。但是因為圖像級標簽數據比較容易獲得，所以眾多專業人士均致力于圖像級標簽的語義分割方法的研究。Pathak[5]等人在訓練過程中使用圖像級標簽數據，并利用多示例學習MIL解決語義分割的問題。隨后Pathak[6]等又提出約束型神經網絡模型CCNN，在損失函數中為對象尺寸、背景、前景等設置約束項，用最優化解決分割問題。Pinheiro[7]等人通過多示例學習構建圖像級標簽和像素級標簽之間的關聯，且添加一些平滑先驗獲得較好的分割結果。Wei[8]等人提出了從簡單到復雜的框架STC，首先檢測圖像的顯著性，然后增強分割網絡，最后強化型分割網絡和預測標簽得到最終分割網絡。隨后，Wei[9]提出了對抗性擦除的方法，該方法通過不斷擦除神經網絡識別的顯著區域，然后組合擦除的信息生成偽標注，提升分割精度。但是提出的方法都需要對網絡進行多次訓練，操作復雜且訓練時間長。Kolesnikov[10]提出了SEC框架，使用CAM[11]對目標種子進行定位，然后對稀疏的種子像素進行擴展并約束，最后使用條件隨機場CRF優化后得到了較好的分割結果。Huang[12]針對于SEC框架的靜態監督問題做出了改進，使用迭代擴展的方式提高了目標分割的完整性和準確性。Zhang[13]等人利用解耦空間神經網絡生成高質量的圖像偽標簽，并達到較好的分割效果。Li[14]等人提出了使用網絡產生的關注區域來引導學習，最終產生較為準確的結果。Lee[15]等人提出了FickleNet框架，使用簡單的dropout方法發現圖像的位置關系，并擴大激活區域。熊昌鎮[16]等人利用不同特征訓練2個帶尺度的分割模型，并結合遷移學習的分割模型改善分割結果。

1.3 基于點標簽的方法

弱監督中的點標簽是在對象目標上標注一點作為標簽信息，但是點所包含的信息量是非常少的，僅憑一點作為監督信息是不足以使網絡推斷出整個對象的區域范圍，因此分割結果也不令人滿意。與圖像級標簽相比，點標簽可以明確圖像中對象的位置信息，所以分割效果有所提升。Bearman[17]等人使用點標記圖像中的對象目標，然后將該描點信息結合損失函數，并加入對象目標的先驗信息用以推斷對象范圍，使得網絡模型能更好地預測物體區域。

1.4 基于涂鴉式標簽的方法

涂鴉式標簽是在目標對象位置以涂鴉線條方式作標記，得到對象的位置和范圍信息。涂鴉式標簽作為點標簽的一種改進方式，可以進一步獲取對象的范圍信息，獲得更好的分割結果。Lin[18]等人利用圖模型優化的方式訓練分割網絡，將標注信息與其外觀信息、語義信息等傳遞到圖像未標注的像素。該方法實現了自動完成圖像的標注工作，并獲得模型參數，最終訓練得到的網絡性能媲美于邊界框標簽訓練的分割網絡。

2 弱監督學習方法評估

2.1 語義分割評估數據集

在語義分割研究中，常常需要大量的圖像數據集對分割網絡進行訓練和測試，本小節將介紹在分割任務中，具有代表性的公共數據集PASCAL VOC2012、ImageNet、MS COCO、Cityscapes。

PASCAL VOC是一個計算機視覺挑戰賽，它為計算機視覺提供測試圖像數據集。在計算機視覺中，最常用的數據集是PASCAL VOC 2012，它總共有21類，其中包含了背景、動物、交通工具、人類以及一些常見的室內物品等。圖片標注質量高且沒有統一圖像。其中Train/val數據包含了11530張圖像，其中包括27450 ROI目標標注和6929個分割物體。

ImageNet數據集共有14197122張圖像，分為21841個類別，每一類大約1000張圖片。許多圖像分類、目標檢測、語義分割等任務都是基于該數據集。

MS COCO 有91種常見類別，數據集有328000張訓練圖，其中包含了2500000個標注物體。2014年發布了82783張訓練圖像，40504張驗證圖像，40775張測試圖像。2015年的數據包括165482張訓練圖像，81208張驗證圖像以及81434張測試圖像。

Cityscapes數據集有5000張高質量的像素級圖像和20000張弱標注圖像，涵蓋了50個城市中不同環境、不同時間的街道場景。

2.2 評價標準

在語義分割任務中，常用像素精度、平均像素精度、平均交并比來評估分割性能。具體公式如下所示，公式中的k+1表示包括背景在內的k+1類。Pij均表示像素原屬于類i卻被網絡模型預測為類j的像素量。而Pji表示像素原屬于類j卻被預測為類i的像素量。Pii則表示網絡模型預測的像素類別與真實類別一致的數量。

以上幾種評價標準中，因為MIOU簡單且具有較好的代表性，所以大多數語義分割分割方法均以此判別分割的性能。

3 結果分析

在本節內容中，將對上文提及的弱監督學習的語義分割網絡在數據集上的表現進行分析。本文以PASCAL VOC 2012 數據集為測試數據，并以MIOU作為語義分割方法的評價指標。

表1對弱監督學習下的語義分割方法進行了歸類，比較了各種方法在PASCAL VOC 的驗證集和測試集上的分割結果。從表中可以看出，雖然圖像級標簽比較容易獲得，但是它包含的有用信息過少，不足以獲得準確的分割結果。而邊界框標簽的形式雖然比較復雜，但是能夠提供目標位置以及范圍的監督信息，所以在弱監督學習方式中，具有較好的分割結果。

4 結束語

本文對基于弱監督學習的圖像語義分割方法進行了綜述，總結了不同方法在相同數據集上的分割效果。然后介紹了在語義分割領域常用的數據集和評價標準等。雖然現在弱監督的網絡模型的分割結果依舊弱于全監督分割網絡的結果，但是弱監督分割網絡大大減少了數據集的標注要求，降低了研究成本，是未來語義分割的發展趨勢。

基于現有的成果，提出今后可能的發展方向：

（1）構建稀疏的弱監督信息與像素之間的聯系，使得網絡能預測對象目標的精確位置和完整的范圍，提升弱監督的分割精度。

（2）弱監督學習方式也可以考慮與其他學習方式的結合，解決弱監督學習中監督信息少而導致分割精度不高的問題。

參考文獻：

[1]Dai， J， He K， Sun J. Boxsup： exploiting bounding boxes to supervise convolutional networks for semantic segmentation[A].Proceedings of the IEEE International Conference on Computer Vision[C].2015：1635-1643.

[2]Arbeláez P， Pont-Tuset J， Barron J， et al. Multiscale combinatorial grouping[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].2014：328-335.

[3]Papandreou， G， Chen L C， Murphy K， et al. Weakly-and semi-supervised learning of a deep convolutional network for semantic image segmentation[A]. Proceedings of the IEEE International Conference on Computer Vision[C].2015：1742-1750.

[4]Khoreva A， Benenson R， Hosang J，et al. Simple does it： weakly supervised instance and semantic segmentation[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].2017：876-885.

[5]Pathak D， Shelhamer E， Long J，et al. Fully convolutional multi-class multiple instance learning[A]. Proceeding of IEEE International Conference on Learning Representations[C].2015：1-4.

[6]Pathak D， Krahenbuhl P， Darrell T. Constrained convolutional neural networks for weakly supervised segmentation[A]. Proceedings of the IEEE International Conference on Computer Vision[C].2015：1796-1804.

[7]Pinheiro P O， Collobert R. From image-level to pixel-level labeling with convolutional networks[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].2015：1713-1721.

[8]Wei Y， Liang X， Chen Y， et al. Stc： a simple to complex framework for weakly-supervised semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（11）：2314-2320.

[9]Wei Y， Feng J， Liang X， et al. Object region mining with adversarial erasing： a simple classification to semantic segmentation approach[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].2017： 1568-1576.

[10]Kolesnikov A， Lampert C H. Seed， expand and constrain： three principles for weaklysupervised image segmentation[A]. European Conference on Computer Vision[C].2016： 695-711.

[11]Zhou B， Khosla A， Lapedriza A， et al. Learning deep features for discriminative localization[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].2016： 2921-2929.

[12]Huang Z， Wang X， Wang J， et al. Weakly-supervised semantic segmentation network with deep seeded region growing[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].2018： 7014-7023.

[13]Zhang T， Lin G， Cai J， et al. Decoupled spatial neural attention for weakly supervised semantic segmentation[J]. IEEE Transactions on Multimedia， 2019，21（11）：2930-2941.

[14]Li K， Wu Z， Peng K C， et al. Tell me where to look： guided attention inference network[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].2018： 9215-9223.

[15]Lee J， Kim E， Lee S， et al. FickleNet： Weakly and Semi-supervised Semantic Image Segmentation Using Stochastic Inference[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].2019：5267-5276.

[16]熊昌鎮，智慧.多模型集成的弱監督語義分割算法[J].計算機輔助設計與圖形學學報，2019，31（05）：800-807.

[17]Bearman A， Russakovsky O， Ferrari V， et al. What's the point： semantic segmentation with point supervision[A]. European Conference on Computer Vision[C].2016： 549-565.

[18]Lin D， Dai J， Jia J， et al. Scribblesup： scribble-supervised convolutional networks for semantic segmentation[A]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].2016：3159-3167.