融合深度神經網絡和空洞卷積的語義圖像分割研究

陳洪云，孫作雷，孔 薇

(上海海事大學 信息工程學院，上海 201306)

1 引 言

語義圖像分割是計算機視覺任務中圖像理解的重要環節，在學術界的影響日益凸顯，現已成為學術界的重要研究課題之一，已經廣泛應用于自動駕駛系統，醫學圖像診斷，無人機應用以及穿戴式設備等多個領域.語義圖像分割技術是指利用計算機自動識別并且區分圖像中每個像素的類別，對其進行標注，得到不同的分割區域，具有廣泛的應用前景和研究價值.

傳統的語義圖像分割方法中，Normalized cut(N-cut)分割方法是基于圖劃分的方法中最著名的方法之一，它的主要思想是通過像素間的關系權重，根據給定的閾值，將圖像一分為二，只能處理二類分割問題.同時傳統方法的精度和速度都比較低，且需要人工干預，不能滿足各種變化場景的需求.隨著深度學習研究的不斷深入，深度卷積神經網絡(DCNN)的使用變成一種主流.Long等人提出了開創性全卷積網絡(fully convolution networks，FCN)[1]的圖像語義分割算法，該算法首次將分類網絡應用到語義分割領域中，促進了語義分割的快速發展.全卷積網絡是將傳統卷積網絡的全連接層換成卷積層，從而將圖像級別的分類延伸到像素級別的分類，在分割領域中取得新突破.近幾年，多種基于全卷積網絡改進的圖像語義分割方法相繼被提出，如文獻[2-6]，語義分割精度也在不斷提高.但是對于語義分割的任務[7-11]，應用DCNN仍然存在兩個挑戰.一方面是連續的池化操作引起的特征分辨率降低，這些操作可以使得DCNN學習到越來越多的抽象特征表示，然而局部圖像變換的不變性可能妨礙密集預測的任務，這種任務需要詳細的空間信息.另一方面，如何盡可能多的獲取目標的總體特征和細節特征，即多尺度下的特征也是一大挑戰.

為了解決這兩個挑戰，在這篇文章中，我們提出了一種基于空洞卷積[12-14]的方法，空洞卷積的使用已經被證明在圖像語義分割中很有效.空洞卷積，也被稱為擴張卷積，允許重新使用ImageNet預訓練[15]的網絡，通過去除最后幾層的下采樣操作，向上采樣濾波器內核，從而提取更密集的特征映射，這就相當于在卷積核各個權重之間插入孔洞，如圖1所示.使

圖1 不同步長的3×3空洞卷積結構圖Fig.1 3×3 Hole convolution with different steps structure diagram

用空洞卷積，能夠在DCNN不需要學習額外的參數的情況下控制特征映射的分辨率.此外，該方法還定義了一種并聯支路，用于在深層特征圖像上融合淺層特征圖像信息.基于金字塔池化模塊[16]和空洞空間金字塔池化模塊[17，18]，本文提出了改進的并行多尺度金字塔池化模塊，主要在空洞空間金字塔池化模塊中加入1×1卷積保留學習的特征和不同間隔的池化，進行更有效的提取不同層的特征以及獲取長范圍的上下文信息，并且在該模塊加入批規范化，增強參數調優的穩定性.在這項工作中，基于空洞卷積的使用在并聯模塊和空洞空間金字塔池化的框架下，使我們能夠有效的擴大濾波器的視野，從而獲得多尺度的圖片信息.最后，本文還采用了Adam自適應優化函數，該優化函數根據損失函數對每個參數的梯度的一階矩動態調整參數的學習率，使得參數在更新的過程中具有獨立性，從而提升模型的訓練速度以及訓練的穩定性.

本文的其余部分組織如下，第2節總結了理解這項工作所必需的幾個相關工作，第3節介紹了模型所涉及到的算法研究，第4節詳細的介紹了實驗數據、實驗過程以及結果分析，最后，在第5節中對本文的工作進行總結.

2 相關工作

在過去的幾十年里，大部分的語義分割系統的研究依賴于手工設計的單一特征的傳統方法，但是這些傳統方法的精度和速度都比較低.自2012年以來，隨著深度學習的不斷發展，DCNN因其自身強大的學習能力，使得語義分割的研究得到了重大創新.

文獻[1]提出了一種端到端的FCN模型，用卷積層替換VGG-16中的最后三層全連接層，實現將圖像分類轉換成像素級分類，然后利用雙線性插值的上采樣方法將特征圖恢復到原圖大小，最后通過結合不同深度層的結果，兼顧全局和局部信息，從而實現語義分割的密集預測.文獻[13]引入了空洞卷積的使用，在不做池化損失信息的情況下，擴大了感受野，讓每個卷積輸出都包含較大范圍的信息，解決了由于FCN中連續的池化層導致的分辨率降低問題.文獻[2]對FCN進行改進，用3×3卷積替換7×7卷積，減少了模型參數，加快了收斂速度，文中還引入了全連接CRF對邊緣像素做后處理，提升了語義分割的精度.文獻[17]提出了并聯的不同空洞率的空洞卷積，針對多尺度目標的特征進行提取，改進了語義分割的密集預測效果.文獻[14]提出了空間金字塔池化模塊，通過整合不同區域的上下文來獲取全局的上下文信息.文獻[18]改進了空間金字塔池化模塊，設計了一種空洞空間金字塔池化模塊，針對于多尺度物體分割，設計出級聯或并聯的池化模塊，從而獲取特征并整合多尺度信息.

這些方法從不同的方面對模型進行改動，從而達到提升語義分割的效果，但是沒有考慮整體性.我們從多方面進行考慮，基于ResNet引入了殘差結構，提高了收斂效果而將其作為主框架，采用并聯的不同采樣率r=6,12,18,24的空洞卷積提取多尺度的特征信息，加入批規范化計算，增強參數調優的穩定性，并且采取圖片級特征，加入卷積核為1×1的卷積用作特征圖的降維，增加一條并聯支路，用作融合深層特征和淺層特征信息，進一步提高語義分割的精度，最后采用Adam自適應優化函數，提升了模型訓練速度和模型的穩定性.

3 算法研究

在這部分，我們首先回顧在語義分割中如何使用空洞卷積進行密集預測，然后討論基于空洞卷積進行改進的ASPP模塊，最后介紹文章中增加的并聯支路.

3.1 空洞卷積用于獲取密集特征和擴大感受野

使用DCNN進行語義分割或其他密集的預測任務，已經被證明是簡單和成功的，然而DCNN中連續的最大池化和下采樣重復的組合大大降低了最終的特征圖的空間分辨率，有些文章中是采用反卷積(也稱轉置卷積，用于擴大特征映射分辨率)，但這需要額外的空間和計算量.本文中，我們主張使用空洞卷積，它最初的思想是為有效計算非抽取小波變換算法[19]為而開發的，該算法可以實現以任意的特征響應分辨率來計算特征圖的特征映射.

我們先了解一維信號，將長度為k的濾波器w[k]的一維輸入信號x[i]的空洞卷積輸出y[i]定義為：

(1)

速率參數r對應于采樣輸入的步長.標準卷積是速率r=1的特例，如圖2(a)所示.圖2(b)是采樣率r=2的采樣情況.

圖2 一維空洞卷積結構圖Fig.2 One-dimensional atrous convolution structure diagram

然后再來觀察空洞卷積運用在二維信號(圖片)的表現，首先給定一個圖像：如圖3所示.上分支，我們假設首先進行向下采樣運算，將分辨率降低2倍，然后與一個核函數卷積，在進行上采樣得到結果.我們會發現我們只是得到了圖像位置的1/4處的響應.相反，下分支，我們對全分辨率圖像做空洞卷積，這樣可以計算出所有圖像位置上的響應.在該卷積中，我們將原始濾波器向上采樣2倍，并在濾波器值之間引入0.雖然有效的濾波器大小增加了，但是我們只需要考慮非零濾波器的值.在保證濾波器參數數量不變的情況下，明確的控制了神經網絡特征響應的空間分辨率.

圖3 二維空洞卷積結構圖Fig.3 Two-dimensional atrous convolution structure diagram

文獻[16]中，作者通過進行多次實驗，發現當卷積核為3×3時，采樣率為12的時候，模型的效果最好，故在本文中為了達到類似的平衡，同樣采用卷積核為3×3，采樣率為12的空洞卷積.文獻[13]中，實驗證明空洞卷積可以擴大濾波器的感受野，當采樣率用r表示，卷積核用k表示，則感受野的大小為：

F=k+(k-1)(r-1)

(2)

如表1所示，當卷積核固定時，調整采樣率的大小，可以看到在不丟失分辨率的情況下，隨著采樣率的增大感受野也在增大.

表1 不同采樣率下的感受野的變化實驗數據表
Table 1 Changes in receptive field at different sampling rates experimental data sheet

Layer 1234567Convolution3×33×33×33×33×33×33×3Dilation11248161TruncationYesYesYesYesYesYesYesReceptivefield3×35×59×917×1733×3365×6567×67

3.2 改進ASPP模塊表示的多尺度圖像

采用圖像的多尺度信息，對于可以提高DCNN分割不同尺寸物體的精度這一方法已經被許多工作進行了實踐證明.回顧之前提出的ASPP模塊，采用四個并行的不同采樣率的空洞卷積，相當于使用了多個不同視野的濾波器提取圖像特征，具有不同步長的ASPP對尺度信息的捕獲很有效果.但是，伴隨著采樣率的提高，有效的濾波器權重卻在變小.當把一個3×3的濾波器用不同的步長應用到65×65的特征映射中，在極端情況下，步長增大到接近特征映射的尺寸時，該濾波器便已退化成1×1濾波器，不能再捕獲整個圖像的內容，因為只有中心濾波器的權重才是有效的.

針對上面的問題，我們將ASPP模塊結合PSP模塊進行改進，改進之后的模塊如圖4所示.在該模塊中，整合了全局內容信息，同時采用了圖像級特征，每個空洞卷積提取的特征中再進行單獨降維處理，融合每一分支特征圖.采用全局平均池化處理模型，將得到的圖像級特征輸入到一個有256個濾波器的1×1卷積中，然后進行雙線性上采樣將特征轉化到特定的空間維度.最后，我們改進的模塊由一個1×1卷積，和四個3×3卷積組成，步長為(6，12，18，24)，輸出步長為16，所有的濾波器個數為256，并且在改模塊中加入了批規范化，最后分支處理好的特征會連接在一起通過一個1×1卷積聚合.我們改進的ASPP模塊如圖4所示.

圖4 改進的ASPP模塊結構圖Fig.4 Improved ASPP module structure diagram

在2015年提出了批規范化的思想，對于每個隱層神經元，通過一定的規范化手段，把逐漸向非線性函數映射后向極限飽和區靠攏的輸入分布強制拉回到標準的正態分布，以此來解決這種梯度消失的問題.使用批規范化，首先為了降低特征變量間的差異性需要對層網絡的輸入樣本進行歸一化處理得到x.歸一化之后的x經過W1的線性變換后得到s1，然后依次進行處理得到第二層結果s2，表達式如下：

(3)

(4)

(5)

s3=*s2+β

(6)

y=RELU(s3)

(7)

3.3 增加并聯卷積支路融合淺層特征信息

對于DCNN中連續的池化操作導致的分辨率下降問題，FCN[1]網絡中采用跳躍架構將Pool3、Pool4層輸出的特征圖融合進最后的得分圖中，但最后分割圖仍然粗糙.Deeplab[17]模型是語義分割領域中最具代表性的模型，其主要是通過利用空洞卷積擴大感受野的大小而不縮放圖像的尺寸，并且利用DenseCRF[20，21]對圖像進行后處理來解決分辨率下降，這一方法雖然成功但卻存在著一定的約束性.在訓練過程中，高分辨率特征映射的生成需要占用大量的內存，這嚴重影響高分辨率特征映射的計算及預測.文獻[20]通過添加解碼器模塊來解決該問題，但是這樣會導致模型層數過多，難以快速學習.針對于解決分辨率下降這個問題，目前的解決方法是增加并聯卷積支路，利用底層特征產生高分辨率預測，預測結果既包含了較低層表示，又保留了圖像的空間信息.

綜合所述，文章通過增加簡單的并聯支路融合淺層特征信息，用來改善高層語義的分割結果.該并行卷積網絡支路由兩部分組成，第一部分是提取DCNN主干網絡上的底層特征信息，由于該底層特征信息包含多個通道，所以采用1×1卷積對其進行降維處理；第二部分是進行4倍上采樣之后的輸出的特征信息.將這兩部分用并聯支路連接起來，進行聚合，然后再通過1×1卷積，最后在對其進行4倍的上采樣恢復原圖大小.這樣就對圖像完成了從粗到細的語義分割過程.

4 實驗與分析

4.1 數據集介紹

本文使用的是PASCAL VOC 2012數據集，該數據集有20類前景目標和1類背景目標.而本文使用的是PASCAL VOC 2012數據集的增強版本，包含額外標注產生的10582張圖像用來訓練.評價方法是采用21類的平均像素交疊率(mIOU)，即模型產生的目標窗口與原標記窗口的交疊比，具體計算方式：檢測結果與Ground Truth的交集比上它們的并集.

4.2 實驗環境

實驗方法是采用TensorFlow框架實現的，機器軟硬件配置見表2.這部分我們討論訓練遵守的一些細節.對于學習率，采用一種′poly′的學習策略，公式如下：

初始學習率設為0.007，迭代次數為20，最大的迭代次數設為30K，動量為0.9.使用Adam優化函數對網絡層的目標函數進行優化，β1系數為指數衰減率，控制權重分配，通常取值為0.9，β2系數為指數衰減率，控制之前的梯度平方的影響情況，一般取值為0.999，輸入圖像的批次batch_size設為10，為了防止過擬合使用的權重衰減率設為0.0005.

4.3 結果分析

為了對算法的優越性和有效性進行評估，通過在本地復現基于ResNet上的Deeplab V3和本文的語義分割系統進行對比，訓練參數以及數據量均保持一致，參數設置如4.2節所示，使用PASCAL VOC 2012的驗證集來驗證實驗結果.實驗結果如表3所示.通過對比發現本文提出的網絡模型比Deeplab V3提高了3.07個百分比，實驗證明本文提出的模型對語義分割具有優良的魯棒性.值得特別注意的是在復現基于ResNet的Deeplab V3的結果時，實驗中取得的最好結果是74.24%的mIOU，比文獻[18]中的76.42%的mIOU低，考慮是因為輸入的批次和迭代次數以及單顯卡運算和設備的單精度計算有關.

表2 機器軟硬件配置實驗數據表
Table 2 Machine hardware and software configuration experimental data sheet

項 目 內 容 中央處理器CPUInteri7-7800x內存Ddr416g顯卡GPU微星魔龍GTX1080Ti操作系統64bit-Ubuntu16.04CUDACuda8.0withcudnn數據處理Python3.6

表3 本文算法和Deeplab V3在30K次迭代次數下的 mIOU(%)和Pixel Accuracy(%)實驗數據表
Table 3 Algorithm and Deeplab V3 have mIOU(%) and Pixel Accuracy(%) under 30K iterations

mIOU(%)PixelAccuracy(%)DeeplabV374.2493.94Ours77.3194.78

我們以30K次迭代為例，表4為本文系統和Deeplab V3系統21個類別的mIOU的對比表，可以看出改進之后的模型，只有盆栽類別的mIOU是低于Deeplab V3系統，其他類別的mIOU均高于Deeplab V3系統.通過對比，我們會發現，本文語義分割系統在迭代次數為30K的時候，語義分割效果是優于Deeplab V3系統.

圖5 30K次迭代次數下的本文系統與Deeplab V3 系統語義分割結果對比結構圖Fig.5 Comparison of semantic segmentation results between the system and Deeplab V3 system under 30K iterations structure diagram

從測試集中抽出四張圖來進行對比，如圖5所示，在飛機這幅圖中，Deeplab V3中的飛機尾翼均不連續，在改進的模型中，尾翼的連續性有所改善，本文的系統的飛機尾翼分割情況較好.在人騎自行車這幅圖中，本文的系統在胳膊處分割效果良好，在最后一幅圖中，桌腿及椅子腿等細節的分割效果也很良好.

表4 30K次迭代次數下的本文系統與Deeplab V3 系統的21類物體的mIOU(%)對比實驗數據表
Table 4 Comparison of mIOU(%)between the system and the 21 types of objects in Deeplab V3 system under 30K iterations experimental data sheet

DeeplabV3本文模型background93.1694.08aeroplane82.0186.88bicycle39.7342.56bird87.3688.19boat59.3671.74bottle77.5980.39bus93.0493.85car84.9285.57cat89.2291.59chair37.4440.79cow85.3387.78diningtable51.3155.31dog84.1886.21horse82.0186.92motorbike81.9184.01person81.9683.87pottedplant60.3858.38sheep81.5985.93sofa52.7656.41train85.2888.65tv/monitor68.5874.47MeanIOU74.2477.31

5 結束語

本文主要講述了一種基于ResNet網絡的方法，采用的空洞卷積可以擴大感受野而不縮放圖像，定義的并聯支路，將淺層特征圖像信息融合到深層特征圖像中，提出的新的空洞空間金字塔模塊，進行更有效的提取不同層的特征以及上下文信息，并且在新模塊中加入批規范化計算，增強參數調優的穩定性.本文還采用了Adam自適應優化函數，提升了模型訓練的穩定性.通過實驗驗證，該系統在PASCAL VOC 2012數據集取得77.31%的mIOU，優于Deeplab V3的效果.