神經網絡與邊緣檢測相結合的人體前景分割算法*

李 磊 孫佳偉

（江蘇科技大學計算機學院 鎮江 212003）

1 引言

人體前景分割算法是指從包含人體的圖像中有效分割人物這一前景目標，是圖像語義分割［1］的重要分支，在計算機視覺和模式識別中起著基本預處理的作用［2］，是行人認證和行為分析不可或缺的組成部分。隨著深度學習在模式識別的深入研究［3］，人體前景分割目前已經取得突破性進展，但是由于復雜的背景干擾，語義分割的邊緣混淆問題依然存在巨大的挑戰。

人體前景分割的本質是對于圖像進行像素級別的二分類，對每個像素點進行二分類判斷其是否為人體部分。圖像分割算法大致可以劃分為四類：基于閾值［4］的分割算法、基于聚類分析［5～7］的圖像分割算法、基于區域［8～9］的分割算法、基于人工神經網絡［1，10～12］的分割算法。

針對基于閾值分割算法，Yu［4］提出利用全局閾值分割的克隆選擇算法獲取圖像的最佳閾值，并且基于全局閾值分割來選擇子區域，該方法有效地提高前景目標識別和分割效果。

聚類算法的中心思想是將目標對象聚合成由類似對象組成的多個類的過程。研究者們將聚類算法應用到圖像分割中，利用顏色屬性對像素點樣本進行區域化分類，并通過不斷地迭代矯正使之形成準確的分割前景效果，Sun［5］詳細介紹了常見的聚類算法，即FCM［6］和K-Means［7］聚類，并討論了其在圖像分割中的應用，為相關研究人員提供了參考。相比于聚類算法，基于區域的分割算法［8］將主要步驟分成了區域生長與區域合并兩大塊，在小區域范圍內使用區域合并有效增加了魯棒性，在大區域范圍內使用區域合并使分割遵從了分割屬性，更加貼近人類的視覺特征。但是由于迭代算法不可避免地會引來計算成本以及相應的實時性問題。基于此問題，Yang［9］基于P系統提出的區域分割算法引用了獨立的演化規則和通信規則，成為自適應區域生長分割算法的開創。

語義分割神經網絡的開山之作是FCN［10］，其直接使用分割的實例作為監督信息，訓練端到端的網絡，使用該網絡對像素點進行預測判斷從而得到標簽，該方法在總體分割準確度，特別是在人體這大類的分割準確度取得了突破性進展。谷歌提出的Deeplab系列［1］，使用空洞卷積有效的增加了感受視野，同時采用全局金字塔，有效傳播多尺度信息。在此基礎上，對于人體前景分割，谷歌更是在Deeplab［1］基礎網絡層刪減上提出了人物實時替換背景算法。2017年何凱明提出的Mask R-CNN［11］模型，一舉斬獲ICCV 2017最佳作品，該模型同時進行目標檢測和前景分割，在Faster R-CNN［12］框架的基礎上增加語義分割分支，將語義問題簡化為二分類識別mask［12］。

上述幾種理論，相較于傳統方法［4～9］，深度學習方法［1，10～12］在圖像分割場景下得到拓展，但是目前深度學習所采用的逐像素判別方法，在遇到不同區域邊界特別是前景人物與背景交接時，往往存在過高的假陽性率問題。同時，單純使用邊緣檢測分割算法，在圖像復雜的背景下，邊緣像素難以判別，像素點難以連接，人體前景分割準確率大大降低。因此本文針對上述問題，采用邊緣檢測和深度學習相結合，提出邊緣校正通道處理，展開算法推導、仿真和分析研究。

2 分割網絡及邊緣檢測處理

為了進一步提高分割重疊率［13］并且有效抑制圖像分割結果中錯誤的邊緣背景而導致的假陽性率［13］過高問題，本文提出一種邊緣校正通道算法對深度學習模型分割的人體圖像進行后處理。如圖1，本文模型是由編碼器與解碼器并聯，將Deeplabv3［14］作為編碼器，由DCNN［15］生成多維度特征，遵從ASPP規則［16］從而增加感受視野，并通過對輸出特征反卷積操作，然后解碼器與邊緣矯正通道串聯而成。

圖1 Deeplab-MobileNet-brink

2.1 Deep labv3+輸出前景圖

本文引用Deeplabv3+算法原理［1］，編碼層前端采用空洞卷積［16］獲取淺層低級特征，傳輸到解碼器前端；編碼層后端采用vgg-16［17］獲取深層高級特征信息，并且將output_stride為16的特征矩陣傳輸到解碼器。

解碼器接收到高級特征信息，經過雙線性上采樣得到output_stride為4的256通道特征A；同時為了占比重相同，本文采用1×1卷積降通道，將淺層分辨率特征通道降低到256，從而增強模型學習能力。隨后解碼器將特征A與特征B做網絡層連接（concat），再經過一個3×3的特征卷積細化［1］。最后，在解碼器后端經過再雙線性4倍采樣得到深度學習分割預測結果。

為了方便后端canny算法［18］產生精準邊緣，本文將接收到原圖與深度學習分割經過標簽映射得到前景圖，前景圖計算由式（1）得到：

式（1）中It、Ib、Io分別表示背景值設為“0”的前景圖、背景值設為“0”并且前景值設為“1”的二值分割圖、三通道彩色原圖。

2.2 canny計算邊緣圖

為了盡可能地減少噪聲邊緣與微小目標對于邊緣檢測［18］的干擾，對前景圖使用3×3卷積對前景圖平滑處理，減少明顯的噪聲點干擾，(2k+1)*(2k+1)的高斯濾波核函數［18］生成如下：

式中高斯濾波維度必須為基數，本文沿用之前研究［18］，k取值為1，σ取經驗值0.8，為了獲取梯度強度與方向，通過Sobel算子［19］檢測水平方向x、垂直方向y和對角線方向↗（左上）↘（右下）的梯度度Gx、Gy、G↗和G↘，四個算子如表1所示。

表1 各方向檢測算子

圖像邊緣梯度具有全方向可能，因此本文利用水平與垂直的梯度Gx和Gy計算G(i，j)，再通過正切函數關系獲得非正交方向梯度，計算公式如式（3）：

式中G(i，j)表示像素點(i，j)的梯度，θ(i，j)表示像素點(i，j)的梯度方向，G(

xi，j)與G(

yi，j)分別表示像素點(i，j)在水平方向x與垂直方向y的梯度［18］。對圖像梯度計算后，基于梯度值的邊緣提取存在過多的噪聲點，因此需要引入非極大值抑制篩選出局部最大值作為梯度圖像的邊緣像素點。非極大抑制像素點的計算公式如式（4）：

其中LowThreshold與HighThreshold分別表示梯度線性插值的上下閾值，若B(i，j)值為“真”則趨向判定為邊緣像素點，反之則抑制。獲取邊緣后與二值圖取并集得到邊緣圖，邊緣圖計算公式為式（6）：

式中Ie表示融合了二值圖邊緣Im與前景圖邊緣Ib的最終邊緣圖。

2.3 邊緣校正通道后處理

本文使用遮罩演示當前分割模型存在的召回率［13］虛高即假陽性率過高問題。如圖2，在前景圖邊緣處錯誤的保留了部分背景，由二值圖邊緣和前景圖邊緣融合得到的邊緣圖可以有效計算出人物分割邊緣線、前景分割邊緣線和錯誤背景區域。如何有效去除遮罩區域將成為提高人體前景分割重疊率的關鍵。

圖2 人體前景分割中間結果

為了有效去除人體分割中包含的錯誤背景，本文提出沿邊緣線采用邊緣矯正通道處理的方法，假設以(x，y)做7×7卷積相乘，則邊緣圖中以(x，y)為中心的7×7像素點分布如圖，計算圖中人物分割邊緣線與前景分割邊緣線所圍成的錯誤背景區域，計算公式如下：

在錯誤背景區域內邊緣矯正通道的數值將被置零，其分布如圖3。

圖3 邊緣校正通道

將此通道與前景圖像素點(x，y)做一般乘積運算，以3×3通道A為例，一般乘積運算公式（8）。為了防止矯正超過臨界點，本文設立最大校正通道尺寸閾值n，R為分割區域，R′背景區域。最終生成前景分割二值圖如圖4。

圖4 人體前景分割與背景替換效果圖

由圖4個知，本文算法對于復雜背景下的人體分割任務具有較高的成效，且邊緣細化處理較為成功，對其背景替換后效果極佳。下一節本文將采用多指標衡量邊緣校正通道對于人體前景分割的強化效果。

3 實驗與分析

3.1 實驗環境

實驗硬件環境為Ubuntu16.04，64位操作系統，訓練平臺是谷歌基于DistBelief進行研發的第二代人工智能學習系統tensorflow［3］，硬件環境為NVIDIAGTX 1070。

3.2 實驗數據

數據庫Data1來源為智慧機器學習平臺Supervise.ly免費開源人體分割數據庫（https：//supervise.ly/）。與COCO、Pascal等公共數據集不同，Supervise.ly只針對人體樣本注釋，且規避了注釋中存在的圖片分辨率低、注釋邊緣不準確、樣本人物姿態單一等問題，總標注水平和樣本質量非常高。數據集總標注圖片有5586張。本文挑選其中4000張作為訓練集，剩余作為測試集。數據庫Data2來源為百度人體圖像分割數據庫（http：//www.cbsr.ia.ac.cn/users/yny u/dataset/），該數據集總共標注圖片有8387張，本文挑選其作為模型魯棒性驗證。

3.3 衡量標準

為了客觀評價分類器訓練模型精度，本文采用重疊率Sens.和假陽性率Error衡量圖像人體前景分割模型的性能［13］，其計算公式（9）如下。

式中，TP表示分割區域R與標簽值T重疊區域，FP表示錯誤分割背景區域，FN表示未分割前景區域。

3.4 結果與分析

本文采用邊緣檢測通道在Deeplap網絡進行后處理，并將模型在數據集Data1上進行仿真，仿真結果如表2。表中Deeplab-MobileNet-brink［20］是基于Mobile-net［20］網絡實現的Deeplabv3+在引入邊緣矯正通道后構建的模型，Deeplab-xception是基于xception網絡［21］實現的Deeplabv3+在引入邊緣矯正通道后構建的模型。

表2 不同模型Data1測試比較

由表2可以看出，本文提出的算法在假陽性率上相較于Deeplab-MobileNet與Deeplab-xception網絡分別降低了18.46%和28.03%，最終假陽性率僅有4.88%，Deeplab-xception-brink模型有效去除了包含背景的錯誤分割前景，使得分割邊緣更加準確；在重疊率上相較于Deeplab-MobileNet網絡提高了1.33%，相較于Deeplab-xception網絡提高了1.48%，達到了91.98%。

圖5 邊緣檢測通道與原模型分割效果

為了展示邊緣校正通道在人體分割過程中的重要作用，本文在測試集單個任務的分割結果中對重疊率進行統計，如圖5所示，當模型分割效果較差時，邊緣校正通道可以顯著地提高重疊率，其中對于MobileNet和xception模型，邊緣校正通道在重疊率上分別增強了9.67%和7.30%；當模型分割效果達到臨界值時，邊緣校正通道與原模型分割重疊率區域持平。由此可見，在各測試樣本下邊緣校正通道對于神經網絡模型分割任務始終具備良性提高作用，分割算法具有較強的魯棒性。

3.5 其他測試集驗證

同時，為了展示本文訓練模型在其他數據集上的效果，本文首先將訓練模型在Data2數據集進行仿真實驗，仿真結果如表3所示；將Data2隨機分為DataA～DataE，分別進行仿真實驗，仿真結果如圖6。

表3 不同模型Data2測試比較

圖6 邊緣檢測通道與原模型分割效果

由表3和圖6可以看出，在驗證測試集Data2下，整體模型分割仿真重疊率相較于Data1雖有所下降，但是邊緣校正通道具有了更高的增強分割效果的能力。在重疊率指標下對于MobileNet模型，邊緣校正通道增強了2.36%，對于xception，邊緣校正通道增強了2.34%。在假陽性率指標下，邊緣校正通道在MobileNet和xception網絡下分別有效降低了23.74%和24.22%，其中Deeplab-xception-brink在數據集仿真假陽性率僅有0.97%，分割算法校準度極佳。

本文模型最終測試結果如圖7所示，對于復雜背景和多種姿態等不同環境下，本文模型都可以精確的分割前景并且檢測結果與標簽值十分接近，分割算法具有較高的準確性和魯棒性。

圖7 最終分割效果

4 結語

本文結合邊緣校正通道與深度學習網絡，提出了前景分割檢測模型。首先獲取分割前景目標，然后對前景分割圖邊緣處理，最后利用邊緣校正除去前景圖中的錯誤背景，進而實現對人體前景的精準分割。

Supervise.ly開源數據庫實驗中，復雜多變背景下Deeplab-xception-brink模型分割重疊率可達91.98%，分割假陽性率為4.88%。仿真結果表明，邊緣校正通道對于神經網絡分割任務具有較高的增強效果，本文提出的神經網絡與邊緣檢測相結合的人體前景分割算法具有較高的準確性和魯棒性以及校準度。

本文下一步的研究計劃將側重于邊緣校正通道在其他模型上的融合效果，如Mask-RCNN。并關注圖像分割前沿發展，力求進一步提高人體前景分割效果。