實例特征深度鏈式學習全景分割網絡

毛 琳，任鳳至，楊大偉，張汝波

（大連民族大學 機電工程學院，遼寧 大連116600）

1 引 言

全景分割任務的失效問題在于對目標邊界像素分類判別的準確程度低。特別是對全景環境中實例目標來說，由于其數量大、多為小目標且存在遮擋等現象，目標邊緣易與背景信息發生混淆，輪廓特征不明顯，導致分割準確率大大下降。因此對實例目標邊緣特征的準確把握成為影響全景分割精度的重要問題。

目前，Mask RCNN（Region-based Convolutional Neural Networks）［1］是 全 景 分 割 算 法 中 實例分割結構的主流框架。它以殘差網絡［2］結合特征 金字塔（Panoptic Feature Pyramid Network，PFPN）［3］作為網絡主干，而后承接掩模結構用于生成實例掩模，實現分割功能。 由于Mask RCNN 結構與語義分割［4-7］配合、融合關系的不同導致全景分割算法的差異。

在利用Mask RCNN 和語義分割融合處理方面 ，UPSNet（Unified Panoptic Segmentation Network）［8］提出一種全景融合機制來合并兩結構分割結果，通過對分割結果進行拆分等處理生成一個待定區來避免錯誤的分類預測。該算法采用Mask RCNN 分割網絡，其分割結構僅由一支串聯卷積層組構成，特征在層級傳遞過程中不斷精簡，容易出現特征損失，破壞目標特征原始信息；卷積結構萃取深度有限，導致目標邊緣特征提取不足，實例分割結構的局限性使得全景融合結構有 效 性 大 大 降 低 。 同 樣 地 ，OANet（Occlusion Aware Network）［9］提 出 一 種 空 間 排 序 模 塊 來 用于融合實例和語義分割結果。該模塊將不同類別實例分割掩膜映射到其對應通道，使用卷積結構進行特征提取得到空間排序得分圖，解決實例間存在遮擋的問題。該算法對實例分割結果中目標進行了空間上的排序，由于Mask RCNN 結構上的缺陷導致識別目標數量有限，使得排序模塊實用性不高。在Mask RCNN 和語義分割結構的配合關系上，TASCNet（Things and Stuff Consistency Network）［10］和AUNet（Attention-guided Unified Network）［11］分別提出目標一致性和注意力機制兩種模塊來建立實例和語義兩分割結構之間的聯系。TASCNet 注重兩種分割任務結果的一致性研究，通過全局二值化掩模來調整跨任務一致性，減弱全景分割模型中實例分割和語義分割兩任務的差異性；AUNet 把重點放在對前、后景信息的交互利用上。通過注意力機制模塊，該算法實現了實例和語義兩種分割結果與對方網絡的雙向傳遞，將分割結果互為參考，共同作用提高分割精度。 TASCNet 和AUNet 兩個網絡為保持兩種分割結果尺寸的一致性，將Mask RCNN 掩模分支得到的數據信息進行了大量上采樣操作。 除Mask RCNN 結構本身問題之外，上采樣處理非常容易破壞目標邊緣特性，導致實例目標輪廓特征不明顯，出現分割失效情況。

一般來說，神經網絡獲得圖像特征的豐富程度與網絡結構深度有直接關系［12］。想要增強目標特征，獲取更多更詳細的特征信息，加深網絡結構是一個可取的選擇［13］，但是特征萃取越深，其原始信息越容易丟失，如何在保證原始特征信息的同時，加深網絡結構、增強目標邊緣特征成為一個關鍵問題。

基于上述問題，本文提出實例特征深度鏈式學習全景分割網絡（Deep Instance Feature Chain Learning Network for Panoptic Segmentation，INFNet），網絡通過一種創新的單元結構——鏈式單元的堆疊不斷加深萃取深度，獲取豐富的目標輪廓信息，增強實例目標邊緣特征。同時，為保留特征原始信息，網絡采用捷徑連接［2，14］結構，保證特征在傳遞過程中原始信息的完整性，避免因網絡結構加深導致信息損失的風險。網絡深度和信息完整保持，使特征質量得到保障，提升實例對象邊緣特征顯著性，有效提高目標邊界區域分類準確性。

2 實例特征深度鏈式學習網絡

2.1 鏈式單元

鏈式單元是實例特征深度鏈式學習網絡的基本組成單位，它由主副兩條鏈路組成，學習函數F 所在鏈路為主鏈路，捷徑連接的鏈路為副鏈路。鏈式單元結構如圖1 所示。

圖1 鏈式單元Fig. 1 Chain unit

鏈式單元數學描述如下：

其 中 ：x1和x2是 鏈 式 單 元 輸 入 向 量 ，y1和y2是 單元輸出向量。函數F(x1，W) 為輸入向量x1的學習函數，學習函數由三層卷積層構成，進一步可表 達 為F=W3σ(W2σ(W1(x1)))，其 中σ表 示 激活函數ReLU［15］。

主鏈路是鏈式單元主要的信息處理鏈路，通過學習函數F對輸入向量進行特征學習，F的學習函數F(x1) 可看作是輸入向量x1的特征表達。主鏈路通過學習函數獲取豐富的特征信息，其輸出結果為鏈式單元輸出y1；副鏈路通過捷徑連接保持原始特征，將輸入向量向后一級跨越式傳遞，副鏈路和主鏈路的融合結果為鏈式單元輸出y2。

鏈式單元的設計受到殘差網絡的啟發，但鏈式單元和殘差網絡單元結構的差別在于，殘差單元只有一個輸入端和一個輸出端，而鏈式單元具有雙端輸入和雙端輸出，這種結構特點，一方面為鏈式單元的靈活組合提供了條件，相比殘差網絡單一結構復制的構成原理，鏈式單元的雙端設計給整體網絡的搭建創造了更多的可能性；另一方面，基于特征層面分析，雙端輸入、輸出的結構使得不同層次的圖像特征能夠得以保留，或傳遞給下一個鏈式單元，有助于構造網絡特征的層次體系。

總體上看，鏈式單元由前向神經網絡（主鏈路）和捷徑連接（副鏈路）構成實現。主鏈路執行網絡功能操作完成信息萃取過程；副鏈路通過恒等映射保留原始數據，保證下一級結構所得信息的完整性。

2.2 實例特征深度鏈式學習網絡的構成

實例特征深度鏈式學習網絡由兩種功能不同的鏈式單元組合構成，根據單元對特征的不同處理操作，將鏈式單元分為特征保持鏈和特征增強鏈兩種形式。

2.2.1 特征保持鏈

鏈式學習網絡的第一個鏈式單元（又稱第一環）直接接收原始輸入信息并執行學習函數功能操作，而后連接下一單元。作為原始輸入數據和下一級特征提取結構的中間環節，第一環能否在實現自身學習功能基礎上為后續結構提供完整數據成為決定網絡性能的重要問題。

為滿足輸入信息的完整傳遞，本文提出在Mask RCNN 分割網絡卷積結構基礎之上，增加一條捷徑連接線對輸入特征執行恒等映射操作，并將此作為鏈式單元副鏈路，直接傳遞原始信息。以恒等映射的方式來構建網絡，可以保證輸入信息的完整性、不會產生額外參數、造成網絡計算量的增加，提高網絡性能。

同時，為增強圖像特征、保證鏈式單元的靈活輸性，將第一環的主、副鏈路同時接入一個輸入向量x，獲取圖像特征信息，這相當于鏈式單元兩個輸入相同時的特例形式。特征保持鏈如圖2所示。

圖2 特征保持鏈Fig. 2 Feature holding chain

將兩條鏈路傳遞結果進行融合，設Δx=F(x)，表示輸入信號經過學習函數操作后的增強特征，則公式（2）可以等效為：

可以看出，輸出y2相當于輸入信息x與自身增強特征Δx的融合結果。對x來說，鏈式網絡第一環在完成卷積函數增強操作的同時，繼承了殘差網絡捷徑連接的優點，實現了原始特征完整保留，為下一單元的工作提供了全面的信息資料。在網絡結構具有一定深度的前提下，對輸入數據的完整保持是該單元特色所在，故將該單元稱為特征保持鏈。

2.2.2 特征增強鏈

基于特征保持鏈特點，鏈式學習網絡第二環能夠獲得完整的輸入特征，作為鏈式學習網絡特征學習的主要結構，該單元對原始特征提取利用的程度是衡量鏈式網絡有效性的重要標準。

為保證特征信息有效傳遞，將第二環主鏈路、副鏈路分別連接第一環的副鏈路和主鏈路，相當于將第二環鏈式單元水平翻轉后重新接入。特征增強鏈結構圖如圖3 所示。

圖3 特征增強鏈Fig. 3 Feature enhancement chain

第二環主鏈路承接第一環副鏈路的融合輸出y2并對輸出特征實施學習函數操作。第二環副鏈路連接第一環主鏈路并通過捷徑連接將對主鏈路輸出執行恒等映射，得到y1。主副兩條鏈路結果的融合構成了單元的融合輸出y3，其計算公式如下：

其中，學習函數F(y2) 的操作實現了對y2的融合成分F(x) 的再次提取，得到了更深層提取結果F(F(x))。y1表現為上一環特征提取結果F(x)。為具體說明該單元對特征的利用程度，從特征提取角度出發，公式（4）可等效為：

同理，設Δ(F(x)) =F(F(x))，表示F(x) 經過學習函數處理后的增強特征，則公式（5）進一步有：

顯然，鏈式網絡第二環輸出結果y3相當于F(x) 與自身增強特征Δ(F(x)) 的融合結果。第二環接收了第一環中的特征F(x)，基于捷徑連接結構，在網絡傳遞過程中，該特征得以完整保持，且借助學習函數，特征可實現進一步的加強深化過程，得到其增強特征Δ(F(x))。

對輸入信息x來說，鏈式網絡第二環實現了其局部特征F(x) 的保持過程和增強過程。由于局部特征本身也是x的一種增強表達方式，于是該單元的本質就是對輸入特征的融合增強功能，故將該單元稱為特征增強鏈。

假定隨著網絡深度增加，系統性能可以繼續提升，那么將特征增強鏈進行連續堆疊則可以實現特征的持續增強，深層挖掘目標邊緣特征信息，提高特征表達能力。特征增強鏈的組合如圖4 所示。

圖4 特征增強鏈的組合Fig. 4 Combination of feature enhancement chains

實例特征深度鏈式學習網絡由1 個特征保持鏈和多個特征增強鏈構成。下面給出包含n個鏈式單元（其中含有1 個特征保持鏈和（n-1）個特征增強鏈）的實例特征深度鏈式學習網絡的數學表達：

其中：當n= 1 時，y2n代表特征保持鏈輸出F(x) +x，是鏈式單元的特例。

公式（7）網絡輸出結果中F···(F(F(x))) 等效為信息深度萃取過程，表示特征增強成分；y2n-3，F(y2n-2) 等效為信息保持過程，表示特征原始成分。 由此可見，鏈式學習網絡中每個單元都能在保證原始信息基礎上進行特征的深層提取。

2.3 雙環實例特征鏈式學習網絡

雙環實例特征鏈式學習網絡由兩個鏈式單元構成，第一環為特征保持鏈，第二環為特征增強鏈。網絡結構如圖5 所示。

根據公式（7）推導，當n=2 時，雙環鏈式網絡計算公式為：

由公式（8）可見，通過鏈式網絡，輸入圖像特征x經過了兩個單元的特征融合和增強過程。第一環保持原始特征傳遞和進行信息初步提取，第二環保留第一環數據信息，并加入了單元本身的特征抽象結果，最后進行特征融合完成數據增強過程。

圖5 雙環實例特征鏈式學習網絡Fig. 5 Dual ring instance feature chain learning network

本文將雙環鏈式網絡所提取特征圖和Mask RCNN 中分割結構提取到的特征圖進行了可視化對比，對鏈式學習網絡特征增強效果進行說明。特征可視化對比如圖6 所示。

如圖6 所示，在圖6（a）簡單場景下，鏈式網絡獲得特征更豐富、詳細。 鏈式網絡能對空中飛機和橋梁等目標都提取到更多的特征信息，目標輪廓更加清晰、顯著；在相對較為復雜的場景下，如圖6（b）室內環境、圖6（c）多實例場景和圖6（d）道路交通場景中，鏈式網絡對實例目標的邊緣特征更為敏感，對窗戶、人物和樓房等實例的邊緣刻畫更加細致，獲得的特征質量更高。

圖6 Mask RCNN 和鏈式網絡特征圖對比Fig. 6 Comparison between Mask RCNN and chain network feature maps

2.4 全景分割實例特征深度鏈式學習網絡

基于鏈式學習網絡在實例目標分割上的優勢，將其與標準語義分割網絡搭配，構建全景分割網絡，以提高前景目標的分割精度，從而提升全景分割的整體質量。 網絡結構圖如圖7所示。

圖7 全景分割實例特征深度鏈式學習網絡結構圖Fig. 7 INFNet in panoptic segmentation

算法流程如下：

第一步，輸入數據集圖像，通過上、下采樣等手段對輸入圖像進行整體地特征粗提取過程；

第二步，將提取到的圖像特征傳遞到鏈式學習網絡，進行實例特征增強，強化實例目標的邊緣特征，生成實例掩模；

第三步，將提取到的圖像特征傳遞到語義分割分支網絡生成語義分割結果；

第四步，將實例掩模和語義分割結果送入全景融合機制，生成全景分割結果。

3 實驗結果分析

3.1 數據集

實 驗 采 用MS COCO2018［16］和Cityscapes［17］兩個數據集來進行訓練和測試過程。COCO 是用于視覺場景理解的公開數據集，圖像大多從日常場景中提取。COCO 2018 包含了80 種實例目標和53 種背景填充物，大約120 000 個訓練樣本；Cityscapes 是用于城市道路交通場景分析的數據集，圖像大多從交通場景中提取，其中包含8 種實例目標和11 種背景填充物，大約5 000 張圖片。

3.2 實驗設計

本文在pytorch 的實驗平臺之上，使用4 塊GPU 訓練全景分割網絡模型。 訓練網絡模型時，將批尺寸設定為1，學習率設置為0. 05，權重衰減設置為0. 000 1。對COCO 數據集，訓練迭代次數為400 000 次，在迭代次數為240 000 和320 000 時降低了學習率；Cityscapes 數據集訓練了48 000 次，在迭代次數為36 000 次時降低了學習率。鏈式學習網絡中每個卷積核大小設定為3×3，通道數256，鏈式單元融合前使用正則化手段分別處理主鏈路和副鏈路的特征。語義分割和全景融合網絡的結構設計基于文獻［8］實現。

為評估算法表現，體現全景分割算法對實例目標的分割效果，采用實例掩模預測的AP（Average Precision）［18-19］值作為衡量標準檢驗實例分割的分割精度，AP 值是所有樣本檢測精度平均值，其值越高，對實例目標的識別越準確；針對全景分割模型中語義分割的評價，采用mIoU（Mean of Intersection over Union）［4］作 為 衡 量 標準檢驗分割精度。mIoU 通過計算分割預測圖和分割真實圖的交集占二者并集的比例來表示分割準確率，mIoU 值越大，預測分割圖越準確。其計算公式為：

其中：nc表示圖像包含的類別總數，ngp表示實際類別為g 而被預測為類別p 的像素點數。

針對全景分割效果評價，本文采用全景分割質量評價指標PQ（Panoptic Quality），SQ（Segmentation Quality）和RQ（Recognition Quality）［20］對實驗結果進行評估并和其他算法進行比較。

其中：T（True），F（False），N（Negative）分別代表正確匹配的分割圖、錯誤匹配的分割預測圖和錯誤匹配的分割真值圖［20］。匹配閾值設定為0. 5，當兩個預測區域的IoU≥0. 5 時，判定這兩個區域正確匹配，反之亦然。

PQ 用于計算匹配分割圖的平均IoU，同時懲罰不匹配分割圖；SQ 用來計算匹配分割圖的平均IoU；RQ 計算正確匹配分割圖在所有匹配情況中所占比率。為區分說明不同目標種類分割結果，提出用PQTh和PQSt分別代表實例目標和背景填充物的全景質量評價指標。

將式（10）、式（11）和式（12）進一步整理可得到PQ 和SQ、RQ 三者的關系：

由式（13）可見，PQ 和SQ，RQ 的乘積成正比關系，SQ 和RQ 值越高，說明分割預測圖和分割真值圖匹配程度越大，PQ 值也越高。PQ 值越高，目標分割越準確，全景分割精度越高。

3.3 實驗結果

本文在MS COCO 數據集和Cityscapes 數據集上進行了大量的實驗仿真測試，為比對說明，記錄和統計了在COCO 數據集和Cityscapes 數據集上的其他全景分割算法的實驗結果，分割結果對比如表1～表2 所示。

從表1～表2 中實驗數據可以看出，對比現有全景分割算法，本文提出的INFNet 的實驗結果在PQ，SQ 和RQ 三個全景分割評價指標上均有提升。其中，在COCO 數據集，INFNet 的PQ 值相較于UPSNet 提高了0. 94%；在Cityscapes，INFNet 提 高 了0. 34%。 另 外 在AP 和mIoU 這兩個指標上，INFNet 的表現也十分優秀。

為更詳細地說明，本文將INFNet 的全景分割結果和全景分割算法UPSNet 的分割結果進行了比較。其中，UPSNet 模型實例分割網絡采用Mask RCNN 結構，INFNet 模型實例分割架構采用鏈式學習網絡。INFNet 和UPSNet 的分割結果對比如圖8 所示。

表1 MS COCO 數據集全景分割結果對比Tab. 1 Segmentation result comparisons on the MS COCO dataset

表2 Cityscapes 數據集全景分割結果對比Tab. 2 Segmentation result comparisons on the Cityscapes dataset

圖8 INFNet 和UPSNet 分割結果對比Fig. 8 Comparison of segmentation results between INFNet and UPSNet

圖8 中（a）～（c）3 組圖片來自COCO 數據集；圖8 中（d）和（e）兩組圖片來自Cityscapes 數據集。在多實例場景下，INFNet 對實例目標邊緣輪廓的刻畫十分準確。如圖8（a），INFNet 能夠完整識別圖中所有橘子，并且分割輪廓平滑美觀；在小目標較多的室內場景中，如圖8（b），INFNet 對躺椅、壁爐和圓形茶桌等小目標的分割效果比UPSNet 更好，分割輪廓更加規范。圖8（c）中，在前背景顏色相近的室外場景中，INFNet 對大象等實例目標的分割幾乎沒有受到干擾，實例邊緣清晰顯著。在道路交通環境中，由于場景復雜度高導致分割難度加大，但INFNet 對實例目標的識別仍然具有優勢。如圖8（d），INFNet 對人行步道的識別相比UPSNet 更加具有輪廓感；圖8（e）中INFNet 能夠準確識別出UPSNet 漏檢的垃圾桶等實例。

為驗證本文方法的實時性對算法運行時間進行了比較。實驗設置與上文實驗一致，運行時間對比結果如表3 所示。在分割質量有效提高的情況下，INFNet 的運行時間與UPSNet 基本上處于相同的水平，這說明INFNet 在準確性和實時性的平衡上表現得更加優秀。

表3 運行時間對比Tab. 3 Run time comparison

4 結 論

針對全景分割網絡對實例目標邊界分類不準確導致分割失效的問題，本文提出了實例特征深度鏈式學習網絡。首先，設計了構成鏈式網絡的基本結構——鏈式單元，通過捷徑連接和卷積層組兩種結構完成特征提取操作。根據功能不同將單元分為特征保持鏈和特征增強鏈分別實現對特征信息的保持和增強。進而，通過兩種鏈式單元的組合構成鏈式學習網絡，繼承鏈式單元特點，實現網絡結構的深化和特征的持續增強，完成邊緣特征深度提取，提高邊界像素分類準確性，有效地解決了分類不清致使的分割失效問題。實驗證明，本文提出的INFNet 在分割精度優于經典全景分割方法UPSNet，在PQ 指標上提高了0. 94%。在后續工作中，將對鏈式網絡的深度拓展進行進一步研究。