基于遞歸層聚合結構的全景分割網絡

賈博慧, 雷海衛(wèi), 李鳴野,2, 吳 倩

(1.中北大學 大數據學院, 山西 太原 030051; 2.中國輻射防護研究院, 山西 太原 030006)

0 引 言

全景分割[1]是分割領域近幾年新興起的一個研究方向, 已經成為計算機視覺中的研究熱點。全景分割綜合了語義分割和實例分割, 前者按每個像素點賦予某種類別的方式對圖像進行分割, 后者從圖像中分割出感興趣的目標并區(qū)分不同個體。全景分割的任務是對圖像中每個像素點分配語義類別標簽和實例ID, 從而將圖像內容劃分為不可數語義類Stuff類和可數實例類Things類。全景分割能夠獲取更加豐富的場景信息, 從而提供更多的語義知識。全景分割的研究將有助于推動視頻監(jiān)控、無人駕駛、人機交互等計算機視覺應用的發(fā)展, 具有重要的意義。

作為語義分割和實例分割的綜合, 現有的全景分割模型大多采用主干網絡提取特征供語義分割頭和實例分割頭分割預測, 再融合兩個分支的輸出得到最終分割結果的模式。例如, Panoptic FPN[2]網絡使用殘差網絡[3]和FPN提取特征, 在構架層面將語義分割和實例分割合成到單個網絡中, 該網絡也成為了后續(xù)網絡模型設計的一個基準方法。UPSNet[4]中設計了全景分割頭融合語義分支和實例分支的結果來進行全景預測。SOGNet[5]網絡則在整體結構中添加了關系嵌入模塊, 從而將實例重疊問題轉換為場景交疊圖以解決目標重疊時的像素分配問題, 改善了分割效果。EfficientPS[6]網絡則進一步優(yōu)化了分割質量, 該網絡以改進的……