一種改進的視頻分割網絡及其全局信息優化方法

張琳 陸耀 盧麗華 周天飛 史青宣

視頻物體分割[1-3]是計算機視覺領域中的重要研究方向,與其他任務諸如行為分析[4]、視頻內插[5]等有緊密聯系.當輸入一個視頻時,視頻分割算法針對視頻中的每一幀圖像計算出一幅分割掩膜,該掩膜可提取圖像中具有顯著運動特征的前景.由于前景物體的外表變形、遮擋和背景雜亂等困難,視頻物體分割是一個具有挑戰性的問題.而分割過程中無需先驗信息及人工干預的無監督視頻物體分割更為困難.

為解決無監督視頻分割問題,本文提出了一種改進的雙流視頻物體分割網絡,并利用該網絡產生初步的分割結果.作為視頻分析中常用的網絡結構[6-8],雙流網絡可以并行分析視頻中的時域-空域信息.本文提出具有相同分支結構的雙流分割網絡,同時對表觀及運動做出分割,并通過融合得到分割結果.

為使高層的特征指導低層特征提取更具判別力的特征,本方法提出在網絡中加入注意力模塊[9-12].該注意力模塊用于主干(Backbone)網絡的相鄰特征層之間,可將高層特征轉化為與低層特征具有相同維度的注意力張量(Tensor),強化高層特征所指定的更具語義信息的特征維度,同時弱化與目標不相關的特征,使低層特征具有更強的判別力,實現高層語義特征對低層特征的監督.實驗表明,加入注意力模塊后網絡的收斂速度更快,且網絡的分割效果得到提高.

經過分割后,視頻中有些圖像的分割結果較準確,有些圖像則較差.為了對初始分割做優化,文獻[13]將交互圖像分割中的優化方法[3]用于視頻物體分割任務中.基于初始分割結果,此類方法針對每個視頻前景物體的表觀特征建立基于圖模型(Graph)的能量函數并優化.然而圖模型方法無法準確建模表觀變化大的運動物體.

本文提出利用初始結果作為先驗對表觀分支網絡進行權值微調的方法.利用閾值對初始結果進行挑選,選擇其中的可靠像素作為信息監督網絡訓練過程,可以使得表觀網絡識得視頻前景物體,同時避免被不可靠像素所誤導.

本文的主要貢獻可歸納如下:1)提出了一種視頻物體分割方法,首先利用雙流卷積網絡對視頻分割,得到初步的分割結果;進而利用初步結果對分割網絡的表觀分支做權值微調,使其適應該視頻中的前景物體;再次使用新權值下的分割網絡對視頻做分割,得到最終結果.通用數據集DAVIS 上的實驗顯示該方法具有很好的分割能力,能夠準確的對視頻中的運動物體進行分割.2)提出了一個簡單卻有效的卷積注意力模塊,該模塊可以用于分割網絡中并提高卷積神經網絡(Convolutional neural network,CNN)的表現能力.3)提出了利用初步分割結果作為先驗信息對網絡進行微調的方法,該方法可以使分割網絡學習到視頻中前景物體的表觀特征,提高分割效果.

1 相關工作

1.1 視頻分割

為解決視頻物體分割問題,很多有效算法被提出.根據分割算法中提取特征所使用的方法,可將其分類為:1)基于非深度特征(Non-deep learning)的分割算法[14-22];2)基于深度(Deep learning)特征的分割算法[23-32].此外,根據人與算法的交互程度,兩類算法均具有3 種子類別:1)無監督(Unsupervised)分割算法:沒有任何先驗信息,全自動的分割算法.2)半監督(Semi-supervised)分割算法:需要由人指定分割區域,通常以視頻中第1 幀圖像的真值給出.3)全監督(Supervised)分割算法:需要人與算法的多次交互,以修正長時間分割中的誤差.

非深度學習分割方法使用人工定義的描述子,通過對整個視頻上的運動特征[19-20]、表觀特征[14,18]或二者的結合[15,17]綜合分析產生分割預測.作為無監督分割方法,FST (Fast object segmentation in unconstrained video)[21]通過分析運動特征得到具有顯著相對運動的前景區域.更進一步,文獻[20]提出綜合分析運動邊緣、表觀邊緣與超像素,得到時空邊緣概率圖像,利用測地距離對其優化得到更好的分割預測.文獻[17]是基于提議(Proposal)的分割方法.該方法首先調用文獻[22]的方法產生許多粗糙候選物體提議,并使用支持向量機(Support vector machine,SVM)篩選出更為可靠的提議集合,且進一步使用條件隨機場 (Conditional random field,CRF)進行了優化.VOSA (Video object segmentation aggregation)[18]是一種集成方法,該方法首先利用已有的方法對每一幀圖像得到一組分割結果,由于不同的方法具有不同的優勢和劣勢,每一組分割結果中都包含較好的和較差的結果.然后利用所定義的能量函數來優化不同分割結果在最終結果中的權重,最終得到最優結果.半監督分割方法利用跟蹤[15]或傳播[14]方式將已知的真值傳遞到整個視頻中.如文獻[15]將跟蹤與分割置于同一框架下,將分割任務定義為對于物體部件的跟蹤.OFL(Video segmentations via object flow)[14]則是基于圖的分割方法,在每幅圖像內建立圖,同時在圖像間建立更高層次的圖,并在圖上建立能量函數,通過優化能量函數得到視頻分割結果.

得益于近年發展快速的卷積神經網絡技術,很多基于卷積神經網絡的分割方法[23-32]相繼提出,并且超越了大部分傳統方法的效果.無監督分割網絡需考慮物體的表觀特征和運動特征,因此文獻[24-25]提出利用雙流網絡來進行視頻分割.兩支網絡的輸入分別為視頻圖像和由光流編碼出的RGB 圖像,以此來進行表觀特征的提取和運動特征的提取.光流分支的加入可以對運動進行分析,優化最終的結果.文獻[26]則是在相鄰圖像的表觀網絡頂部加入卷積長短期記憶(Long short-term menory,LSTM）模塊,以此編碼時域信息,從提取到的表觀特征中尋求運動顯著的區域選擇為前景.半監督視頻分割方法[23,27-28]則是利用先驗信息(通常是第1 幀圖像的真值)使其在整列視頻上擴展,得到所有圖像的分割預測.算法MSK (MaskTrack:Learning video object segmentation from static images)[23]是在輸入光流圖像和表觀分支之外,額外輸入了當前圖像的前一幀 (T -1 幀)的分割結果.利用上一幀的結果對下一幀進行約束,并提高下一幀的分割準確度.算法OSVOS (One-shot video object segmentation and optical flow)[27]在測試集中利用第1 幀的真值微調(Finetune)母網絡的權重,使得網絡對于該視頻中的運動物體敏感,從而得到準確的視頻分割結果.此外,文獻[28]提出基于孿生網絡 (Siamese network)的快速分割方法,該網絡將視頻的第1 幀圖像與其真值一起作為參考圖像成為孿生網絡中一支的輸入,同時將當前圖像與前一幀圖像的掩膜作為另一支的輸入,實現參考圖像對目標的分割引導.

1.2 注意力機制

注意力在人類的感知系統中具有很重要的地位[33-35].人類使用視覺感知外界時不會將所有的注意力同時平均分配在視野中的所有位置,而是將注意力集中于顯著的區域,同時弱化非顯著區域的細節,以更好地構建圖像來理解圖像的含義.

近年來有很多與注意力相關的研究,試圖將注意力過程應用于卷積神經網絡中來提高網絡表現力.文獻[36]提出了采用殘差連接的注意力模塊,同時提出增加更多的注意力模塊可以顯著提升網絡的性能的同時降低計算量.文獻[36]同時探討了空間注意力(Spatial attention)和通道注意力(Channel attention)及其聯合方式對于分類效果的影響,并用實驗證明混合聯合方式效果最好.文獻[37-38]利用通道注意力模塊來選擇更具有分辨能力的特征,使得網絡中更有判別力的特征得到加強,并提高圖像分割效果.

2 雙流卷積分割網絡

本方法實現視頻物體分割需要3 個階段,如圖1所示.在圖1 中,左側為雙流分割網絡示意圖,右側為全局信息優化策略,偽訓練集指利用初次分割結果所構建的集合.首先將圖像和對應的光流圖像輸入雙流卷積分割網絡得到初步分割結果;進而利用本文所提出的全局信息優化方法,將上一步得到的分割結果作為先驗信息,監督雙流網絡中表觀分支的微調,經過訓練后,該網絡可學習到視頻中前景物體的表觀特征;最后使用新權值下的雙流網絡處理輸入視頻,可得到最終的分割結果.

圖1 基于注意力的視頻物體分割方法框架圖Fig.1 The framework of proposed video object segmentation method with attention mechanism

本節詳細解釋雙流卷積分割網絡的結構及其中的卷積注意力模塊,下一節將介紹利用先驗信息實現全局信息優化的訓練策略.

2.1 卷積注意力模塊

給定一個高層特征Fh∈RCh×H×W作為輸入,其相鄰的低層特征可表示為Fl∈RCl×2H×2W,本文的卷積注意力模塊可利用高層特征Fh推理得到通道注意力張量M∈RCl×1×1,其網絡結構如圖2所展示.完整的注意力推理過程可表示為

每個維度上的注意力值沿著空間的維度擴展,使注意力強度可與低層特征相乘.

圖2 中Feature 代表低層特征,而Side-prep層代表由高層特征通過卷積后得到的特征層.來自最高層的特征直接通過一次核為 3×3 的卷積操作得到特征維度為16 的Side-prep 層.而中間層特征,首先接受來自上層的注意力加強之后再卷積得到Side-prep 層(結構如圖3 所示).Side-prep 層可降低高層特征的維度,且使其得到更強的深度語義信息提煉.

圖2 卷積注意力模塊的結構Fig.2 The architecture of the convolutional attention module

該Side-prep 特征首先經過雙線性插值操作將其尺寸放大到與低層特征具有相同大小,使其可與低層特征融合.二者以連接方式融合后的特征經由一次核大小為 1×1 卷積操作之后,進行全局池化.后續通過激活函數層,與再一次核大小為 1×1 卷積操作,最終通過一個Sigmoid 層得到值為0 到1之間的注意力張量.

在圖像分割網絡中,經過多次卷積操作最終將輸出一個概率圖像,該圖定義了圖像中的每個位置的像素成為每個類別的概率[37].如式 (2)所示,位于最終的概率圖中的分數是所有特征圖中所有通道特征的和.

在式 (2)中,x代表網絡中的特征,w代表卷積核,k∈1,2,···,K代表特征通道的個數,D1,D2分別代表像素在兩個維度的位置.

如式 (3)所示,θ代表預測概率,y表示網絡的輸出.最終預測到的像素標簽是具有最大概率的類別標簽.

如式 (1)所示,原來的低層特征Fl在注意力張量的影響下改變了它原有的特征通道的權重,由高層特征所指定的有意義的區域通道被加強,同時其余通道的權重則被削弱,實現了高層特征對低層特征的監督.

2.2 視頻分割網絡

本文的特征提取網絡采用了OSVOS 網絡結構.OSVOS 是半監督視頻分割方法,將其特征網絡在數據集DAVIS 的訓練集中進行母網絡訓練.在測試中,首先利用測試視頻第1 幀圖像的真值對網絡參數進行微調,使網絡對該視頻中的前景物體敏感,進而用于視頻中其他圖像的分割.

本文采用其母網絡結構為基礎,且在測試集中并不對網絡參數進行微調.本文所使用特征提取網絡如圖3 所示.可以看到本文的主干網絡具有5 個階段,從低層到高層分別具有{2,2,3,3,3}個卷積層,在本網絡中不特別指出的卷積層所使用的均是大小為 3×3 的卷積核.在階段內相鄰卷積層間皆具有激活函數層,每個階段之間具有池化層.隨著卷積層的層數變多,網絡可以提取到更高層的語義信息,而低層的特征具有豐富的細節信息.

本網絡同時提取第2～5 階段的特征并用于分割,如圖3 所示.高層特征通過注意力層后轉化為注意力張量,與相鄰低層特征相乘后通過 3×3 卷積成為Side-prep 層.來自高層的Side-prep 特征通過注意力模塊產生了新的注意力圖,該注意力張量作用于相鄰的低層特征,實現了高層特征對低層特征的監督,其結構如圖2.

圖3 表觀的特征提取網絡Fig.3 The framework of appearance feature extractor network

針對視頻中的運動分割問題,只有在視頻圖像序列中連續出現并且產生運動的物體才是前景物體.以城市街景為例,停在路邊的車從表觀分析屬于有意義的物體,然而由于它在視頻中沒有發生運動,則運動物體分割任務把該物體識別為背景.因此只具有表觀意義特征不能篩選其中的運動物體,此時本文加入了運動特征分支網絡對視頻序列中的運動進行分析.

運動特征網絡的輸入為利用相鄰圖像計算得到的光流圖像,且與上段所述的表觀網絡具有相同的網絡結構.運動分割網絡可以大致提取光流圖像中產生運動突出的部分,并將運動顯著部分以前景表示,而運動不顯著的部分作為背景.經過表觀和運動兩支網絡的獨立分割將得到兩幅分割圖像,最終本文通過將兩幅分割圖像相加的方式將其融合并得到最后的分割結果.

3 全局信息優化訓練策略

在視頻序列中,前景物體的姿態變化、視角變化、遮擋及出現等均會引起前景物體外表形態的變化.因此在同一視頻中某些圖像的分割效果較好,某些圖像的分割效果較差.眾所周知,盡管視頻中的物體的表觀產生了一定的變化,而其RGB 的特征是具有一定規律的,因此本節提議利用前述步驟所計算得到的前景概率圖(分割結果)作為先驗信息,對分割結果進行優化.

對分割結果的全局優化需要利用初步分割結果作為先驗,其目的是綜合視頻時域中的全局信息,調整表觀網絡使得前景物體更顯著.經過雙流分割網絡的處理,視頻中的每幅圖像都得到一幅前景概率圖.定義X=(xj,j=1,···,|X|)作為圖像中的所有像素,定義Y=(yj,j=1,···,|X|),yj∈{0,1}代表所有像素的真值標簽,Pr(yj=1|X;W,w(m))表示經過初次分割后每個像素作為前景像素的概率.

定義閾值α及β,Pr(yj=1|X;W,w(m))＞α的像素定義為可相信的前景像素(yj=1),Pr(yj=1|X;W,w(m))＜β的像素定義為可相信的背景像素(yj=0.而β≤Pr(yj=1|X;W,w(m))≤α被定義為需要忽視的像素(yj=ignored).此時測試集圖像及其處理后的分割結果構成偽訓練集,可以用于分割網絡的微調.

采用比較極端的閾值是由于初步的分割結果中有很多誤分割像素,例如真值為前景的像素被分割為背景像素或反之.使用錯誤的標簽對網絡進行微調會使得網絡產生混亂,因此 “不可靠像素” (前景概率β≤Pr(yj=1|X;W,w(m))≤α的像素)需要定義為需要忽略的像素(Ignored label).這些像素在訓練過程中將不對誤差的梯度回傳產生任何影響.圖4 顯示了在初步前景概率圖中前景像素、背景像素和忽略像素的定義.圖4 中被淺灰色掩膜所確定的區域內像素為正樣本,被深灰色區域確定的區域內像素為被忽略的樣本,其余未被標注的像素為負樣本.

圖4 先驗圖像中的樣本選擇Fig.4 Our training examples selection

由于初步分割結果并不一定可靠,因此不能使用該結果單獨對表觀網絡進行訓練.此外,由于本文在選取圖像中正樣本時僅考慮其前景概率,并不考慮空間連續性,因此會引起分割結果中產生空洞,前景掩膜難以產生流暢的邊緣.本文選擇將該先驗作為訓練集的補充數據,混合后進行訓練.這種方法保證了該先驗數據可以被網絡習得,同時訓練集中的大量可靠數據可以降低不可靠數據對網絡權值的影響.

利用初次分割結果對表觀網絡進行微調之后,使用本文所提出的雙流分割網絡對視頻進行再次分割,得到最終的分割結果.

4 訓練細節

本文利用像素級別的二分類交叉熵(cross-entroy-loss)為損失函數對網絡進行訓練.該損失函數定義為

其中,L表示預測與真值間的損失,W表示網絡中所包含的所有需要學習的參數,X=(xj,j=1,···,|X|)表示輸入圖像中的所有像素,Y=(yj,j=1,···,|X|),yj∈{0,1}表示某次訓練中的真值,β=|Y-|/(|Y+|+|Y-|)是用于權衡正樣本像素和負樣本像素的參數.

計算Sigmoid 函數θ(·)在圖像每個像素j上的激勵值即為

本文網絡的基礎CNN 網絡是預先在ImageNet上針對圖像分類進行訓練得到的權值,此網絡是不能直接用于分割的.因此首先將此網絡在DAVIS數據集的訓練集中進行二分類分割訓練.本文的表觀網絡以訓練集中的圖像作為輸入,并配合數據集中的標注做為真值.當訓練運動網絡時,首先利用已有的算法(FlowNet[39])計算視頻光流,之后將光流圖像作為運動網絡的輸入.

使用隨機梯度下降(Stochastic gradient descent,SGD)方法,配合動量(Momentum)為0.9,我們將網絡進行了160 次迭代訓練(Epoch).其中所使用的數據通過翻轉和縮放進行數據擴充.網絡中的學習率為10-8,并且隨著訓練過程逐步減小.兩個分支網絡具有相同的訓練過程,結果由分支網絡的分割結果通過融合得到.

初次分割結果之后,需要表觀網絡進行微調.在本文中閾值常數定義為α=0.95,β=10-8,利用此兩個閾值為初次得到的概率圖中的每個像素給定標簽,使其成為正樣本或負樣本或被忽略像素.調整數據后加入原始訓練數據中,在與前一階段中使用相同超參數的情況下,我們將網絡進行了5 次迭代訓練.

5 實驗結果及分析

本算法在DAVIS[40]數據集上進行實驗來驗證方法性能.DAVIS 是2016 年提出的視頻分割數據集,每個視頻中的圖像序列均為480 p 高清分辨率,并具有精確的像素級別標簽.該數據集共包含50個視頻,其中30 個視頻構成訓練集,20 個視頻構成測試集.涵蓋遮擋、背景混亂、高速運動等造成的運動物體難以分割的視頻.

本文采用DAVIS 數據集定義的3 種方式作為定量評價標準:區域相似度J、輪廓準確度F和時域穩定性T.與交并比 (Intersection over union,IoU)相似,J度量算法得到的分割結果與真值在區域上的匹配度.定義M為算法分割結果,G為對應的真值,則J可以表示為F定義為其中Pc和Rc分別代表利用M和G的輪廓點計算出的精確度(Precision)和召回率(Recall).時域穩定性T用于評價算法是否會在視頻中不同幀產生不穩定的分割結果,該評價標準是在相鄰視頻幀之間采用動態時間彎曲(Dynamic time warping)計算得到的.

5.1 注意力模塊的有效性實驗

本文提出了一種新的用于引導低層特征訓練的注意力模塊,為了驗證該模塊的有效性,本文設置了對比實驗,將本文中的表觀網絡、運動分割網絡和不加入注意力模塊的OSVOS 母網絡以及普通的全卷積神經網絡 (Fully convolutional network,FCN)網絡分別對DAVIS 數據集進行分割實驗,得到表1 的實驗結果.

表1 有效性對比實驗Table 1 Ablation experiments results

表1 中,ours_m 表示本文中所提出的運動分割網絡,ours_a 表示文中所使用的表觀分割網絡.該網絡是在OSVOS 母網絡的基礎上,在相鄰階段的特征層間加入注意力模塊形成.Baseline 即為本文所使用的OSVOS 母網絡.FCN 與二者具有相似的特征結構不同的跳躍連接方式.

對比實驗表明,以光流圖像為輸入的運動分割網絡具有最好的分割效果(0.595),比另外三種基于圖像的分割效果都要好,這是由于視頻圖像序列內容復雜,通常圖像中不僅包含運動前景物體,還包含其他非前景物體的顯著物體,因此僅僅根據表觀特征難以確定運動顯著的前景物體.而運動分割網絡以光流圖像為輸入,可以提取出運動顯著的區域,且光流圖像的質量極大影響運動分割的效果.

ours_a和OSVOS 母網絡的分割結果顯示,加入注意力模塊后表觀特征網絡的分割能力明顯提高(+10.2%).本網絡(0.552)的平均區域相似度J比經典的FCN (0.519)提高了(+6.4%).該實驗顯示,注意力模塊對于提高分割的準確率非常有效.

5.2 與其他算法的定量對比實驗

本節展示了本算法與現有算法在數據集DAVIS上的定量比較結果.參與比較的是本算法(ours)與去除全局優化后的本文網絡ours_n,fseg[8],fst[21],msg[41],lmp[42],tis[43],nlc[44],和cvos[45].表2 中的數據,大部分由數據集DAVIS 的公開網站中所提供.對于沒有提供數值結果的方法,本文使用原作者所提供的分割結果計算得到.

表2 顯示了本算法與其他算法結果的比較.其中粗體字數值代表在該評價標準下該算法在所有算法中是效果最好的算法.

表2 定量實驗結果Table 2 Quantitative experiments results

在最重要的平均區域相似度J上,本算法得到的分數為0.713,比同為雙流視頻分割的fseg (0.707)的評分提高了0.85%;比另一種深度學習方法lmp(0.700)提高了1.86%.

在輪廓準確度F中,本算法的評分(0.684)也比較好.比第2 名的lmp (0.659)高0.025 分,比第3 名的fseg (0.653)高0.031 分.表2的F區域顯示,本算法在輪廓處的準確度很高,同時召回率也比較高.說明本算法得到的預測分割可以比較準確地尋得視頻中運動物體的輪廓.

全局優化后的結果ours 與未經優化的網絡分割結果ous_n 相比,平均區域相似度得到了一定程度的提高(0.003),然而召回率略有下降(-0.011).這是由于使用初次分割的結果作為先驗知識網絡進行微調時,僅考慮了像素的前景概率,沒有考慮空間上相鄰像素之間的關系,因此會造成所學習到的網絡對前景區域內像素相鄰關系的判斷減弱.

表2 顯示本網絡的時域穩定性較差,這是由于本算法利用光流信息分析視頻間的運動信息,而光流具有不穩定性,快速運動、慢速運動、背景和相機的相對運動等都會導致光流圖像的誤差增大,最終引起運動分割的效果變差.由于光流具有短時特征,其影響只會在視頻中某些圖像中出現,造成時域不穩定.

5.3 與其他算法的結果圖像對比

圖5 展示了本文算法與幾種算法的定性結果對比.所有圖像均來自DAVIS 數據集.圖5 中第1 列表示輸入圖像,第2 列是本算法的分割結果,第3～8 列是對比方法在輸入圖像上的分割結果.第1行和第2 行的分割對象比較清晰,本算法可以很好地分割得到前景物體,且不含有影子等噪聲.第3～6 行的前景皆具有豐富的細節,而本文算法都很好地分割到了完整的前景物體,且具有比較完整的輪廓.第7 行和第9 行是由前景背景高度相似造成的分割困難,本算法正確提取了物體區域并完整將其分割.第8 行中騎自行車的人被復雜的樹枝遮擋,本文算法可以找到其中運動的人,并且較為細致地在人和樹枝密集交錯的部分分割出人的區域.

圖5 定性比較結果Fig.5 Qualitative results comparison

6 結束語

本文提出了一種新的視頻物體分割方法.該方法包含雙流視頻分割網絡和一種全局信息優化方法.首先利用雙流分割網絡處理輸入視頻,可得到初步的分割結果,進而利用這些分割掩膜作為監督信息,對分割網絡中的表觀分支進行微調,繼而利用新的權值對視頻進行分割,得到最終結果.本文提出了一種新的注意力模塊,該模塊可以利用多層神經網絡中的高層特征對低層特征實現注意力區域引導,提高圖像分割的準確度.同時提出了利用全局信息對原始網絡進行微調的方法,該方法可以比較好地綜合視頻中所有圖像的表觀特征,針對運動前景物體調整表觀分割網絡,并提高分割準確度.在未來的研究工作中,我們將在全局優化過程中考慮樣本空間中像素之間的位置關系,減輕全局優化中召回率下降的問題.