基于視覺注意力的人體行為識別①

孔 言，梁 鴻，張 千

(中國石油大學(xué)(華東)計算機與通信工程學(xué)院，青島 266580)

1 引言

人類行為識別作為計算機視覺中的一個基本問題，現(xiàn)在已經(jīng)引起了業(yè)內(nèi)的廣泛關(guān)注.視頻中的行為識別是高級別的視頻理解任務(wù)中的一個關(guān)鍵問題，雖然深度卷積神經(jīng)網(wǎng)絡(luò)(CNNs)憑借其強大的性能已經(jīng)在圖像識別任務(wù)中取得了巨大的成功[1-4]，但是在行為識別任務(wù)中還沒有取得類似于圖像識別那樣的進(jìn)展.在某種程度上，視頻中的行為識別與靜態(tài)圖像中的對象識別有著相似的問題，這兩項任務(wù)都必須處理顯著的類內(nèi)變化、背景雜亂和遮擋[5].但是，兩者之間存在的明顯差異是視頻比圖像多了一項額外的(也是重要的)時間線索，它可以幫助獲得運動信息，憑借著運動信息可以可靠的識別多種行為[6].最近用于動作識別的視頻表示主要基于兩種不同的CNN 架構(gòu):(1)3D時空卷積[7，8]；(2)雙流架構(gòu)[6].雖然二者都在行為識別中取得了很好的表現(xiàn)，但是雙流結(jié)構(gòu)憑借其容易利用新的超深體系結(jié)構(gòu)和靜態(tài)圖像分類的預(yù)訓(xùn)練模型[9]，性能通常優(yōu)于3D時空卷積.

然而，行為識別中面臨的主要挑戰(zhàn)仍然是缺乏視頻表示方式.對于人類而言，可以很容易的將目光聚焦于視頻里圖像的突出區(qū)域，關(guān)注所感興趣的部分.但是，現(xiàn)有的行為識別方法是對視頻切分的每個短片段，平均地匯集該片段所有的局部特征形成全局特征，針對每個片段的全局特征進(jìn)行行為類別分類.采用平均匯聚的方式并不是一個適當(dāng)?shù)姆绞剑瑢τ诙唐沃械拿繋瑘D像而言，能夠提供有益的特征的并不是其中的每一個像素或每一塊區(qū)域，對于某些區(qū)域應(yīng)該重點關(guān)注(例如，人類運動，人機交互)，另外的一些區(qū)域(例如，背景，遮擋)應(yīng)當(dāng)有意識的忽略.

受到上述啟發(fā)，借助于注意力機制來突出顯示視頻中的顯著區(qū)域.為此，本文提出了一種基于視覺注意力的深度卷積神經(jīng)網(wǎng)絡(luò)，它將注意力機制融入到雙流卷積神經(jīng)網(wǎng)絡(luò)中.注意力機制的特性使得我們可以在沒有監(jiān)督的情況下對每幀圖像進(jìn)行動作的區(qū)域定位，對每個區(qū)域空間賦予權(quán)重，然后根據(jù)加權(quán)求和將局部空間特征聚合起來.這種不平凡的聯(lián)合方式簡單而有效，可以容易地解決視頻表示不突出的問題.為了驗證這一說法，在油田現(xiàn)場行為數(shù)據(jù)集上進(jìn)行了一系列的基于視頻的行為識別實驗，所展現(xiàn)出來的結(jié)果表明，基于視覺注意力深度卷積網(wǎng)絡(luò)模型是行之有效的.

本文的其余內(nèi)容如下:第2 節(jié)討論了相關(guān)的工作，第3 節(jié)描述了視覺注意力深度卷積網(wǎng)絡(luò)，第4 節(jié)給出了實驗的細(xì)節(jié)，第5 節(jié)總結(jié)了本文的工作.

2 相關(guān)工作

行為識別作為視覺應(yīng)用中的一項熱門話題，它的研究進(jìn)展很大程度上是由于在圖像識別方法的進(jìn)步所推動的.行為識別的目的是識別每個視頻中的單個或多個動作，通常被描述為一個簡單的分類問題.在CNNs 還未取得如此巨大成功之前，Laptev I 等人提出利用時空特征將空間金字塔推廣到時空域的方法，檢測稀疏時空感興趣點并使用局部時空特征來進(jìn)行描述(包括HOG 和HOF)，將其編碼入特征包(BoF)并結(jié)合SVM 進(jìn)行動作分類[10].隨后的工作中，Wang H 等人拓展了四種特征描述符(H O G 3 D、H O G/H O F、Cuboids、ESURF)進(jìn)行局部時空特征的描述[11]，實驗表明局部特征的密集采樣的方式比稀疏興趣點檢測表現(xiàn)出更優(yōu)秀的性能.隨后，Wang H 等人又提出了一種密集軌跡算法進(jìn)行行為識別，通過從圖像中采樣密集點并根據(jù)密集光流場的位移信息進(jìn)行跟蹤，這樣密集的軌跡可以覆蓋視頻中的運動信息[12].基于改進(jìn)的稠密軌跡算法[13]通過消除背景軌跡和扭曲光流獲得了更加突出的表現(xiàn).

隨著深度學(xué)習(xí)的興起，具有強大性能的卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在行為識別領(lǐng)域進(jìn)行了廣泛應(yīng)用.Karpathy A 等人在Sports-1M 數(shù)據(jù)集上使用深層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并對大規(guī)模行為分類進(jìn)行了實證評估[14].Simonyan K 和Zisserman A 提出了雙流架構(gòu)，輸入一段視頻分別獲得視頻圖像信息和密集光流信息，為兩個流各自訓(xùn)練一個CNNs 進(jìn)行動作類別判斷，最后對兩分支動作分類得分進(jìn)行融合[6].Feichtenhofer C 等人在雙流架構(gòu)的基礎(chǔ)上改進(jìn)了融合的方式，他們將原本在Softmax 層的融合提前到卷積層，在最后一個卷積層對空間網(wǎng)和時態(tài)網(wǎng)(spatial and temporal)進(jìn)行融合進(jìn)一步提高了性能[15].Ng 等人同樣是對雙流架構(gòu)的融合方式上進(jìn)行了研究，他們利用LSTM 對于時序信息具有強大的記憶功能這一特性，將時態(tài)網(wǎng)進(jìn)行了改進(jìn)[16].Wang LM 等人針對視頻的特性，提出了一種基于長范圍時間結(jié)構(gòu)建模的網(wǎng)絡(luò)，結(jié)合了稀疏時間采樣策略和視頻級別監(jiān)督方式對整個視頻段進(jìn)行學(xué)習(xí)時的有效和高效[17].Tran D 等人提出的3D 卷積神經(jīng)網(wǎng)絡(luò)(C3D)是并列于雙流架構(gòu)的另一種處理視頻級別的動作分類的主流方法，由于2D 卷積不能很好的捕獲視頻中的時序信息，因此提出的3D 卷積將原來的卷積層和池化層擴(kuò)展為3D 卷積和3D 池化.通過3D 卷積可以直接處理視頻[7].Carreira J 等人提出了一種新的結(jié)合3D 卷積和雙流網(wǎng)絡(luò)的模型，稱之為I3D，該模型可以從視頻中學(xué)習(xí)無縫空間-時態(tài)特征提取器.而且I3D模型是一種通用的視頻表示的學(xué)習(xí)方法[18].

人類的視覺注意一直以來都是計算機視覺界所關(guān)注的問題.Hou XD 等人基于連續(xù)的特征抽樣提出了一種注意力模型，對于顯著性特征使用能量概念進(jìn)行解釋.另外，該模型可實現(xiàn)在靜態(tài)場景和動態(tài)場景之間注意力的選擇性[19].Mathe S 等人針對視頻中的動作識別進(jìn)行了一系列的研究實驗，主要是人類視覺注意力和計算機視覺中的關(guān)聯(lián)關(guān)系[20].與上述工作相比，本文提出的基于視覺注意力的深度卷積網(wǎng)絡(luò)將人類的注意力機制融入到現(xiàn)存的深層CNNs中，通過對模型結(jié)構(gòu)輕量級的修改，使得處理后的視頻表示特征具有了局部顯著性.

3 視覺注意力深度卷積網(wǎng)絡(luò)

在本節(jié)中，將介紹視覺注意力深度卷積網(wǎng)絡(luò)，即AttConv-net.最近的從視頻中的行為識別的一種標(biāo)準(zhǔn)做法是使用多種信息流(RGB 和光流)的融合，這樣的方式可以獲得顯著的性能[6，15，21].在此之前，先介紹網(wǎng)絡(luò)的基礎(chǔ)架構(gòu)——時態(tài)段網(wǎng)絡(luò)[17].最后，對注意力機制進(jìn)行了描述.

3.1 時態(tài)段網(wǎng)絡(luò)

在時態(tài)段網(wǎng)絡(luò)(Temporal Segment Networks，TSN)提出之前的雙流卷積網(wǎng)絡(luò)無法對遠(yuǎn)距離時間結(jié)構(gòu)的視頻數(shù)據(jù)進(jìn)行建模，只能處理空間網(wǎng)絡(luò)中的單個幀或是時態(tài)網(wǎng)絡(luò)單個棧，不能有效地獲取時序中上下內(nèi)容的聯(lián)系.時態(tài)段網(wǎng)絡(luò)通過一種稀疏采樣的方式，從整個視頻中獲取一系列短片段，這樣可以整合整個視頻的視覺信息進(jìn)行視頻級別的分類.每個片段都將給出其本身對于行為類別的初步預(yù)測，從這些片段的“共識”來得到視頻級別的預(yù)測結(jié)果[17].

具體來說，給定一段視頻V，將其按相等間隔分為K段{S1,S2,···,Sk}.然后，時態(tài)段網(wǎng)絡(luò)按照如下方式對一系列短片段進(jìn)行建模:

其中，(T1,T2,···,Tk)表示片段序列，每個片段Tk從它對應(yīng)的段Sk中隨機采樣得到，F(xiàn)(Tk;W)函數(shù)代表采用W作為參數(shù)的卷積網(wǎng)絡(luò)作用于短片段Tk，G()代表段共識函數(shù)，結(jié)合多個短片段的類別得分輸出以獲得它們之間關(guān)于類別判斷的共識，函數(shù)H()會根據(jù)這個共識預(yù)測整段視頻屬于每個行為類別的概率.另外，關(guān)于共識的損失函數(shù)G的形式為:

其中，C是行為類別的數(shù)量，yi是關(guān)于i類的真實標(biāo)簽.

3.2 模型架構(gòu)

AttConv-net 分別對雙流中的空間網(wǎng)和時態(tài)網(wǎng)所提取的特征分配較大的權(quán)重，使其容易地定位到感興趣地區(qū)域，從而可以更準(zhǔn)確進(jìn)行分類.該結(jié)構(gòu)如圖1所示，采用雙流模型基礎(chǔ)架構(gòu)，分為空間流網(wǎng)絡(luò)和時態(tài)流網(wǎng)絡(luò).本文的AttConv-net 是在TSN的基礎(chǔ)上進(jìn)行了修改，將注意力模型分別連接到空間網(wǎng)和時態(tài)網(wǎng)的最后一個卷積層所提取出的特征上，之后將分配了權(quán)重的特征送入全連接層以及Softmax 進(jìn)行雙流網(wǎng)絡(luò)各自的類別概率的預(yù)測，并且在評判最終視頻所屬類別之前會將空間流和時態(tài)流的網(wǎng)絡(luò)結(jié)果進(jìn)行合并.給定一個完整視頻V，將其處理成一系列的片段Si(i=1,2,···k)，k是一整個視頻均等分的數(shù)量，每個片段包含一幀RGB 圖和兩幀光流圖.卷積神經(jīng)網(wǎng)絡(luò)CNNs 分別提取RGB 圖的全局視覺特征FRGB=(F1,F2,F3,···,FL)和光流圖的全局視覺特征FOF=(F1,F2,F3, ···,FL),L表示每張圖像劃分為了L塊區(qū)域，每個區(qū)域都是一個m維的向量.融入注意力機制處理后得到特征FattRGB和FattOF，之后便會得到每個片段Si的雙流網(wǎng)絡(luò)中的所屬類別得分CS i和CTi，經(jīng)過共識函數(shù)G()后將雙流結(jié)果送入Softmax 函數(shù)算概率，進(jìn)而得到一個完整視頻的分類結(jié)果W.其中的工作流程可以概括為下列共識:

式(3)和式(4)分別是用注意力模型對特征FRGB和FOF進(jìn)行區(qū)域空間權(quán)重分配所得到的注意力特征FattRGB和FattOF，式(5)和式(6)分別是用共識函數(shù)分別對空間流和時態(tài)流中所有片段的屬于同一類別的得分做個求和均值得到gS和gT，式(7)是融合雙流網(wǎng)絡(luò)的得分所獲得的整個視頻的分類結(jié)果W.

圖1 AttConv-net模型結(jié)構(gòu)圖

3.3 視覺注意力模型

AttConv-net中的注意力模型將從最后一個卷積層輸出的特征向量附加一個介于0 和1 之間的權(quán)重，以此聚焦于圖像中的顯著區(qū)域，該模型結(jié)構(gòu)如圖2所示，將視頻片段輸入到網(wǎng)絡(luò)中，空間流和時態(tài)流分別進(jìn)行各自的卷積，圖中的虛框部分表示空間流和時態(tài)流進(jìn)行相同的Attention處理，輸出的分?jǐn)?shù)是兩流網(wǎng)絡(luò)的單獨得分.卷積神經(jīng)網(wǎng)絡(luò)提取的空間流特征和時態(tài)流特征都是一個L×m維的向量，即圖像有L個區(qū)域，每個區(qū)域用m維的特征向量表示:

其中，Rm表示m維的特征表示，F(xiàn)i表示第i個圖像區(qū)域，F(xiàn)t表示以時刻t為中心所代表的視頻段的特征表示.對于每個圖像區(qū)域，注意力函數(shù)Oatt根據(jù)特征向量和t生成對應(yīng)視頻采樣片段的注意力權(quán)重:

歸一化處理:

經(jīng)過注意力模型處理后的特征FattRGB/OF:

AttConv-net 之后將FattRGB/OF送入全連接層.融入注意力機制的網(wǎng)絡(luò)仍然是可以通過標(biāo)準(zhǔn)的反向傳播來優(yōu)化學(xué)習(xí).

圖2 AttConv-net網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實驗

在本節(jié)中，首先介紹了自建的油田視頻數(shù)據(jù)集，接下來評估AttConv-net 在自建數(shù)據(jù)集以及HMDB51 上的性能，在此之外本文還對行為識別任務(wù)中所取得良好表現(xiàn)的時態(tài)段網(wǎng)絡(luò)進(jìn)行有效性實驗，即AttConvnet 改進(jìn)前的基礎(chǔ)網(wǎng)絡(luò)TSN.最后，實驗結(jié)果展現(xiàn)出與一些方法進(jìn)行了比較，并且可視化了注意力聚焦圖.

4.1 油田人員行為數(shù)據(jù)集

油田人員行為數(shù)據(jù)集(Oilfield-7)包括7個動作類別:Pump Clean，Rig Walk，Room Operate，Site Walk，Room Stand，Tank Construction，Tank Walk.Oilfield-7 數(shù)據(jù)集包含剪輯好的視頻200個，每個視頻平均300 幀.我們按照數(shù)據(jù)集的標(biāo)準(zhǔn)評估準(zhǔn)則[22]，將數(shù)據(jù)劃分為三種不同的訓(xùn)練和測試數(shù)據(jù)，分類表現(xiàn)是按照三種劃分?jǐn)?shù)據(jù)多產(chǎn)生的平均識別精度.另外，數(shù)據(jù)集在進(jìn)行剪輯時，確保一個視頻中只出現(xiàn)一種行為，對于出現(xiàn)多種行為的視頻中予以舍棄.

4.2 實驗細(xì)節(jié)

時態(tài)段網(wǎng)絡(luò)[17]是最近用于從視頻中進(jìn)行行為識別的表現(xiàn)最為突出的一個雙流模型，它在兩個大型的行為數(shù)據(jù)集HMDB51[23]和UCF101[24]上分別獲得69.4%和93.5%的準(zhǔn)確率.在本文實驗中，選用時態(tài)段網(wǎng)絡(luò)在Oilfield-7 數(shù)據(jù)集上進(jìn)行訓(xùn)練去提取視頻段的特征.對于空間網(wǎng)和時態(tài)網(wǎng)，選用的深層卷積網(wǎng)絡(luò)結(jié)構(gòu)是BN-Inception[25]，這與時態(tài)段網(wǎng)絡(luò)中的設(shè)置一致[17].由于用于行為是別的數(shù)據(jù)集數(shù)量較少的原因，存在著過擬合的風(fēng)險，為此進(jìn)行了數(shù)據(jù)增強.調(diào)整輸入的R B G 圖和光流圖為256×340，并且從{256,224,192,168}集合中進(jìn)行寬度和高度的隨機選擇裁剪，之后統(tǒng)一調(diào)整為224×224作為網(wǎng)絡(luò)的輸入.其中的光流圖是采用TV-L1 光流算法得到[26].根據(jù)先前的工作[6，21]，測試時從每個視頻中選擇25 幀RGB 圖或光流棧，對于每個幀/棧，通過裁剪四個角和一個中心的方式進(jìn)行數(shù)據(jù)增強.本文的網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)使用小批量隨機梯度下降算法進(jìn)行，用于特征提取的深層卷積神經(jīng)網(wǎng)絡(luò)是在ImageNet[27]上事先預(yù)訓(xùn)練的.網(wǎng)絡(luò)訓(xùn)練過程中的學(xué)習(xí)率為10-3，輟學(xué)率為0.8，在視頻類別最終得分進(jìn)入融合時，空間流的權(quán)重設(shè)置為1，時態(tài)流的權(quán)重設(shè)置為0.5.

4.3 結(jié)果與分析

實驗中通過與AttConv-net的兩種變體來進(jìn)行比較，一個是基線深層卷積神經(jīng)網(wǎng)絡(luò)BN-Inception，不包含注意力機制和TSN 結(jié)構(gòu)；另一個是不包含注意力機制的TSN_BN-Inception.如表1所示，本文方法表現(xiàn)出了較好的優(yōu)越性.引入注意力去處理遠(yuǎn)距離時間結(jié)構(gòu)的視頻時，對于片段圖像的局部區(qū)域可以獲得更高的關(guān)注度，因此視頻片段的特征表示更能反映出視頻的所屬類別.

表1 在Oilfield-7 數(shù)據(jù)集(Split1)上三種模型性能比較

針對3 種劃分?jǐn)?shù)據(jù)分別進(jìn)行實驗，每一部分所展示出的是融合了兩流的準(zhǔn)確率.之后，最終的比較結(jié)果是將3個部分取得平均準(zhǔn)確率，所展示的結(jié)果見表2.AttConv-net 與另外兩個變體方法比較，表現(xiàn)出了最優(yōu)的性能.與BN-Inception 相比，平均準(zhǔn)確率提高了2.3%，與BN-Inception_TSN 相比，提高了1.4%.

表2 在Oilfield-7 數(shù)據(jù)集上三種模型性能比較

進(jìn)一步的為了驗證本文方法的優(yōu)越性，用數(shù)據(jù)集HMDB51[23]來測試其性能.HMDB51 數(shù)據(jù)集共有6849個視頻段包含51 類人體行為類別，每個類別含有101個視頻段且都經(jīng)過人為標(biāo)注.同樣的也是切分為3 種不同的訓(xùn)練和測試數(shù)據(jù)，分類表現(xiàn)是按照3 種劃分?jǐn)?shù)據(jù)多產(chǎn)生的平均識別精度.此次實驗中所設(shè)置的相關(guān)參數(shù)和前文實驗細(xì)節(jié)中的一樣，所展示結(jié)果見表3.AttConv-net 與另外兩個變體方法比較，表現(xiàn)出了最優(yōu)的性能.與BN-Inception 相比，平均準(zhǔn)確率提高了1.3%，與BN-Inception_TSN 相比，提高了0.4%.

表3 在HMDB5 數(shù)據(jù)集(Split1)上三種模型性能比較

在Oilfield-7 數(shù)據(jù)集中，使用3個模型進(jìn)行了測試并使用mAP 評價指標(biāo)，結(jié)果如表4所示.AttConvnet 與另外兩種相比，在mAP中取得了最好的表現(xiàn).但是，在“Room Operate”和“Tank Construction”行為類別中，BN-Inception_TSN 展現(xiàn)出的結(jié)果優(yōu)于AttConv-net，因為這兩個類別中的人類行為表現(xiàn)的不為明顯，注意力更多地聚集在了背景當(dāng)中，而丟失了對動作的關(guān)注，所帶來的負(fù)面效果使得準(zhǔn)確率降低.為了更好地理解網(wǎng)絡(luò)在學(xué)習(xí)過程中對圖像局部區(qū)域的顯著性，本文可視化了部分注意力圖，如圖3所示.圖中第1 列代表的是從視頻中提取的原始圖像，第2 列是經(jīng)過注意力關(guān)注后所得到最精準(zhǔn)的效果，第3 列代表了注意力關(guān)注時的最寬泛的效果.例如，對于Tank Walk(第4 行)，可以關(guān)注并將焦點縮小到場地中行走的人，但是對于Pump Clean(第2 行)，由于數(shù)據(jù)集數(shù)量的問題，進(jìn)而產(chǎn)生的過擬合的結(jié)果，從而導(dǎo)致圖像無法精準(zhǔn)聚焦而產(chǎn)生偏離.

5 結(jié)論與展望

本文提出了基于視覺注意力的深度卷積的人體行為識別方法，稱之為AttConv-net.該方法利用注意力機制在圖像中對于全局信息有了顯著性理解，聚焦于局部區(qū)域獲取信息，更加準(zhǔn)確而高效的實現(xiàn)視頻分類.在自建的Oilfield-7 數(shù)據(jù)集上進(jìn)行的實驗表明，AttConvnet 相較于基礎(chǔ)深層卷積網(wǎng)絡(luò)BN-inception 和時態(tài)段網(wǎng)絡(luò)TSN 獲得了更高的行為識別精度，證明了注意力的有效性.為了進(jìn)一步證實本文方法性能的優(yōu)勢，使用數(shù)據(jù)集HMDB51 來驗證，AttConv-net 也取得了較好的性能.但是其中存在些許不足，在時態(tài)流的網(wǎng)絡(luò)訓(xùn)練過程中該方法所得到的精度不高，這由于Oilfield-7 數(shù)據(jù)集中的人類的動作幅度小，提取的光流圖中的信息丟失了大部分運動信息，從而造成了較低的識別精度.AttConv-net中兩流卷積網(wǎng)絡(luò)在進(jìn)行特征融合時是采用共識函數(shù)去完成的，視頻中的些許片段存在噪聲標(biāo)簽，從而影響視頻分類.接下來的工作將探索一種片段特征聚合的方式來替代共識方式，進(jìn)一步的研究其對行為識別任務(wù)的影響.

表4 在Oilfield-7 數(shù)據(jù)集上3 種模型的AP 評價指標(biāo)比較(第1 行代表7 種類別)

圖3 Oilfield-7 數(shù)據(jù)集部分行為注意力變化的可視化圖像