基于光流的快速人體姿態估計①

周文俊,鄭新波,卿粼波,熊文詩,吳曉紅

1(四川大學 電子信息學院,成都 610065)

2(東莞前沿技術研究院,東莞 523000)

基于視覺的人體姿態估計問題是指根據圖像特征估計人體各個部位的位置與關聯信息[1].人體姿態估計是圖像處理、計算機視覺、模式識別、機器學習、人工智能等多個學科的交叉研究課題,在視頻監控、視頻檢索、人機交互、虛擬現實、醫療看護等領域,具有深遠的理論研究意義和很強的實用價值[2,3].

目前的人體姿態估計算法主要分為兩類:一類是基于深度圖像,另一類是基于可見光圖像.基于深度圖像的算法,主要利用如Kinect[4]等深度傳感器獲取代表著人體外貌和幾何信息的顏色和深度(RGBD)數據,進而分析人體的姿態.但深度傳感器等硬件設備的配置及數量有限,導致其無法分析如監控視頻,網上的海量視頻等數據.而基于可見光圖像的算法,只需要獲取圖片中人體的表觀特征,如人體姿態各部分的HOG特征[5]、人體輪廓特征[6]及視頻中上下文(Context)關系[7].但以上特征都需要手動提取,且不具有魯棒性.直到近幾年,深度學習被廣泛運用到圖像處理領域,促進了人體姿態檢測進一步的發展.其中,Cao等[8]從圖像底層出發,對人體姿態關節點進行回歸分析,同時運用并行網絡提取人體關節點間的親和力場,確定多人姿態關節點之間的聯系.Pfister等[9]利用光流信息將前后幀的人體姿態熱力圖扭曲到當前幀,然后賦予不同時刻熱力圖不同的權值,綜合得到當前幀人體姿態.He等[10]首先采用神經網絡提取人體候選區域,然后在候選區域上用兩個并行的網絡分別進行目標檢測和人體姿態關節點檢測.Charles等[11]利用已有的人體姿態估計模型初始化視頻幀,然后在相鄰幀中進行空間匹配,時間傳播及人體姿態關節點的自我評估,不斷地重復上述過程得到準確的人體姿態關節點.上述基于深度學習的方法能夠很好的解決基于單幀圖像的人體姿態估計問題.然而,對于大量現有的視頻數據,大多數視頻分析任務是通過直接將識別網絡應用到視頻的所有幀,這一方法將消耗大量的計算資源,且未考慮到視頻幀之間的時間相關性.

綜上所述,基于深度學習的人體姿態檢測算法雖然已經在單幀圖像上取得了較好的效果,但它們往往依賴于強大的計算機硬件平臺,一般需要多個GPU進行加速.而在計算資源受限的移動終端上對視頻數據運用上述基于深度學習的人體姿態檢測算法時,終端的計算能力往往無法達到需求,所以如何降低或轉移人體姿態估計算法的計算復雜度[12],是該領域的一個重要研究方向.另外,由于人和相機具有運動連續性的特點,相鄰幀之間的人體姿態也將表現出運動的連續性[13],即時間相關性,因此本文提出了一種基于光流的快速人體姿態估計算法,該算法利用視頻幀之間的時間相關性實現人體姿態估計的加速.在一個視頻幀組內,首先根據人體姿態估計算法對關鍵幀進行人體姿態檢測.而對于其他的非關鍵幀,計算它與前向關鍵幀之間的光流場信息(時間相關性),然后根據光流場將關鍵幀的檢測結果傳播到非關鍵幀上,避免了在每一幀上運行人體姿態估計算法.當光流場計算復雜度低于人體姿態估計算法時,本文框架可以有效提高人體姿態檢測算法的檢測速度.

1 基于光流的快速人體姿態估計

1.1 視頻幀姿態相關性分析

視頻相鄰幀之間存在極強的時空相關性[14],這種相關性是由運動的連續性決定的,因此視頻相鄰幀中運動目標及人體姿態信息具有更強的時空相關性.如圖1所示為視頻幀間相關性及人體姿態相關性效果圖,第一行Frame為原始視頻幀,第二行Pose為原始視頻幀對應的真實姿態信息,第三行Flow為第i幀(i=2,…,5)圖像與第一幀圖像之間的真實光流場,第四行Dsp為第i幀(i=2,…,5)圖像中人體關鍵點與第一幀圖像中人體關鍵點之間的運動矢量場.

如圖1中Dsp反映了視頻序列中Framei(i=2,…,5)與Frame1對應關鍵點之間的運動矢量,而視頻幀間的運動矢量為視頻幀之間對應相似塊的運動信息,同時通過運動矢量可將第一幀圖像的人體姿態信息傳播到后續視頻幀中.Flow為視頻序列中Framei(i=2,…,5)與Frame1之間的光流信息,而光流就是在圖像灰度模式下,圖像間的亞像素級運動矢量,被廣泛用于估計兩個連續幀之間的像素點的運動[15].因此可以通過視頻幀間的光流信息及Frame1中的人體姿態信息預測Framei(i=2,…,5)中的人體姿態信息.另外,由圖1中Frame可知,Frame1到Frame5相鄰幀之間人體姿態變化較為平緩.而隨著時間的推移,當前幀Framei(i=2,…,5)與Frame1的人體姿態信息變化越來越大,相關性也越來越低.

1.2 基于光流的快速人體姿態估計框架

如上所述,視頻幀間人體姿態信息存在極強的時間相關性,而充分利用視頻幀間的相關性及運動信息可將已檢測的人體姿態信息傳播到隨后相關性較高的相鄰幀中,從而避免對每幀圖像進行復雜的人體姿態檢測.因此本文提出了基于光流的快速人體姿態估計算法,首先將視頻幀分割成多個視頻幀組確定視頻關鍵幀(每個視頻幀組的第一幀為該視頻幀組的關鍵幀,其余視頻幀為非關鍵幀).然后采用Cao等[8]的人體姿態估計算法確定關鍵幀人體姿態信息,該算法可有效地檢測圖片中的人體姿態信息;最后利用輕量級光流算法Flownet2-c[16]計算關鍵幀與非關鍵幀之間的光流信息,將關鍵幀的檢測結果傳播到非關鍵幀(如圖2).

圖1 視頻幀間相關性及人體姿態相關性效果圖

圖2 基于光流的快速人體姿態估計

具體定義如下:

其中,Flowi為第i幀圖像與對應關鍵幀FrameI之間的光流信息,PoseI為關鍵幀的真實人體姿態信息,Posei’為將關鍵幀的真實人體姿態信息通過第i幀圖像與關鍵幀之間的光流場融合后的人體姿態信息.

基于上述算法原理,本文算法中關鍵幀的選取,以及關鍵幀人體姿態信息與光流信息的融合效果直接影響非關鍵幀的人體姿態估計精度.而由1.1節分析可知視頻幀間相關性隨著時間推移而降低.因此,視頻中關鍵幀的位置應該根據視頻中幀間相對運動程度的不同而重新設置,以適應視頻序列幀間相關性的改變.針對上述問題本文提出一種自適應關鍵幀檢測算法.同時也對融合過程中光流計算算法對圖像中噪聲過于敏感的問題進行優化.

1.2.1 自適應關鍵幀檢測算法

本文算法主要利用光流信息將關鍵幀的姿態信息傳播到非關鍵幀,當同一視頻幀組內關鍵幀與非關鍵幀中同一關節點之間有較大的位移時,光流信息就無法準確的描述關節點的運動,從而導致非關鍵幀人體姿態預測失敗.因此本文提出一種自適應關鍵幀檢測算法,其中為了不引入多余的計算量,通過已有的光流場,判斷兩視頻幀之間是否出現劇烈位移運動,從而劃分關鍵幀與非關鍵幀,達到自適應關鍵幀檢測的目的,具體算法如下:

步驟1.第i幀與前向關鍵幀PK之間的光流信息fi(x,y).計算局部光流信息模的累加和Local_sum(f)和局部光流信息的最大值Local_max(x,y),具體定義如下:

其中,(x,y)為像素坐標,vxˉ(x,y)為光流場在x方向上的分量,vyˉ(x,y)為光流場在y方向上的分量,mask為圖像中每個人的矩形掩模框并集(如圖3所示,恰好覆蓋所有人的關節點),s為關鍵幀所有關節點處像素點的集合.

圖3 矩形掩模區域

步驟2.確定判決閾值:

其中,Local_sum_T為局部光流信息模的累加和的閾值,Local_max_T為局部光流信息最大值的閾值.若固定Local_sum_T則無法適應視頻中由人距離相機的遠近不同,而引起的光流信息不同的問題.因此本文自適應關鍵幀檢測算法會在每一幀自適應閾值.計算關鍵幀中每個人的矩形掩模框并集的總面積mask_sum,將mask_sum*m(m為掩模系數)作為Local_sum(f)的閾值.而對于局部光流信息的最大值,我們通過大量實驗發現,當兩幀圖像關節點處光流信息的模大于10個像素時,光流場無法準確的預測關節點的位移;當模小于等于10個像素時,光流場可以有效的預測關節點的位移.所以Local_max_T的取值為10.

步驟3.將局部累加和Local_sum(f)與Local_sum_T比較,局部光流信息最大值Local_max(x,y)與Local_max_T比較,以避免局部劇烈運動.

式(6)成立時第i幀為非關鍵幀,否則結束該視頻幀組,第i幀為下一視頻幀組的關鍵幀.

1.2.2 關鍵點局部融合優化

通過人體姿態估計階段對關鍵幀進行人體姿態估計,得到關鍵幀的人體關節點.然后利用密集光流來預測關節點應如何在時間上流動到下一幀[13].

本文使用的Flownet2-c算法可求得關鍵幀與非關鍵幀之間的光流信息.但視頻中陰影或噪點在運動物體周圍尤其明顯,如圖4所示,圖4(c)為圖4(a)和圖4(b)利用Flownet2-c算法計算的光流信息.由圖可知,運動物體周圍的光流信息分布十分不均勻.因此若在融合關鍵幀姿態信息和光流信息時,只使用關鍵幀關節處的光流信息作為非關鍵幀關節點的運動信息,則會因光流信息計算不準確導致關節點信息預測失敗.針對這個問題本文利用鄰域特性,根據鄰域像素點光流信息決定該關節點的運動矢量.采用關節點處5x5鄰域的光流信息代替關節點的運動信息,以提高融合預測的準確率.

Flownet2-c算法效果

具體使用式(7)計算得到非關鍵幀的關節點.

其中,Df(xi,yi)為關鍵幀關節點處5×5鄰域的光流信息的均值,P(xk,yk)為關鍵幀關節點坐標,P’(xi,yi)為非關鍵幀關節點坐標.

2 實驗結果及分析

2.1 實驗設置

本文主要利用Caffe[17]框架搭建基于光流的快速人體姿態估計算法框架與Cao等[8](Caffe)的算法對比(在 Intel i5,8 G 內存,單張 GTX 1070 的機器上測試).

圖4 Flownet2-c 算法效果

實驗對兩個公開數據集進行測試,分別為:(1)OutdoorPose 數據集,該數據集由 Ramakrishna 等[18]提出,共包含 6 段視頻序列,約 1000 幀已標注人體各部件真實值的圖像.(2)HumanEvaI數據集,該數據集由 Sigal等[19]提出,本文采用 S1_Jog_1_(C1),S1_Walking_1_(C1),S2_Jog_1_(C1)中各 150 幀進行驗證.以上兩個數據集中包含豐富的人體自遮擋.對于1.2.1中掩模系數取0.4,該系數越大姿態估計速度越快,準確度相對越低;反之,姿態估計速度越慢,準確度相對越高.

本文采用每秒處理的幀數(幀率:fps)評估算法檢測速度,利用PCP 評價標準[20]來評估算法對于人體各部件的估計準確度.相關定義如下:

其中,Fps為每秒處理的幀數 (幀率),nFrame為測試視頻的幀數,ti為第i幀的檢測用時,其中包括利用Flownet2-c 計算兩張圖片 (分辨率:640×380)之間的光流信息 15 ms.poseture為檢測正確的關節點數量,poseall為測試視頻中所有的關節點數量.PCP評價標準規定當估計的所有部件端點到其對應真實值端點的距離小于部件長度的一半時,則認為該部件被正確定位.其中,PCP值越大表示對人體各部件的估計準確度越高.

2.2 結果分析

表1為本文算法與Cao等[8]的算法在不同場景下檢測幀率及準確度的比較表.從表1可以看出本文基于光流的快速人體姿態估計算法與Cao等[8]的算法在檢測準確度差異不大的情況下,有效的提升檢測速度.其中在OutdoorPose數據集上,本文算法較Cao等[8]的算法在檢測準確度上提升1.3%,檢測幀率提升87.5%；在HumanEvaI數據集上,本文算法較Cao等[8]的算法在檢測準確度下降1%的情況下,檢測幀率提升91.8%.

如圖5所示為Cao等[8]的算法與本文算法在上述兩個數據集上復雜環境 (包含靜態復雜背景、肢體遮擋等)下的部分姿態估計效果圖,其中第一列圖5(a)、圖5(b)、圖5(c)為 Cao 等[8]的算法的部分檢測結果,第二列圖5(d)、圖5(e)、圖5(f)為本文算法的部分檢測結果.

圖5 部分姿態估計效果圖

如圖6所示為上述兩數據集的部分圖片及本文算法的檢測效果圖.由圖5的測試圖片可知,Cao 等[8]的算法在復雜環境下可能會檢測失敗,而本文算法中非關鍵幀的姿態信息由關鍵幀姿態信息及兩幀之間的光流信息預測得到,由圖5可知在復雜環境下本文算法較原算法在一定程度上可增加人體姿態檢測的檢測性能.上述結果說明作者提出的加速算法較原算法在平均檢測準確度略有提升的情況下,能夠利用視頻幀間的時間相關性,有效的提升處理速度,降低計算復雜度.

圖6 數據集部分效果圖

3 結論與展望

為了降低深度學習領域人體姿態估計算法的計算復雜度,本文提出了一種基于光流的快速人體姿態估計算法.該算法將視頻分為關鍵幀和非關鍵幀分別處理,利用光流場將關鍵幀人體姿態信息傳播到非關鍵幀,將高計算復雜度的人體姿態估計算法的計算復雜度轉移到低計算復雜度的光流信息的計算過程中,同時提出自適應關鍵幀檢測算法及融合算法,確定關鍵幀位置,防止光流預測不準確等問題.實驗表明當光流算法的計算復雜度低于對關鍵幀的人體姿態估計算法時,本文方法可以在檢測效果與原算法差異不大的情況下,有效地降低人體姿態估計的計算復雜度,提升檢測速度.在今后的工作中應該進一步考慮如何高效的選取關鍵幀,進一步對算法進行加速.

表1 人體姿態估計幀率及估計準確度比較