加權(quán)CCA多信息融合的步態(tài)表征方法

呂卓紋，王一斌，邢向磊，王科俊

（1. 四川師范大學(xué) 工學(xué)院，四川 成都 610068; 2. 哈爾濱工程大學(xué) 自動化學(xué)院，黑龍江 哈爾濱 150001）

由于步態(tài)容易受到物體遮擋、衣著、視角和攜帶物等協(xié)變量因素的影響，提取到的步態(tài)特征呈現(xiàn)很強(qiáng)的類內(nèi)變化[1-3]。為了解決這一問題，需要設(shè)計出更好的步態(tài)表征方法，使其更完備地表達(dá)有利于識別的步態(tài)特征[4-6]。近年來，基于類能量圖的方法是步態(tài)識別領(lǐng)域中的初級特征提取技術(shù)之一。Han等[7]將歸一化的一個周期步態(tài)圖像疊加，提出步態(tài)能量圖(gait energy image, GEI)，像素的濃度代表在該像素位置人體運動的頻率。Zhang[8]提出主動能量圖(active energy image, AEI)，前后幀間信息得到保留，可有效避免背包衣著等的影響，但丟失了步態(tài)圖像的靜態(tài)特征。為了克服衣著變化的影響，Bashir等[9]提出步態(tài)熵圖(gait entropy image, GenI)，GEI的動態(tài)及靜態(tài)信息得到有效分割。Lamthw等[10]提出步態(tài)流圖(gait flow image, GFI)，即將光流場引入到步態(tài)類能量圖中提取步態(tài)特征。Lee等[11]計算像素的均值和方差，累積周期中的每幀提出步態(tài)概率圖(gait probability image, GPI)，該方法表征步態(tài)幀間時序信息不完備。Deng等[12]計算周期步態(tài)軌跡參數(shù)提出步態(tài)動態(tài)圖(gait dynamics graph, GDG)，但是三維參數(shù)的提取過程較復(fù)雜。

一些研究人員通過融合不同的類能量圖實現(xiàn)特征完備表達(dá)。陳實等[13]提出彩色步態(tài)運動歷史圖(color gait history image, CGHI)表征時空步態(tài)序列信息。CGHI[13]將3種灰度圖像通過分配到RGB通道實現(xiàn)像素級融：單足站立為起點的前向單步運動歷史圖、對側(cè)足站立為起點的前向單步運動歷史圖和GEI。Hofmann等[14]通過決策級融合實現(xiàn)步態(tài)表征：GEI和深梯度直方能量圖(depth gradient histogram energy image, DGHEI)，該方法仍存在步態(tài)信息丟失的問題。CCA及其改進(jìn)方法在生物特征融合領(lǐng)域也有較多應(yīng)用[15-17]。采用串行和并行的方式融合CCA可以得到兩組步態(tài)特征。但是，串行和并行融合方式的先天不足，使得這種融合方式應(yīng)用的普適性不是很好。

針對步態(tài)特征表達(dá)不完備問題，本文提出一種基于加權(quán)CCA的多信息融合的步態(tài)表征方法。在GFI基礎(chǔ)上，首先，將行走的步寬時序信息編碼到RGB顏色空間，提升GFI的時序表征能力，得到多通道彩色類能量圖；然后，將R、G通道的步態(tài)特征進(jìn)行CCA，對得到的兩個新特征加權(quán)融合，融合結(jié)果與B通道特征重復(fù)上述融合過程。保留了初始特征關(guān)系屬性，得到的新特征融合了更有益識別的步態(tài)信息。本文采用彩色類能量圖保存步態(tài)特征，借助CCA去除特征間的冗余信息，同時將多通道信息融合成單通道，最后采用最近鄰分類器識別。

1 三通道彩色類能量圖

步態(tài)流圖(gait flow image, GFI)[15]提取的動、靜態(tài)信息更具區(qū)分度，將步態(tài)的非正面步寬特征編碼到RGB空間，增強(qiáng)了GFI的時序信息，得到三通道彩色類能量圖，克服了GFI蘊含的弱時序信息的缺點，包含更多的步態(tài)信息。

1.1 生成三通道彩色類能量圖

對非正面周期步態(tài)序列，步寬信息被編碼到RGB三通道，即投影到每幀圖像的GFI中，生成三通道彩色類能量圖，公式為

式中：p是四分之一周期的總幀數(shù)；Fi(x, y)是第i幀的GFI；Pi是第i幀的步寬；RGB的3個通道分別用 B (· ) 、 G ( ·)和 R ( · )表示。

一個步態(tài)周期的彩色類能量圖定義為

生成過程如圖1所示：第1行是水平方向的GFI；第2行是垂直方向的GFI；第3行是水平和垂直方向合成的GFI；第4行是增強(qiáng)時序信息后的彩色類能量圖；第5行是前一行生成的彩色類能量圖，包含四幅四分之一周期的彩色類能量圖；第六行是單周期的彩色類能量圖。

圖 1 彩色類能量圖步態(tài)特征描述Fig. 1 Colored class energy image gait feature representation

1.2 基于步寬的時序信息

采用一種基于步寬信息的線性插值函數(shù)關(guān)系，將周期步態(tài)的時序信息編碼到三通道RGB空間，不僅能夠提升步態(tài)時序特征表達(dá)能力，還實現(xiàn)了時序特征的可視化。以四分之一步態(tài)周期為例，定義步寬信息Pi：

式中： Δj是每幀圖像前景第j行的左右像素點位置之差；圖2標(biāo)識了h1和h2；Gi表示第i幀腿部區(qū)域?qū)挾鹊钠骄担籊max和Gmin為Gi的兩個最值。

圖 2 人體測量學(xué)比例Fig. 2 Anthropometric percentages

可視化技術(shù)能夠表示某些隨時序變化的數(shù)據(jù)特征[18]，將人體步態(tài)的寬度投影到RGB通道進(jìn)行可視化，I是圖像像素的最大值，比如1或255，公式為

2 加權(quán)CCA融合多通道信息

彩色類能量圖是多通道圖像，采用最近鄰分類器進(jìn)行分類識別時需要先將其變?yōu)橐痪S向量，如像素級融合方法，即將彩色圖像灰度化：

像素級融合能夠使一部分信息增強(qiáng)，與此同時，也使得一些對識別有益信息削弱。CCA及其改進(jìn)的算法將具有相關(guān)關(guān)系的特征接近，與其他特征遠(yuǎn)離，可分性較好，能夠應(yīng)用到多通道特征融合。

2.1 CCA理論基礎(chǔ)

CCA[19]是常用的多元統(tǒng)計分析方法之一，旨在研究變量間的相關(guān)關(guān)系。CCA旨在尋找兩組隨機(jī)變量各自的線性變換，使得投影后的兩組隨機(jī)向量中對應(yīng)元素之間的相關(guān)性最大。

定義均值是0的兩組隨機(jī)矩陣分別為X和Y，矩陣中樣本數(shù)均為n，即 x1, x2,...,xn是X中的樣本， y1,y2,...,yn是Y中的樣本。CCA算法目的是求得兩個 映 射 px和 py， 使得樣 本 xi和 yi映 射后在 新 的空間相關(guān)度最大，公式為

式中 E (· ) 為 期望。 px和 py的 尺度對式(2)值沒有影響，可以約束 pTxX XTpx=pTyYYTpy=1。式(2)改寫為

利用拉格朗日乘子法可以解決式(3)的優(yōu)化問題：

求解式(4)，選取前 d (d ≤n)對映射向量組成投影矩陣 Wx和 Wy，提取X和Y之間的典型相關(guān)特征u=WxX 和 v = WyY。

2.2 加權(quán)CCA融合彩色類能量圖

彩色類能量圖的3個通道特征分別為XR、XG、XB，特征維數(shù) m ×n，其中 m ? n，m 是 特征向量包含元素個數(shù)，n表示訓(xùn)練樣本數(shù)。

加權(quán)CCA融合彩色類能量圖算法步驟如下：

這種融合方法的優(yōu)點在于：可分性較好，初始特征關(guān)系得到保留，加權(quán)融合得到的新特征具有更多有益于識別的信息。另外，若XRGB的維數(shù)較大，可對XRGB降維。在運算速度上，與其他融合方式相比，如串行或并行融合，特征維數(shù)沒有增加且在實數(shù)域運算，顯然具有最低的運算量。

2.3 計算復(fù)雜度分析

對于分辨率為xy，包含步態(tài)圖像幀數(shù)為 η 的步態(tài)序列，訓(xùn)練樣本的數(shù)目是n；生成三通道彩色類能量圖的計算復(fù)雜度為 O ( n ·η·(x·y)2)；加權(quán)CCA融合后得到的XRGB計算復(fù)雜度為 O ( ( x·y)6)。采用像素級融合后得到步態(tài)特征的計算復(fù)雜度為O(n·η·(x·y)6)。其他類能量圖方法(如GEI)，計算復(fù)雜度為 O ( η ·x·y)， G FI計算復(fù)雜度為 O ( η ·(x·y)2)。

3 實驗結(jié)果與分析

本文所提算法的有效性實驗在USF Human-ID[20]步態(tài)數(shù)據(jù)集上進(jìn)行。實驗的測試平臺為IntelCore 2.5 GHz的CPU、4 GB內(nèi)存、Windows 7操作系統(tǒng)，測試代碼在MATLAB2016a上編譯運行。

以雙腳支撐為計算步態(tài)周期的起始點，一個步態(tài)序列可得到幾幅單周期的類能量圖，然后將這幾幅平均成一幅進(jìn)行分析。采用最近鄰分類器進(jìn)行識別。本文進(jìn)行了3組實驗：第1組，與其他類能量圖相比，本文提出算法的識別率；第2組，權(quán)值 α 、β、δ、γ取不同值時，本文提出算法的識別性能；第3組，生成各類能量圖時間對比。

在執(zhí)行CCA時，廣義特征值分解會遇到“維數(shù)災(zāi)難”，為了避免這一問題，先對彩色類能量圖降維，采用奇異值分解(SVD)算法，選取特征值之和的99.9%對應(yīng)的向量，然后再進(jìn)行CCA。本文采用奇異值分解(SVD)實現(xiàn)PCA。

3.1 多通道彩色類能量圖有效性實驗

將本文提出的CCA融合三通道表征標(biāo)記為CFR，采用像素級加權(quán)融合三通道特征得到的步態(tài)表征標(biāo)記為PFR，并對比了其他常用的步態(tài)表征方法，如步態(tài)能量圖GEI、步態(tài)流圖GFI。表1中CFR對應(yīng)參數(shù)取值為 α = 0.4， β =0.6， γ =0.9 ， δ=0.1；PFR 對 應(yīng)參數(shù)取值為 u = 0.7，v = 0.1，w = 0.2。

表 1 本文算法表征步態(tài)特征性能對比Table 1 Comparison of the performances of gait features representation methods %

表1中，與GEI、GFI相比，Rank1指標(biāo)下，CFR將平均識別率提高了15.72%、14.22%，PFR將平均識別率提高了5.5%、4%；CFR較PFR識別率提高了10.22%；Rank5指標(biāo)也得到了大幅度提升。分析表1中數(shù)據(jù)可知，本文提出的三通道彩色類能量圖作為步態(tài)表征是有效的，描述了更多有利于識別的動態(tài)、靜態(tài)和時序信息；提出的基于加權(quán)CCA融合多通道信息的步態(tài)表征包含較多有益于識別的信息，取得最優(yōu)識別性能。

3.2 參數(shù)對本文提出的表征方法性能的影響

權(quán)值參數(shù)α、β、δ、γ影響本文提出算法的識別性能。為了分析參數(shù)取值對識別性能的影響，進(jìn)行了81組實驗，參數(shù)取值范圍為0.1～0.9，表2給出了10組參數(shù)的實驗結(jié)果。

將測試的對象A～L分為3類：第Ⅰ類，要依靠靜態(tài)信息進(jìn)行識別；第Ⅲ類，主要依靠動態(tài)信息和時序信息進(jìn)行識別；第Ⅱ類介于上述兩類之間，靜態(tài)、動態(tài)及時序信息在識別時占有的地位相同。由表2、表3可知：R、G通道加權(quán)系數(shù)α、β一定時，隨著B通道加權(quán)系數(shù)γ減小，第Ⅰ、Ⅱ、Ⅲ類及總的平均識別率均呈上升趨勢，當(dāng)γ進(jìn)一步減小，識別率會略微下降。以α=0.5為例，γ =0.3相較γ = 0.9的情況下平均識別率提高了6.41%；第I類平均識別率提高了10.4%，第Ⅱ類平均識別率提高了6%，第Ⅲ類平均識別率提高了4.4%。

表 2 參數(shù)對本文提出算法識別率的影響Table 2 Influence of parameters on the proposed algorithm's recognition rate %

表 3 參數(shù)對本文提出算法每類平均識別率的影響Table 3 Average recognition rates using different parameters in the methodsproposed for each class %

3.3 生成類能量圖時間對比

2.3節(jié)從理論上分析了生成表4各類能量圖的計算復(fù)雜度，進(jìn)一步，本文在USF數(shù)據(jù)庫上做了生成類能量圖的時間對比實驗。在多數(shù)情況下，單幅類能量圖生成時間很短，為便于記錄及對比分析，表4中的時間為Gallery組(即訓(xùn)練組)生成類能量圖時間的總和，通過表4中數(shù)據(jù)可知，實驗結(jié)果與計算復(fù)雜度的理論分析一致。生成CFR 、PFR時間相對較長，但在本實驗平臺下，每秒仍能處理90幀以上數(shù)據(jù)圖像，可以滿足實時步態(tài)識別系統(tǒng)的需求。

表 4 生成各步態(tài)特征時間對比Table 4 Comparisons of generation time of gait characteristics

4 結(jié)束語

本文提出了一種新的步態(tài)表征方法。該方法增強(qiáng)了GFI時序信息的表達(dá)，采用CCA去除特征間的冗余信息的同時將多通道信息融合成單通道，使得新特征具有更豐富有益識別的信息，在協(xié)變量變化較大的USF數(shù)據(jù)集進(jìn)行實驗，由實驗數(shù)據(jù)可知，本文提出的方法使得識別率得到了顯著的提升。

下一步打算對本文算法直接選取已有的類能量圖分配到RGB通道；為了降低計算復(fù)雜度，可將融合算法CCA方法擴(kuò)展到非線性耦合度量學(xué)習(xí)空間。