基于人臉識別與光流追蹤的移動機(jī)器人視覺導(dǎo)航方法

李佺振，王 強(qiáng)，曾 勇，于 蒙

（武漢理工大學(xué) 物流工程學(xué)院，武漢430063）

移動機(jī)器人通過跟隨人體目標(biāo)實現(xiàn)視覺導(dǎo)航是一種較為便捷的方式。近年來，視覺導(dǎo)航機(jī)器人被廣泛應(yīng)用于工業(yè)和服務(wù)領(lǐng)域，如載貨機(jī)器人[1]、老人看護(hù)機(jī)器人[2]、智能輪椅[3]等。實時定位目標(biāo)是移動機(jī)器人順利實現(xiàn)跟蹤導(dǎo)航的核心。超聲波傳感器、 單線激光雷達(dá)、RGB-D 相機(jī)等多種傳感器的應(yīng)用[4]，在一定程度上提高了移動機(jī)器人跟蹤目標(biāo)的精度。

當(dāng)目標(biāo)處于多人干擾環(huán)境時，利用RGB-D 相機(jī)或雙目立體相機(jī)獲取深度信息并結(jié)合骨架跟蹤定位跟蹤目標(biāo)時，易受深度圖像精度和周圍環(huán)境變化的影響， 導(dǎo)致目標(biāo)跟蹤的準(zhǔn)確性和實時性下降[5]。

為了提高目標(biāo)跟蹤的準(zhǔn)確性和實時性，在此提出結(jié)合基于OpenCV-Haar 特征提取的人臉檢測與識別算法和KLT 稀疏光流追蹤法的移動機(jī)器人視覺導(dǎo)航方法。依據(jù)每個跟蹤目標(biāo)相貌不同的特點，通過人臉識別算法確定跟蹤目標(biāo)[6]；使用稀疏光流算法提取目標(biāo)特征點進(jìn)行跟蹤。在真實環(huán)境中通過Pioneer-LX 機(jī)器人， 驗證了基于人臉識別與光流追蹤的視覺導(dǎo)航算法在多人環(huán)境下準(zhǔn)確識別并跟蹤目標(biāo)的實時性和有效性。

1 FR-KLT 視覺導(dǎo)航方法

通過人臉識別算法檢測人臉并進(jìn)行識別確定跟蹤目標(biāo)，通過Harris 角點檢測算法提取目標(biāo)特征點[7]，使用KLT（Kanade-Lucas-Tomasi）稀疏光流追蹤算法確定目標(biāo)特征點的運動信息，實現(xiàn)移動機(jī)器人跟隨目標(biāo)移動。KLT 算法效率高、速度快，結(jié)合人臉識別提高了移動機(jī)器人視覺導(dǎo)航中目標(biāo)定位的精度和實時性。

1.1 目標(biāo)人臉檢測識別

實現(xiàn)移動機(jī)器人的行人引航需要準(zhǔn)確檢測到目標(biāo)人體，通過人臉檢測與識別進(jìn)行目標(biāo)定位。在此，運用OpenCV，在滑動窗口與Haar 特征級聯(lián)分類器檢測[8]的雙機(jī)制作用下，進(jìn)行人臉檢測識別。Haar 特征檢測進(jìn)行人臉檢測訓(xùn)練后生成一個xml特征池，之后使用固定大小的滑動窗口將待檢測的圖像與特征池進(jìn)行遍歷比對。進(jìn)行Haar 特征訓(xùn)練時， 對于輸入的訓(xùn)練圖像制作圖像金字塔模型，如圖1所示，以適應(yīng)不同大小的圖像。由于圖像的任何位置出現(xiàn)人臉的可能性相同，在檢測的過程中使用大小固定的窗口對圖像進(jìn)行遍歷，將遍歷窗口像素的RGB 通道值與xml 特征池進(jìn)行比對，從而判斷該圖像是否為人臉，并準(zhǔn)確定位目標(biāo)人臉。

通過移動機(jī)器人攝像機(jī)拍攝的視頻流進(jìn)行目標(biāo)人臉檢測識別之后，忽視除目標(biāo)人體外的圖像區(qū)域，突出目標(biāo)所在的區(qū)域。只對目標(biāo)所在區(qū)域進(jìn)行Harris 角點提取，從而減少計算量，提高跟蹤的實時性。

圖1 圖像金字塔模型Fig.1 Image pyramid model

1.2 KLT 光流法目標(biāo)特征點提取

目前光流追蹤法廣泛應(yīng)用于平面圖像和視頻流圖像的物體追蹤[9]。其中，稠密光流法需要對空間所有像素點進(jìn)行微分計算，計算量大，實時性不高；稀疏光流法只需要提取目標(biāo)的特征點并進(jìn)行跟蹤，計算量大幅下降，能夠有效提高目標(biāo)跟蹤的實時性。

KLT 光流法是一種兩幀差分的光流估計算法，利用幀間特征點信息并采用最小二乘方法（最優(yōu)估計方法）實現(xiàn)幀間特征點的匹配。KLT 光流法認(rèn)為平面圖像所有像素點的速度矢量構(gòu)成光流場，當(dāng)物體連續(xù)運動時，對應(yīng)圖像上的像素點位置坐標(biāo)發(fā)生變化，光流場也發(fā)生相應(yīng)改變。假設(shè)，圖像上某一點坐標(biāo)（x，y）在t 時刻的亮度為I（x，y，t），經(jīng)過時間Δt亮度變化到I（x+Δx，y+Δy，t+Δt），當(dāng)Δt 趨于無窮小時，認(rèn)為該點的亮度不變，即

將式（1）泰勒展開，取極值，得到的光流計算基本公式為

其中

式中：u，v 為光流場中像素點在x，y 方向的速度分量。通過u，v 求得該點運動速度，測算出該點的運動方向與下一時刻的位置。

將移動機(jī)器人拍攝的目標(biāo)人體圖像進(jìn)行灰度處理后，通過人臉檢測識別算法劃分出部分區(qū)域進(jìn)行Harris 角點（即目標(biāo)人體的特征點）提取，并進(jìn)行特征點位移方向預(yù)測。Harris 角點檢測算法通過一個固定窗口對人臉識別劃分的圖像區(qū)域進(jìn)行檢測，比較檢測前后窗口中像素灰度值變化程度，如果該點的灰度值與周圍圖像灰度值存在較大差距，則認(rèn)為該點為Harris 角點。窗口中像素點通過高斯濾波公式

卷積運算后的灰度值為

式中：a 為窗口沿x 方向的運動；b 為沿y 方向的運動；（a，b）為窗口的移動量；（x，y）為窗口內(nèi)對應(yīng)像素點坐標(biāo)；I（x，y）表示窗口移動前的灰度值，I（x+a，y+b）表示窗口移動后的灰度值。選取E（a，b）中合適的點作為Harris 角點。對I（x+a，y+b）進(jìn)行泰勒展開并略去高階無窮小，有

矩陣M 的2 個特征值λ1，λ2在函數(shù)E（a，b）中反映曲率大小。Harris 角點檢測算法的基本原理[10]如圖2所示，如果這2 個特征值都偏小，則窗口區(qū)域內(nèi)的灰度值趨于常量，灰度變化不明顯，不適合作為特征點；如果2 個特征值一個偏大，一個偏小，則表示該點處于圖像的邊緣區(qū)域，即沿著某一方向的灰度值變化明顯，而沿著另一方向的灰度變化不明顯，也不適合作為特征點；如果2 個特征值都偏大，窗口沿著任意方向的灰度變化都很明顯，則適合作為特征點。

圖2 Harris 角點檢測算法原理Fig.2 Schematic of Harris corner detection algorithm

引入響應(yīng)函數(shù)[11]求解角點，即

其中

式中：detM 為矩陣行列式；trM 為矩陣的跡；k 為修正系數(shù)，取k=0.04～0.06。通過式（7）求出R 值，并設(shè)置相應(yīng)的閾值T， 當(dāng)R>T 時表明2 個特征值λ1，λ2足夠大，并將該點作為特征點候選點。使用大小為3×3 的窗口檢測特征點候選點， 選出極大值作為該窗口的角點，即特征點。

但是當(dāng)局限域Ω 中某些點違反了光流條件或局限域運動不連續(xù)，如出現(xiàn)陰影、燈光突然變暗等，所求得的解誤差增大。引入Hessian 矩陣[12]對解進(jìn)行優(yōu)化。使用Hessian 矩陣條件數(shù)判斷局限域內(nèi)滿足基本約束的程度，篩選出滿足約束條件的特征點進(jìn)行求解穩(wěn)定的光流矢量?；诠饬鞣匠淌剑?）對x，y求偏導(dǎo)并寫成矩陣形式：

將Hessian 矩陣定義為

Hessian 矩陣的條件個數(shù)為

式中：λmax和λmin分別為矩陣H 的最大特征值和最小特征值。計算每點對應(yīng)Hessian 矩陣的秩和條件數(shù)，根據(jù)條件數(shù)設(shè)置秩的許用值σ，大于該許用值的點認(rèn)為是可靠的特征點，并將其條件數(shù)進(jìn)行歸一化處理，倒數(shù)作為該特征點的權(quán)重，即

最后根據(jù)加權(quán)最小二乘法求解特征點的u，v 值。

2 算法流程

在此主要針對移動機(jī)器人實時拍攝的經(jīng)過人臉識別算法確定識別區(qū)域的視頻影像， 通過KLT稀疏光流法進(jìn)行特征點追蹤。追蹤算法流程如圖3所示。

圖3 光流追蹤流程Fig.3 Optical flow tracking flow chart

當(dāng)攝像機(jī)輸入第1 張圖像， 并進(jìn)行灰度處理后， 通過人臉檢測識別算法確定追蹤區(qū)域， 然后Harris 角點算法開始檢測待追蹤區(qū)域圖像中的特征點，并繪制與保存這些特征點。當(dāng)輸入第2 幀灰度圖像后，KLT 光流算法利用加權(quán)最小二乘法求出u，v 值，并計算出下一幀特征點會出現(xiàn)的位置。此時Harris 角點算法計算出來的特征點追蹤到這一位置，之后通過攝像機(jī)更新輸入的灰度圖像，Harris 角點算法基于新圖像計算出新的特征點，取代原有特征點數(shù)據(jù)，通過KLT 光流算法基于這些特征點測算出它們下一幀出現(xiàn)的位置，并讓這些特征點追蹤到這一位置。如此循環(huán)迭代，實時測算并追蹤特征點以加快移動機(jī)器人的追蹤速度。

3 試驗驗證

在真實環(huán)境中通過Pioneer-LX 機(jī)器人，對所提出的視覺導(dǎo)航算法在多人環(huán)境下準(zhǔn)確識別并跟蹤目標(biāo)的實時性和有效性進(jìn)行驗證。

在武漢理工大學(xué)化學(xué)樓310 實驗室的真實環(huán)境內(nèi)， 使用Pioneer-LX 移動機(jī)器人研究平臺，在Windows 7 系統(tǒng)下， 實現(xiàn)對目標(biāo)的檢測、 識別與跟蹤。Pioneer-LX 移動機(jī)器人通過?？低晹z像頭進(jìn)行圖像捕捉，使用OpenCV 庫2.4.8 版對攝像頭獲取的圖像進(jìn)行處理。Pioneer-LX 移動機(jī)器人實驗平臺如圖4所示。

圖4 Pioneer-LX 移動機(jī)器人實驗平臺Fig.4 Experimental platform of mobile robot Pioneer-LX

先通過人臉識別算法檢測識別出目標(biāo)人臉，并劃分出提取特征點的圖像范圍，如圖5所示。由圖可見，右上角對話框?qū)z像頭所傳入的圖像進(jìn)行提取識別，該對話框中的圓圈標(biāo)記即為人臉。

圖5 驗證試驗中人臉識別Fig.5 Face recognition in verification test

攝像機(jī)輸入的圖像經(jīng)過人臉檢測識別劃分特征點檢測區(qū)域后進(jìn)行灰度處理，然后通過Harris 角點檢測算法提取被劃分的圖像區(qū)域內(nèi)的目標(biāo)特征點，并將提取出來的特征點繪制顯示在圖像中，如圖6所示。

圖6 驗證試驗中特征點提取Fig.6 Feature point extraction in verification test

當(dāng)目標(biāo)人體移動時，通過KLT 光流算法對比前后2 幀圖片測算出下一幀圖像的特征點，并更新上一幀圖像的特征點，然后保存特征點數(shù)據(jù)并繪制出跟蹤軌跡， 如圖7所示右下角camera input 圖像框及其放大圖。

圖7 移動目標(biāo)特征點跟蹤情況Fig.7 Tracking of moving target feature points

KLT 光流追蹤算法根據(jù)人體的移動趨勢，追蹤特征點到下一位置，camera input 圖像框中的線條表示目標(biāo)人體從前一幀到后一幀的移動趨勢，通過追蹤這些特征點實現(xiàn)移動機(jī)器人實時追蹤目標(biāo)人體移動。移動機(jī)器人通過判斷特征點的移動趨勢調(diào)節(jié)旋轉(zhuǎn)角度，保證目標(biāo)人體始終位于移動機(jī)器人視野范圍中央；通過激光雷達(dá)探測當(dāng)前位置與目標(biāo)位置的距離，如果大于設(shè)定的閾值，則朝目標(biāo)方向運動；如果小于設(shè)定的閾值，便停止運動。如果目標(biāo)人體移動速度過快，超出了移動機(jī)器人攝像頭的視野范圍，移動機(jī)器人停止移動并根據(jù)前一幀圖像基于KLT 光流算法測算出人體運動趨勢，進(jìn)而朝目標(biāo)運動方向旋轉(zhuǎn)一定角度找尋目標(biāo)。圖像更新的同時，特征點數(shù)據(jù)也會隨著更新，從而實現(xiàn)KLT 光流追蹤算法的循環(huán)迭代。

移動機(jī)器人在進(jìn)行目標(biāo)跟蹤時，偏轉(zhuǎn)角度會隨目標(biāo)特征點的移動而變化。當(dāng)目標(biāo)人體移動時，移動機(jī)器人位置變化數(shù)據(jù)見表1。以表中第1 行為例，移動機(jī)器人的位置數(shù)據(jù)為：camera input 圖像框?qū)挾葹?00 像素格； 移動機(jī)器人初始偏轉(zhuǎn)角度為-101°；當(dāng)目標(biāo)中心移動到296 像素格位置時，移動機(jī)器人向左偏轉(zhuǎn)3°進(jìn)行跟蹤。

表1 追蹤數(shù)據(jù)變化值Tab.1 Tracking data change values

移動機(jī)器人的目標(biāo)跟蹤效果如圖8所示。當(dāng)目標(biāo)人體從圖8a 中的點A1 位置移動到圖8b 中的點A2時，移動機(jī)器人追蹤目標(biāo)人體從圖8a 中的點B1 位置移動到圖8b 中的點B2，偏轉(zhuǎn)角度也發(fā)生相應(yīng)改變。

圖8 移動機(jī)器人目標(biāo)跟蹤效果Fig.8 Target tracking effect image of mobile robot

FR-KLT 視覺導(dǎo)航算法與光流追蹤算法[11]跟蹤目標(biāo)的性能對比如圖9所示。

圖9 跟蹤性能的對比Fig.9 Comparison of tracking performance

通過以上結(jié)果，可以驗證基于人臉識別與光流追蹤的視覺導(dǎo)航算法，在真實環(huán)境下準(zhǔn)確識別并跟蹤目標(biāo)的實時性和有效性。

4 結(jié)語

所提出的基于人臉識別算法與KLT 稀疏光流追蹤算法的移動機(jī)器人視覺導(dǎo)航方法，將人臉檢測與識別應(yīng)用于目標(biāo)定位， 提高了目標(biāo)定位的精度。同時， 將通過人臉識別劃分出目標(biāo)區(qū)域的圖像，使用KLT 光流追蹤算法對目標(biāo)區(qū)域進(jìn)行目標(biāo)特征點提取與測算，減少了計算量，從而提高了目標(biāo)跟蹤的實時性。通過Pioneer-LX 移動機(jī)器人在真實環(huán)境下的試驗，驗證了該視覺導(dǎo)航方法的有效性。該試驗由于Pioneer-LX 的攝像頭數(shù)據(jù)通過服務(wù)器傳到計算機(jī)，導(dǎo)致其反應(yīng)速度延遲1～2 s，實際試驗過程中Pioneer-LX 的反應(yīng)速度稍微下降，但相對提高了實時性。