全向輪移動機器人的視覺目標跟蹤研究*

繆文南，周 政，陳雪嬌，曹鬧昌

(華南理工大學廣州學院電子信息工程學院，廣州 510800)

0 引言

自主移動機器人是集環境感知、路徑規劃、智能控制等多功能于一體的綜合控制系統，可輔助或代替人在復雜地形條件下完成既定任務[1]。在未知的環境下，機器人利用自身靈活的機械結構和視覺傳感器，獲取環境信息同時，識別動靜態物體并快速躲避或跟蹤物體，廣泛應用于安防、無人駕駛、危險區域、軍事國防等場景中[2-3]。

考慮應用的環境比較好，如社區、工廠、學校等，機器人采用全向輪輪式結構。為了使輪式機器人在運動過程中更加快速和靈活，底盤結構按照軸心120°進行設計。但移動機器人設計方面仍然存在兩大難題[4]：第一，在規劃固定的路線上行駛時，一旦出現區域狹窄、地面復雜情況下，將導致機器人的運行速度下降甚至出現不能運行情況[5]。第二，移動機器人的跟蹤檢測裝置一般通過固定支架攝像頭進行錄制或者拍攝，攝像頭圍繞固定點進行移動，視野受限，當目標在快速移動、被遮擋時，容易造成目標丟失。為解決上述兩個問題，首先研究了機器人硬件結構和三軸全向輪的運動學模型并進行了優化，使它具有全姿態、機動性強、穩定性高等特點[6]。其次移動機器人安裝云臺，在云臺上搭載攝像頭，讓監控及識別攝像頭全方位、360°旋轉起來。

準確的目標跟蹤除了有良好的機械機構，還需要搭載良好的視覺跟蹤算法，因此要求視覺跟蹤算法必須滿足實時性、跟蹤失效后可恢復跟蹤、精準度三點要求[7]。目前有許多成熟的視覺跟蹤算法，如TLD算法[8]、KCF算法[9]、DSST算法[10]等。TLD算法具有長時間跟蹤、目標丟失可恢復等特點，但是該算法計算復雜，實時性較低等問題[11-13]。KCF算法的實時性和跟蹤精準度較高，但是在復雜背景下，跟蹤目標容易丟失，在長時間跟蹤方面仍然是一個瓶頸[14]。

本文結合全向輪運動模型、圖像識別、無線通信等技術，對全向輪移動機器人的視覺目標跟蹤進行了研究。針對機器人結構及運動特點，視覺跟蹤算法在TLD框架下使用KCF算法代替TLD算法的跟蹤器，并在跟蹤瞄準過程中采用HOG特征和CN顏色特征的算法，有效解決復雜背景和快速移動時跟蹤較差的問題。

1 系統方案設計

1.1 系統控制架構設計

系統總體方案如圖1所示，由上位機PC機和下位機機器人兩大部分組成。PC機利用USB接口分別接了5.8G的圖傳模塊和2.4G無線模塊，與機器人通信。機器人的攝像頭實時采集圖像信息，通過5.8G無線圖傳模塊發送給PC機，手動框線目標后，PC機通過機器視覺智能跟蹤算法計算目標位置，將實時的目標位置使用2.4G的無線模塊傳送給機器人，機器人通過串口接收到2.4G無線模塊信息后分析處理，生成指令驅動三軸全向輪機器人移動至目標適合距離和調整云臺俯仰角和偏向角的角度，實現目標自動跟蹤。當目標進入瞄準區域時，STM32微處理器發送命令給射擊裝置進行目標精準射擊。

圖1 系統總體方案

機器人實體結構如圖2所示，下位機機器人硬件包含主控系統、動力系統、圖像識別模塊、電池及電源管理模塊、射擊裝置等。

圖2 機器人機械結構框圖

主控系統采用STM32F103芯片；動力系統包含電機驅動電路和編碼器的減速電機，電機驅動電路采用A4950芯片，編碼器的減速電機的型號為JGB37-520B；圖像識別模塊包含攝像頭和圖傳設備。兩軸機械云臺由KS3518和KS3527兩種扭力較大的舵機組合而成。考慮到攝像頭小型化、輕量化、供電便捷特點，云臺搭載的高清攝像頭選用Run-Cam Eagle 2 Pro型號。圖傳設備發射器選用熊貓5.8G的PandaRC VT5804M V2 Pro型號。

1.2 機器人底盤結構運動學模型設計與優化

機器人采用三軸全向輪式架構，由三個輪軸對底盤產生合力驅動機器人運動，底盤架構按照軸心120°進行設計，全向輪由帶編碼器的減速電機驅動，底盤上安裝角度傳感器以便檢測機器人移動角度信息。機器人運動學模型[15-16]如圖3所示，建立地理坐標系(X，Y)和機器人自身的坐標系為(Xe，Ye)，地理坐標與機器人坐標系的夾角為θ。機器人的坐標系的原點為機器人底盤的質心上，與機器人三軸全向輪軸心交匯處，車輪中心到車體中心的距離為r，速度使用vxe和vye表示，其中三個全向輪的速度分別為V1、V2、V3，ω為底盤的旋轉角速度，δ為行走方向偏移量。則全向輪的速度在機器人坐標系和地理坐標系下的速度分量的關系分別為式(1)、式(2)：

(1)

(2)

圖3 機器人運動學模型

機器人的云臺搭載了攝像頭和射擊裝置，當機器人移動時，攝像頭視野的方向并非移動的方向，往往造成視野的盲區。攝像頭目標跟蹤時，機器人移動容易導致目標移出視野，造成目標跟丟情況。于是在全局坐標系(X，Y)和機器人自身的坐標系為(Xe，Ye)基礎上增加云臺坐標系為(Xt，Yt)，實現機器人移動與云臺轉向聯動，使得攝像頭(即射擊裝置方向)的指向為機器人前進的方向，云臺在轉向過程中，機器人的前進方向也隨之改變。在目標靜止或移動過程中，機器人結合云臺實現實時跟蹤，在鎖定目標后可實現靜止射擊。云臺坐標系為(Xt，Yt)與機器人坐標系(Xe，Ye)夾角為β，改進后的全向輪的速度在機器人坐標系和地理坐標系下的速度分量的關系分別為式(3)和式(4)：

(3)

(4)

2 視覺目標跟蹤算法設計

2.1 TLD算法

TLD算法由Zdenek Kalal提出的一種新的單目標長時間跟蹤算法[17]。主要包括跟蹤模塊、檢測模塊和學習模塊。TLD算法結合跟蹤模塊和檢測模塊解決目標在跟蹤過程發生形變、被遮擋、移出視野等情況下無法重新捕獲目標等問題。同時該算法參考了在線學習機制，檢測模塊避免時間累積導致跟蹤模塊產生誤差，不斷糾正跟蹤模塊。但是在一些復雜的場景中，TLD算法仍然無法解決長時間跟蹤致使跟蹤模塊中的數據誤差逐漸增大，所以當目標完全被遮擋或者消失視野時，則不可避免地出現跟蹤失效。

2.2 KCF算法跟蹤器

KCF目標跟蹤算法是一種鑒別效果比較好的追蹤方法[18]。在目標跟蹤過程中，KCF算法將每一幀的訓練樣本進行循環移位，獲取圖像的響應圖，構建復雜的循環結構矩陣訓練樣本，對于矩陣樣本根據距離目標區樣本xi建立所對應的標簽值yi，所獲得的的標簽值對于圖像目標的距離服從高斯分布。KCF算法采用高斯label函數，多項式核可以進一步利用循環矩陣計算核函數的循環矩陣，提高HOG特征在目標跟蹤過程中的穩定型，核循環矩陣函數如下：

(5)

其中，k為核空間的核矩陣，kxx′表示k循環矩陣第一行元素的傅里葉變換。KCF算法利用循環矩陣的特征選取和多通道特征核進行傅里葉變換對角化，避免矩陣求逆操作，大大降低了訓練樣本的時間和計算的復雜度，提高了跟蹤速度。但是KCF函數由于只采用了HOG多通道特征，跟蹤器在跟蹤過程中目標框漂移時，不能重啟檢查模塊，于是目標在遮擋或者快速移動時，容易導致目標跟蹤失敗。

2.3 本文算法

本文算法提出基于TLD框架下KCF算法替換中直流跟蹤器，利用KCF算法的多通道特征融入HOG特征和CN顏色特征，如圖4所示。本文算法兼有TLD和KCF兩種算法優點，加入顏色特征信息，進一步提高視覺跟蹤算法的跟蹤性能，增強遮擋和目標丟失等情況的處理能力，雖然改進的算法思路較為簡單，但是跟蹤效果明顯，既提高了目標跟蹤過程中的精度和成功率，又增強了機器人在長時間目標跟蹤過程中的魯棒性和適用性。

CN顏色特征類似RGB，是一種顏色空間,表示賦給某塊圖像區域的顏色標簽的概率，即向量P={P紅,P綠,P黃,P藍..........}。CN顏色特征對色彩變化比較敏感，因此對目標形變、運動模糊、移動過程中的跟蹤效果更好。利用KCF算法的多通道特征，讓HOG特征與CN顏色特征相互補充，提升模型在處理遮擋和目標丟失等情況的判別能力。假設HOG特征通道數c,CN顏色特征通道數為c′，則c+c′多個通道可生成向量X=[x1,x2,x3......xc+c′]，式(5)可以變換為新的高斯核方程，如公式(6)：

(6)

圖4 本文視覺跟蹤算法

3 視覺導航流程設計

本文算法為機器人提供準確的目標位置信息，使用機器視覺Opencv開源庫實現，圖5為目標跟蹤坐標示意圖。目標框紅色框表示，框選的特征值框綠色框表示，圖像坐標中心瞄準區域藍色框表示。視覺導航具體流程如下：

(1)讀取攝像頭圖像信息。

（7）閃著光的是黃色的和綠色的瓦，在一抹云的細帶沒有鎖住那里透出了朱紅的廊柱，一樓一臺地連亙著，使人記起了若干年前帝王的豪華。（1936·《山的路》）

(2)用戶框選目標，獲取特征值框。

(3)將特征值框轉換成灰度圖，存放模版集中。

(4)讀取攝像頭下一幀圖像信息。

(5)對圖像使用改進的圖像識別跟蹤算法運算，啟動在線學習、樣本訓練、檢測、更新、優化、確定目標像素特征，同時檢測模版是否在新的圖像中。

(6)返回跟蹤框包圍框，計算跟蹤框重心坐標。

(7)判斷目標是否進入瞄準區域(設置瞄準區域像素大小3×3)。當各種目標在瞄準區域內，則可以執行自動射擊命令。當目標在區域以外，機器人和攝像頭云臺運動，計算機器人與攝像頭云臺運動的距離、轉角和偏移量，計算公式如式(1)和式(2)。其中X為云臺在水平方向上的偏移量，Y為云臺在豎直方向上的偏移量，目標重心的圖像坐標(x,y)。x，y的正負號表示目標重心在圖像坐標的區域，當x>320表示目標重心的圖像坐標偏右，當x<240，表示目標重心的圖像坐標偏左，同理得當y<240，圖像坐標偏下，當y>240，圖像坐標偏上。由于圖像坐標采用的是int型為整數故對應的圖像坐標為非亞像素級坐標。

(7)

(8)

圖5 目標跟蹤坐標示意圖

4 系統測試與分析

機器視覺目標跟蹤全向輪機器人通過結構設計、安裝、軟硬件設計與改進調試后，進行完整的系統測試工作。為了驗證系統的完整性和有效性，主要對機器視覺跟蹤和機器人整體性能進行測試。

4.1 視覺跟蹤測試

為了驗證算法的有效性，實驗硬件為：處理器Intel-i5,主頻1.6GHz,內存8G，操作系統windows 10，軟件為OPENCV3.0，機器人拍攝視頻跟蹤框起始中心點為(320,240)。目標跟蹤算法TLD算法、KCF算法和本文算法在OTB100基準數據集進行對比實驗。涵蓋了目標形變(SV)、目標旋轉(PR)、目標遮擋(OCC)、光照影響(LR)、背景干擾(BC)、移出視野(OV)等6種情況。為了更直觀地對算法進行定性分析和定量分析，本文選取了6組具有代表性的視頻用于定量分析, 圖6為各組視頻序列實驗結果的部分截圖，紅色跟蹤框為TLD算法；黃色為KCF算法；綠色為本文算法。結果顯示，本文設計的算法對目標遮擋、光照影響、目標移出視野具有較強的魯棒性，TLD算法平均幀率24.56 fps，KCF算法平均幀率35.6 fps。本文的算法平均幀率32.22 fps，幀率較TLD算法高。同時視覺追蹤的成功率圖和精度圖通過MATLAB軟件進行分析比較，結果如圖7所示。結果顯示，本文算法的精度和成功率分別為91.5%和71.2%，明顯高于TLD算法和KCF算法。為此，本文算法的視覺跟蹤效果明顯，可較好實現本系統的設計目標。

(a) SV (b) PR(0°,45°,90°)

(c) OCC (d) LR

(e) BC (f) OV

(a)平均成功率對比圖 (b)平均精度圖7 OTB2013測試的成功率圖和精度圖

4.2 機器人目標跟蹤射擊測試

為驗證系統測試的準確性，機器人的云臺上安裝小型射擊裝置，在物體目標跟蹤過程中，調整云臺方向，將機器人移動到合適位置，瞄準后啟動水彈槍進行射擊，命中目標。本文設置目標靶(任意目標)靜態和動態兩種模式。

(1)靜態目標測試

靜態目標測試中，在較為復雜的環境的環形靶為目標靶(直徑為17 cm圓環)，在上位機指定學習目標后，鎖定目標靶位置，下位機機器人和云臺自動調整位置，啟動射擊裝置，實行自動打靶并命中靶心，機器人靜態目標打靶測試效果圖如圖8所示。

系統攝像頭的中心坐標為(480,360)，設定初始距離為2 m～5 m進行測試，為全面測試系統的跟蹤瞄準性能，測試結果如表1所示。

通過測試，控制機器人移動和云臺的轉向，系統能夠有效鎖定并瞄準目標目標，啟動射擊裝置命中目標，發現距離目標隨著距離增大，鎖定并瞄準的時間不斷增加，命中率也有所減弱。

圖8 機器人靜態目標瞄準射擊測試效果圖

表1 靜態目標瞄準測試結果

(2)動態目標測試

在動態目標測試中，選擇遙控車為移動目標，機器人鎖定移動目標后，跟隨著遙控車移動過程中，機器人不斷移動位置和調整云臺方向，保持適合的距離內啟動射擊裝置命中目標，測試效果圖如9所示。

(a) 移動目標鎖定 (b) 移動目標形變

(c) 移動目標丟失 (d) 重新捕捉目標

遙控車在移動過程中，如圖9a所示，視頻跟蹤幀率在25～35幀/s之間，當目標出現形變、反轉時，如圖9b所示，本文算法通過在線機制不斷對目標進行樣本取樣學習目標特征，確定跟蹤目標。當目標出現丟失時，如圖9c所示，本文算法根據選取目標時保留的原始樣本的特征值在圖像信息內搜索，重新捕捉移動目標，最終重新找回并瞄準了移動目標，如圖9d所示。因此，本文算法對機器人跟蹤瞄準移動目標具有較好的魯棒性和可持續性。

5 結論

本文在TLD算法和KCF算法的基礎上，采用加入了HOG特征和CN特征視覺目標跟蹤算法，通過同OTB100測試標準及測試視頻序列組進行對比，其算法的精度和成功率明顯高于TLD算法和KCF算法。本文研究成果應用于機器人目標跟蹤射擊，測試結果表明在復雜的環境中機器人仍然能夠持續、穩定跟蹤動態目標。本文的研究成果算法可用于輪式機器人視覺目標跟蹤和輪式機械結構設計等領域。