基于改進粒子濾波的移動機器人行人跟蹤*

夏克付，李鵬飛，陳小平+

1.安徽電子信息職業技術學院，安徽 蚌埠 233030

2.中國科學技術大學 計算機科學與技術學院，合肥 230027

基于改進粒子濾波的移動機器人行人跟蹤*

夏克付1,2，李鵬飛2，陳小平2+

1.安徽電子信息職業技術學院，安徽 蚌埠 233030

2.中國科學技術大學 計算機科學與技術學院，合肥 230027

移動機器人對行人進行跟蹤，是體現機器人智能的一個重要方面，具有廣闊的發展前景和應用價值。然而環境的復雜性和行人運動的不確定性給行人的跟蹤帶來了極大的挑戰。為此，在分析粒子濾波框架的基礎上，對基本粒子濾波算法進行了兩方面改進，提出了適用于移動機器人的行人跟蹤方法。一方面在相似性估計階段結合顏色信息、深度信息和社交力概念，提高了跟蹤的精度；另一方面提出了二級粒子的概念，解決了粒子多樣性缺失問題，提高了跟蹤的準確度。在移動機器人turtlebot和公開數據集IAS-Lab上對改進的粒子濾波、序貫重要性重采樣（sequential importance resampling，SIR）粒子濾波和擴展卡爾曼濾波（extended Kalman filter，EKF）算法進行對比，實驗結果表明，改進的粒子濾波算法明顯優于其他兩種算法。

移動機器人；行人跟蹤；粒子濾波；深度信息；社交力；二級粒子

1 引言

隨著計算機和自動化技術的不斷進步，移動機器人的應用領域越來越廣泛。在各種各樣的場景中，移動機器人經常需要進行人機交互[1]，對行人進行跟蹤，進而為行人提供服務逐漸發展成為移動機器人的一項基本功能[2]。然而，移動機器人工作的環境中除了行人往往還存在其他物體，復雜的環境給行人跟蹤帶來了一定的困難。不僅如此，在傳統基于視頻圖像的行人跟蹤方法中，光照變化、背景與行人顏色相近、多個行人互相遮擋等問題也給視覺跟蹤增加了難度。因此研究如何在復雜環境以及各種困難條件下對行人進行有效跟蹤，對移動機器人完成任務服務行人具有重要意義[3]。

針對行人跟蹤，傳統的方法大致有兩類：一類是基于概率密度估計的方法，主要有Meanshift算法[4-5]和Camshift算法[6-7]；另一類是基于貝葉斯估計的方法，主要有卡爾曼濾波和粒子濾波[8]。Meanshift算法因其無需參數以及快速匹配的特征應用廣泛。然而，Meanshift算法要求相鄰幀圖像之間必須有重疊區域，如果跟蹤目標運動過快容易跟蹤失敗。同時，Meanshift算法的跟蹤窗口大小固定不變影響跟蹤的準確性。Camshift算法又稱連續自適應Meanshift算法，將前一幀的跟蹤結果作為當前幀的初始值，每一幀都利用Meanshift算法進行跟蹤，可以自動調節跟蹤窗口的大小。無論是Meanshift算法還是Camshift算法，當跟蹤目標運動過快，或者背景和目標顏色相近時，它們的跟蹤效果都不佳。相比于基于概率密度估計的方法，基于貝葉斯估計的跟蹤方法更加適用于移動機器人，因為它們考慮跟蹤目標的運動信息。卡爾曼濾波對線性高斯系統具有良好的跟蹤效果，例如在場景中跟蹤單個勻速運動的行人。但是針對復雜非線性非高斯系統，粒子濾波更具優勢。Okuma等人在文獻[9]中將Adaboost算法與粒子濾波算法相結合，實現了對多個曲棍球運動的檢測跟蹤。Wang等人在文獻[10]中通過融合強度信息和邊緣信息對粒子濾波算法進行了改進，提高了粒子濾波算法在紅外圖像中對行人跟蹤的魯棒性和準確性。不過，上述兩種方法都是假設攝像頭固定的情況，這種條件下背景是固定的，不太適用于移動機器人。Aguirre等人在文獻[11]中將粒子濾波算法應用于移動機器人的跟蹤，通過將激光檢測的人腿融合粒子濾波的觀測模型，可以在行人靜止或運動情況下進行有效跟蹤。同時，Aguirre等人在文獻[12]中對原有方法進行了改進，他們在移動機器人上不僅安裝激光檢測人腿，還安裝Kinect檢測人臉，然后將兩種檢測結果融入粒子濾波跟蹤框架，提高了跟蹤的準確率。

雖然在移動機器人上利用粒子濾波算法進行行人跟蹤的研究很多，但它們往往只是在特定的場景中側重某些情況進行改進與分析。本文通過對粒子濾波框架的分析，在原始粒子濾波的基礎上進行了兩點改進。為了提高跟蹤的精確度，提出了融合顏色信息、深度信息、社交力概念的相似性計算方法。為了克服粒子濾波、粒子多樣性缺失問題，提出了二級粒子的概念。通過引入二級粒子的個數隨機性和狀態隨機性，提高了跟蹤的魯棒性。

2 粒子濾波跟蹤框架

粒子濾波是一種基于貝葉斯理論的狀態估計算法。行人跟蹤問題可以轉化為在跟蹤空間對行人位置進行最優估計的過程，在貝葉斯框架下利用先驗信息和觀測信息，可以預測得到行人的最佳位置。在貝葉斯理論中使用后驗概率密度的方式對所有時刻的狀態進行了估計，其進行狀態估計的推導包含了預測和更新兩個過程。預測階段：通過系統的狀態方程，在還沒有獲取當前時刻的觀測量時，就可以事先推導出當前時刻的先驗概率。更新階段：通過系統的觀測方程，可以獲取當前時刻的觀測值。然后基于貝葉斯公式，利用預測階段得到的當前時刻的先驗概率。

貝葉斯估計在計算后驗概率密度時采用推導的方式，這種方法在實際環境中由于環境的復雜性和系統的動態性往往不能精確計算得到。粒子濾波算法借鑒了概率算法的思想，使用了蒙特卡洛算法近似估計系統的狀態。粒子濾波算法的一般過程如圖1所示，主要涉及5個過程。粒子初始化：在算法的初始階段，將所有粒子集中分布在待估計的目標上，并且設置每個粒子的權重都相等。狀態轉移：根據狀態轉移函數移動每個粒子，并附加一個隨機誤差。相似性計算：計算每個粒子狀態轉移之后的觀測值與狀態估計值之間的相似性。權重更新：由相似性大小更新每個粒子的權重，并對權重進行歸一化處理。狀態估計：在當前時刻系統的狀態可以由所有粒子的狀態及其權重進行加權求和得到，在當前時刻的狀態估計完成之后，系統將進入下一時刻的狀態轉移階段。如此循環往復，粒子濾波算法就可以不斷估計出動態系統各個時刻的狀態。

Fig.1 Flow diagram of particle filter圖1 粒子濾波算法流程圖

3 改進的相似性計算

相似性計算在粒子濾波跟蹤框架中十分重要，該階段通過比較候選目標與跟蹤目標的相似程度，為之后的權重更新提供了依據，進而直接影響了跟蹤的精度。在對行人進行跟蹤時，傳統的粒子濾波算法簡單地使用了顏色信息進行相似性計算。顏色信息在一定程度上能夠區分跟蹤的行人與環境，然而當背景與行人顏色相近，或者光照變化時，只使用顏色信息不能夠有效地匹配跟蹤行人。本文將深度信息約束、社交力概念與顏色信息相結合，能夠極大提高相似性計算的準確率。

3.1 顏色相似性

顏色作為一種最為明顯且十分穩定的特征，對于旋轉、平移和尺度變化等都不敏感，而且計算簡單，在行人檢測和行人匹配方面使用廣泛[13-14]。因此，在使用粒子濾波算法對行人進行跟蹤時，使用顏色信息計算相似性比較合適。常用的顏色模型有RGB模型、HSV模型和CMY模型。攝像機采集的數字圖像一般使用RGB模型，每個像素由紅、綠、藍三原色混合組成。然而，RGB模型并不適合人們對顏色的直觀感受。HSV模型以人們更加熟悉的方式封裝了關于顏色的信息，是一種刻畫顏色的有效辦法，其中H分量代表色相，S分量代表飽和度，V分量代表色亮度。因此，本文以HSV模型為基礎，采用了顏色直方圖來計算相似性。顏色直方圖描述了不同色彩信息在圖像中所占的比例，其提取過程如下。

（1）顏色空間轉換：將圖像從原始的RGB空間轉換到HSV空間。

（2）顏色量化：根據每個像素的HSV分量，將其劃分到不同的bin。

（3）生成直方圖：統計每個bin內像素的個數，就可以得到顏色直方圖。

在提取到圖像的HSV顏色直方圖之后，就需要計算模板和待跟蹤圖像的相似度。本文采用巴式距離計算其相似性，假設待跟蹤圖像的直方圖為H1={h11,h12,…,h1N}，模板的直方圖為H0={h01,h02,…,h0N}，則相似性其定義如下：

其中dis越小代表其相似性越大，dis越大代表其相似性越小。

3.2 深度信息約束

在對行人進行跟蹤時，行人距離機器人的遠近可能會發生變化。當行人距離機器人過遠時，待匹配窗口除了包含行人，還包含很多背景信息。這些背景信息會對相似性計算造成干擾，影響匹配的準確度。同理，當行人距離機器人過近時，待匹配窗口可能只包含行人的局部信息。如果行人局部顏色信息差異很大，也會造成相似性計算失效。遠近變化對匹配造成的影響如圖2所示。其中圖（a）代表模板，圖（b）是遠距離匹配的情況，圖（c）是近距離匹配的情況。圖中實線矩形框代表進行匹配的模板，虛線矩形框代表進行匹配的待檢測圖像。

Fig.2 Template match in different distances圖2 遠近距離的模板匹配

為了解決行人距離機器人遠近不同影響相似性計算的問題，本文提出了基于深度圖像的漫水算法[15]。隨著傳感器技術的發展，傳感器獲取的信息越來越多，其中微軟公司的Kinect就是其中的代表。Kinect傳感器除了能夠獲取RGB顏色信息外，還能夠獲取深度信息，進而形成點云圖像。深度圖像能夠準確反映環境中物體到Kinect的距離，其中每個像素的值代表了距離大小。漫水算法以粒子所在的位置為中心，比較粒子與其周圍像素值的差值，這個差值代表了粒子與周圍像素之間的距離。如果差值小于設定的閾值，就將周圍像素加入隊列。然后將隊列頭元素出隊列，并以其為中心位置，循環尋找其周圍像素差值小的像素，直到隊列為空。圖3展示了漫水算法的大致流程。在這個不斷循環的過程中，漫水算法實際上將粒子所在位置，同時隸屬于一個物體的所有像素進行了聚類。完成聚類后，可以用一個最小的矩形框將行人候選圖像標識出來。這個矩形框既不會太大也不會太小，這樣就避免了行人距離遠近對模板匹配造成的不良影響，提高了相似性計算的準確性。

Fig.3 Procedure of flood filled algorithm圖3 漫水算法的流程

3.3 社交力

在使用粒子濾波算法進行行人跟蹤時，對行人的運動采用了二階自回歸模型。這個模型假設行人的速度是恒定的，并不能很好地反映真實環境中行人的運動。在復雜的實際場景中，行人并不是單獨存在的，行人的運動受到其他行人或障礙物的影響。同時，如果單純使用顏色和深度信息進行相似性估計，在出現多個行人部分遮擋甚至完全遮擋時，相似估計的計算就會失效。其實相似性估計并不是最終目的，最終目的是通過相似性估計的結果調整每個粒子的權重。粒子濾波算法中，k時刻的狀態由k-1時刻的粒子狀態轉移得來，并且用N個粒子來構建k時刻的狀態分布。本文使用社交力方法[16]能夠更加真實地刻畫行人運動所受到的約束，通過社交力改變每個粒子權重的分配。

社交力分為吸引力和排斥力，吸引力主要考慮行人的運動意圖以及目標位置，大多數情況下無從推測。排斥力主要涉及環境和其他行人，本文主要考慮行人之間的排斥力。行人之間排斥力的大小，與它們之間的距離有關。假設k時刻粒子s代表的行人i的位置為，與它相近的行人j的位置為，則行人i與行人j之間的距離可以定義為：

行人i與行人j之間形成的社交力分配給粒子s的權重為：

其中，αd是為了避免行人相互碰撞而設置的距離參數。在環境中有多個行人時，行人i與其他所有行人之間形成的社交力分配給粒子s的總權重為：

其中，參數eij代表其他行人對行人i的影響力，其定義為：

參數εw代表行人的影響力半徑。針對環境中的每一個行人，都可以用類似的方法計算其社交力對粒子權重的影響。

采用改進的相似性估計方法，首先利用深度信息獲取待檢測的最佳窗口，然后計算HSV顏色直方圖之間的相似性，并且引入社交力對粒子的權重影響，最終重新分配粒子權重。

4 粒子分布的優化

4.1 粒子退化及多樣性缺失

粒子濾波算法本身存在一個很嚴重的問題，那就是粒子退化[17]。粒子退化是指算法在對目標進行估計時，由于經過多次迭代，粒子權重各不相同。只有少部分權重較大的粒子對估計結果影響很大，大部分權重較小的粒子對估計結果只起到了微乎其微的效果。這個問題一方面導致估計的偏差增大，另一方面導致大量的計算耗費在無用粒子上。

為了盡量減少粒子退化，常見的做法是將先驗概率當作采樣函數。然而選擇合適的采樣函數并不能真正解決問題，當先驗概率和觀測概率重合時，還是會使得權重過于集中在少數粒子上，最終仍然導致粒子退化。粒子重采樣可以很好地解決粒子退化問題，其主要思想是通過粒子權重進行粒子采樣。通過這種方法，權重太小的粒子在重采樣過程中被淘汰，權重較大的粒子在其周圍采樣多個粒子。主要過程如圖4所示。

Fig.4 Particle resampling圖4 粒子重采樣

重采樣過程根據權重機制很好地解決了粒子退化問題，但同時它導致了粒子多樣性的缺失。每個粒子的權重在重采樣過后都會相等，但粒子會出現集中現象，多個粒子的狀態很相近，造成粒子的多樣性缺失。在對單個行人進行跟蹤時，通過重采樣就可以取得良好的跟蹤效果。但是當跟蹤多個行人目標時，粒子多樣性的缺失會導致部分行人跟蹤失敗，其中一個極端的例子就是在多個行人跟蹤問題過程中只能跟蹤到一個行人。

4.2 二級粒子

在粒子濾波算法中引入重采樣過程可以有效解決粒子退化問題，但其引起的粒子多樣性缺失問題依然影響算法的跟蹤性能。為此，本文提出二級粒子的概念，即對于新產生的粒子，不是僅僅根據粒子的權重進行重采樣，而是結合權重利用高斯分布在原始粒子周圍隨機產生。

假設重采樣之前有N個粒子，這些粒子的權重之和等于1，根據粒子權重將[0,1]區間劃分成N份：

通過在均勻分布U[0,1]中隨機產生一個數ui來決定在重采樣階段哪些粒子保留哪些粒子丟棄。假設ui落在區間i上，則權重為wi的粒子保留，并根據產生二級粒子。如果在N次生成中，隨機數ui落在第i個區間的次數為ni,則生成ni個二級粒子。粒子產生的二級粒子滿足如下正態分布：

分布的均值為，方差為α2，其中方差由粒子退化程度Deff和狀態變量的方差ε2決定。

當Deff減小時，二級粒子之間的方差變大，二級粒子的采樣空間變大。ε2決定了跟蹤的精度，ε2增大時跟蹤精度減小同時二級粒子的采樣空間變大。參數r決定了二級粒子分布的擴展程度。引入二級粒子后，權值大的粒子在重采樣階段，在其周圍將大概率事件生成更多的粒子。這樣和基于權值重要性重采樣比較類似，對于相似度較高的物體能夠進行有效的跟蹤。但與其不同是，其粒子多樣性更加明顯。基于權值重要性的重采樣，在多個目標同時跟蹤時，當某個目標丟失又重新出現后，很難在短時間內恢復到多目標的跟蹤。而二級粒子，由于其重采樣粒子分布具有部分隨機性，能夠更加快速應對目標丟失又出現的情況。

二級粒子重采樣方法與權值重要性重采樣在重采樣粒子個數方面都具有隨機性，但在重采樣粒子的分布方面，權值重要性重采樣在重采樣階段完全依賴上一階段粒子的權值，二級粒子重采樣則在依賴上一階段粒子權值的基礎上引入了隨機性。二級粒子重采樣有效避免了粒子退化，在出現行人部分甚至完全遮擋后，仍然能對恢復的行人進行有效的跟蹤。本文采用Matlab模擬了改進粒子濾波和SIR[15,18]粒子濾波兩種采樣方式在跟蹤行人時的場景，如圖5所示。在初始階段，采樣粒子隨機分布在需要跟蹤的3個目標A、B、C上。在粒子跟蹤一段時間后，目標B突然消失（模擬完全遮擋等情況）。此時B消失處的粒子與目標相似度極小，導致該處的粒子權值很小。SIR粒子濾波的重采樣機制十分依賴權值，因而在重采樣后，B消失處沒有產生新粒子。但改進粒子濾波由于引入了二級粒子增加了隨機性，相似度雖然小，但還是產生了少量粒子。繼續跟蹤一段時間后，消失的目標B重新出現。改進的粒子濾波相比SIR粒子濾波能很快捕捉到重新出現的目標B。一段時間后，改進粒子濾波對目標B的跟蹤趨于穩定，與一直跟蹤正常的A、C類似。但是SIR粒子濾波由于多樣性的不足，并沒有很快地跟蹤到B。在對消失后又重新出現的目標B進行跟蹤時，明顯改進的粒子濾波具有更好的魯棒性。

5 實驗結果與分析

5.1 實驗設置

Fig.5 Comparison of two sampling methods圖5 兩種采樣方法的對比

為了驗證改進粒子濾波算法的實際效果，本文在兩組數據上進行了實驗。第一組數據是使用turtle-bot機器人在大小為4.9 m×4.5 m的實驗室環境中采集的，其中對turtlebot機器人進行了改造，使Kinect位置更加適合識別跟蹤行人，如圖6所示。第二組數據采用了網上公開數據集IAS-Lab[19-21]。該數據集使用Pioneer P3AT機器人在室內環境中采集，其中RGB圖像的分辨率為640×480，深度圖像的分辨率為160×120。數據集分為機器人移動和不移動兩大類，每大類又分為如下3個小類：沒有障礙物，行人做簡單的線性運動；沒有障礙物，行人做復雜的運動，相互之間有穿插；有障礙物，行人做復雜的運動，相互之間有穿插。上述兩組數據集，一組是實際環境中采集的，一組是網上公開的，可以比較充分地驗證算法的性能。每組數據都有可供參考的ground truth，用來判斷跟蹤結果與真實結果之間的差異。系統運行的環境是Intel?Core?i5-4200M CPU@2.50 GHz×4的筆記本電腦。

Fig.6 Remoulded turtlebot圖6 改造的turtlebot機器人

5.2 評估標準

良好的跟蹤算法必須確保在跟蹤多個目標時沒有遺漏，并且準確估計出每個目標的位置、方向和軌跡等。同時跟蹤算法應該具有可持續性，為每一個目標確定一個跟蹤ID。因此主要的評價指標有：準確估計出每個跟蹤目標的確切位置；可持續性地跟蹤目標，能夠產生每個目標的跟蹤軌跡。此外，良好的評價標準還應該擁有以下特征：盡量少的參數變量，可自動調節的閾值；清晰易于理解，符合人的直觀感受；具有足夠的通用性，容易對跟蹤算法進行比較；指標數量少，但是每個指標都能反映重要性能的優劣。

本文借鑒了文獻[22]的兩個跟蹤指標：多目標跟蹤精度（multiple object tracking precision，MOTP），多目標跟蹤準確度（multiple object tracking accuracy，MOTA）。MOTP表示在所有幀中對已經跟蹤到的目標的位置估計的總偏差，它反映了跟蹤算法對目標位置估計的精度，計算方法如下：

其中，ct代表在第t幀中跟蹤目標的個數；代表在第t幀中第i個跟蹤目標的估計位置與實際位置之間的距離。MOTP表示跟蹤目標個數與實際目標個數之間的差異，計算方法如下：

其中，mt、fpt、mmet分別代表丟失跟蹤的目標個數、跟蹤非目標的個數和跟蹤匹配錯誤的個數。

5.3 結果分析

在準備好數據集，定義好評價標準后，本文對比了改進的粒子濾波算法、SIR粒子濾波算法和EKF[15,23]算法對行人跟蹤的效果。SIR粒子濾波和EKF濾波是兩種經典的狀態估計方法，其中EKF濾波通過線性化方法將非線性問題轉換成線性問題，然后使用KF濾波進行估計，是一種觀測推導的過程，SIR是一種根據權值重采樣的蒙特卡洛估計方法。在非線性估計領域，SIR粒子濾波和EKF濾波是研究的兩大主流方向。很多的研究都是基于這兩種方法中的一種進行改進，本文也是在SIR粒子濾波的基礎上提出了二級粒子的概念。因此，本文采用了SIR粒子濾波和EKF濾波進行了對比分析。圖7顯示了在實驗室采集的數據集上，行人跟蹤的效果圖，每一幀圖像由上方的RGB圖像和下方的深度圖像組成。本文截取的4幀圖像中，藍色方框是改進粒子濾波的跟蹤效果，紅色方框是SIR粒子濾波的跟蹤效果，綠色方框是EKF的跟蹤效果。圖8顯示在跟蹤過程中，3種跟蹤算法精度誤差的不斷變化。在單個行人跟蹤的初始階段，3種算法都能較好地跟蹤行人位置。隨著跟蹤繼續，3種跟蹤算法的誤差都有所增大。SIR粒子濾波算法在進行匹配時只考慮了顏色信息，匹配的精確度受環境背景的影響，出現了一定程度的漂移。EKF算法在跟蹤時，對環境中非高斯噪聲不敏感，在跟蹤過程中其跟蹤矩形框截取了行人的部分軀體，并沒有完全圈出整個行人。改進粒子濾波算法不但利用了顏色信息，還使用了深度信息。利用漫水算法在深度圖像上漫延，可以覆蓋行人的整部分，作為顏色信息的有效補充，提高跟蹤的精度。由于采用不同的檢測信息對跟蹤精度有不同的影響，本文做了4組對比實驗進行分析，如圖9所示。顏色是最主要的特征，因此4組實驗中的檢測信息都使用了顏色。從圖中可以看出跟蹤的精度整體趨于不斷增大、逐漸穩定的態勢，其中對跟蹤精度影響最大的是顏色信息，其次是深度信息，再次是社交力。

Fig.7 Tracking results on lab's data圖7 在實驗室數據集上的跟蹤結果

Fig.8 Precision error of different algorithms圖8 3種算法的跟蹤精度誤差

公開數據集IAS-Lab上的實驗如圖10所示，主要測試了3種情況下的跟蹤效果，每種情況由左邊的RGB圖像和右邊與其對應的點云圖像構成。每種情況中，藍色方框是改進粒子濾波的跟蹤效果，紅色方框是SIR粒子濾波的跟蹤效果，綠色方框是EKF的跟蹤效果。第一種情況是沒有障礙物，兩個行人做簡單的線性運動。第二種情況是沒有障礙物，3個行人做復雜的運動，相互之間有穿插。第三種情況是有障礙物，行人做復雜的運動，相互之間有穿插。在第一種情況下，3種算法跟蹤基本穩定，只是跟蹤的精度有所差別。第二種情況下，SIR粒子濾波在行人互相遮擋時會丟失跟蹤目標，EKF算法在行人從跟蹤窗口消失然后又出現時也會丟失目標，改進粒子濾波跟蹤相對良好。這是因為SIR粒子濾波的粒子多樣性比較缺失，行人相互遮擋后粒子會變得過度集中，進而丟失跟蹤目標。EKF算法的本質是將非線性系統轉換為線性系統，當行人在窗口消失后又出現時，算法并不能處理新出現的行人。第三種情況下，3種算法都有出現目標跟蹤丟失的情況。與第二種情況不同的是環境中增加了障礙物，當障礙物與行人互相遮擋時，對行人跟蹤的精度產生了影響。當完全遮擋時，SIR算法和EKF算法甚至跟蹤失敗了，表1顯示了3種算法在IAS-Lab數據集上的平均MOTP值和平均MOTA值。

Fig.10 Tracking results on public data圖10 公開數據集的跟蹤結果

Table 1 Performance of 3 algorithms表1 3種算法的跟蹤性能 %

因為算法部署在實體機器人上，所以本文還對比了3種算法的平均運行時間，如表2所示。從表中可以看出，EKF算法的運行時間最短，改進粒子濾波其次，SIR粒子濾波的運行時間最長。EKF算法通過線性化處理非線性濾波估計，采用線性推導的方式，因此處理速度最快。改進粒子濾波算法與SIR粒子濾波都是使用采樣估計的方式，但改進粒子濾波在計算粒子相似性方面極大提高了速率。改進粒子濾波使用了深度信息與社交力概念，其中深度信息相比于RGB信息計算量小，對一部分深度信息跳躍性大的粒子做了摒棄，社交力概念對不符合避免碰撞推理的粒子也做了摒棄，減少了很大的計算量。因此，改進粒子濾波在運行時間上較SIR粒子濾波縮短很大。

Table 2 Running time of 3 algorithms表2 3種算法的運行時間

改進粒子濾波相比于SIR粒子濾波，在粒子個數和粒子分布上有更明顯的隨機化。隨機化的程度直接影響著跟蹤的準確性和精確性，因此對于隨機化程度的控制十分重要。在改進粒子濾波中，隨機化程度是使用二級粒子在所有重采樣粒子中的占比和二級粒子的采樣半徑來決定的。本文為了確定最佳的隨機化程度，做了多組實驗，如圖11所示。通過對比發現，當二級粒子所占比例為27%，二級粒子的采樣半徑為1.1 m時，行人跟蹤的精確率和準確率是最高的。通過分析發現，二級粒子的采樣半徑與行人的步速呈正相關。同時，二級粒子所占比例的最佳值也不是固定的，與環境的復雜度以及行人遮擋消失也相關。

Fig.11 Precision error affected by second particles'proportion and sampling radius圖11 精度誤差受二級粒子占比和采樣半徑的影響

6 結論

針對移動機器人的行人跟蹤，本文選取適用于非線性非高斯系統估計的粒子濾波算法。在分析基本粒子濾波算法的基礎上，從兩方面進行了改進。一方面為了提高跟蹤的精度，不但使用了顏色直方圖進行相似性估計，還在深度圖像上利用漫水算法解決了遠近匹配估計不準的問題。同時，引入社交力概念在對粒子分配權重時，考慮了行人之間互相避免碰撞情形。另一方面提出了二級粒子的概念，解決了原始粒子濾波算法多樣性缺失的問題。二級粒子通過引入粒子個數隨機化和粒子狀態隨機化，提高了跟蹤多個行人的準確度。在實驗室采集的數據集和公開的IAS-Lab數據集上，通過實驗證明了改進粒子濾波算法的有效性和優越性。

[1]Dondrup C,Bellotto N,Jovan F,et al.Real-time multisensor people tracking for human-robot spatial interaction[C]//International Conference on Robotics and Automation Workshop on Machine Learning for Social Robotics,Seattle,USA,May 26-31,2015.Piscataway,USA:IEEE,2015:26-31.

[2]Linder T,Kai O A.People detection,tracking and visualization using ROS on a mobile service robot[M].New York:Springer International Publishing,2016:187-213.

[3]Smeulders AW,Chu D M,Cucchiara R,et al.Visual tracking:an experimental survey[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2014,36(7):1442-1468.

[4]Comaniciu D,Ramesh V,Meer P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-575.

[5]Du Kai,JuYongfeng,Jin Yinli,et al.MeanShift tracking algorithm with adaptive block color histogram[J].Journal of Wuhan University of Technology,2012,34(6):140-144.

[6]Park K I,Park C I,Lee J.Vision based people tracking using stereo camera and Camshift[C]//LNCS 8102:Proceedings of the 6th International Conference on Intelligent Robotics and Applications,Busan,South Korea,Sep 25-28,2013.Berlin,Heidelberg:Springer,2013:145-153.

[7]Lee S J,Won M.Avision based people tracking and following for mobile robots using CAMSHIFT and KLT feature tracker[J].Journal of Korea Multimedia Societ,2014,17(7):787-796.

[8]Arulampalam M S,Maskell S,Gordon N,et al.A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J].IEEE Transactions on Signal Processing,2002,50(2):174-188.

[9]Okuma K,Taleghani A,Freitas N D,et al.A boosted particle filter:multitarget detection and tracking[C]//LNCS 3021:Proceedings of the 2004 European Conference on Computer Vision,Prague,Czech Republic,May 11-14,2004.Berlin,Heidelberg:Springer,2004:28-39.

[10]Wang Xin,Tang Zhenmin.Modified particle filter-based infrared pedestrian tracking[J].Infrared Physics&Technology,2010,53(4):280-287.

[11]Aguirre E,García-Silvente M,Plata J.Leg detection and tracking for a mobile robot and based on a laser device,supervised learning and particle filtering[C]//Proceedings of the 1st Iberian Robotics Conference-Advances in Robotics,Madrid,Spain,Nov 28-29,2013.Switzerland:Springer International Publishing,2014:433-440.

[12]Aguirre E,García-Silvente M,Pascual D.A multisensor based approach using supervised learning and particle filtering for people detection and tracking[C]//Proceedings of the 2nd Iberian Robotics Conference-Advances in Robotics,Lisbon,Portugal,Nov 19-21,2015.Switzerland:Springer International Publishing,2016:645-657.

[13]Danelljan M,Khan F S,Felsberg M,et al.Adaptive color attributes for real-time visual tracking[C]//Proceedings of the 2014 Conference on Computer Vision and Pattern Recognition,Columbus,USA,Jun 23-28,2014.Washington:IEEE Computer Society,2014:1090-1097.

[14]Singh P,Deepak B B V L,Sethi T,et al.Real-time object detection and tracking using color feature and motion[C]//Proceedings of the 2015 International Conference on Communications and Signal Processing,Melmaruvathur,India,Apr 2-4,2015.Piscataway,USA:IEEE,2015:1236-1241.

[15]Gordon N J,Salmond D J,Smith A F M,et al.Novel approach to nonlinear/non-Gaussian Bayesian state estimation[J].IEE Proceedings F-Radar and Signal Processing,1993,140(2):107-113.

[16]Luber M,Stork J A,Tipaldi G D,et al.People tracking with human motion predictions from social forces[C]//Proceedings of the 2010 International Conference on Robotics and Automation,Anchorage,USA,May 3-7,2010.Piscataway,USA:IEEE,2010:464-469.

[17]Daum F,Huang J.Particle degeneracy:root cause and solution[J].Proceedings of SPIE,2011,8050(4):1-11.

[18]Ruslan F A,Adnan R,Samad A M,et al.Parameters effect in sampling importance resampling(SIR)particle filter prediction and tracking of flood water level performance[C]//Proceedings of the 12th International Conference on Control,Automation and Systems,Jeju Island,South Korea,Oct17-21,2012.Piscataway,USA:IEEE,2012:868-872.

[19]Basso F,Munaro M,Michieletto S,et al.Fast and robust multi-people tracking from RGB-D data for a mobile robot[C]//Proceedings of the 12th International Conference on Intelligent Autonomous Systems 12,Jeju Island,Korea,Jun 26-29,2012.Berlin,Heidelberg:Springer,2013:265-276.

[20]Munaro M,Basso F,Menegatti E.Tracking people within groups with RGB-D data[C]//Proceedings of the 2012 International Conference on Intelligent Robots and Systems,Vilamoura,Portugal,Oct 7-12,2012.Piscataway,USA:IEEE,2012:2101-2107.

[21]Munaro M,Menegatti E.Fast RGB-D people tracking for service robots[J].Autonomous Robots,2014,37(3):227-242.

[22]Keni B,Rainer S.Evaluating multiple object tracking performance:the CLEAR MOT metrics[J].Eurasip Journal on Image&Video Processing,2008(1):1-10.

[23]Toloei A,Niazi S.State estimation for target tracking problems with nonlinear Kalman filter algorithms[J].International Journal of ComputerApplications,2014,98(17):30-36.

附中文參考文獻:

[5]杜凱,巨永鋒,靳引利,等.自適應分塊顏色直方圖的MeanShift跟蹤算法[J].武漢理工大學學報,2012,34(6):140-144.

2017-03,Accepted 2017-05.

People Tracking of Mobile Robot Using Improved Particle Filter*

XIAKefu1,2,LI Pengfei2,CHEN Xiaoping2+
1.Anhui Vocational College of Electronics&Information Technology,Bengbu,Anhui 233030,China
2.School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China
+Corresponding author:E-mail:xpchen@ustc.edu.cn

People tracking for mobile robot is an important application which reflects the intelligence of robot,and it has wide prospect and practical value.However,there exists a big challenge because of the complexity of environment and the uncertainty of people moving.This paper improves the particle filter for mobile robot people tracking based on the analysis of particle filter framework.On the hand,the color information,depth information and social force are combined to estimate the similarity between the template and candidate,which increases the tracking precision.On the other hand,a concept of secondary particle is proposed to overcome the loss of particle's diversity,which increases the tracking accuracy.In the last,the improved particle filter,sequential importance resampling(SIR)particle filter and extended Kalman filter(EKF)algorithm are compared on the turtlebot robot and the public data IAS-Lab.Results prove the superiority of improved particle filter.

mobile robot;people tracking;particle filter;depth information;social force;secondary particle

10.3778/j.issn.1673-9418.1703052

*The Key Natural Science Research Project of Anhui Province University under Grant No.KJ2016A050(安徽省高校自然科學研究重點項目);the Fundamental Research Funds for the Central Universities of China under Grant No.WK0110000038(中央高校基本科研業務費專項資金).

CNKI網絡優先出版:2017-05-22,http://kns.cnki.net/kcms/detail/11.5602.TP.20170522.1046.002.html

XIA Kefu,LI Pengfei,CHEN Xiaoping.People tracking of mobile robot using improved particle filter.Journal of Frontiers of Computer Science and Technology,2017,11(11)：1849-1859.

A

TP311

XIA Kefu was born in 1978.He received the M.S.degree in computer technology from Hefei University of Technology in 2008.Now he is an associate professor at Anhui Vocational College of Electronics&Information Technology.His research interests include image processing and machine vision,etc.

夏克付（1978—），男，安徽宿松人，2008年于合肥工業大學獲得碩士學位，現為安徽電子信息職業技術學院副教授，主要研究領域為圖像處理與識別，機器視覺等。

LI Pengfei was born in 1989.He is an M.S.candidate at University of Science and Technology of China.His research interest is service robot.

李鵬飛（1989—），男，湖北麻城人，中國科學技術大學碩士研究生，主要研究領域為服務機器人。

CHEN Xiaoping was born in 1955.He received the Ph.D.degree in pattern recognition and intelligent system from University of Science and Technology of China in 1996.Now he is a professor and Ph.D.supervisor at University of Science and Technology of China.His research interests include artificial intelligence and autonomous robot,etc.陳小平（1955—），男，北京人，1996年于中國科學技術大學獲得博士學位，現為中國科學技術大學教授、博士生導師，主要研究領域為人工智能，自主機器人等。