基于超像素的單目標跟蹤算法研究

沈嘉良 邱曉榮 龔宇杰 陳昊 成曉佳

摘要：運動目標跟蹤是目前人工智能領(lǐng)域計算機視覺中的熱門研究方向之一，被廣泛應用于視頻監(jiān)控、無人駕駛、人機交互等各個場景。但傳統(tǒng)的運動目標跟蹤算法，通常會因為跟蹤目標大面積遮擋、明暗變化、快速運動、尺度變化等干擾因素而缺乏準確性和穩(wěn)定性。為此針對原有的運動目標跟蹤算法做了優(yōu)化，通過改變SLIC超像素分割算法 中超像素分割塊數(shù)、模型庫更新頻率以及粒子濾波算法中拋灑的粒子個數(shù)等參數(shù)，確定了一種在復雜環(huán)境中最具普適性的參數(shù)組。

關(guān)鍵詞：運動目標跟蹤；超像素；粒子濾波

中圖分類號：TP18 ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）29-0027-04

1 引言

視覺是人類感知外部世界的重要方式之一，人類通過視覺感知物體的顏色、大小、距離和形狀等重要的信息。但在物體數(shù)量龐大、周圍環(huán)境復雜等情況下，人的視覺系統(tǒng)無法足夠準確地處理相關(guān)信息。因此，人類建立了計算機視覺學科。計算機視覺模擬人的視覺系統(tǒng)，可以代替人眼在不同復雜的環(huán)境中進行物體的準確識別和精確跟蹤，已經(jīng)被廣泛應用在農(nóng)業(yè)生產(chǎn)[1]、智能建造[2]、公安監(jiān)控[3]、智慧醫(yī)療[4]等各個領(lǐng)域。

計算機視覺技術(shù)正在飛速發(fā)展，在各個領(lǐng)域都有著非常重要的應用。但在實際應用中，由于光照變化、快速運動、長時間遮擋等因素的影響，計算機視覺技術(shù)的實現(xiàn)效果會受到一定程度的影響。因此，如何提升計算機視覺技術(shù)在實際應用中的準確性和魯棒性是一項非常重要的研究內(nèi)容。

2 SLIC超像素分割算法

SLIC算法是一種利用圖像各像素點的顏色信息和位置信息對像素點進行分組的超像素分割方法。彩色圖像的像素點通過SLIC算法轉(zhuǎn)換為CIELab顏色空間和XY坐標系下的五維特征向量，然后為特征向量建立距離度量指標，最后根據(jù)該指標對圖像進行局部聚類。

2.1 SLIC算法步驟

（1）初始化聚類中心：對于一張含有[N]個像素的圖像，預設(shè)分割為[K]個像素區(qū)域，然后在圖像中均勻分配[K]個聚類中心，初始的每個超像素大小為[N/K]，相鄰聚類中心的距離近似為[S=NK]。

（2）重新選取聚類中心：將初始聚類中心移動到n×n（n=3時的分割效果最好）鄰域內(nèi)的最低梯度位置，以避免最終超像素定位在圖像邊界上。

（3）聚類：由于算法預期得到的單個超像素大小為[S×S]，于是在每個聚類中心[2S×2S]鄰域范圍內(nèi)進行搜索，圖像中的每個像素點將會同時被多個聚類中心的搜索范圍覆蓋，再計算每個像素與這些聚類中心的距離尋找最佳匹配點。每個像素坐標都可以通過向量[[l，a，b，x，y]]表示，計算過程如下：

[dc=（lj-li）2+（aj-ai）2+（bj-bi）2]

[ds=（xj-xi）2+（yj-yi）2]

[D'=dcNc2+dsNs2]

上式中[l]，[a]，[b]像素在CIELAN顏色空間中的位置，其中[l]表示像素亮度值，[a]和[b]表示像素顏色，[x]和[y]表示圖像中像素的橫坐標和縱坐標。通過最大空間距離[Nc]和最大顏色距離[Ns]將像素的空間距離和顏色距離歸一化，可以避免因為像素塊的大小導致的空間相似度和顏色位置相似度的權(quán)重發(fā)生變化，最終得到度量距離[D']。

（4）迭代優(yōu)化：取聚類區(qū)域中全部像素點的五維向量均值作為新的聚類中心坐標來代替原來的聚類中心，新舊聚類中心的替換便是一次迭代，并依據(jù)L2準則得到新舊聚類中心距離的殘差。多次重復此迭代過程，當新舊聚類中心距離的殘差趨于收斂時，可得到較優(yōu)的結(jié)果。

2.2 SLIC算法優(yōu)缺點分析

經(jīng)過多年的實驗和應用發(fā)現(xiàn)，SLIC算法在多數(shù)情況下能夠生成相對均勻規(guī)則的超像素，在運用過程中只需設(shè)置一個參數(shù)K控制分割的超像素數(shù)量。與其他超像素算法相比，SLIC算法在運行速度和邊界維護方面都比較優(yōu)秀。然而，在分類過程中，如果一個像素被錯誤分類，當?shù)螖?shù)不斷增加，聚類區(qū)域可能會向錯誤的方向偏移，形成誤差擴散，最終生成錯誤的超像素。

3 粒子濾波算法

3.1基本思想

粒子濾波的基本思想是用一組粒子大概評估系統(tǒng)的后驗概率分布，然后使用它演算推測非線性系統(tǒng)的狀態(tài)，這些粒子被稱為“粒子過濾器”。在粒子狀態(tài)相對穩(wěn)定且不隨時間變化的前提條件下，可以假設(shè)系統(tǒng)在[k-1]時的后驗概率密度為[p（xk-1）|zk-1]。依照確定好的規(guī)則，從觀測之中隨機選取n個采樣點。在獲得時間k的測量值后，更新系統(tǒng)的狀態(tài)和時間，這n個粒子的后驗概率密度可以近似表示為[p（xk|zk）]。

從粒子實際分布狀態(tài)的統(tǒng)計數(shù)據(jù)中可以得出結(jié)論，在一定范圍內(nèi)，隨著初始投放的粒子數(shù)量增加，粒子的概率密度函數(shù)圖像逐漸接近狀態(tài)概率密度函數(shù)圖像，逐漸達到概率分布的最優(yōu)效果。

3.2具體做法

首先，任意狀態(tài)下的狀態(tài)方程如下：

[x（t）=f[x（t-1），u（t），w（t）]]

[y（t）=h[x（t），e（t）]]

該方程中，[x（t）]表示時間t時刻粒子的狀態(tài)，[u（t）]為控制量，[y（t）]表示實際的觀測方程。[w（t）]和[e（t）]分別是環(huán)境狀態(tài)噪聲和實際觀測噪聲。

（1）初始狀態(tài)：由于開始時[x（0）]的分布并不知道，于是可以假設(shè)[x（0）]是隨機均勻地分布在整個給定的狀態(tài)空間中。

（2）預測階段：把樣本里所有的粒子初始分布狀態(tài)依次輸入狀態(tài)轉(zhuǎn)移方程中，之后根據(jù)狀態(tài)轉(zhuǎn)移方程和控制量由計算機演算并記錄下預測粒子的狀態(tài)。

（3）校正階段：在經(jīng)歷上一步記錄推測粒子狀態(tài)后，使用觀測方程重新對獲取的粒子進行演算和記錄。即當?shù)趎個粒子達到時獲得的觀測值[y（t）]與上一步記錄下來的推測值對比，相除獲得的比值作為這個粒子的權(quán)重。通過這種方式，如果繼續(xù)計算所有粒子，則獲得觀察到的y粒子的可能性越大，當然權(quán)重越高。

（4）重采樣：復制大部分重量較高的粒子，僅保留少數(shù)較輕的粒子，以此來模擬粒子運動的真實狀態(tài)[x（n）]。用這些保留下來的粒子表示實際情況下粒子的分布，在下一次循環(huán)中，將這些保留下來的粒子作為粒子初始狀態(tài)輸入[y（n）]中，從而獲得下一步新預測粒子的狀態(tài)。

3.3 粒子濾波優(yōu)缺點?分析

該算法在某種程度上解決了非線性濾波問題在高斯分數(shù)上隨機數(shù)的限制，同時也解決了樣本粒子數(shù)不足的問題，在許多領(lǐng)域上有著研究的價值。但是，粒子數(shù)目越多，計算結(jié)果越精準，計算機需要處理的數(shù)據(jù)量也會陡增。隨著迭代，一些粒子的重量變得非常小，也會造成導致粒子耗盡。

4 實驗測試

4.1 實驗方式

在本次實驗中，筆者使用特定五組參數(shù)配置對上文提及的四個序列進行跟蹤測試，參數(shù)組中的參數(shù)類別分別為超像素分割塊數(shù)、首次訓練幀數(shù)、拋灑粒子數(shù)及更新頻率，分別為：（100，4，800，30）（200，4，700，25）（300，4，600，20）（400，4，500，15）（500，4，400，10），定義為配置1-配置5。因為絕大多數(shù)圖像幀序列在第四幀過后會出現(xiàn)明顯的位置、形態(tài)、速度變化，故首次訓練幀數(shù)固定為4幀，而更新頻率由每隔n幀更新一次特征像素庫來體現(xiàn)。

4.2 數(shù)據(jù)分析

定量分析中，本文采用兩種評價標準[5]：一種是中心距離誤差標準，它定義為目標實際位置與手動標注位置之間的均方根。表1給出了不同參數(shù)配置下算法在每段圖像幀序列中中心位置誤差的平均值，最小值已用黑色加粗字體標出。由表1可知，算法在（300，4，600，20）參數(shù)配置下表現(xiàn)最佳。

表1 ? 算法在不同參數(shù)配置下中心距離誤差

[序列 配置1 配置2 配置3 配置4 配置5 Bird2 85.334 10.453 11.387 11.205 12.291 Bolt 61.495 9.634 8.279 8.012 259.130 Lemming 154.588 77.392 86.801 89.113 8.775 Woman 12.158 12.707 13.066 13.253 15.577 ]

另一種準則是重疊成功率[S=|rt?ra||rt?ra|]，其中[?]和[?]分別表示兩個區(qū)域的交集和并集，[|·|]指其區(qū)域內(nèi)的像素點個數(shù)。當S>0.5時，認為算法成功跟蹤到了目標。表2給出了不同參數(shù)配置下算法在每段圖像幀序列中重疊成功率的平均值，最大值已用黑色加粗字體標出?？梢钥闯鲈诓煌愋偷男蛄兄校煌膮?shù)配置對跟蹤效果具有較大影響。

4.3 結(jié)果應用

根據(jù)以上5組參數(shù)配置在不同圖像幀序列中的跟蹤效果，進一步調(diào)整參數(shù)配置并進行運行跟蹤，最終確定了（300，4，600，10）為最具普適性的參數(shù)配置（后文中將其命名為OURS），在具有復雜影響因素的圖像幀序列的單目標跟蹤中能實現(xiàn)較小的中心距離誤差和較高的重疊成功率，具有一定的魯棒性。

5 算法對比

筆者使用具有最高普適性參數(shù)配置的算法（OURS）與傳統(tǒng)的CSK算法[6]、KCF算法[7]及MOSSE算法也進行了定量和定性兩方面的比較。

5.1 定量分析

（1）中心距離誤差。如圖3所示，各子圖顯示了4種算法在指定圖像幀序列中實時跟蹤到的目標中心點與初始標定的目標中心點之間的像素距離。

（2）重疊成功率。表3顯示了4種算法分別對應4個標準圖像幀序列的重疊成功率，并用黑色加粗字體標識了各視頻圖像幀序列的最優(yōu)算法。

5.2定性分析

實驗1：Bird2圖像幀序列幀數(shù)少，但其中的運動目標在快速運動的同時，受到重度遮擋、平面外旋轉(zhuǎn)等內(nèi)外部因素的影響。例如：在第20幀處目標遭受重度遮擋后，MOSSE算法發(fā)生了極大的偏移，其余3種算法能夠?qū)崿F(xiàn)較好的跟蹤效果，其中KCF算法的跟蹤精度最高。第60幀處目標更改移動方向，整體平面外旋轉(zhuǎn)180度，OURS算法和KCF算法能夠迅速地由一定的漂移狀態(tài)重新較為精確地定位到目標。第80幀處目標大幅度變換姿態(tài)，OURS算法的跟蹤精度最高。

實驗2：Bolt圖像幀序列目標在快速運動中主要受到光照變化、形態(tài)改變、平面外旋轉(zhuǎn)等干擾因素的影響。例如，第40幀目標突然進入明亮環(huán)境，CSK算法和MOSSE算法均完全跟丟了目標，只有OURS算法和KCF算法能較為精確地跟蹤到目標。第200幀目標出現(xiàn)了運動模糊和形態(tài)變化，OURS算法和KCF都能精確定位到目標，OURS算法在應對尺度變化方面略有欠缺。第300幀目標發(fā)生平面外旋轉(zhuǎn)，僅有OURS算法和KCF算法能精確跟蹤到目標。

實驗3：Lemming圖像幀序列幀數(shù)大且極為復雜，運動目標出現(xiàn)重度遮擋、尺度變化、快速移動、平面外旋轉(zhuǎn)、超出視野等干擾因素的影響。例如，在400幀目標剛剛走出遮擋后進行快速運動，KCF算法和MOSSE算法均已出現(xiàn)嚴重偏移跟丟目標，只有OURS算法和CSK算法能準確跟蹤到目標。在700幀目標在快速運動的同時發(fā)生尺度變化，此時僅有OURS算法可準確跟蹤到目標。在1143幀目標發(fā)生平面外旋轉(zhuǎn)，此時只有KCF算法跟蹤到了目標，但總體來看，OURS算法在此復雜序列中具有最好的跟蹤效果。

實驗4：Woman圖像幀序列的運動目標受到了遮擋、光照變化、尺度變化等干擾因素的影響。例如，在150幀左右目標受到長時間遮擋，此時只有OURS算法和KCF算法能夠準確跟蹤到目標。在240幀，目標所處環(huán)境光照突然變量，此時MOSSE算法已經(jīng)完全跟丟目標，其余3算法均能實現(xiàn)較為精確的跟蹤。在450幀，目標尺度突然變大，4種算法均能較為精確地定位到目標，OURS算法的精確度最高。

6 結(jié)束語

雖然改變一種目標跟蹤算法中的參數(shù)配置會對跟蹤效果起到一定的效果，但是不能從本質(zhì)上改變其跟蹤能力和魯棒性。目前各種算法的差距比較大，都有著自己一定的適用環(huán)境，接下來筆者也會改變研究方向，結(jié)合深度神經(jīng)網(wǎng)絡、機器學習等先進技術(shù)進行進一步的研究。

參考文獻：

[1] 黃筑斌，吳雋.計算機視覺在我國水稻生產(chǎn)中的應用研究概述[J].農(nóng)技服務，2021，38（12）：44-48.

[2] 房霆宸，楊佳林，賀洪煜.基于計算機視覺的智能化建造技術(shù)研究與應用[J].建筑施工，2021，43（12）：2596-2597，2603.

[3] 于大勇.人工智能在公安視頻監(jiān)控領(lǐng)域的應用研究[J].現(xiàn)代信息科技，2019，3（13）：91-92，97.

[4] 曲曉，吳乃蓬.計算機視覺在醫(yī)療領(lǐng)域的應用效果觀察[J].中國衛(wèi)生產(chǎn)業(yè)，2020，17（13）：168-170.

[5] 邱曉榮，彭力，劉全勝.基于超像素和判別稀疏的運動目標跟蹤算法[J].計算機工程與應用，2018，54（15）：1-5.

[6] Sun K，Li X W，Shi W W.The fusion of adaptive color attributes for robust compressive tracking[J].Wireless Personal Communications，2018，102（2）：879-894.

[7] Henriques J F，Caseiro R，Martins P，et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：583-596.

【通聯(lián)編輯：唐一東】