基于機器視覺的運動煤顆粒檢測和遮擋追蹤

朱振天，蘭 媛，2，胡天恩，唐 建，喬 葳，牛藺楷，2，王杰棟

(1.太原理工大學 機械與運載工程學院，山西 太原 030024；2.新型傳感器與智能控制教育部(山西省)重點實驗室，山西 太原 030024)

在煤炭篩選分級作業中，常常出現漏篩、錯篩的問題，從而導致篩分效率不高。其中，煤顆粒在篩面上的運動情況對優化篩分設備參數進而提高篩分設備的篩分效率具有重要意義[1，2]。當前，研究者對于篩分設備上物料運動情況的研究主要是以理論分析和數值模擬為主[3-5]。但實測的實驗數據更為可靠和直觀，且能對相關理論分析和數值模擬研究起到驗證性的作用[6]。

目前在工程領域對于顆粒物料運動的實測實驗主要是基于光學原理與數字圖像處理。基于光學原理的物料顆粒測速追蹤技術(如：PIV，PTV)[7，8]較多地應用于流場顆粒物的運動分析，雖有成熟的商業產品，但其價格較為昂貴、系統復雜，不具有工程實用性。隨著機器視覺算法的不斷進步，應用基于數字圖像處理的方法對顆粒運動特性研究已經成為趨勢。李耀民通過高速攝像機采集了農用清選篩面上的大豆顆粒運動圖像，并基于顏色特征向量的Mean Shift算法對大豆顆粒進行了追蹤[9]。王立軍利用高速攝像機采集了三種不同運動形式振動篩上的玉米顆粒運動圖像，通過人眼對特定玉米顆粒進行追蹤，對篩上玉米粒進行了運動分析[10]。但是，目前大部分對于篩面上物料的運動實測主要是針對農業工程領域。由于煤顆粒的形貌復雜，且在篩面上的運動速度較快，鮮有對煤用篩分設備上煤顆粒的運動情況的實測實驗的研究。而在對篩面上煤顆粒運動分析進行實測實驗時，煤顆粒常會出現被遮擋的情況，這樣的情況將會影響對煤顆粒運動的實測分析。

針對以上問題，本文作者搭建模擬激振實驗臺，采用高速攝像機對煤顆粒運動過程中被遮擋的情況進行圖像采集，并應用MATLAB軟件使用優化參數的混合高斯背景模型與卡爾曼濾波相結合的方法對運動煤顆粒進行檢測和遮擋追蹤。實驗結果表明，本文使用的方法能夠較好地檢測和追蹤目標煤顆粒，對煤顆粒被遮擋的情況具有追蹤魯棒性，得到了運動煤顆粒的形心位置信息，為煤顆粒運動的理論分析和數值模擬的相關研究提供實驗驗證的基礎。搭建的模擬激振實驗臺的原理如圖1所示。

1 目標煤顆粒檢測

1.1 基于引導濾波的圖像預處理

煤顆粒運動序列圖像由于受到采集環境等因素的影響，圖像會受到一定程度的噪聲干擾。所以，在對序列圖像中的運動目標進行檢測前，需要對原始序列圖像進行去除噪聲的預處理，為了減少圖像邊緣信息的丟失，采用具有保持邊緣特性的去除噪聲方法，從而在一定程度上減小噪聲干擾，提高目標檢測效率。

引導濾波(Guided Filter，GF)[11]將需要處理的圖像自身作為引導圖像，通過引導圖像提供的信息來分辨邊緣和非邊緣，對煤顆粒的邊緣區域保持，非邊緣區域去噪。在本文中，為了提高運動煤顆粒前景檢測的準確性，使用了具有保持圖像邊緣且在濾波細節上效果更好的引導濾波對原始序列圖像進行去除噪聲預處理。

1.2 基于混合高斯模型的目標煤顆粒檢測

當前，對于運動圖像中目標檢測常采用的方法有背景減除法[12]、幀間差分法[13]和光流法[14]等。其中，混合高斯模型(Gaussian Mixture Model，GMM)是背景減除法中應用較為廣泛的方法，并能一定程度地減少背景擾動。在本文采集的煤顆粒運動序列圖像中，由于激振實驗臺在激振情況下會相對于固定位置的高速攝像機出現一定范圍的浮動，從而背景出現一定程度的擾動，且實驗中使用了多點光源，煤顆粒的運動過程中存在陰影。針對以上情況，本文采用了對背景擾動和噪聲干擾具有一定魯棒性的混合高斯模型法，通過優化參數來對運動煤顆粒進行檢測。

混合高斯模型法是一種基于像素統計信息的背景建模方法，為每個像素點建立K個高斯分布，通過概率分布來確定該像素是否為背景點，實現對前景區域的檢測。序列圖像t時刻(i，j)位置處的像素值It，(i，j)滿足的概率分布為：

η(It，(i，j)；μt，(i，j)，n，Σt，(i，j)，n)

(1)

ωt，(i，j)，n=(1-α)ωt-1，(i，j)，n+α

(2)

μt，(i，j)，n=(1-β)μt-1，(i，j)，n+βIt，(i，j)

(3)

β(It，(i，j)-μt，(i，j)，n)T(It，(i，j)-μt，(i，j)，n)

(4)

ωt，(i，j)，n=(1-α)ωt-1，(i，j)，n

(5)

如果當前像素與所有K個高斯分布都不匹配，就選取小的權重值和大的方差值，并以該像素值作為均值來建立新的高斯分布，并以此新的高斯分布替換現有K個高斯分布中權重最小的分布。對K個高斯分布根據ω/σ值由小到大排序，并按下式選取前m個高斯分布為背景模型：

式中，T為背景分割閾值參數。

為了提取出目標煤顆粒的前景掩碼，需要對混合高斯模型中的參數進行優化。本文中，建立的高斯模型個數K=3，將訓練背景模型的初始視頻幀數TF取為運動圖像序列初始的前15幀。在訓練過程中，自適應地調整模型學習率α，調整方式為：α=1/TF，在第15幀之后，選取模型學習率α=0.005。選取背景分割閾值參數T=0.8，混合高斯模型的初始方差σ=2502。為了使各個高斯分布在更新過程中保持穩定性，使用了K-means算法對參數進行實時更新。利用得到的背景模型進行背景減除，提取出運動煤顆粒的初始前景掩碼，并對前景掩碼進行形態學填充空洞處理，得到較為完整的前景掩碼。根據檢測出的當前t時刻的目標前景掩碼，得到其最小外接矩形及當前時刻的形心位置信息，并將其作為后續煤顆粒跟蹤算法中的觀測值。具體地，基于混合高斯模型的運動煤顆粒檢測流程如圖2所示。

圖2 基于混合高斯模型的運動煤顆粒檢測流程圖

2 基于卡爾曼濾波器的運動煤顆粒追蹤

2.1 卡爾曼濾波器

運動目標追蹤常用的方法有卡爾曼濾波器、粒子濾波等。基于卡爾曼濾波器的追蹤方法通過建立合理的運動模型，可以獲取目標豐富的運動信息，根據運動目標的當前狀態對下一時刻的狀態進行預估計，保證追蹤有效性，且對目標發生遮擋的情況有較好的魯棒性[15]。通過高速攝像機采集到的煤顆粒運動圖像，由于幀率較高、幀間間隔較短，可以認為煤顆粒在間隔時間內作勻速直線運動。所以本文選用對于遮擋情況下運動煤顆粒追蹤更為高效的卡爾曼濾波器。

卡爾曼濾波器(Kalman Filter，KF)[16]能利用目標檢測器得到的測量值對預測出的狀態值修正，提供可靠的狀態估計。設系統狀態方程和觀測方程如下：

Xt=At|t-1Xt-1+wt-1；Zt=HtXt+Vt

(7)

式中，Xt、Zt分別為t時刻的狀態向量、觀測向量，At|t-1為t-1時刻到t時刻的狀態轉移矩陣，Ht是t時刻的觀測矩陣，wt-1、Vt分別表示相互獨立的t-1時刻的過程噪聲和t時刻的觀測噪聲，Qt、Rt分別為t時刻的過程噪聲協方差矩陣和觀測噪聲協方差矩陣。卡爾曼濾波器每次遞推過程中都可分為預測部分和更新部分。卡爾曼濾波的算法遞推過程如下：

1)預測部分：狀態預測：

預測誤差協方差：

2)更新部分：更新卡爾曼濾波增益：

更新狀態：

更新預測誤差協方差：

2.2 遮擋煤顆粒的追蹤

結合優化參數的混合高斯模型和卡爾曼濾波器的聯合算法對于運動煤顆粒的追蹤主要分為無遮擋追蹤和遮擋追蹤。

具體地，結合優化參數的混合高斯模型法和卡爾曼濾波器的煤顆粒追蹤流程如圖3所示。

圖3 煤顆粒的追蹤流程圖

3 實驗方案及結果分析

3.1 實驗方案設計

本文搭建了模擬激振實驗臺來采集煤顆粒被遮擋的運動序列圖像。實驗所用煤顆粒樣本產自山西大同，粒徑為12mm。實驗使用的操作系統為Windows10的便攜式電腦，千眼狼5KF20系列高速攝像機采集圖像。分析所用視頻圖像序列的幀數為150幀，每幀圖像的分辨率為596×832，基于MATLAB R2014a軟件進行相關的圖像處理。搭建的模擬激振實驗臺如圖4所示。

圖4 模擬激振實驗臺

3.2 實驗結果分析

分別使用三幀差分法和優化參數的混合高斯模型法檢測出的運動煤顆粒的前景掩碼如圖5所示。

圖5 檢測出的前景掩碼

通過圖5分別對比視頻序列的第55幀、第125幀的原圖像(a)、(d)及分別使用三幀差法和優化參數的混合高斯模型法提取出的前景掩碼圖(b)、(c)、(e)、(f)，可以發現，由于實驗臺的背景出現一定程度的擾動，三幀差分法在某些幀的圖像(如第55幀)中會將擾動的背景像素點錯誤檢測為前景像素點，且提取出的目標煤顆粒的前景區域不完整，邊界殘缺、斷續，易出現區域空洞現象。本文使用的混合高斯模型通過優化參數，可以較好地提取出運動目標煤顆粒，對容易產生干擾的陰影和背景擾動，以及每幀圖像中間位置的柱型遮擋物體具有較好的濾除作用。優化參數的混合高斯模型法提取出的目標煤顆粒前景掩碼比較完整，為后續目標煤顆粒的追蹤提供很好的檢測數據。

采用卡爾曼濾波和粒子濾波追蹤煤顆粒在第69幀發生遮擋時的情況如圖6所示，可以看出，卡爾曼濾波器可以持續對煤顆粒進行追蹤，而粒子濾波器則追蹤失敗。結合優化參數的混合高斯模型法卡爾曼濾波器的追蹤算法，對采集的運動序列圖像中煤顆粒的追蹤情況如圖7所示。煤顆粒在未發生遮擋的第55幀，利用卡爾曼濾波器對由混合高斯模型法檢測到的目標煤顆粒的形心位置進行糾正，能較好地追蹤目標煤顆粒。煤顆粒在第63幀和第84幀之間產生了遮擋的情況，卡爾曼濾波器通過對煤顆粒的形心位置進行預測，在煤顆粒發生嚴重遮擋甚至完全遮擋的情況下仍能對其進行持續追蹤，具有較好的追蹤魯棒性。煤顆粒在第84幀時，再次恢復無遮擋情況，此時結合優化參數的混合高斯模型法和卡爾曼濾波器的追蹤算法仍能對煤顆粒進行準確追蹤。以采集圖像的左上角為坐標原點建立絕對坐標系，將通過本文使用的方法得到的運動煤顆粒的形心位置信息顯示如圖8所示。

圖6 卡爾曼濾波器(KF)和粒子濾波器(PF)對煤顆粒遮擋時的追蹤結果對比

圖7 卡爾曼濾波器(KF)對煤顆粒的追蹤

圖8 煤顆粒在第20～150幀的運動形心位置信息

從圖8可以看出，本文使用的結合優化參數的混合高斯模型法和卡爾曼濾波的跟蹤算法對煤顆粒被遮擋的情況的追蹤具有較好的魯棒性，從而得到運動煤顆粒的形心位置信息。

4 結 語

本文搭建了模擬激振實驗臺，采用了高速攝像機對激振過程中煤顆粒被遮擋情況下的圖像序列進行采集，并基于MATLAB軟件對采集到的煤顆粒運動圖像進行分析。首先使用了具有保持邊緣特性的引導濾波對圖像進行去除噪聲預處理，再通過對混合高斯模型法的參數優化，有效提取了運動煤顆粒的前景掩碼圖像，并使用卡爾曼濾波器對目標煤顆粒追蹤，且對煤顆粒被遮擋的情況有較好的追蹤魯棒性。最后得到了運動煤顆粒較為可靠的形心位置信息，而煤顆粒的運動情況分析主要是通過其形心位置信息體現出來的。因此本文通過機器視覺的方法對運動煤顆粒的檢測和遮擋追蹤，為研究煤顆粒運動情況提供實測實驗的基礎。