礦井車載攝像系統中電子穩像算法的研究

程德強，郭 政，鄭 珍，姜海龍，劉 潔

(中國礦業大學信息與電氣工程學院，江蘇徐州221008)

為了保證煤礦生產的安全和加快煤炭工業現代化進程，大量的監控系統和車載攝像系統應用到礦井中。車載攝像系統在采集圖像時，由于機車的運動使得攝像設備抖動，導致獲取的圖像序列不穩定，不僅影響監測人員對礦井現場的判斷，而且對視頻序列后續的預警處理造成困難，因此對車載攝像系統進行穩像處理具有重要的意義。

電子穩像技術是指對視頻序列進行數字圖像處理，消減攝像機的隨機抖動對視頻圖像的干擾，實現視頻圖像序列的穩定［1］。電子穩像技術具有成本低、易操作、體積小、精度高、實時性強等特點［2］，已逐步取代機械式穩像［3］和光學穩像［4］。

電子穩像技術主要包括運動估計、運動濾波、運動補償三部分［5］。運動估計就是獲取幀間全局運動矢量。如何根據運動估計得到的運動矢量正確判定是攝像機的主動掃描還是隨機抖動，這是由運動濾波解決的。運動補償就是根據運動決定得到的運動參數對圖像進行反方向移動，實現圖像的平滑銜接。

目前對于車載攝像系統的穩像主要改進方向在于如何提取更加精確的全局運動信息以及如何實現圖像序列的平滑銜接［6］。文獻［7］采用灰度投影法對圖像做穩像處理，由于灰度投影法對圖像信息要求嚴格，且對噪聲敏感，而礦井圖像序列一般是模糊、低清晰度的，所以文獻［7］的方法不適用于煤礦井下。文獻［8］利用Harris算法提取圖像角點，將多組解的平均值作為全局運動矢量，從而實現圖像序列的穩像，具有較好的穩像效果，但是Harris算法計算量大，運算時間長不能滿足實時性的要求［9］。文獻［10］采用相鄰幀補償的方式對圖像進行運動補償實現了動態場景的穩像，克服了固定幀補償方式只能對攝像系統定點拍攝的圖像序列進行運動補償的缺點，但是由于相鄰幀補償的方式易產生累積誤差，因而不能長時間連續地進行穩像。

針對文獻［8，10］存在的穩像處理速度慢和效果差的問題，本文提出一種基于MIC-Harris角點特征的自適應運動補償電子穩像算法。首先采用本文提出的MIC-Harris算子提取圖像序列的角點，運用NCC和RANSAC算法對角點配準，通過二維放射運動模型求取全局運動矢量;然后用Kalman濾波確定各幀的運動補償矢量;最后利用本文提出的自適應相鄰幀補償方法對圖像序列進行反方向補償，實現對礦井圖像序列的長時間連續快速穩像處理。

1 基于特征匹配法的全局運動參數估計

運動估計的算法有灰度投影法［11］、塊匹配法［12］、相關相位法［13］、特征匹配法［14］。特征匹配法以圖像典型特征為基本單元計算運動估計，能夠很好地滿足人的視覺特性，針對礦井圖像序列低清晰度、易受噪聲影響的特點［15］，本文采用特征匹配法估計全局運動矢量。基本步驟為:提取圖像序列每一幀的特征點;建立圖像序列間特征點的對應關系;通過運動模型求取全局運動矢量。

1．1 M IC-Harris特征點檢測

1.1.1 Harris特征點檢測

Harris角點檢測［16］是基于圖像的 Hessian矩陣，圖像中的每一像素點有

式中:w(x，y)為高斯窗口的權值;Ix和Iy分別為像素(x，y)在水平和垂直方向的梯度。由H的特征值建立Harris的角點量計算公式

式中:det(H)=λ1λ2=AB-C2是矩陣H的行列式;tr(H)=λ1+λ2=A+B是矩陣 H的跡;a為經驗值，取值范圍為［0.04，0.06］。通過判斷角點量R值是否大于給定的閾值，即可得該點是否為角點。

1.1.2 MIC特征點檢測

Trajkovic等人［17］對角點的定義與 Moravec角點、Harris角點是相似的，即:如果存在一條通過模板矩形中心像素點的直線灰度變化強烈，則該像素點就為角點。基于多格算法的MIC角點檢測算法，首先對圖像進行多格處理計算簡單角點量，找到候選角點。再利用插值法計算插值角點量，最終確定角點。

1.1.3 MIC-Harris角點檢測

Harris算子對噪聲不敏感，角點檢測準確率高，但是計算量大，運算速度慢［18］。MIC算法運算速度快，角點提取效果好，但對噪聲敏感，圖像邊界模糊時會檢測出大量邊界偽角點［19］。基于以上兩種算子的優缺點，本文提出MIC-Harris角點檢測算法。針對Harris算法運算速度慢的缺點，首先對圖像進行基于多格算法的MIC角點檢測提取候選角點，避免Harris算法對圖像每一個像素點計算的缺點。對于MIC算子易檢測邊界偽角點的情況，使用Harris算法角點檢測準確度高的優點克服。算法的具體步驟如下:

1)對原始圖像進行多格算法處理，計算處理后圖像上的每一個像素點的簡單角點量，如果簡單角點量大于閾值T1，則此像素點就為候選角點。

2)在原始圖像上再次計算候選角點的簡單角點量，如果簡單角點量小于閾值T2，則認為不是角點。如果大于閾值T2，計算該像素點的插值角點量。如果插值角點量小于閾值T2，則不是角點，相反則把此像素點標記為角點，獲得初始角點集。

3)對初始角點集利用Harris算子進行提煉。通過對初始角點集里的角點進行Harris角點量的計算，判斷是否為角點，若不是則剔除邊界偽角點。

4)用NMS(Non-Maximum Suppression)方法對角再次提煉，確定最終角點。

1．2 基于NCC和RANSAC的角點匹配

模板匹配算法具有模板易選取、計算簡單、易實現、準確率高等優點而被廣泛應用與圖像配準［20］。本文采用一種由粗到精的匹配策略進行角點匹配，首先采用歸一化互相關法(NCC)［21］進行角點模板粗匹配，接著運用RANSAC算法濾除錯誤匹配點。

NCC算法是基于特征點鄰域像素的灰度值的相似性來進行匹配。設w1和w2分別是圖像1中以角點p1和圖像2中以角點p2為中心的兩個大小相同的矩形框口，u1與u2為相關窗口內像素的灰度均值，(xi，yi)的取值為窗口的大小，則NCC定義如式(3)所示

角點匹配時，首先對圖像1中的角點與圖像2中矩形窗口中的每個角點計算相關系數，將NCC值最大的角點作為匹配點，這樣得到一個匹配點集;對圖像2做同樣操作，得到另一個匹配點集;最后在兩個匹配點集中搜索相同匹配點對，則相同的角點被認為候選匹配點。

RANSAC是一個采用迭代法來估計參數的數學模型，具有很好的剔除誤匹配點的能力，經常被應用在圖像匹配中［22］。NCC算法在角點粗匹配后會存在錯誤的匹配點對，本文采用RANSAC算法去除誤匹配。

1．3 運動參數估計

運動模型包括單應性運動模型和仿射性運動模型兩種，其中仿射性運動模型具有參數少、計算簡單、易于實現，且實時性強的優點被廣泛應用在運動參數估計中［23］。本文通過對仿射性運動模型參數估計實現全局運動矢量的計算。

仿射模型可用式(4)表示

也可表示為

式中:U，U'是坐標矢量;θ為旋轉角度;R是旋轉矩陣;t是平移矢量。仿射運動模型是一最小二乘問題，因此可將利用RANSAC算法篩選后的匹配點集，代入最小二乘模型計算出仿射變換最優參數解，即全局運動矢量。

2 基于Kalman濾波的運動補償參數求解

仿射運動模型求取的運動參數包括攝像機的正常掃描運動矢量和攝像機的隨機抖動矢量兩部分。運動濾波的目的是較好的保留攝像機的低頻主動運動，而濾除高頻隨機抖動。從算法實時性的角度出發，文中采用Kalman濾波［24］獲取圖像序列的運動補償參數。

Kalman濾波算法是以最小均方誤差為準則，包括狀態方程和測量方程兩部分。根據圖像序列求解的全局運動參數(x，y)建立穩像系統的狀態方程和測量方程。

系統的狀態方程為

式中:x，y，vx，vy表示圖像分別在水平和垂直方向上的位移及位移速度;N(0，σx)是過程噪聲;σx和σy是過程激勵噪聲方差且兩者相互獨立的。

運動估計矢量(x，y)就是 Kalman濾波對應的測量值，其相應的測量方程為

3 基于自適應相鄰幀的運動補償

運動補償的目的是實現圖像序列間平滑銜接和動態圖像序列的穩定。文獻［25］采用固定參考幀補償的方法對攝像系統定點拍攝的圖像序列進行運動補償，達到了很好的穩像效果。但實際現場隨著礦下攝像載體的運動，當前幀相對于參考幀所確定的特征點所在的區域，可能會移出圖像畫面，即在當前幀的某些區域找不到所對應的參考幀所確定的特征點，出現失穩現象，從而不能達到對圖像序列穩像的效果。文獻［10］采用相鄰幀補償的方法對圖像序列進行運動補償。運動補償矢量如式(8)所示

式中:i為起始幀即參考幀;v(n)為當前幀Pn的運動補償矢量;m(i)為計算得到的相鄰幀間運動矢量。

由式(8)知當前幀的運動補償參數是所有運動矢量累積的結果，容易出現累積誤差，使得整個圖像慢慢發生偏移，最后超出補償邊界，不能夠長時間連續的穩像。針對相鄰幀補償方法的缺點，本文提出一種自適應相鄰幀補償的穩像算法。具體步驟如下:

1)設閾值為T，選取第一幀圖像為參考幀。

2)根據式(8)對圖像進行運動補償。

3)判斷圖像序列的運動補償矢量v(n)是否達到閾值T。如果，則重新選擇參考幀，以當前幀Pn為參考幀，重新計算累積運動矢量，重復步驟2);反之，則參考幀不變。

T取值太大同樣會出現累積誤差現象，取值太小會由于頻繁更換參考幀而出現圖像序列跳變現象。根據礦井車載攝像系統的實際現場情況，經過試驗測得，T取圖片大小的20%。

4 實驗結果及分析

本文算法在處理器為 Pentium(R)Dual-Core、主頻2.6 GHz硬件環境下進行實驗，采用Visual Studio 2008和OpenCV聯合編程。實驗視頻采用礦井車載攝像系統拍攝的視頻，圖像分辨率為640×480，視頻長度為1 603幀。

4．1 M IC-Harris角點快速檢測及匹配能力分析

為了更加直觀的觀測圖像角點，實驗采用積木圖像(如圖1a所示)進行MIC-Harris角點檢測能力的測試，圖像分辨率為320×240，采用MIC、Harris和本文算法MIC-Harris進行比較。圖1和表1分別為3種算法角點提取效果比較圖和算法處理時間。由圖1和表1可以看出，本文MIC-Harris算法既保留了MIC運算速度快和Harris準確度高的優點，又克服了MIC易檢測邊界偽角點和Harris計算量大、運算時間長的缺點。

圖1 MIC，Harris和MIC-Harris角點提取效果比較圖

表1 角點檢測算法處理時間

圖2為NCC角點粗匹配結果圖，圖3為RANSCA精匹配結果圖。兩幅圖像比較可看出，RANSAC算法可以有效去除NCC粗匹配后的錯誤匹配點對。

圖2 NCC角點粗匹配效果圖

圖3 RANSCA精匹配效果圖

4．2 穩像連續處理性能分析

圖4 a為原始圖像序列的第206幀，圖4b和圖4c為分別采用文獻［10］算法和本文算法穩像處理后的圖像。文獻［10］采用相鄰幀補償方式對圖像進行變換，達到穩像的效果，但相鄰幀補償方式易產生累積誤差，穩像實驗最終在第342幀失穩。本文算法采用自適應參考幀的方式對圖像進行運動補償，克服了累積誤差的干擾，可以保持長時間穩像效果。圖像的反方向補償會導致邊界信息丟失從而出現黑色邊框，從圖4也可看出，由于本文算法克服了累積誤差，采用本文算法進行穩像處理出現的黑色邊框比文獻［10］的小。

4．3 穩像準確度分析

圖4 穩像效果比較圖

為了測試穩像算法的準確度，采用均方差MSE評價穩像效果。MSE值越小說明兩幅圖像重合度越高圖像越穩定［26］。圖5為圖像序列從第200幀到第260幀穩像前后MSE值比較圖，從圖中可看出，穩像后圖像序列MSE值小于穩像前，說明本文提出的算法對于礦井車載攝像系統拍攝的抖動視頻序列具有較好的穩像效果。

圖5 穩像前后圖像序列的MSE對比

5 結束語

本文針對礦井車載攝像系統獲取的圖像序列進行了研究，提出了基于MIC-Harris角點特征的自適應運動補償電子穩像算法。首先采用本文提出的MIC-Harris提取角點特征;然后通過仿射運動模型，求解幀間全局運動矢量，建立Kalman濾波的狀態方程和預測方程預測補償矢量;最后采用基于自適應相鄰幀更新的補償方式進行圖像穩像。實驗結果表明，基于MIC-Harris角點特征的的自適應運動補償電子穩像算法可以有效地消除礦井車載攝像系統的隨機抖動，并且克服了累積誤差的干擾，實現長時間的穩像，為后續煤礦井下視頻處理提供了基礎研究。

［1］趙紅穎，金宏，熊經武.電子穩像技術概述［J］.光學精密工程，2001，9(4):353-359.

［2］朱齊丹，徐從營，蔡成濤.船載折反射全景視覺系統電子穩像算法［J］.吉林大學學報，2013(5):68-72.

［3］ SUNG-JEA K.Fast digital image stabilizer based on gray-coded bitplane matching［J］.IEEE Consumer Electronics Society，1999，45(3):598-603.

［4］谷素梅，張經武.CCD攝像機光學慣性穩像跟蹤頭［J］.光學技術，1995，21(2):21.

［5］王智慧.基于快速特征匹配的電子穩像技術研究［D］.南京:南京航空航天大學，2012.

［6］朱娟娟，郭寶龍.電子穩像的特征點跟蹤算法［J］.光學學報，2006，26(4):516-521.

［7］齊紅，任洪娥，田少卿，等.一種基于灰度投影的電子穩像改進方法［J］.中山大學學報，2012，51(5):40-44.

［8］周亞軍，陶聲祥，張舒，等.一種基于Harris角點特征的穩像算法［J］. 激光與紅外，2009，39(5):555-557.

［9］程德強，郭政，劉潔，等.一種基于改進光流法的電子穩像算法［J］.煤炭學報，2015(3):707-712.

［10］姬莉霞，李學相.基于相鄰幀補償的高速運動目標圖像穩像算法及仿真［J］.計算機科學，2014，41(7):310-312.

［11］ KRISHNA R.Real-time digital video stabilization for multi-media application［J］.IEEE Proceedings of ISCAS，1998，8(6):69-72.

［12］ ZHU C.Hexagon-based search pattern for fast block motion estimation［J］.IEEE Trans.Circuits and Systems for Video Technology，2002，12(5):349-355.

［13］ HILL L，VLACHOS T.On the estimation of global motion using phase correlation for broadcast applications［C］//Proc.7th International Conference on Image Processing and Its Applications.Manchester:IET Press，1999:721-725.

［14］ HUANG JC.Automatic feature-based global motion estimation in video sequences［J］.IEEE Trans.Consumer Electronics，2004，50(3):911-915.

［15］程德強，趙國，范一武，等.礦井移動載體攝像的電子穩像算法［J］.中國礦業大學學報，2012，41(5):805-810.

［16］ HARRISC，STEPHENSM.A combined corner and edge detector［C］//Proc.4th Alvey Vision Conference.Manchester:［s.n.］，1988:147-151.

［17］ TRAJKOVIC M，HEDLEY M.Fast corner detection［J］.Image and Vision Computing，1998，16(1):75-87.

［18］陳利軍.圖像角點檢測和匹配算法的研究［D］.西安:西安電子科技大學，2005.

［19］劉全，張樂，張永剛，等.基于角點特征的幾何同步數字水印算法［J］.通信學報，2011，32(4):25-31.

［20］高峰，雷志勇.基于模板匹配的圖像跟蹤技術［J］.國外電子元器件，2008，15(10):34-36.

［21］ FISCHLER M A.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1998，24(6):381-395.

［22］劉相濱，鄒北驥.一種基于RANSAC的柱面圖像配準算法［J］.湖南大學學報，2010，37(8):79-82.

［23］孫輝，熊經武，趙紅穎.電子穩像技術在船載電視監視系統中的應用［J］. 光電工程，2008，35(2):103-108.

［24］ WANG C，KIM J M.Robust digital image stabilization using the Kalman filter ［J］.IEEE Trans.Consumer Electronics，2009，55(1):6-14.

［25］郭曉冉，崔少輝.基于光流法的多分辨率電子穩像算法［J］.半導體光電，2014，39(2):340-344.

［26］張永祥.基于陀螺儀的船載電子穩像技術研究［D］.長春:中國科學院，2005.