基于Harris角點檢測的嵌入式穩像系統設計

蔡耀儀，林海軍

(湖南師范大學 工學院，湖南 長沙410081)

電子穩像系統是應用于車載、飛機、艦船等場合的攝像系統后端，消除圖像序列的抖動。傳統穩像系統中，圖像檢測和匹配算法全部由計算機完成，而計算機處理數據是一種單指令周期、串行處理數據方式，難以滿足穩像系統實時性的要求。其次，基于通用PC的穩像系統體積一般較大、穩定性較差，難以滿足某些對系統體積要求和工作條件比較苛刻的場合的要求。所以采用新型的FPGA器件，研制專用的穩像處理系統成為既有意義又有實際需求的工作。

現有嵌入式穩像系統多數基于投影法(PA)［1］、位平面匹配法(BPM)［2］、塊匹配法(BMA)［3］等。其中PA和BPM法只針對攝像機的平移運動進行穩像，而BMA法經過改進能夠應用于攝像機小角度的旋轉穩像。這些算法很難直接適用于基于并行處理架構的FPGA實現?；谏鲜鲈?，針對FPGA的結構特點改進了特征跟蹤算法中基于Harris角點檢測的特征點匹配算法［4］，求取特征點運動參數，利用基于距離準則的特征點匹配驗證方法［5］結合最小二乘法得到全局運動估計結果。

1 系統組成

系統以Xilinx公司的Virtex 5 FX100T系列為目標器件，由視頻采集、視頻解碼輸入、運動估計模塊、運動補償模塊、視頻輸出模塊和時序控制模塊組成，如圖1所示。系統核心處理器件為Virtex 5 FX100T上的2個PowerPC處理核心，PAL制式的視頻信號通過A/D轉換子卡轉換成符合CCIR.656數字視頻流輸入到FPGA內部寄存器中，經過運動估計和運動補償模塊將處理后的視頻輸出到顯示器上顯示。系統的存儲部分包括片上BRAM對少數幀圖像進行存儲，DDR SDRAM對待補償的圖像和補償后的圖像進行存儲，整個過程的控制由時序控制模塊完成。

圖1 系統框架圖

2 軟件設計

2.1 攝像機參數模型

視頻序列圖像產生抖動的原因來自于攝像機的運動，這種運動主要包括平移和旋轉。建立合適的數學模型描述攝像機的運動決定了算法能實現的功能和算法的精度。該系統采用Similarity模型描述攝像機的運動，通過此模型能實現圖像平移、旋轉和縮放的處理。

攝像機坐標系中，由于圖像視頻序列是三維物體在二維平面的投影，此運動從時刻tk的坐標p(X，Y)運動到時刻tk+1的坐標p'(x'，y')，由Similarity模型可得計算方程為

式中:s為縮放因子;θ為旋轉因子;d1，d2為p'相對于p的偏移量，通過求解此方程，可得特征點運動參數。

2.2 改進的Harris角點檢測算法

普通視頻分析系統一般采用DSP實現Harris角點檢測，計算量相當大，從而影響穩像系統的實時性，嚴重時將導致系統運動估計部分不能實時處理?；贖arris角點檢測結構相對簡單的特點，采用FPGA實現能夠較大程度地提高角點檢測的速度，從而保證穩像系統的實時性。

Harris角點是一種基于信號點的特征提取算子，通過建立自相關函數相聯系的對稱矩陣M，求取M的兩個特征值λ1和λ2，則λ1和λ2代表的是自相關函數的一階曲率，若兩個特征值都很大，即代表自相關函數呈尖頂狀，即此點為角點。

不同于基于邊緣的Moravec角點檢測和和采用固定閾值的Susan算子角點檢測［6］，Harris算子對圖像旋轉、灰度變化、視角變化和亮度變化具有較好的穩健性。Harris角點檢測的過程中利用水平、豎直差分算子對每個像素進行濾波求得水平、豎直方向上的導數，由于Harris算子存在各向異性，所以M保持旋轉不變性。

式(2)中:Ix，Iy分別表示圖像中像素在水平、豎直方向的導數，而其表達的含義是分別對4個元素進行高斯平滑濾波，由式(3)即高斯函數的形式可知，決定平滑程度即高斯濾波器的寬度由參數σ表征，在一般的Harris角點檢測中，通常取σ的值為2，大小為5×5的高斯模板，即可算出其模板系數為:(1/84)×［1，2，3，2，1;2，5，6，5，2;3，6，8，6，3;2，5，6，5，2;1，2，3，2，1］，采用此模板進行FPGA實現，得到對1個像素進行1次高斯濾波需要25個乘法器，24個加法器以及完成除以84操作的除法器，造成大量硬件資源的消耗，并提高了系統的復雜性和設計難度。而文獻［7］提出采用高斯濾波中采用矩形模板會在自相關檢測中引入噪聲。基于上述原因，采用圓形模板并將模板系數表示為2的整數次冪的方法對原有5×5高斯模板進行改進，其改進后模板系數為:(1/32)×［0，1，1，1，0;1，2，2，2，1;1，2，4，2，1;1，2，2，2，1;0，1，1，1，0］。比較改進后模板與原高斯模板結構可知，兩者同樣為低通濾波器，能夠有效濾除噪聲，且與高斯圓形模板近似，能避免自相關檢測時引入的噪聲，是有效的高斯濾波模板。同時，采用改進后的模板具有3個優點:1)提高了硬件實現程度。由于FPGA內除法器的實現難度較大，而改進后模板系數與圖像像素的乘積運算只是簡單的移位操作，即乘法運算為向左移位操作，而除法運算則是向右移位，極大地降低了設計難度。2)進一步滿足系統實時性的要求。采用移位運算能夠減少計算所占用的時鐘周期，改進后模板僅需2個時鐘周期便可完成1次高斯濾波過程，而原有模板則會帶來變長時鐘周期的延時，從而所耗費時間遠遠超過2個時鐘周期。3)減少了硬件資源的開銷。對圖像像素的移位操作在原有的存儲空間中即可完成，不需要調用額外的硬件資源，從而大大節省了硬件資源的消耗。

2.3 基于距離準則的特征點匹配驗證

對當前幀圖像中的特征點進行正確提取后，需將當前幀圖像和參考幀圖像中對應的特征點進行匹配，并求取匹配后特征點之間的運動參數。匹配搜索的方法分為全搜索法和局部搜索法2種。由于對系統精度的要求，采用計算量較大但精度較高的全搜索法求得運動參數。對特征點的匹配驗證采用絕對誤差和(SAD)驗證準則，得到1組特征點對集合。

由于視野中運動物體在當前幀的出現和消失會造成局部特征點，并且在匹配過程中容易產生誤匹配點，進而嚴重影響運動估計的精度，從而需要采用一定方法剔除誤匹配點和局部特征點，該系統采用距離不變準則來校正特征點對。具體算法為:

設A(ma，mb)和B(mb，nb)為任意2個參考幀圖像上的特征點，而當前幀圖像上與其對應的特征點為A'(m'a，m'b)和B'(n'a，n'b)。假設(A，A')與(B，B')之間是正確的匹配對，則滿足

基于以上方程描述距離準則，設計匹配驗證步驟為:

1)對已有的N個特征點對計算其橫縱坐標之間的距離，采用桶形聚類方法將其分成k(k≤N)類。

2)統計和比較k類中特征點的個數ti(i=1，2，…，k)。

3)求取特征點距離對最多的類，即距離對數量滿足ti=max{ti|i=1，2，…，k)，即所有集合為全局特征點對。

2.4 最小二乘估計法計算全局運動矢量

通過局部運動估計得到的運動矢量采用最小二乘法的思想求出全局特征點的信息，將Similarity模型轉換6參數仿射模型，得

公式(6)給出了變換后兩種參數模型的對應關系。將當前幀圖像特征點與參考幀圖像對應特征點的坐標分別記作(x'i，y'i)，(xi，yi)，i=1，2，···，n。則對每一個特征點匹配對，有

公式(7)中:i為特征點對的編號，Δxi，Δyi為當前幀特征點對應參考幀的運動矢量。在6參數模型的基礎上，定義能量函數ρx，ρy如

根據最小二乘法，當ρx，ρy取得最小值時，即

可以得到幀間旋轉角度θ和縮放因子s為

3 硬件設計

系統采用模塊化設計，并借助ISE和EDK開發工具設計實時穩像系統。

3.1 高斯濾波模塊設計

高斯濾波計算過程中，采用5行緩存，即需要將視頻數據流形成數據窗口，應用改進的高斯濾波模板完成計算。數據緩存器設計應用FIFO存儲器結構，在像素時鐘以及行同步信號的控制下完成數據緩存。由于模板中乘除法計算采用移位的形式，避免了復雜計算帶來的時間與資源消耗。窗口形成模塊設計如圖2所示。

圖2 基于FIFO的窗口形成模塊

對緩存的設計采用ISE工具集中的Core Generator高速緩存生成器生成所需緩存。其中模塊中FIFO存儲器是關鍵的設計。FIFO通常存在讀使能端口、寫使能端口、FIFO狀態端口、數據輸入輸出端口等信號端口，其狀態一般分為3種:滿、未滿或空。其中FIFO設計的深度等于圖像中列數，而其設計難點在于判斷數據的空/滿狀態。傳統的FIFO設計中，亞穩態難以避免，而該設計中采用冗余的觸發器，即避免FIFO在真正發生空/滿狀態時設置空/滿標志，而是提前設置標志，使得FIFO能夠提前清空與寫入雙口RAM中。這樣設計勢必會浪費一定的硬件資源，但保證了FIFO模塊的精度。

FIFO模塊系統仿真時序如圖3所示。由時序圖可知，FIFO很好地完成數據緩存與輸出，減小了亞穩態出現的概率，能達到系統設計的要求。窗口模塊后的每個數據輸出端口均接入與改進后的高斯模板系數相對應的乘法器，即對數據完成相應的左移位操作。對5行數據完成相應系數的乘法操作后匯總進行右移5位的操作，即完成對改進后規范化系數的除法運算。高斯濾波模塊每個時鐘周期即可得到相應的濾波值，從而完成高斯濾波操作。

圖3 FIFO功能框圖及仿真時序圖(截圖)

3.2 求導計算與非局部最大值抑制模塊

對X與Y方向的求導計算同樣采用模板來完成，該模板與低通濾波模板類似，只改變模板的系數，只需1個時鐘周期的操作即可計算出X與Y方向的梯度算子，由于篇幅關系，在這里定制實現3個數據梯度計算的ladder_3模塊，如圖4所示。該系統所需梯度計算模塊即在此模塊上的擴展，即將數據分別于相對應的5×5計算模板系數相乘，其可利用Sobel模板求取梯度［8］。

圖4 梯度算子計算模塊

對計算后結果還需進行興趣值領域的非極大值抑制，即只保留最佳結果。非極大值抑制在計算興趣值R時針對FPGA將小于零的R值置零。興趣值的計算需調用乘法器完成，其非極大值抑制在3×3領域內完成。將得到的興趣值圖像與閾值進行比較，若其大于設定閾值即為最終求得的角點。其Verilog代碼如

其中:iThreshold即為設定的門限值，將aData標記為黑的點即為所求得的角點，從而能夠得到角點的坐標。

3.3 運動估計與運動補償模塊

提取出角點信息后，需要進行局部運動矢量的估計以及全局運動矢量的計算。單純采用FPGA結構很難完成如此復雜的計算。應用Virtex 5 Fx100T中嵌入的Power PC處理器構建軟硬協同處理模式，通過PLB總線訪問高速緩存中的角點信息，最終計算出幀間全局運動矢量。

運動補償是通過對存儲在DDR SDRAM中的待補償幀圖像數據，利用Xilinx公司的MPMC(Multi-Port Memory Controller)IP核來完成內存的讀寫管理在其專用開發工具EDK中完成。調用此IP核能夠將整個DDR SDRAM分成8個互相獨立的端口，每個端口的操作類似于BRAM，即可以通過任意一個端口訪問內存。在應用MPMC核進行運動補償時，由于其寫入機制為先將數據寫入緩存后再完成寫入內存操作，而對內存數據的讀取是直接進行。為了避免此沖突的發生，系統設定判定信號首先判定緩存是否為空，僅當判定信號返回為空時才執行讀取操作，從而避免了讀寫沖突造成的數據丟失。

4 實驗與分析

系統采用PAL制式彩色工業線陣攝像頭，拍攝某室內場景，數據流經FPGA穩像系統實時處理后顯示在VGA顯示器上。為了驗證系統的性能，將系統放置在用于產生震動的云臺上，以2 Hz的頻率進行一定幅度震動。圖5為結果的第1幀、第7幀、第14幀、第21幀。為了便于對比系統效果，顯示器左半邊為未進行穩像處理視頻流，右半平面為進行穩像處理后的同源視頻流。

圖5 實驗結果

對比左右顯示結果可以明顯看出:左半平面內容發生明顯的改變，而右半平面內容基本保持不變。其中結果第7幀右半平面可以明顯看到系統進行運動補償后產生的黑色空白區域。從而證明，系統具有良好的實時穩像效果。

將系統與同樣移植程序的基于C6000系列的DSP穩像平臺以及基于INTEL Pentium E5300 2.6 GHz、內存為4 Gbyte的通用PC穩像平臺處理時間對比如表1所示。

表1 不同平臺處理時間

由此看出，采用基于FPGA的處理平臺每秒處理幀數能夠達到100幀以上，處理速度遠遠高于DSP平臺以及通用PC平臺，能夠實現高速視頻的穩像。系統在某廠礦企業已經運行達2 000 h，事實證明其能穩定工作。

5 結束語

系統針對FPGA的特點，改進了基于Harris的角點檢測算法，并應用距離準則對角點對進行驗證。在得到角點的基礎上應用硬核處理器對抖動進行運動估計和運動補償，實現了能夠高速處理抖動視頻的嵌入式穩像系統。實驗表明，穩像系統處理速度高，效果較好，能夠達到高速實現穩像的要求，具有較高實用價值。但對運動補償部分即補償后畫面中空白區域的處理還缺乏研究。

［1］ZHANG Yongxiang，CHEN Fangmin.Implementation of gray projection image stabilization algorithm based on TMS320DM642［C］//Proc.IEEE 5th International Joint Conference on INC，IMS and IDC.［S.l.］:IEEE Press，2009:1724-1726.

［2］SUNG J K.Fast digital image stabilizer based on gray-coded bit-plane matching［J］.IEEE Trans.Consumer Electronics，1999，45(3):598-603.

［3］楊光宇，朱丹，佟新鑫，等.基于灰度投影法的電子穩像平臺設計與實現［J］.電視技術，2011，35(19):115-118.

［4］倪樂真，李玉山，劉洋，等.一種基于角點配對的穩像算法［J］.電視技術，2009，33(S2):71-74.

［5］朱娟娟，郭寶龍.一種魯棒的電子穩像系統［J］.西安電子科技大學學報:自然科學版，2007，34(3):418-422，452.

［6］賀菁，李慶華，王新賽.基于方向性SUSAN算子的圖像角點特征提?。跩］.小型微型計算機系統，2008，29(3):508-510.

［7］PIKAZ A，DISTEIN I.Using simple decomposition for smoothing and feature point detection of noisy digital curves［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1994，16(8):808-813.

［8］唐永鶴，胡謀法，盧煥章.抗噪型Sobel邊緣檢測算法及其硬件加速設計［J］.計算機工程，2011，37(24):204-206.