一種結合特征點匹配與仿射變換的電子穩像算法

何 濤， 柯黎明， 何嘉奇， 王少東

(1 湖北工業大學機械工程學院， 湖北 武漢 430068； 2 現代制造質量工程湖北省重點實驗室， 湖北 武漢 430068)

在電子后視鏡實際使用中，風激勵及路面顛簸會使顯示的視頻出現抖動[1-2]，不僅影響視頻質量，而且會導致較差的顯示效果。目前，視頻防抖[3]按照系統構成及實現原理可以分成機械穩像，光學穩像和電子穩像等3類。機械穩像通過慣性傳感器檢測待穩平臺的運動狀態變化，驅動穩像機構，反向補償載體的運動，達到機械穩像的目的；光學穩像則通過調整鏡片的位置，反向補償光軸的偏移量來實現穩定視軸的目的；電子穩像運用數字圖像處理技術，通過幀間運動矢量估計及圖像的運動濾波補償，達到電子穩像的目的。電子穩像技術成本低、輕便且穩像精度高，常被用于解決視頻抖動問題。

近年來，國內外研究者均提出了電子穩像的不同方法。Amintoosi等(2021)在SIFT的基礎上進行修改，提出了一種快速圖像匹配基準的算法，在特征點提取的速度上有較大的提高； Li等(2015)[3]提出一種基于目標跟蹤算法和Kalman濾波的電子穩像算法，為運動濾波提供了新的研究方法；Zhang等(2019)[4]基于ORB和RANSAC算法改進的特征點提取算法，降低了誤匹配率；同年，Zhou等[5]在RANSAC算法基礎上，提出新的優化策略，使特征點匹配效率得到一定的提升；Verma等(2020)[6]提出的數字視頻穩像算法通過改進特征提取，采用快速的特征點提取，估計全局運動矢量，然后對運動進行濾波和補償，在視頻穩像后處理有較好的算法魯棒性。但在車載實時電子穩像上表現出較差的算法魯棒性及實時性。針對上述問題，本文提出了一種結合特征點匹配與仿射變換的電子穩像算法。在保證計算精度的前提下，通過建立視頻提取器，對冗余信息過多的原視頻幀序列進行變步長的抽樣處理，提取高信息度幀序列。在提取后的高信息度的幀中，采用分區處理進行固定角點數的SURF檢測，接著對RANSAC算法做應用上的優化，然后對匹配對進行篩選，確定最終代入單應性仿射變換矩陣的計算項中的匹配對，通過仿射變換模型分別計算出各區域的運動矩陣，再用卡爾曼濾波器對估計的各區域運動矩陣參數進行平滑處理，利用異加權值的運動估計方法，計算出全局運動矩陣參數，最后用全局運動矩陣參數對待處理幀進行圖像補償，得到穩定的視頻幀列。

1 原視頻幀序列的抽樣處理

目前的電子后視鏡視頻獲取設備中，由于高幀率的特性，其視頻幀序列中各幀之間會產生很多重復信息(冗余信息)，造成計算數據量過大。為提高本文算法在實時電子穩像技術上的應用效率，提出建立一個視頻提取器，該視頻提取器按照一定比例的步長，提取高信息度幀序列。在設置提取步長時，若設置的步長過小，原視頻抽樣間距過小，依然存在過多的冗余信息，后續的計算量依舊很大；若設置的步長過大，幀之間的關聯性較低或者很低，將影響后續的角點檢測匹配對的提取，導致電子穩像算法精度降低。故而在設計視頻提取器步長時采用動態步長值，通過車速傳感器獲取車輛運動速度來動態調整步長值:0

2 運動估計

運動估計方法是電子穩像技術中最關鍵的步驟之一。運動估計主要是計算出幀間的運動(即全局運動)。在計算全局運動的過程中，現有的特征點匹配及光流跟蹤算法易受場景中目標運動的干擾，導致在計算全局運動時，產生魯棒性差的問題。針對上述問題，在運動估計上，提出新的解決思路，結合車載電子視鏡顯示特點，首先對視頻幀進行分塊處理，并設置每塊相應的角點閾值，采用尺度不變的角點檢測算法SURF進行角點檢測，得到圖像幀的特征點集，對特征點集采用優化后的RANSAC算法進行匹配對處理，去除錯誤的匹配對，然后對匹配對進行異加權值的仿射變換，求出全局的運動估計。

2.1 優化后的誤匹配剔除算法

因受外界場景復雜度和光照等因素的影響，在特征點匹配過程中會出現誤匹配對的現象。針對現有的RANSAC算法在剔除誤匹配過程中存在的問題，如在局部產生的最優值時，未提前結束該方法，造成計算資源的大量浪費。本文基于實際應用優化RANSAC算法，通過設置有限次的迭代K值，及縮小迭代方向角θ，來降低RANSAC算法的理論復雜度，提高算法的運算時效性。對車載成像特點進行分析，根據《公路工程技術標準》(JTG B01-2003)規定的公路最大坡度不應大于9%。通過坡度的計算公式坡度=(高程差/水平距離)×100%，代入參數，得-5.143°≤θ≤5.143°，故RANSAC算法的迭代主方向為圖1所示的角度范圍內。

圖 1 迭代主方向

數據集內由符合預測模型的模型上點及不符合預測模型的模型外點組成，模型外的點含有誤匹配點或者成為噪聲的干擾點。通過不斷迭代和更新模型的方法，尋找一個最佳的單應性矩陣H，使滿足該矩陣的模型上點數據個數最多，矩陣H則滿足兩幀圖像像素點坐標之間的變換關系：

(1)

RANSAC算法中，

(2)

式中，p為置信度，ε為數據集中預測模型外的點所占的比例，m為預測模型中最小的數據集元素個數。

2.2 加權值的全局運動估計

根據車身占電子視鏡圖像三分之一的成像特點，將圖像分成車身區域及非車身區域，分別計算兩塊區域的運動參數，分區域之后采用具有6參數的仿射變換模型，計算全局運動估計。

根據仿射變換模型，xn為參考幀上的特征點，xn-1為匹配幀上對應的匹配點，則滿足

(3)

式中:A體現的是圖像間的旋轉及縮放變換，B則表示的是圖像間的平移運動，T表示圖像間的變換關系，則可表示為：

(4)

代入3組不共線的匹配對點的坐標

可得到

(5)

解上述方程即可得到運動參數矩陣

(6)

車身區域的運動參數矩陣為M1,對應的運動估計參數權值為k1,非車身區域的運動參數矩陣為M2，其運動估計參數權值為k2。則實際相機運動參數矩陣M滿足

(7)

3 運動平滑與圖像補償

3.1 卡爾曼濾波器

運動濾波采用卡爾曼濾波方法，其基本原理是采用前一時刻的預測值與當前時刻的真實值，通過處理，計算出當前預測模型下的估計值，其狀態與測量轉移方程，滿足：

(8)

卡爾曼濾波采用預測模型的估計值來預測下一時刻狀態值，預測值和下一時刻的估計值之前關系：

(9)

(10)

x(k|k-1)是預測模型的預測值，P(k|k-1)是預測模型狀態協方差矩陣的預測值，x(k|k)是預測模型的校準值，P(k|k)為預測模型前一時刻的狀態協方差矩陣預測值，K(k)為卡爾曼增益。由x(k|k)和P(k|k)求解出k+1時刻x(k+1|k+1)和P(k+1|k+1)。上述為完成一次預測值的估計和校準步驟，后續的預測值也重復此過程。

3.2 圖像補償

Fcompen=MFsrc

(11)

4 實驗結果與分析

為了對本文提出的電子穩像算法進行有效性驗證，實驗在同一硬件和軟件條件下進行。在車載視頻實時電子穩像處理，實驗使用的是嵌入式系統環境。硬件運行環境CPU為Cortex-A53 八核CPU,主頻最高1.4G Hz。軟件運行環境：運行系統為Ubuntu16.04,運行軟件Image Stabilization V3.0，視頻分辨率為640×480。在車輛怠速情況下，采用Li[3]等提出的一種基于目標跟蹤算法的電子穩像算法、Verma[6]等人提出的數字視頻穩像算法以及本文提出的電子穩像算法，對車載視頻進行實時電子穩像處理，并從穩像效果對比和穩像圖像質量及耗時對比兩方面對穩像算法進行評價。

4.1 穩像效果對比

實驗穩像效果對比實驗數據如圖2所示，圖像中的豎線是為了更直觀地比較穩像效果。在原視頻幀序列中，隨機抽取第4、22、38、52、75幀進行對比分析，發現以第4幀為基準，第22幀出現向左的較大抖動量，第38、52幀出現向左的輕微抖動量，而第75幀則出現向右的較大抖動量。實驗結果表明原視頻幀序列有較大的抖動量。

圖 2 電子穩像效果實驗對比

對比分析Li算法，以第4幀為基準，第22、75幀出現向左的輕微抖動量，第38幀有微小的向右抖動量量，第52幀出現向右的輕微抖動量。實驗結果表明Li算法有良好的穩像效果。

對比分析Verma算法，以第4幀為基準，第22、52幀出現向左的輕微抖動量，第38幀出現較大的向左抖動量，第75幀出現向右的輕微抖動量。實驗結果表明Verma算法有一定的穩像效果，但算法穩像性不高，出現過補償的視頻幀。

對比分析本文所提出的算法，以第4幀為基準，第22幀出現向左的微小抖動量，第38、75幀出現微小的向右抖動量，第52幀出現向左的輕微抖動量。實驗結果表明，本文所提出的算法有優良的穩像效果，且算法穩像性高，未出現過補償的視頻幀。

4.2 穩像圖像質量及耗時對比

采用峰值信噪比PSNR值、結構相似度指數SSIM、單幀處理時間SFPT以及每秒幀率FPS作為客觀質量評價指標來測試算法的有效性。其中，峰值信噪比PSNR值越大、結構相似度指數SSIM值越接近1，表明最終的穩定性越好；單幀處理時間SFPT越小、每秒幀率FPS越大，表明電子穩像算法的實時性越好。穩像圖像質量及耗時實驗對比數據如表1所示。

表1 車載視頻實時處理實驗對比結果

通過表1可以看出，在分辨率為640×480的車載視頻實時電子穩像處理實驗中，3種算法較原視頻幀序列均有顯著的提升，并表現出算法的各向異性，即3種算法在不同的評價方式上具有不同的算法優越性。

在峰值信噪比PSNR值，原視頻幀序列平均值為11.894，Verma算法PSNR值最高，為16.118，較原視頻幀序列PSNR值提升35.51%，其次是本文算法，PSNR值為15.720，較原視頻幀序列PSNR值提升32.77%，再次是Li算法，PSNR值為15.264，較原視頻幀序列PSNR值提升28.33%。

在結構相似度指數SSIM，原視頻幀序列平均值為0.460，Verma算法SSIM值最高，為0.737，較原視頻幀序列SSIM值提升60.22%，其次是本文算法，SSIM值為0.726，較原視頻幀序列SSIM值提升57.83%，再次是Li算法，SSIM值為0.725，較原視頻幀序列SSIM值提升57.61%。

在單幀處理時間SFPT，原視頻幀序列平均值為16.67 ms，Li算法SFPT值最高，為60.20 ms，較原視頻幀序列SFPT增加261.13%，其次是Verma算法，SFPT值為55.03 ms，較原視頻幀序列SFPT增加230.11%，再次是本文算法，SFPT值為35.93 ms，較原視頻幀序列SFPT增加115.54%。

在每秒幀率FPS，原視頻幀序列平均值為60，本文算法FPS值最高，為28，較原視頻幀序列FPS減少53.33%，其次是Verma算法，FPS值為18.33 ms，較原視頻幀序列FPS減少69.45%，接著是Li算法，FPS值為16.67 ms，較原視頻幀序列FPS減少72.22%。

通過客觀評價的數據表明，本文所提出的電子穩像算法在單幀處理時間和幀率的實時性評價指標上有優異表現，在峰值信噪比和結構相似度指數的圖像質量評價指標上有良好的結果。

5 結論

本文通過對分區進行一定閾值的SURF角點檢測，采用優化后的RANSAC算法，進行匹配對的篩選，對匹配對進行不同的加權值，提高全局運動估計精度，再用卡爾曼濾波器對估計的全局運動參數進行平滑處理，并用平滑后的參數對待處理幀進行圖像補償，得到穩定的視頻序列。實驗表明：本文提出的算法對原始視頻進行穩像具有很好的穩像效果，圖像的PSNR值提升32.77%，SSIM值提升57.83%。與Li等人以及Verma等人提出的穩像算法對比，本文算法具有優良的穩像效果，在實時電子穩像上具有更好的實時性，在穩像后的圖像質量上有不錯的效果。