基于FAST—9角點(diǎn)與光流法的機(jī)載視頻穩(wěn)像算法

酒銳波 李冰寒 劉玉婷

摘 要：針對機(jī)載視頻圖像受載體姿態(tài)運(yùn)動(dòng)及抖動(dòng)而出現(xiàn)的不穩(wěn)定現(xiàn)象，提出FAST-9角點(diǎn)與光流法結(jié)合的電子穩(wěn)像算法。首先對參考幀提取FAST-9角點(diǎn)，利用光流法在當(dāng)前幀找到匹配特征點(diǎn)以求取幀間運(yùn)動(dòng)矢量。采用卡爾曼濾波計(jì)算出補(bǔ)償分量，對各幀圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償。經(jīng)過穩(wěn)像前后的視頻序列幀間差值對比可知，很好地去除了視頻序列的抖動(dòng)。

關(guān)鍵詞：FAST-9 光流法 機(jī)載視頻 穩(wěn)像

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2019）01（a）-00-03

Abstract：The image sequence of airborne imaging equipment was taken as the research object.The feature matching by feature points was utilized to calculate the motion vectors between frames.Kalman filter was applied in the motion parameter estimation to remove the jitter component.To achieve motion vector compensation，the improved frame by frame compensation methods was presented.After contrast of the interframe difference in the video sequence between before and after stabilities，it is well done to remove the jitter of the video sequence.

Key words：FAST-9； Optical flow algorithm； Airborne video； Video stabilization

機(jī)載光電系統(tǒng)中，視頻圖像序列受載體姿態(tài)運(yùn)行及抖動(dòng)的影響會(huì)出現(xiàn)不規(guī)則運(yùn)動(dòng)，導(dǎo)致相鄰幀間圖像出現(xiàn)平移、旋轉(zhuǎn)及縮放等現(xiàn)象，嚴(yán)重影響視頻圖像質(zhì)量，因此需要進(jìn)行穩(wěn)像處理。電子穩(wěn)像技術(shù)具有穩(wěn)像精度高、適應(yīng)性強(qiáng)及成本低等特點(diǎn)，在軍事領(lǐng)域應(yīng)用廣泛。電子穩(wěn)像大多基于角點(diǎn)檢測與匹配算法，角點(diǎn)檢測算法采用Harris[1]、Shift[2]、SURF[3]算法，這些角點(diǎn)檢測算法比較復(fù)雜，而FAST-9角點(diǎn)[4]計(jì)算速度快，提取的特征點(diǎn)較好。基于Harris等角點(diǎn)的匹配算法不如金字塔光流法[5]估算精度高和魯棒性強(qiáng)。該文通過比較各種角點(diǎn)檢測和角點(diǎn)匹配方法，最終確定基于FAST-9角點(diǎn)和金字塔光流法進(jìn)行穩(wěn)定處理。

1 電子穩(wěn)像原理

對輸入的原始視頻圖像，首先，在參考幀通過隨機(jī)點(diǎn)和FAST-9角點(diǎn)提取特征點(diǎn)；其次，在當(dāng)前幀利用金字塔光流法獲取匹配的特征點(diǎn)，利用RANSAC[6]方法進(jìn)行特征點(diǎn)篩選，獲取運(yùn)動(dòng)估計(jì)參數(shù)；然后對運(yùn)動(dòng)估計(jì)參數(shù)進(jìn)行卡爾曼濾波，獲取運(yùn)動(dòng)補(bǔ)償參數(shù)，最后采用相鄰幀補(bǔ)償算法，獲取穩(wěn)定的視頻圖像。具體算法框圖如圖1所示。

2 圖像預(yù)處理與特征點(diǎn)提取

2.1 圖像預(yù)處理

圖像預(yù)處理是電子穩(wěn)像算法的第一步，本文采用雙邊濾波與直方圖均衡算法，實(shí)現(xiàn)視頻圖像降噪和提高圖像對比度，預(yù)處理后的圖像有利于提取特征點(diǎn)。

2.2 FAST-9角點(diǎn)提取與改進(jìn)

FAST-9角點(diǎn)的特點(diǎn)是與其周圍像素點(diǎn)灰度相差大，且差異具有連續(xù)性。該角點(diǎn)檢測算法計(jì)算簡單，運(yùn)行速度較快，實(shí)時(shí)性好。為了使角點(diǎn)更適于估計(jì)視頻圖像的運(yùn)動(dòng)向量，本文對FAST-9角點(diǎn)檢測算法進(jìn)行改進(jìn)。角點(diǎn)數(shù)目越多，計(jì)算運(yùn)動(dòng)向量的精度也就越高，但計(jì)算量也隨之增加，考慮到算法的運(yùn)算速度與精度，最終將角點(diǎn)數(shù)量控制在100～200之間。

在實(shí)際圖像中，顯著的角點(diǎn)大多位于一組圖像像素點(diǎn)構(gòu)成的區(qū)域，而FAST-9角點(diǎn)檢測算法僅僅是對圖像的單個(gè)像素進(jìn)行判斷，因此算法首次提取的角點(diǎn)會(huì)出現(xiàn)局部區(qū)域聚集現(xiàn)象，也就是角點(diǎn)分布過于密集。本文采用非極大值抑制算法二次提取局部區(qū)域中的最優(yōu)角點(diǎn)，首先以某一初選角點(diǎn)P的坐標(biāo)（x，y）為中心選取（2m+1）×（2m+1）的局部區(qū)域，然后計(jì)算區(qū)域內(nèi)所有初選角點(diǎn)與其圓周上16個(gè)點(diǎn)的像素絕對誤差和S，最后選擇局部區(qū)域內(nèi)像素絕對誤差和最大的初選角點(diǎn)作為區(qū)域最優(yōu)角點(diǎn)，這就是非極大值抑制算法，計(jì)算公式如下：

利用非極大值抑制算法，減少FAST-9角點(diǎn)的初選角點(diǎn)數(shù)目，增強(qiáng)角點(diǎn)魯棒性，有利于后續(xù)的特征點(diǎn)匹配。考慮到角點(diǎn)的離散程度及保留數(shù)量，試驗(yàn)中設(shè)定抑制半徑m為10，圖2是角點(diǎn)抑制前后對比圖。

2.3 隨機(jī)特征點(diǎn)提取

考慮到視頻圖像中場景的多樣性，該文參考概率統(tǒng)計(jì)方法，將圖像區(qū)域劃分成9塊，在每一塊圖像區(qū)域依概率隨機(jī)選取一定數(shù)量特征點(diǎn)，和FAST-9角點(diǎn)合并作為待匹配的特征點(diǎn)。

因此該文選取特征點(diǎn)的方法不僅計(jì)算速度快，而且選取的特征點(diǎn)能夠保證特征點(diǎn)分布相對均勻，并能有效控制特征點(diǎn)的數(shù)量。針對不同的視頻場景，提取的特征點(diǎn)具有較高穩(wěn)定性。

3 運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償

3.1 光流法

該文采用高斯金字塔光流法進(jìn)行特征點(diǎn)匹配，對視頻圖像建立3層高斯金字塔圖像，高斯金字塔第0層的圖像為原始圖像，它具有原始圖像的分辨率，原始圖像降采樣得到高斯金字塔第1層的圖像，它具有原始圖像的1/4分辨率，第1層圖像降采樣得到高斯金字塔第2層的圖像，它具有原始圖像的1/16分辨率，從第0層到第2層圖像分辨率逐漸降低，因此特征點(diǎn)匹配的計(jì)算量也隨著層數(shù)的增加而逐漸減小。特征點(diǎn)匹配的計(jì)算首先從第2層開始，得到的特征點(diǎn)對為粗略估計(jì)特征點(diǎn)對，將該粗略估計(jì)特征點(diǎn)對在第1層圖像進(jìn)行匹配，再將第1層的計(jì)算結(jié)果在第0層圖像上進(jìn)行匹配，最終在第0層估計(jì)出準(zhǔn)確的特征點(diǎn)匹配對。

3.2 運(yùn)動(dòng)估計(jì)

相鄰幀間圖像的重疊區(qū)域比較大，圖像中也不存在突變內(nèi)容，因此，在相鄰兩幀圖像之間進(jìn)行運(yùn)動(dòng)向量估計(jì)，計(jì)算的運(yùn)動(dòng)參數(shù)精確更高，穩(wěn)像效果更好。另外，采用RANSAC方法篩選圖像的匹配特征點(diǎn)對，消除誤匹配的影響，提高運(yùn)動(dòng)估計(jì)的準(zhǔn)確度。將匹配特征點(diǎn)對代入仿射變換方程，求解仿射運(yùn)動(dòng)參數(shù)，實(shí)現(xiàn)運(yùn)動(dòng)估計(jì)。

3.3 卡爾曼濾波與運(yùn)動(dòng)補(bǔ)償

由相鄰幀的運(yùn)動(dòng)向量得到視頻序列的運(yùn)動(dòng)軌跡，其中既包含攝像機(jī)的正常運(yùn)動(dòng)，又有機(jī)載帶來的隨機(jī)抖動(dòng)，視頻穩(wěn)像就是要濾除隨機(jī)抖動(dòng)。從運(yùn)動(dòng)分離效果和算法速度分析，卡爾曼濾波效果較好。卡爾曼濾波以遞推的方式估計(jì)當(dāng)前狀態(tài)，不必要存儲(chǔ)大量的數(shù)據(jù)，并且運(yùn)動(dòng)軌跡經(jīng)過濾波后平穩(wěn)光滑。通過卡爾曼濾波對運(yùn)動(dòng)估計(jì)參數(shù)進(jìn)行平滑，獲取運(yùn)動(dòng)補(bǔ)償向量。

電子穩(wěn)像的最后一步是運(yùn)動(dòng)補(bǔ)償，根據(jù)當(dāng)前得到的運(yùn)動(dòng)補(bǔ)償向量，對前一幀視頻做平移、旋轉(zhuǎn)、縮放變換，得到穩(wěn)像后的視頻圖像，作為當(dāng)前幀圖像進(jìn)行輸出。

4 實(shí)驗(yàn)結(jié)果與分析

我們從機(jī)載視頻序列中選取了某一段視頻，對本文算法進(jìn)行仿真實(shí)驗(yàn)。其中圖3（b）為本文算法提取特征點(diǎn)的結(jié)果圖像，從圖中可以看出，特征點(diǎn)分布均勻，具有較好的獨(dú)特性，且信息量豐富，能夠避免特征點(diǎn)和特征窗口在圖像中分布過于集中。在獲取特征點(diǎn)后，利用光流法在當(dāng)前圖像進(jìn)行特征點(diǎn)的匹配，找到對應(yīng)的匹配特征點(diǎn)，最后進(jìn)行運(yùn)動(dòng)估計(jì)與補(bǔ)償，即可得到穩(wěn)定后的圖像，如圖3（c）所示。

穩(wěn)像效果可通過輸入輸出視頻序列的前后兩幀圖像差值或峰值信噪比等評(píng)價(jià)。為了直觀地評(píng)價(jià)穩(wěn)像后的效果，我們給出穩(wěn)定前后差值圖像比較，如圖3所示。通過差值圖的比較，我們可以看出，穩(wěn)定后圖像差值比原始差值變小，說明補(bǔ)償圖像效果較好。

5 結(jié)語

總之，實(shí)驗(yàn)結(jié)果表明，基于隨機(jī)點(diǎn)和FAST角點(diǎn)特征提取的運(yùn)動(dòng)估計(jì)方法和卡爾曼濾波和相鄰幀補(bǔ)償?shù)倪\(yùn)動(dòng)估計(jì)方法相結(jié)合能很好地適應(yīng)機(jī)載光電視頻圖像的電子穩(wěn)像處理。

參考文獻(xiàn)

[1] 李鵬程，曾敏，張夢.一種改進(jìn)的Harris角點(diǎn)檢測算法[J].南京師大學(xué)報(bào)：自然科學(xué)版，2014，37（2）：49-54.

[2] 李兆祥，李靖.視頻穩(wěn)像的Sift算法優(yōu)化[J].哈爾濱理工大學(xué)學(xué)報(bào)，2013，18（2）：109-113.

[3] 初守艷，席志紅.結(jié)合SURF的數(shù)字穩(wěn)像技術(shù)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26（2）：241-247.

[4] 吳金津，王鵬程，龍永新，等.基于FAST角點(diǎn)檢測的圖像配準(zhǔn)算法[J].湖南工業(yè)大學(xué)學(xué)報(bào)，2014，28（4）：71-75.

[5] 郭曉冉，崔少輝.基于光流法的多分辨率電子穩(wěn)像算法[J].半導(dǎo)體光電，2014，35（2）：340-344.

[6] 趙燁，蔣建國，洪日昌.基于RANSAC的SIFT匹配優(yōu)化[J].光電工程，2014，41（8）：58-65.

[7] 喬磊.復(fù)雜抖動(dòng)的電子穩(wěn)像概述[J].山西電子技術(shù)， 2013（3）：91-93.

[8] 彭小江，張家樹.基于特征匹配和校驗(yàn)的魯棒實(shí)時(shí)電子穩(wěn)像[J].光子學(xué)報(bào)，2011，40（9） ：1442-1446.

[9] 周同，鄒麗新，尤金正，等.基于改進(jìn)Canny邊緣檢測算子的電子穩(wěn)像算法研究[J].光子學(xué)報(bào)，2010，27（2）：506-508.

[10] 陸勤鋒.電子穩(wěn)像技術(shù)在DM642上的實(shí)現(xiàn)[J].光子學(xué)報(bào)，2011（3）：19-23.