海事監(jiān)管中無人機(jī)航拍圖像快速拼接算法*

歐陽帥， 安博文， 周 凡， 曹 芳

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

海事監(jiān)管中無人機(jī)航拍圖像快速拼接算法*

歐陽帥， 安博文， 周 凡， 曹 芳

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

針對(duì)海事監(jiān)管中航拍圖像拼接生成大視場(chǎng)圖像的時(shí)效性較低以及配準(zhǔn)準(zhǔn)確性不高的問題，提出了一種快速高效的無人機(jī)(UAV)航拍圖像拼接算法。根據(jù)海事監(jiān)管轄區(qū)航拍圖像特點(diǎn)縮小了角點(diǎn)搜索范圍，通過設(shè)定自適應(yīng)的梯度閾值和角點(diǎn)響應(yīng)函數(shù)閾值篩選角點(diǎn)，通過局部最大角點(diǎn)響應(yīng)函數(shù)值取舍準(zhǔn)則實(shí)現(xiàn)了角點(diǎn)均勻化分布；采用基于相位相關(guān)的模板粗匹配方法和帶有特征約束的RANSAC細(xì)匹配方法求出最優(yōu)變換矩陣；利用人眼的視覺特性改進(jìn)傳統(tǒng)加權(quán)平均融合算法的加權(quán)因子使圖像拼接過渡自然。實(shí)驗(yàn)結(jié)果表明：算法具有較好的自適應(yīng)性，在拼接效率和準(zhǔn)確率上較傳統(tǒng)算法有了很大改善。

航拍圖像； 角點(diǎn)檢測(cè)； 自適應(yīng)閾值； 圖像配準(zhǔn)； 圖像融合

0 引 言

由于無人機(jī)(UAV)[1]航拍成像具有“站得高，看得遠(yuǎn)，跑得快”的優(yōu)勢(shì)，在船舶的動(dòng)態(tài)管理、防污染監(jiān)視、執(zhí)法取證等方面具有其他方式不可比擬的優(yōu)勢(shì)。但無人機(jī)航拍的過程中受到飛行條件以及拍攝設(shè)備條件的限制，很難用一張圖像將航拍目標(biāo)區(qū)域的信息完全涵蓋，因此，需要利用圖像拼接技術(shù)獲得完整的場(chǎng)景以解決實(shí)際需求。

目前，基于無人機(jī)圖像拼接的方法主要有直接拼接法[2]和基于特征的方法。目前，航拍圖像拼接算法大多基于特征點(diǎn)的方法[3]，主流的方法是尺度不變特征轉(zhuǎn)換(SIFT)特征點(diǎn)匹配法。雖然其具有高精度的特點(diǎn)，且對(duì)平移旋轉(zhuǎn)具有較好的魯棒性，但是非常耗時(shí)，無法滿足實(shí)時(shí)要求[5]。而Harris角點(diǎn)匹配法[6]具有光強(qiáng)和旋轉(zhuǎn)不變性，計(jì)算速度快，且角點(diǎn)具有顯著的結(jié)構(gòu)信息。鄭蘭等人[7]提出了一種Harris自適應(yīng)閾值角點(diǎn)提取方法，通過改進(jìn)的隨機(jī)抽樣一致性(RANSAC)算法剔除誤匹配點(diǎn)。楊宇博等人[8]提出了一種分塊的Harris角點(diǎn)提取方法，配準(zhǔn)采用分塊逐步的RANSAC方法。

由于無人機(jī)沿河岸碼頭固定路線巡航航拍，圖像中會(huì)出現(xiàn)較大一部分水域，該區(qū)域不存在角點(diǎn)特征，且水面容易受到光照反射影響，對(duì)角點(diǎn)檢測(cè)和配準(zhǔn)帶來極大的干擾，現(xiàn)有的算法對(duì)其適用性不理想，故本文提出了一種改進(jìn)的無人機(jī)航拍算法，實(shí)現(xiàn)高效精確拼接。

1 自適應(yīng)閾值的Harris角點(diǎn)檢測(cè)算法

1.1 角點(diǎn)檢測(cè)區(qū)域選定

根據(jù)實(shí)際航拍圖像特點(diǎn)和拼接實(shí)時(shí)性、準(zhǔn)確性的要求，相鄰幀圖像重疊率達(dá)到80 %可以較好滿足要求，故首先沿著飛行方向?qū)⑺阉鲄^(qū)域縮小至原有的0.8倍。然后對(duì)航拍圖像灰度化后做二值化處理，以5×5模板從水面方向進(jìn)行行掃描，當(dāng)像素點(diǎn)鄰域內(nèi)的值均為1時(shí)，記錄該點(diǎn)像素y坐標(biāo)并繼續(xù)下一行掃描，最后,取y坐標(biāo)最大值作為搜索區(qū)域y方向的分割線，角點(diǎn)搜索區(qū)域如圖1。極大地縮小了角點(diǎn)搜索范圍，并有效避免了水面反光問題對(duì)特征點(diǎn)提取和配準(zhǔn)的干擾。

圖1 角點(diǎn)搜索區(qū)域

1.2 自適應(yīng)的梯度閾值

采用改進(jìn)的梯度算子[-2,-1,0,1,2]計(jì)算灰度梯度值，使得對(duì)灰度變化更敏感。設(shè)定自適應(yīng)梯度閾值條件

(1)

即滿足水平和垂直梯度大于行平均梯度和列平均梯度作為待定角點(diǎn)。初步提取的像素點(diǎn)能夠反映圖像的主要特征，保證了提取絕大部分的角點(diǎn)，間接提高了角點(diǎn)檢測(cè)效率。

1.3 角點(diǎn)響應(yīng)函數(shù)的自適應(yīng)閾值

文獻(xiàn)[9]中指出平坦區(qū)域的條件隨機(jī)場(chǎng)(CRF)算法值為較小的正數(shù)，角點(diǎn)的CRF值為較大的正數(shù)，如式(2)

(2)

式中 ξ1,ξ2為波動(dòng)幅度。基于CRF數(shù)值大小特性，本文提出了一種自適應(yīng)閾值的方法。對(duì)于m×n的檢測(cè)區(qū)域，由于按式(1)條件取舍角點(diǎn)，將不符合角點(diǎn)的CRF值置為0，使得搜索區(qū)域的CRF矩陣大小也為m×n。現(xiàn)對(duì)各行、列的各個(gè)點(diǎn)的CRF求均方值，假設(shè)第i行或者第j列具有較多角點(diǎn)，則對(duì)應(yīng)的均方值大小要受角點(diǎn)處的CRF值影響而近似于v，即

(3)

由此極大值抑制閾值可表示為

T=

(4)

考慮到圖像紋理信息的不同，用一個(gè)全局閾值做角點(diǎn)篩選，容易遺漏一些簡(jiǎn)單內(nèi)容區(qū)域的角點(diǎn)。本文采用加權(quán)平均的思想分塊搜索區(qū)域，先計(jì)算局部閾值，然后由局部閾值及其對(duì)整體閾值權(quán)重的貢獻(xiàn)率得到最終的閾值表達(dá)式

(5)

式中 Ti為各區(qū)域的閾值；n為分塊數(shù)。

1.4 角點(diǎn)聚簇現(xiàn)象的優(yōu)化

經(jīng)過上述步驟的篩選后，容易出現(xiàn)局部角點(diǎn)聚簇現(xiàn)象，將對(duì)角點(diǎn)匹配造成干擾，為了減少配準(zhǔn)誤差，采用15×15大小的模板對(duì)匹配區(qū)域進(jìn)行依次掃描，采取取舍準(zhǔn)則：只保留掃描區(qū)域內(nèi)最大CRF值的點(diǎn)作為角點(diǎn)。降低角點(diǎn)誤匹配率的同時(shí)提高匹配效率。

2 改進(jìn)的特征點(diǎn)配準(zhǔn)算法

2.1 基于相位相關(guān)的模板粗匹配算法

傳統(tǒng)歸一化互相關(guān)匹配(NCC)算法需要對(duì)全部角點(diǎn)進(jìn)行遍歷并進(jìn)行雙向匹配，時(shí)間開銷大。故采用改進(jìn)的基于相位相關(guān)法的模板粗匹配算法：根據(jù)相鄰幀圖像的平移量和參考圖像中角點(diǎn)位置，得到對(duì)應(yīng)匹配角點(diǎn)的大致位置，在待拼接圖像中該點(diǎn)40×40的鄰域內(nèi)搜索，然后進(jìn)行反向匹配，得到相關(guān)度最大的點(diǎn)。極大減少了搜索區(qū)域，且避免了噪聲、重復(fù)性紋理特征等因素的干擾，有利于提高配準(zhǔn)精度和效率。

2.2 帶有特征約束的RANSAC細(xì)匹配算法

通過粗匹配后，難免會(huì)出現(xiàn)誤匹配，有效地消除誤匹配點(diǎn)是拼接成功的關(guān)鍵[10]。通過定義兩個(gè)特征匹配約束條件改進(jìn)RANSAC算法實(shí)現(xiàn)細(xì)匹配：

1)視差約束。視差定義為配準(zhǔn)圖像上匹配點(diǎn)對(duì)的坐標(biāo)之差，正確匹配對(duì)的視差大致相同，而對(duì)于誤匹配點(diǎn)，視差往往存在較大偏差。可以按如下取舍原則操作,剔除誤匹配對(duì)：計(jì)算每一對(duì)匹配對(duì)其X，Y坐標(biāo)視差，分別進(jìn)行快速排序，取剔除視差最大的前5 %和最小的前5 %的點(diǎn)對(duì)。

2)唯一性約束:通過對(duì)無人機(jī)平穩(wěn)飛行狀況的分析,相鄰圖像時(shí)間間隔內(nèi)無人機(jī)在水平和垂直方向上不存在變形量,故在求解變換矩陣時(shí)可以從8個(gè)自由度減少到6個(gè)自由度，則只需3對(duì)匹配點(diǎn)即可求解參數(shù)模型。對(duì)于3對(duì)匹配點(diǎn)(A-A′)(B-B′)(C-C′)，由余弦定理知

(6)

以此構(gòu)建約束條件表達(dá)式

(7)

式中sgn為符號(hào)函數(shù);φ為約束閾值(本文取0.01)。利用余弦值乘積為0的條件排除了三點(diǎn)共線的情況。由式(7)判斷：若F(A)=±2為誤匹配，直接從集合中刪除上述點(diǎn)；若-2

改進(jìn)的細(xì)匹配算法流程主要步驟如下：

1)定義最大采樣次數(shù)，并從粗匹配點(diǎn)集中隨機(jī)抽取3對(duì)同名匹配點(diǎn)，判斷是否滿足約束條件，滿足，則繼續(xù)步驟(2)；不滿足，則舍棄，重新抽取。

2)計(jì)算變換矩陣H，設(shè)定距離閾值逐一判斷剩余點(diǎn)對(duì)是否為內(nèi)點(diǎn)。當(dāng)剩余點(diǎn)判斷完畢，循環(huán)次數(shù)+1。

3)判斷此時(shí)循環(huán)次數(shù)是否大于最大采樣次數(shù)，大于,則直接跳出循環(huán)，取內(nèi)點(diǎn)比重最大的集合所求的變換矩陣模型即為最優(yōu)變換矩陣;否則，繼續(xù)步驟(1)，直到循環(huán)結(jié)束。

3 改進(jìn)加權(quán)因子的加權(quán)平均融合算法

傳統(tǒng)算法中對(duì)圖像融合[11]采用式(8)

(8)

當(dāng)2幅圖像光強(qiáng)差異變化大時(shí)，采用傳統(tǒng)算法融合過渡效果不自然。本文根據(jù)人眼的視覺特性對(duì)傳統(tǒng)加權(quán)因子d加以改進(jìn)。為了在拼接線附近區(qū)域有更佳的視覺過渡效果，利用三角函數(shù)的數(shù)學(xué)特性對(duì)加權(quán)因子加以改造，通過待定系數(shù)法求解得到改進(jìn)的加權(quán)因子表達(dá)式

(9)

如圖2，改進(jìn)的加權(quán)函數(shù)在兩端區(qū)域較傳統(tǒng)加權(quán)因子曲線遞減更為緩慢，在中間區(qū)域斜率保持不變，通過這種變化與人眼的視覺敏感度的變化相結(jié)合，使融合圖像達(dá)到更好的視覺效果。

圖2 傳統(tǒng)加權(quán)函數(shù)和改進(jìn)加權(quán)函數(shù)對(duì)比曲線

4 實(shí)驗(yàn)結(jié)果與比較

無人機(jī)采用大疆經(jīng)緯M100開發(fā)者套件，航拍攝像機(jī)CCD6.17mm×4.55mm，成像焦距2.12mm，無人機(jī)飛行速度15m/s，高度150m,圖像分辨率為1 280×720。計(jì)算機(jī)內(nèi)存為4GB，系統(tǒng)平臺(tái)為Win7 64位操作系統(tǒng)。C++編程語言實(shí)現(xiàn)，選取2組航拍真實(shí)圖像實(shí)驗(yàn)，如圖3。

圖3 兩組航拍實(shí)驗(yàn)

4.1 算法結(jié)果比較

1)改進(jìn)Harris角點(diǎn)檢測(cè)算法結(jié)果比較

表1為對(duì)兩組航拍圖像分別采用傳統(tǒng)算法以及文獻(xiàn)[7]算法和本文角點(diǎn)檢測(cè)算法結(jié)果比較。結(jié)果表明：本文算法較文獻(xiàn)[7]算法的自適應(yīng)閾值具有更強(qiáng)的普適性，較傳統(tǒng)算法效率提高了20 %以上，同時(shí)有效地減少了誤匹配對(duì)。

表1 角點(diǎn)檢測(cè)結(jié)果對(duì)比實(shí)驗(yàn)

2)角點(diǎn)聚簇現(xiàn)象的優(yōu)化

圖4中兩圖為使用15×15模板進(jìn)行優(yōu)化前后的對(duì)比。結(jié)果表明：經(jīng)過優(yōu)化，角點(diǎn)聚簇現(xiàn)象得到了極大改善，角點(diǎn)分布更為均勻合理，有利于后期配準(zhǔn)。

圖4 角點(diǎn)聚簇優(yōu)化對(duì)比實(shí)驗(yàn)

3)改進(jìn)的圖像配準(zhǔn)算法結(jié)果比較

表2～表4為傳統(tǒng)NCC和RANSAC、文獻(xiàn)[7]算法和本文改進(jìn)配準(zhǔn)算法實(shí)驗(yàn)結(jié)果比較。其中，NCC閾值設(shè)為0.9，通過10次實(shí)驗(yàn)得到統(tǒng)計(jì)平均結(jié)果。由表2和表3可以看出,傳統(tǒng)算法提取粗匹配點(diǎn)對(duì)多，內(nèi)點(diǎn)比例少，效率不高。文獻(xiàn)[7]算法配準(zhǔn)效果有所提升。本文算法經(jīng)過特征約束，可以降低迭代次數(shù)，能較快達(dá)到理想的內(nèi)點(diǎn)比例，配準(zhǔn)效果有了更為明顯的提升。表4對(duì)比了3種算法的時(shí)間開銷。實(shí)驗(yàn)表明，改進(jìn)配準(zhǔn)算法效果明顯。

表2 配準(zhǔn)算法實(shí)驗(yàn)結(jié)果對(duì)比

表3 RANSAC實(shí)驗(yàn)結(jié)果對(duì)比

表4 配準(zhǔn)算法時(shí)間開銷結(jié)果對(duì)比 ms

4)改進(jìn)的加權(quán)平均融合實(shí)驗(yàn)結(jié)果

如圖5(a)取一組220×64分辨率的黑白圖像采用傳統(tǒng)加權(quán)平均融合和本文的改進(jìn)算法對(duì)比實(shí)驗(yàn)；圖5(b)對(duì)第一組2幅待拼接圖像人為干涉調(diào)整亮度，并分別對(duì)比實(shí)驗(yàn)。左圖為傳統(tǒng)算法融合圖，右圖為本文改進(jìn)算法融合圖。結(jié)果表明:改進(jìn)后算法漸變效果更加緩慢自然，拼接過渡較傳統(tǒng)算法有了明顯改善。

圖5 傳統(tǒng)加權(quán)平均融合算法和本文改進(jìn)算法實(shí)驗(yàn)對(duì)比

4.2 序列圖像拼接成果的應(yīng)用

圖6為對(duì)序列航拍圖像拼接得到的實(shí)驗(yàn)結(jié)果，可將成果用于海事監(jiān)管中。通過拼接圖像可以很直觀看到碼頭全部船舶靠泊情況，檢測(cè)其是否超寬靠泊，通過對(duì)比圖像中停靠碼頭的船舶和海事平臺(tái)系統(tǒng)該區(qū)域顯示的船舶，查看其是否按規(guī)定開啟船舶自動(dòng)識(shí)別系統(tǒng)，拼接的圖像可以保存到數(shù)據(jù)庫作為執(zhí)法的依據(jù)。同時(shí)，拼接的圖像可以用來生產(chǎn)實(shí)時(shí)電子地圖數(shù)據(jù)，更新到海事地理信息系統(tǒng)平臺(tái)。

圖6 序列航拍圖像拼接結(jié)果

5 結(jié)束語

根據(jù)海事監(jiān)管轄區(qū)的航拍圖像特點(diǎn)，提出了一種新的無人機(jī)航拍圖像快速拼接算法。方法首先改進(jìn)了Harris算法，有效地減少了檢測(cè)的角點(diǎn)數(shù)量，具有自適應(yīng)性，且能夠有效保證檢測(cè)的角點(diǎn)數(shù)量足夠多，同時(shí)對(duì)角點(diǎn)聚簇現(xiàn)象進(jìn)行了優(yōu)化。然后通過改進(jìn)的配準(zhǔn)方法有效地剔除大量誤匹配對(duì)，減少了RANSAC算法迭代運(yùn)算量，提高了算法的效率和模型的準(zhǔn)確性。最后通過改進(jìn)的加權(quán)平均融合算法使得圖像拼接過渡自然。實(shí)驗(yàn)證明：本文拼接流程效率較傳統(tǒng)算法提高了40 %以上。

[1] 吳成東,張 潤(rùn),劉寶德,等.基于無人機(jī)航拍圖像拼接算法的優(yōu)化[J].沈陽建筑大學(xué)學(xué)報(bào)：自然科學(xué)版,2015(1):182-192.

[2] 程爭(zhēng)剛,張 利.一種基于無人機(jī)位姿信息的航拍圖像拼接方法[J].測(cè)繪學(xué)報(bào),2016(6)：698-705.

[3] 魯 恒,李永樹,何 敬,等.一種基于特征點(diǎn)的無人機(jī)影像自動(dòng)拼接方法[J].地理與地理信息科學(xué),2010,26(5):16-19.

[4] He J,Li Y S,Lu H,et al.Research of UAV aerial image mosaic based on SIFT[J].Guangdian Gongcheng/Opto-Electronic Engineering,2011,38(2):122-126.

[5] 李永佳,周文暉,沈敏一,等.改進(jìn)Harris特征點(diǎn)的機(jī)器人定位算法[J].傳感器與微系統(tǒng),2011,30(8):131-134.

[6] 鄭 蘭,安博文,曹 芳.一種基于特征點(diǎn)匹配的紅外圖像拼接算法[J].計(jì)算機(jī)應(yīng)用與軟件,2015(9):192-196.

[7] 楊宇博,程承旗.基于分塊Harris特征的航拍視頻拼接方法[J].北京大學(xué)學(xué)報(bào)：自然科學(xué)版,2013,49(4):657-661.

[8] 馮宇平.圖像快速配準(zhǔn)與自動(dòng)拼接技術(shù)研究[D].長(zhǎng)春：中國(guó)科學(xué)院研究生院，長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,2010.

[9] 羅宇平.一種新型遙感圖像配準(zhǔn)方法[J].傳感器與微系統(tǒng),2009,28(10):12-15.

[10] 朱 煉,孫 楓,夏芳莉,等.圖像融合研究綜述[J].傳感器與微系統(tǒng),2014,33(2):14-18.

UAV aerial image fast mosaic algorithm in maritime supervision*

OUYANG Shuai, AN Bo-wen, ZHOU Fan, CAO Fang

(College of Information Engineering,Shanghai Maritime University,Shanghai 201306,China)

A fast and efficient image mosaic algorithm for unmanned aerial vehicle(UAV) aerial image is proposed,which is able to cope with the problems of low speed and accuracy of generating large field of view image with aerial image mosaic in maritime supervision.First,scanning range of the angular point detection is narrowed according to the feature of aerial image.The gradient threshold and corner response function threshold are used to extract Harris corner.Keeping the max value of local corner response function value is adopted to uniform the feature point distribution.After that,the improved phase correlation of template matching algorithm and improved RANSAC matching algorithm with constraint features are applied to obtain the optimal transformation matrix.Last,according to human visual characteristics,the improved factor of weighted average image fusion algorithm is applied to obtain a seamless image.Experimental results show that the algorithm has better adaptability.And the method overcomes the shortcoming of traditional mosaic methods,since the efficiency and accuracy of stitching are improved greatly.

aerial image; angular point detection; adaptive threshold; image registration; image fusion

10.13873/J.1000—9787(2017)09—0113—04

2016—09—23

國(guó)家自然科學(xué)基金資助項(xiàng)目(61171126)； 上海市重點(diǎn)支撐資助項(xiàng)目(12250501500); 廣西教育廳科研項(xiàng)目(YB2014207)

TP 317.4

A

1000—9787(2017)09—0113—04

歐陽帥(1993-)，男，碩士研究生，主要研究方向?yàn)閿?shù)字圖像處理。