自動檢測拼接線的無人機視頻影像快速拼接方法

孟淑英

(神華地質勘查有限責任公司，北京100085)

一、引 言

無人機視頻影像實時拼接是近年來無人機遙感領域的熱點研究問題［1］。由于受野外作業(yè)條件等限制，視頻影像處理的計算機大多為普通筆記本電腦，處理能力有限。因此，無人機視頻影像實時無縫拼接的算法應該具備兩個條件：一是算法復雜度低;二是色差小且無明顯拼接痕跡。

最佳拼接線的檢測一直是影像拼接研究領域的一個關鍵技術［1-2］，近年來也取得了較多研究成果。James Davis利用 Dijkstra算法檢測了拼接線［3］;方賢勇等提出動態(tài)規(guī)劃的思想尋找最佳拼接線［2］;方亞玲等引入對稱動態(tài)輪廓模型，對影像的輪廓線進行選取與迭代來尋找最優(yōu)拼接線［4］;張劍清等提出蟻群算法的鑲嵌線自動選擇方法，可使鑲嵌線避開房屋、樹木等高出地面的地物［3］;潘俊等提出接縫線網(wǎng)絡的自動生成及優(yōu)化方法，并且提出無縫拼接的數(shù)據(jù)結構組織方法［5］。目前，影像拼接和鑲嵌系統(tǒng)商業(yè)軟件普遍采用重疊區(qū)域平分線法、梯度差異法、地類邊界法和最小灰度差值法等方法來選擇拼接線(如ERDAS系統(tǒng)采用重疊區(qū)域平分線法)。這些方法對兩幅影像本身像點位移小、灰度值差異小等情況下的拼接處理具有一定效果。

但是無人機影像是中心投影的影像，存在因地形起伏、攝影面傾斜等引起的像點位移，再加上曝光時間長短和拍攝角度差異等問題，從而造成相拼接的兩張影像存在著或多或少的幾何位置與光譜信息等差異，利用上述商業(yè)軟件采用的方法很難得到滿意的影像拼接效果。為此，本文基于灰色關聯(lián)度與影像直方圖匹配等技術建立了自動檢測拼接線方法，比較適用于無人機視頻影像的實時、快速拼接，且在低配電腦和野外情況下更有優(yōu)勢。

二、算法介紹

1.算法思想

最佳的拼接線在兩景影像重疊區(qū)域應在幾何位置和亮度上具有較大的相似性。灰色關聯(lián)度檢測的基本思想是根據(jù)重疊區(qū)域灰度值之差的大小作為判斷其聯(lián)系是否緊密的依據(jù)。本文基于灰色關聯(lián)分析對灰度影像進行最佳鑲嵌線的自動檢測，該算法以兩幅RGB彩色原影像為例，利用灰色分析理論檢測出來的拼接線，能夠達到較為理想的效果。

直方圖規(guī)定化是指給定一幅圖像的灰度均值和方差，以此灰度均值和方差來規(guī)定待處理圖像灰度均值和方差［6］。本文選擇一幅飛行姿態(tài)平穩(wěn)的影像作為標準(基準)影像，將其他影像的灰度值進行直方圖匹配［7］，相同地物的灰度均值和方差一致，對拼接的重疊部分的灰度值進行進一步處理，即按行在重疊區(qū)內(nèi)對待拼影像灰度值按距離進行加權平滑，在一定程度上減小影像之間的反差，使影像接縫處灰度差異顯著性減小。

2.算法設計

從無人機視頻影像提取的影像幀，是由紅色(R)、綠色(G)、藍色(B)3個通道構成的RGB彩色空間影像。按照一定的配比關系，可以將RGB彩色空間轉換成一個灰度波段，公式如下

式中，f為變換的灰度值結果;r、g、b分別表示R、G、B 通道的灰度值;p1、p2、p3分別是 R、G、B 波段的權值，且需要滿足下式

取 p1=0.3，p2=0.59，p3=0.11。

檢測最佳拼接線時，考慮到一個像素受到其鄰近像元的輻射影響，因此在兩幅影像的重疊區(qū)域上開一個m×m的模板，如3×3、5×5等。模板在重疊區(qū)域里面逐行掃描，對兩個模板對應的m×m像元灰度值進行離差平方和。離差平方和越小，表明兩幅影像差異越小;離差平方和越大，差異越大。以滑動的模板在重疊區(qū)域內(nèi)部尋找每行(列)差異值最小的模板，該模板中心所在的位置即為最優(yōu)拼接線的位置。按照這樣的方式將每一行(列)的點連接起來，即組成最佳拼接線。

這種判斷方法難免會出現(xiàn)上下行(左右列)拼接點位置差異較遠的現(xiàn)象。因此，引入一個閥值T，規(guī)定拼接線相鄰兩點的距離必須小于或者等于這個閥值，使拼接線具有較好的連貫性和連續(xù)性。

三、算法實現(xiàn)技術流程

本文對兩張影像的拼接線的檢測主要分為以下幾個步驟，流程如圖1所示。

圖1 無人機影像最優(yōu)拼接線檢測流程

1)以一張影像為基準，對另一張影像進行直方圖規(guī)定化。使兩幅影像的R、G、B 3個通道的灰度的均值和方差一致，減小兩張影像的顏色和灰度反差。

2)將兩張RGB影像進行灰度化，參見式(1)。

3)計算兩張影像重疊情況，尋找拼接線的基準線。基準線可以理解成兩幅影像的分界線，如圖2中的虛線。無人機飛行高度范圍屬于對流層，空氣氣流對無人機飛行的影響較大，會對無人機的飛行高度和飛行姿態(tài)產(chǎn)生影響，從而對拍攝的影像產(chǎn)生影響。對實際飛行采集的視頻影像進行拼接，發(fā)現(xiàn)兩張影像重疊主要有圖2所示的幾種情況。正常情況下，無人機飛行平穩(wěn)，兩幅影像有旋轉和平移關系，如圖2(a)所示;飛行高度突然發(fā)生變化，比例關系發(fā)生變化時，如圖2(b)所示;航向傾角發(fā)生突變時，如圖2(c)所示;無人機航向發(fā)生變化時，如圖2(d)所示。確定影像的重疊區(qū)域情況后，針對不同情形，尋找其相應的起始點作為影像拼接線的起始點，圖中虛線的兩端就是拼接線的起始點。

圖2 無人機影像重疊情況

4)在拼接基準線附近檢測最佳拼接線。本文計算3×3的兩幅影像的模板的離差平方和，且模板不能跳出重疊區(qū)域。在拼接基準線附近尋找最佳拼接線，可以達到滿意的效果。如圖3所示，灰色代表重疊區(qū)的拼接基準線，給定一個距離閥值T，模板在基準線上下距離T以內(nèi)移動，選擇具有最小離差平方和的像素點為最佳拼接線，將這些點排列起來就形成了最佳拼接線，圖中用深灰色表示。

圖3 尋找最佳拼接線

圖4 原始影像A

圖5 原始影像B

圖6 拼接結果(未經(jīng)過直方圖規(guī)定化)

圖7 拼接結果(經(jīng)過直方圖規(guī)定化)

四、拼接線檢測試驗及結果

為了驗證該方法的有效性和可行性，對無人機視頻影像作了拼接試驗。圖4和圖5中，原始影像A和B具有一定的灰度值差異，以影像A為基準，對影像B作直方圖規(guī)定化，使影像B的R、G、B 3個通道的灰度值的均值和方差與影像A的R、G、B 3個通道的灰度值的均值和方差一致。圖6是影像A和影像B沒有經(jīng)過直方圖規(guī)定化拼接的效果圖，拼接中發(fā)現(xiàn)有明顯的接縫痕跡;圖7是經(jīng)過直方圖規(guī)定化拼接的效果圖，拼接線痕跡不明顯。因此，文中提出的方法和流程具有有效性和實用性。

五、結束語

利用本文提出的基于灰色關聯(lián)度自動檢測拼接線與影像直方圖規(guī)定化的影像拼接方法，在配有單核、2 GB內(nèi)存、XP操作系統(tǒng)的普通筆記本電腦上，兩幅382像素×256像素的視頻影像拼接測試時間為328 ms，完全能夠滿足無人機視頻影像實時拼接的需求。試驗表明，利用這種組合方法能夠使兩幅存在顏色和亮度差異的影像，在接縫處達到過渡自然的效果，該算法簡單、實用、可靠。

［1］韓杰，王爭.無人機遙感國土資源快速監(jiān)察系統(tǒng)關鍵技術研究［J］.測繪通報，2008(2)：4-6，15.

［2］朱述龍，錢曾波.遙感影像鑲嵌時拼接縫的消除方法［J］.遙感學報，2002，6(3)：183-187.

［3］DAVISJ.Mosaics of Scenes with Moving Objects［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］：IEEE Computer Society，1998：354-360.

［4］周廷剛.遙感彩色影像鑲嵌拼接縫的消除方法研究［J］.計算機工程與應用，2004，40(36)：84-86.

［5］方賢勇，潘志庚，徐丹.圖像拼接的改進算法［J］.計算機輔助設計與圖形學學報，2003，15(11)：1362-1365.

［6］方亞玲，焦偉利.利用對稱動態(tài)輪廓模型自動檢測圖像最優(yōu)鑲嵌線［J］.科學技術與工程，2007，7(14)：3451-3456.

［7］張劍清，孫明偉，張祖勛.基于蟻群算法的正射影像鑲嵌線自動選擇［J］.武漢大學學報：信息科學版，2009，34(6)：675-678.

［8］潘俊，王密，李德仁.接縫線網(wǎng)絡的自動生成及優(yōu)化方法［J］.測繪學報，2010，39(3)：289-294.

［9］田楊.精確直方圖規(guī)定化［D］.濟南：山東大學，2008.

［10］張兆禮，趙春暉，梅曉丹.現(xiàn)代圖像處理技術［M］.北京：人民郵電出版社，2001：126-132.