一種大視場TDICCD相機的多傳感器圖像配準方法

李新娥，班 皓，沙 巍，韓雙麗，郝賢鵬，任建岳

(1.中國科學院 長春光學精密機械與物理研究所, 吉林 長春130033;2.中國科學院大學, 北京100049;3.長春水務集團信息中心, 吉林 長春 130012)

1 引 言

當前主要的圖像配準方法有：基于特征提取的圖像配準；基于相位相關的頻域配準；基于像素灰度值配準。基于特征提取方法計算速度較快，但需要從待配準圖像中提取特征，難免引入定位誤差，影響配準的精度[1]。基于相位相關的方法具有一定的抗噪性和抗干擾性，但是對重疊像素數的大小要求比較高。基于圖像灰度的配準方法無需特征提取而是直接利用圖像灰度信息實現圖像的配準，所以結果相對比較準確。基于灰度的圖像配準方法主要采用的技術有：ABS，歐氏距離，互相關，互信息，條件熵，聯合熵等[2]。以上這些算子能對圖像進行精確和快速的提取，提取的精度也較高。

在某大視場TDICCD相機的多傳感器多通道遙感圖像的配準拼接中，以往的經典方法抗噪性和魯棒性不高，很難實現圖像高精度和快速配準拼接的要求。為了獲得良好的配準效果，本文提出了一種基于雙線性插值的空域互相關配準方法。

2 方法步驟

本文提出了基于雙線性插值的空域互相關配準算法。該算法包括了3項關鍵技術：雙線性插值、互相關相似性測度和自校驗搜索策略。該算法的提出，有效地解決了大視場TDICCD相機多傳感器多通道圖像配準拼接的問題。

2.1 雙線性插值

某大視場TDICCD相機的全色圖像是多光譜圖像大小的4×4倍，為了實現全色圖像和多光譜圖像的配準和融合，本文使用雙線性插值方法對多光譜圖像進行4×4倍放大預處理。

圖像的放大通常是通過插值完成，在圖像放大插值算法中，雙線性插值算法放大后的圖像比較平滑，具有較好的視覺效果。雙線性插值算法是一種通過平均周圍像素顏色值來添加像素的方法。該方法輸出的圖像每個像素都是原圖中2×2個像素運算的結果，由于它是從原圖4個像素中運算的，因此這種算法很大程度上消除了鋸齒現象。

令f(x,y)為兩個變量的函數，其在單位正方形頂點(P00(0,0),P10(1,0),P01(0,1),P11(1,1)是相鄰4個像素的中心點)的值(f(0,0),f(1,0),f(0,1),f(1,1))已知。通過插值得到正方形內任意點(x,y)的像素值f(x,y)。由下面雙線性方程(見公式(1))來定義的一個雙曲拋物面與4個已知點的擬合。

f(x,y)=ax+by+cxy+d,

(1)

式中：4個系數a,b,c,d由已知的4個頂點的值f(0,0),f(1,0),f(0,1),f(1,1)代入式(1)并解方程組得到。

2.2 互相關相似性測度

從待匹配圖像的重疊部分取出一幅有特征的像素塊，以該塊作為模板，在另一幅圖像中搜索與此模板最相似的匹配塊，通過互相關評價函數給出模板與匹配塊之間的相似度值[3]。

互相關函數的表達式為：

R(i,j)=

(2)

其中：i,j表示位置，T為模板，S表示模板覆蓋下的搜索圖。如果兩幅圖像完全匹配，則互相關系數達到最大值。

2.3 自校驗搜索策略

搜索策略的任務是在搜索空間中找到最優的配準參數，在搜索過程中以相似性度量的值作為判優的依據[4]。

本文對圖像進行全局點匹配，通過互相關系數找出最佳匹配點，根據點的位置反映配準的參數變化。

(1)對圖像進行隔行搜索，以免漏檢因局部形變引起的參數變化。基本方法是固定基準圖像的列數，行數每次遞增2。

(2)根據上一次的計算參數，自動計算找出下一次搜索的中心點，再限制一定的搜索范圍，能夠很大地提高搜索速度。將本次和上次基準圖像點的差值補償給上一次在待配準圖像中找出的配準點，從而得到本次的搜索中心點。

(3)圖像的配準參數是變化并且是有規律的，所以對于找出的每一個點，都要進行自校正，以防止干擾點的產生。對于每一個在待配準圖像中找出的點，要用基準圖像當前點的上一行和后30行的點來進行配準檢驗。如果三點的參數都變化，那認為此參數變化是可信的；如果其中一點不一致，那就否決該參數的變化，繼續堅持原參數進行搜索。

2.4 多傳感器多通道圖像配準拼接

圖像配準是把同一場景的兩幅或者多幅圖像在空間上進行對準。圖像配準一般可以分為(1)不同傳感器的兩幅圖像之間的配準[5]，比如全色圖像和多光譜圖像。(2)圖像部分內容相同，相同傳感器的兩幅或多幅圖像之間的配準，比如圖像的無縫拼接，由多幅單個圖像匹配，拼接成全景圖像。

某大視場TDICCD相機的多傳感器多通道由于成像原理和成像條件不同，即使包含了同一個物體，在圖像中物體所表現出來的幾何特性(外形、大小等)及空間位置(在圖像中的位置、方向等)都會有所不同。這些差異是由于拍攝圖像的傳感器在位置和姿態上的變化引起的空間上的位移，如圖像之間的相對位移、旋轉、尺度縮放以及其他幾何變換。這種空間上的不同稱為空間差異，這種差異可以通過圖像配準消除[6-7]。

多傳感器多通道圖像配準拼接實現框圖見圖1，其中包括兩部分的內容：(1)單通道多傳感器全色和多光譜圖像的配準；(2)多通道間的圖像配準拼接。

單通道多傳感器全色和多光譜圖像的配準是兩者進行圖像融合的預處理環節。步驟如下：

(1)將多光譜圖像紅、綠、藍(R、G、B)三波段圖像進行4×4倍的雙線性插值；

(2)將插值后的多光譜圖像R、G、B三波段和全色圖像P波段進行基于空域互相關的塊匹配，配準過程中使用自校驗搜索策略，得到4幅大小相同的配準圖像。

多通道間的圖像配準拼接是將有重疊部分的兩兩通道圖像拼成一幅圖像的技術。具體步驟如下：

(1)先完成單通道多傳感器全色和多光譜圖像的配準；

(2)對兩通道間重疊部分進行基于空域互相關的塊匹配，配準過程中使用自校驗搜索策略，完成兩通道圖像的拼接。

圖1 多傳感器多通道圖像配準拼接實現框圖Fig.1 Block diagram of multi-sensor and multi-channel images registration and mosaic

3 結果與討論

為了驗證本文算法的有效性，對某大視場TDICCD相機實驗室所成的全色圖像和多光譜圖像進行配準，并對兩幅有重疊部分的圖像進行了拼接。圖2所示為多光譜圖像B波段，大小為500 pixel×200 pixel；圖3所示為全色圖像P波段，大小為2 000 pixel×800 pixel。

圖2 多光譜圖像B波段Fig.2 B spectral band image

圖3 全色圖像P波段Fig.3 P spectral band image

為了對多光譜圖像和全色圖像進行配準，需要對多光譜圖像的R、G、B三波段進行4×4倍的雙線性插值，得到和全色圖像P波段大小相同的圖像。圖4是從圖3中截取的125 pixel×125 pixel圖像經4×4倍雙線性插值后的500 pixel×500 pixel像素圖像。圖5是從圖4中取出的一幅待匹配圖像相同部分有特征的像素塊，作為匹配模板。

圖4 插值后的多光譜圖像B波段Fig.4 Interpolated B spectral band image

圖5 匹配模板Fig.5 Matching template

在圖3中搜索與圖5匹配模板最相似的匹配塊，通過互相關評價函數計算模板與匹配塊之間的最大相似度值來確定圖3全色圖像P波段中的匹配對齊點，得到圖3中與圖4內容匹配的區域，見圖6。

圖6 配準后的全色圖像P波段Fig.6 P spectral band registration image

以上4×4倍插值算法計算時間為4.14 s，配準算法計算時間為15.23 s，對比圖4和圖6，從圖4的清晰程度和兩幅圖像的大小匹配程度可以看出，本文使用的基于雙線性插值的空域互相關配準方法快速，并且具有良好的抗噪性能和精度。

圖7和圖8為有重疊部分的兩幅圖像，大小為400 pixel×400 pixel。本文對圖7和圖8進行基于空域互相關的配準拼接，拼接后的圖像見圖9。

圖7 待拼接圖像MFig.7 Un-mosaic image M

圖8 待拼接圖像NFig.8 Un-mosaic image N

圖9 拼接后圖像Fig.9 Mosaic image

從圖9可以看出，拼接后的圖像不僅具有較好的景物全局影像，而且還保留了原始圖像的細節信息。

4 結 論

對圖像配準方法進行了仔細分析，提出了基于雙線性插值的空域互相關配準算法，并詳細闡述了該算法的三項關鍵技術。該方法簡單實用，效果好，它通過在配準之前對圖像進行雙線性插值調整，使待配準拼接的圖像比較清晰，并且大小一致，視覺效果好，有效地解決了大視場TDICCD相機多傳感器多通道圖像配準拼接的難題，在速度上和精度上都取得了良好的效果。

[1] Li H，Manjunath B S，Mitra S K.A contour based approach to multisensor image registration[J].IEEETrans.onImageProcessing，1995，4(3)：320-334.

[2] Liu H Z，Guo B L，Feng Z Z.Pesudo-log-pola Fourier transform for image registration[J].IEEESignalProcessingLetters，2006，13(1)：17-20.

[3] 王運, 顏昌翔. 光譜儀圖像的亞像素配準[J]. 光學 精密工程, 2012,20(3):661-667.

Wang Y, Yan C X. Sub-pixel image registration of spectrometer images[J].Opt.PrecisionEng., 2012,20(3):661-667. (in Chinese)

[4] 楊利紅,張星祥,孫斌,等. 圖像配準在TDICCD拼接焦面精度檢測中的應用[J].紅外與激光工程, 2012, 41(7): 1934-1940.

Yang L H, Zhang X X, Sun B,etal. Application of image registration in precision detection of TDICCD butting focal plane[J].InfraredandLaserEngineering, 2012, 41(7): 1934-1940. (in Chinese)

[5] 呂恒毅, 劉楊, 郭永飛. 遙感相機焦面CCD機械拼接中重疊像元數的確定[J]. 光學 精密工程, 2012,20(5):1041-1047.

Lv H Y, Liu Y, Guo Y F. Computation of overlapping pixels of mechanical assembly CCD focal planes in remote sensing cameras[J].Opt.PrecisionEng., 2012,20(5):1041-1047. (in Chinese)

[6] 王亮,劉蓉,張麗,等. 基于Fourier-Mellin變換的氣象衛星光譜圖像配準[J].光譜學與光譜分析, 2013,33(3):855-858.

Wang L, Liu R, Zhang L,etal. The meteorological satellite spectral image registration based on Fourier-Mellin transform[J].SpectroscopyandSpectralAnalysis, 2013,33(3):855-858. (in Chinese)

[7] 孫輝,李志強,孫麗娜,等.一種空域和頻域相結合的運動圖像亞像素配準技術[J]. 中國光學, 2011,4(2):154-160.

Sun H, Li Z Q, Sun L N,etal. Sub-pixel registration of special and frequency domains for video sequences[J].ChineseOptics, 2011,4(2):154-160. (in Chinese)