航空濾光片陣列多光譜圖像條帶灰度調整算法

李銅哨,孫文邦,白新偉,岳 廣,王志磊

(1.空軍航空大學， 長春 130022； 2.中國人民解放軍93525部隊， 西藏 日喀則 857000)

1 引言

近年來，光譜相機已經成為重要的光電遙感載荷，其中濾光片陣列多光譜相機因其較低的平臺需求，被廣泛應用到無人機多光譜遙感中。濾光片陣列多光譜相機同一時刻可獲取多個波段條帶圖像數據，再對不同時刻獲取的多波段條帶圖像數據進行裁剪拼接處理，得到各單波段圖像。由于相機在不同時刻成像曝光量存在一定差異，導致裁剪拼接后單波段圖像中不同時刻條帶間存在明顯灰度差異，影響后續圖像處理及應用需求。此外，地物灰度差異使得圖像光譜特征提取變得困難、特征匹配時誤匹配率增加。為滿足濾光片陣列多光譜數據的應用要求，必須進行灰度處理。

目前，圖像灰度處理主要用于圖像拼接領域，較為常用的是對圖像進行勻光處理，例如：處理單幅圖像的MASK算法、同態濾波算法、Retinex算法等，處理多幅圖像的Wallis算法、直方圖匹配法等。但上述算法在處理濾光片陣列多光譜圖像的灰度差異時，效果并不理想。針對濾光片陣列多光譜圖像灰度差異，方秀秀等提出了圖像灰度線性變換方法，通過圖像灰度線性變換模型調整各條帶圖像灰度。但該方法的圖像灰度調整效果過于依賴于圖像重疊區域匹配點的數量及分布，當重疊區域提取的匹配點較少、無匹配點或分布較為集中時，無法準確建立圖像之間的灰度變換關系，或變換關系存在較大偏差。

此外，該方法也是僅考慮了單波段圖像間的灰度差異，卻忽略了各單波段圖像之間的灰度變化關系，灰度調整后多光譜圖像地物光譜特征容易出現偏差，無法準確反映地物不同波段特性。

因此，文中提出一種基于重疊區域的濾光片陣列多光譜圖像灰度調整算法，用于解決濾光片陣列多光譜圖像地物灰度不一致問題，調整后的單波段圖像整體灰度一致，且能較好保持地物光譜信息。

2 濾光片陣列多光譜成像特點

濾光片陣列多光譜相機在光路系統中加入了一個濾光板，濾光板放置在CCD探測器前面，在濾光板上沿著垂直于飛行方向鍍制了幾個窄帶的帶通濾光膜，每個帶通濾光膜只能通過一個譜段的圖像，如圖1所示(圖1中顯示為8條濾光片)。

圖1 濾光片陣列多光譜相機成像原理示意圖Fig.1 The imaging principle of filter array multispectral camera

多光譜相機的多波段圖像均是在同一陣面上成像，需要通過圖像拼接的方法才能夠形成一幅單波段圖像，條帶圖像裁切拼接如圖2所示。

在、、、時刻分別獲得4幅含有8個波段的條帶圖像，經過裁切拼接獲得單波段圖像，如圖2中以波段2和波段3為例顯示拼接過程。

圖2 濾光片陣列多光譜數據陣面拼接處理示意圖Fig.2 Area array processing of filter array multispectral dataset

大部分多光譜相機單波段圖像是同時成像，其曝光時間相同，各區域地物灰度一致。但濾光片陣列多光譜相機曝光時間由快門自適應控制。因此，各時刻曝光量可能存在一定差異，裁切拼接后單波段圖像可能存在條帶狀的灰度差異。

例如，圖2中時刻與、、時刻存在明顯的曝光量差異，時刻成像總體上偏暗(或偏亮)，裁切拼接后的單波段圖像中均出現較暗(或較亮)的條帶。

各單波段多光譜圖像中出現較暗(或較亮)的條帶，會影響到地物光譜信息的準確度，如圖3所示，圖像采用一維表示。

圖3 濾光片陣列多光譜圖像拼接示意圖Fig.3 Area array processing of filter array multispectral dataset

由圖3可以看出，拼接后圖像處，時刻成像時圖像曝光量相對偏小，引起波段偏暗，提取的地物波譜特征向量(1,2,3,…,8)明顯失真，如圖4所示。圖4中處偏低(如圖3所示)，處偏高(圖4中未顯示)。

圖4 地物光譜特征曲線Fig.4 Spectral curves of ground objects

3 濾光片陣列多光譜圖像灰度調整

濾光片陣列多光譜圖像灰度調整技術過程與其他圖像的拼接流程基本一致，主要包括空間位置確定、灰度級調整和條帶圖像裁剪拼接3個步驟。

3.1 圖像空間位置確定

圖像空間位置確定主要包括條帶圖像投影變換和平移量確定兩部分。

3.1.1 圖像投影變換

濾光片陣列多光譜成像時除了記錄圖像數據外，還記錄成像時的平臺狀態參數信息，例如平臺的位置信息(經度、緯度、高度)和姿態信息(俯仰角、翻滾角、航向角等)。因此，選取、、…、時刻幅多條帶圖像。根據式(1)和式(2)對各時刻圖像進行投影變換。

(1)

(2)

其中:、為投影后像點坐標，單位像素；為航高；、為條帶圖像上像點坐標，單位毫米；為相機焦距，單位毫米。、、、、、、、、由式(2)計算得到。式(2)中，、、分別為相機的俯仰角、翻滾角和航向角。

312 平移量確定

一般情況下，經投影變換后圖像只存在平移關系，考慮到經緯度采樣誤差影響平移量計算精度，故本文采用IFT算法確定相鄰圖像間平移關系。首先利用SIFT算法依次提取相鄰序列中第幅圖像和第幅圖像的特征點；然后，利用匹配點對坐標(,)和(,)差均值，計算和時刻條帶圖像的行列平行量(,)，如式(3)所示：

(3)

例如，相鄰兩幅多光譜條帶圖像局部SIFT匹配點如圖5所示。計算得到的條帶圖像行列平行量如圖3中的、、、、、、…，這樣就確定了條帶圖像空間上的位置關系。

圖5 相鄰圖像的匹配點示意圖Fig.5 Matching points of adjacent images

3.2 各條帶圖像灰度調整

在對多幅圖像進行拼接時，為了減小累計誤差，一般選擇中間圖像為基準。而濾光片陣列多光譜圖像也是對多幅圖像進行灰度調整、圖像拼接處理，因此，選擇中間序列的多光譜圖像作為基準。

圖像灰度調整主要利用條帶圖像重疊區域的灰度均值，通過計算相鄰多光譜圖像中各個波段重疊區域灰度均值，各波段灰度均值比例的平均值用于多光譜圖像灰度調整系數。對于不相鄰圖像，通過相鄰圖像間灰度傳遞，依次進行灰度調整。涉及到關鍵技術主要包括確定各條帶圖像重疊區域、確定圖像灰度調整系數、圖像灰度調整3個方面。

3.2.1 確定各條帶圖像重疊區域

以8譜段濾光片陣列多光譜相機為例，其多光譜圖像數據如圖6(a)所示。波段圖像過渡區域約為50行，見圖6(a)中黃色框線區域。因此，需要計算各波段條帶有效區域的4個頂點坐標，并構建條帶圖像有效區域模板，如圖6(b)所示。

圖6 多光譜圖像Fig.6 Multi-spectral image

以兩幅相鄰多光譜圖像中第1波段圖像為例，按照圖像之間平移關系分別將模板1、模板2擴展，如圖7(a)、圖7(b)所示。再將擴展后模板1和模板2相乘，如圖7(c)所示；得到重疊區域模板如圖7(d)所示；再將擴展后模板拆分為第1、2幅第1波段原模板1，如圖7(e)、圖7(f)所示。

圖7 圖像重疊區域示意圖Fig.7 The image overlap area

然后，模板1分別與2幅多光譜圖像中的第1波段圖像相乘得到重疊區域圖像，如圖8所示。圖8(a)、圖8(b)分別為第1、2幅中的第1波段圖像，圖8(c)、圖8(d)分別為第1、2幅中第1波段的重疊區域圖像。

圖8 第1波段重疊區域圖像Fig.8 The overlapping area in 1 band image

3.2.2 計算圖像重疊區域灰度均值

基于單波段圖像重疊區域，可以計算出圖像灰度平均值以及相對于相鄰影像的灰度系數。但使用單波段圖像灰度系數調整圖像灰度，容易破壞地物在不同波段下的光譜特性。因此，先計算出相鄰圖像間各個波段重疊區域灰度平均值的比例系數，然后，對各波段的比例系數求平均值，得到整張圖像(各波段)的灰度調整系數。

以8譜段濾光片陣列多光譜序列圖像中相鄰的第i幅、第j幅圖像為例進行調整，如圖9所示。

圖9 重疊區域圖像灰度比調整示意圖Fig.9 Grayscale ratio of the overlapping area image

首先計算第、幅圖像中第1、2、3、4、5、6、7、8波段重疊區域的平均灰度值1、1、2、2、3、3、4、4、5、5、6、6、7、7、8、8，然后計算8個波段重疊區域的灰度比、、、、、、、，則灰度調整系數為

(4)

作為第幅圖像的灰度調整系數，調整后圖像重疊區域的灰度與第幅圖像灰度基本一致。

323 圖像灰度調整

求出圖像灰度調整系數后，就可以對圖像進行灰度調整。例如，以9幅多光譜條帶圖像為例，圖像平移關系與重疊區域灰度值示意圖如圖10。

圖10 序列圖像平移與重疊區域平均灰度示意圖Fig.10 Sequence image translation with overlapping area average gray scale schematic

選擇中間的第5幅圖像為基準，依次將各灰度調整系數與對應序列圖像中的每個像素灰度相乘，各灰度調整系數計算公式如下：

(5)

3.3 圖像裁剪拼接

通過對灰度調整后序列圖像的各單波段圖像進行裁剪，并按照圖像間平移關系進行拼接，就得到了灰度一致的濾光片陣列多光譜單波段圖像，如圖11所示(為了方便表示，將條帶圖像按照飛行方向投影形成一維數據進行顯示)。

圖11 多光譜圖像拼接示意圖Fig.11 Multi-spectral image stitching

4 實驗與分析

為了驗證本文提出算法的可行性，采用了某航拍無人機濾光片陣列多光譜相機拍攝某地區的多光譜圖像數據進行驗證實驗。其中，前6張序列多光譜圖像如圖12。

圖12 實驗圖像Fig.12 Experimental images

裁剪拼接和本文灰度調整后第1波段圖像如圖13。從圖13(a)中可以明顯看出，直接對多光譜圖像數據進行拼接的單波段圖像整體灰度不均勻，同一地物存在著較大的灰度差異。圖13(b)所示的圖像灰度整體比較均勻，說明本文方法較好地解決條帶灰度不均的問題。

圖13 灰度調整圖像Fig.13 Grayscale adjustment comparison chart

為了更好地說明本文算法的性能，選擇了濾光片型多光譜數據灰度一致性校正算法(文獻[12])與本文提出的灰度調整算法進行對比實驗。文獻12與本文算法處理后的單波段圖像如圖14，對比圖像分別為1、3、6、7和8波段圖像，其中圖14(a)、圖14(b)和圖14(c)分別為未進行灰度調整、文獻12處理和本文算法處理的圖像。

由圖14可知，文獻12處理后的第1波段和第8波段圖像較好的解決了圖像灰度不均勻問題，但相鄰時刻條帶圖像中相同波段重疊區域較小，提取的同名像素數量較少，容易造成灰度調整系數不準確，使得第3、6、7波段圖像中仍存在地物灰度不均勻問題，而且圖像中部分條帶的灰度差異要比未調整圖像還要明顯。其局部放大圖如圖15，其中，圖15(a1)、圖15(b1)、圖15(c1)，圖15(a2)、圖15(b2)、圖15(c2)和圖15(a3)、圖15(b3)、圖15(c3)分別為未進行灰度調整、文獻12處理、本文算法處理后的3、6、7波段圖像。

圖14 灰度調整后圖像Fig.14 Comparison of the effect after grayscale adjustment

圖15 灰度調整后局部放大圖Fig.15 Grayscale adjusted partial comparison

由圖15可知，文獻12處理后的圖像灰度不一致現象更加明顯。另外，第4與第5波段由于在重疊區域未提取同名像點，則無法進行灰度調整。所以，當重疊區域的匹配點數量較少時，基于匹配點灰度計算出的灰度線性變換模型具有較大偏差，會增加單波段相鄰條帶圖像間的灰度差異。甚至提不出同名像點出現灰度無法調整的局面。

因此，當相鄰條帶圖像重疊率低、重疊區域匹配點數量少以及數量分布不均勻時，文獻12的算法無法解決大圖像灰度不一致問題，甚至會加大圖像中同一區域中地物的灰度差異。而本文算法調整后各單波段圖像灰度分布均勻，較好解決了多光譜單波段圖像灰度不一致問題。

為進一步說明本文算法優越性，分別計算調整后各單波段條帶圖像重疊區域灰度平均值的差值來說明，如圖16所示(僅顯示1、3、7波段圖像)。

圖16縱坐標為重疊區域平均灰度差，橫坐標為幅序號。如圖16(a)中幅序號為1時本文算法灰度差為0.001 7，是通過計算第一、二幅第一個波段重疊區域平均灰度差得到的，其他波段方法相同。由圖16可知，文獻12處理后單波段圖像重疊區域灰度均值的差值整體變化較大，說明調整后圖像部分區域仍存在較大灰度差異。而本文算法中，重疊區域灰度均值差值差異較小，近似一條直線，說明相鄰條帶圖像灰度變化較小，圖像灰度近似一致。

圖16 重疊區域灰度均值差值曲線Fig.16 Difference in mean grey value of overlapping areas

由此可知，本文基于相鄰圖像的重疊區域灰度均值計算的調整系數，充分利用了重疊區域圖像的灰度信息，調整后各單波段圖像灰度均勻，有效解決了單波段圖像中灰度不一致問題。

5 結論

針對濾光片陣列多光譜圖像灰度不一致的問題，提出了一種基于重疊區域的多光譜圖像灰度調整算法，即根據各波段圖像重疊區域灰度均值比的平均值，對整張圖像各波段進行灰度調整，調整后的拼接圖像同一地物灰度一致，降低了對后期圖像配準過程中特征提取與匹配的影響。通過實驗對比，表明本文針對濾光片陣列多光譜圖像提出的灰度調整算法較目前算法有更好的灰度處理效果，較好解決了濾光片陣列式多光譜圖像灰度不一致問題，可以滿足影像的后期處理及應用需求。