無人機高光譜影像處理方法的探索

張晶晶 楊 盼 張德成

(自然資源部第一大地測量隊,陜西 西安 710054)

0 引言

高光譜遙感是利用成像光譜儀,在電磁波的可見光、近紅外、中紅外和熱紅外波段范圍內,獲取多個光譜連續的影像技術,該影像的光譜分辨率較高[1]。高光譜影像的每個像元能夠提供幾乎連續的地物光譜曲線,能夠同時反映地物的空間特征和光譜特征。隨著緊湊型低成本光譜儀的快速發展,及無人機便于攜帶、起降靈活、風險小等優點,基于無人機的高光譜成像系統應用越來越廣泛,如林火監測、地質勘探、海洋探測等[2-3]。

目前已有很多成熟的商業軟件用于處理無人機遙感數據,如Inpho、PixelGrid、Correlator3D、pixel information expert,unmanned aerial vehicle(PIE-UAV)、PIX4D Mapper、PhotoScan等[4-5]。其中Inpho、PixelGrid對于源數據(相機參數、影像外定向參數等)要求較為嚴格,難以處理沒有地理參考的影像。PIX4D Mapper、PhotoScan、Correlator3D僅需影像數據就可以進行影像拼接,但不支持高光譜影像的處理。PIE-UAV軟件系列包含PIE-UAV、PIE-Hyp、PIE-Ortho等模塊,PIE-Hyp為高光譜分析模塊,可以對星載高光譜數據進行圖譜分析、目標探測等處理,無法進行無人機高光譜影像的糾正、拼接處理。目前一些研究人員對機載高光譜影像處理進行研究,如鄒松采用了基于運動恢復結構(Structure from motion,SFM)和多視圖立體(multi-view stereo,MVS)的影像拼接方法,實現高光譜影像的快速拼接[6];牛璐璐首先將單波段影像進行空間拼接,然后將所有單波段進行融合,最后將融合后的光譜影像與顏色系統(red green blue,RGB)合成影像再次進行融合,實現高光譜影像的拼接[7]。雖然這兩種方法都可以進行多張無人機高光譜影像的拼接,但其精度不高。Rikola高光譜儀隨機軟件RegMosaic自動一步完成所有處理,人工無法對中間過程成果進行干預,造成生成的影像有明顯拼接痕跡等問題,影響光譜分析。

為此,本文探索利用多光譜影像的糾正方法處理無人機高光譜影像,提高結果精度。PIE-UAV軟件能夠支持高光譜影像的部分處理,如空三加密、數字地表模型(digital surface model,DSM)匹配、正射糾正等。但由于光譜儀的成像特點,導致同一幅影像中不同波段的空間位置出現差異,無法直接利用PIE-UAV軟件進行糾正。因此,本文通過交互式數據語言(interactive data language,IDL)[8]進行影像預處理以得到PIE-UAV支持的高光譜影像。首先,本文進行單波段影像配準、波段合成、裁切;其次,進行白板校正;然后,利用PIE-UAV進行空三處理、DSM匹配、影像糾正;最后,利用遙感圖像處理平臺(The Environment for Visualizing Images，ENVI)軟件進行影像鑲嵌,得到拼接高光譜影像。

1 高光譜影像預處理

1.1 單波段影像配準裁切

1.1.1影像配準

由于該傳感器是框幅式成像,使得不同波段成像時間不一致,導致不同波段之間存在位置差異[6],影像出現重影,如圖1所示。因此,需要做單波段影像配準。

影像配準的目的是將兩幅影像中對應于空間同一位置的點一一對應起來[9]。本文主要采用特征點配準方法來完成,該方法具有計算量少、效率高、魯棒性等特點[10]。通過以下4個步驟進行：

(1)特征點檢測。特征點檢測結果的好壞,直接影響配準的精度,乃至影像拼接的最終結果。本文使用特征點檢測算法Moravec,因為該算法檢測到的特征點較多,準確率也相對更高。

(2)特征點匹配。該步驟通過特征描述符、相似性度量等建立待匹配影像與目標影像特征間的相關性。

(3)轉換模型估計。該步驟通過待匹配影像與目標影像的相關性估計兩張影像間的映射函數的類型和參數[7]。

(4)重采樣與轉換。使用映射函數轉換待匹配影像,并進行重采樣。

無人機高光譜影像的波段數目較多,進行單波段灰度影像配準時需要選擇一個波段作為基準波段,將其余波段與基準波段進行配準,得到配準后的單波段影像。這種方法的配準誤差最小,且可以避免出現誤差累積的情況。

1.1.2波段合成

通過空間變換將兩個影像進行配準之后,不可避免地會出現兩個單波段影像角點不對齊的情況,如圖2所示,會直接導致無法進行波段合成。

圖2 配準后波段3影像角點偏移

為此,本文首先將基準波段影像進行外擴處理,即東南西北四個方位均外擴200個像素,然后將配準后的其余波段也進行外擴處理,每個方位外擴的像素數目由此波段與基準影像的相對位置關系決定。設基準影像的左上角坐標為(0,0),影像的尺寸為1 010×648,則外擴后基準影像的尺寸為1 410×1 048。圖2中配準后波段3影像的像素大小為1 011×646,左上角坐標相對于基準波段的坐標為(2,-6),則配準后波段3影像的西邊應外擴202個像素,北邊應外擴206個像素,東邊應外擴197個像素,南邊應外擴196個像素,如圖3所示。

圖3 配準后波段3影像外擴示意圖

進行單波段影像配準并外擴后,得到多個同一空間位置點一一對應且尺寸一致的單波段影像,將其進行波段合成,便可得到波段配準后的高光譜影像[11-12]。

1.1.3影像裁切

為了波段合成,外擴處理后的影像與原始數據的尺寸不一致,會導致PIE中影像糾正失敗。為此,需要進行影像裁切。為了不改變裁切后影像與原始影像的空間位置,本文以基準波段的位置為基礎,裁掉外擴的像素,得到與原始影像尺寸一致的配準后高光譜影像。

1.2 影像白板校正

配準后的影像依然包含白板[13],因此,需要通過以下步驟進行高光譜影像白板校正。

(1)白板輻射量S3：利用ENVI軟件獲得10個或更多像素點每個波段的光譜值,并取每個波段光譜值的平均值,作為白板輻射量。

(2)標準白板反射率數據S2：依據標準白板反射率得到對應波長的反射率。若波長介于標準白板兩個波長之間,則可取平均值作為該波段的反射率,或將兩個波長的反射率進行加權得到該波段的反射率。

(3)高光譜影像白板校正：在ENVI軟件的spectral math窗口中輸入式(1),即可獲得白板校正后的高光譜影像。

(1)

其中，S表示白板校正后的高光譜影像；S1表示進行圖像配準后的影像；S2表示標準白板反射率；S3表示白板輻射量。

ENVI軟件中每次操作只能校正一幅影像,但航空影像像幅小、數據量大,利用ENVI軟件進行白板校正,需要消耗大量的時間。為此,本文利用交互式數據語言編寫白板校正批處理工具,提高影像校正效率。

1.3 PIE-UAV影像糾正及鑲嵌

利用PIE-UAV軟件建立工程進行影像處理時,需要導入配準后的高光譜影像、高精度位置與姿態測量系統(position and orientation system,POS)數據及相機文件[14]。通常高光譜儀難以獲得地物的地理位置信息,因此,需要借助全球導航衛星系統(global navigation satellite system,GNSS)模塊配件獲得影像的位置信息。在正射糾正過程中,為了保持光譜值不變,本文不進行影像勻光勻色處理[15]。

進行影像糾正后,利用ENVI軟件進行高光譜正射影像鑲嵌,同樣不進行勻光勻色處理。ENVI軟件編輯鑲嵌線時,只能顯示單個波段,且為灰度影像,若出現像素缺失問題,則無法發現。因此,本文先利用ENVI生成鑲嵌線并導出,然后在Arcgis中加載影像及鑲嵌線,并根據影像紋理編輯鑲嵌線,最后將編輯好的鑲嵌線導入ENVI中,進行影像鑲嵌。

綜上所述,本文無人機高光譜影像處理流程如圖4所示。

圖4 本文無人機高光譜影像處理流程

2 實驗

2.1 實驗數據

本文實驗使用的數據是通過無人機搭載的高光譜成像儀Rikola采集的影像,Rikola高光譜儀的焦距是9 mm,波段范圍為500～900 nm,波段個數最大可達380個。本文實驗數據選取的波段個數為50個,波長范圍為504.01～847.05 nm,影像尺寸1 010×648像素。由于高光譜影像波段多,數據量大,所以本文研究在三條航帶中選取具有重疊部分的一小塊區域。

2.2 實驗結果及分析

2.2.1影像配準裁切

本文研究使用的無人機高光譜影像具有50個波段,本文將波段1影像作為基準影像,將其余49個波段影像與基準影像進行配準。圖5給出了本文使用Moravec特征點檢測算法在基準影像及待批準影像檢測到的連接點。表1給出了同一高光譜影像的波段1影像及其余影像中同名點的個數及誤差。圖6給出了配準之后的結果。

(a)基準影像檢測到的同名點

從圖5及表1中可看出雖然單波段影像為灰度影像,沒有色彩特征,但Moravec算法依然能夠檢測到足夠多的同名點,均勻分布在影像中;且同名點間的誤差小于1個像素,精度較好。這些均避免了由于同名點數量少、同名點分布有漏洞導致的配準失敗。從圖6可知,本文使用Moravec算法檢測特征點并配準的方法能夠得到較好的配準結果。

表1 基準影像與單波段影像同名點的個數及誤差

(a)波段3和波段2影像 (b)波段1和波段15影像圖6 不同單波段影像配準結果

為進行波段合成,本文將原始尺寸為1 010×648像素的基準影像及配準后的單波段影像進行外擴,外擴的光譜值給定0,得到尺寸為1 410×1 048像素的多個單波段影像,并進行合成。如圖7所示,其中圖7(a)為基準波段外擴后影像,圖7(b)為配準后波段5外擴后影像,圖7(c)為多波段合成后影像。

(a)基準波段外擴后影像 (b)配準后波段5外擴后影像

從圖7(d)可知,本文將基準波段影像的東南西北四個方位外擴200個像素,能夠滿足其余波段影像配準后的像素溢出,并為波段合成提供方便。

波段合成后以基準波段(波段1)影像為基礎進行影像裁切,得到與原始影像像素大小相同的配準后高光譜影像,如圖8所示。從圖中可知,配準后的高光譜影像的有效范圍縮小,這是因為高光譜影像是逐波段不同時間獲取的,同一地物在同一景影像的不同波段中的像不一致,導致配準后的影像有效使用范圍減小。但由于航空影像的重疊度高,所以這并不會影響到后續的數據處理。

(a)影像1 (b)影像2

2.2.2白板校正

本文研究的高光譜影像有50個波段,波長在504.01～847.05 nm之間,利用ENVI軟件獲得的光譜輻射量和依據波長得到的標準反射率如表2所示。

表2 白板校正參數

利用1.2節所述的式(1)及表2中的光譜輻射量與標準反射率即可進行白板校正。本文使用IDL編寫的批量白板校正工具進行批處理,節省時間及人力。圖9給出了白板校正前后同一點的光譜曲線圖。從圖中可看出,同一點的波譜曲線的趨勢是一致的,說明白板校正的結果是有效的、準確的。

(a)白板校正前

2.2.3影像糾正與拼接

利用PIE-UAV處理高光譜影像,建立高光譜工程,導入高光譜影像、POS數據、相機文件及控制點文件,即可進行空三加密、DSM匹配及正射糾正。糾正后的單片影像如圖10所示。

圖10 PIE-UAV正射糾正后影像

PIE-UAV軟件處理影像時,不需要嚴格的相機參數及影像的外方位信息,操作也相對簡單易學,操作人員能夠快速上手,為無人機影像的數據處理提供方便。

使用1.3節所述的鑲嵌方法,得到拼接影像,如圖11(a)所示。圖11(b)為Rikola光譜儀隨機軟件ReMosaic處理后的拼接影像。

(a)本文方法拼接圖 (b)ReMosaic拼接圖

從圖11(b)中可以看出,Rikola光譜儀隨機軟件ReMosaic處理影像后的結果不理想,存在較嚴重的拉花問題,且拼接處的色彩過渡比較生硬。從圖11(a)中可看出,本文方法處理效果較好,影像鑲嵌線兩側和相鄰影像色調應基本一致色彩過渡自然,地物合理接邊,無模糊、重影和發虛現象,在高差較大的地區未出現拉花現象,效果和質量均能夠滿足分類的要求。本文使用ArcGIS編輯鑲嵌線的方法能夠盡量避免拼接影像鑲嵌線附近出現一些色彩偏差問題,減少后期工作量,提高工作效率。

3 結束語

本文研究了無人機高光譜影像的處理方法,使用交互式數據語言完成無人機高光譜影像的預處理、PIE-UAV軟件進行正射糾正、ENVI軟件進行影像鑲嵌,得到無人機高光譜影像拼接圖。影像預處理階段,本文首先進行單波段影像配準等步驟得到配準后的高光譜影像;其次,進行影像白板校正,為后續影像處理做好準備。通過使用Rikola高光譜成像儀采集影像的實驗證明,本文方法能夠得到無波段損失且精度滿足要求的拼接影像,結果優于ReMosaic軟件的拼接成果,且在部分處理步驟上使用批處理工具,一定程度上提高了工作效率。

本文研究的不足有以下兩點：①影像配準工具處理時占用內存較大;②PIE-UAV軟件處理時,人工干預較少,匹配出來的DSM數據無法進行編輯。在以后的工作中,本文會以這兩點為主要目標,尋找解決辦法,進一步提高精度及效率。