面向目標檢測的視覺注意機制波段選擇研究

楊 桄,金椿柏,任春穎,劉文婧,陳 強

1. 空軍航空大學,吉林 長春 130022 2. 中國科學院東北地理與農業生態研究所,吉林 長春 130102

引 言

高光譜成像技術作為一項新興技術手段,為地學遙感應用研究和計算機視覺處理算法提供了巨大的機遇,高光譜成像的優勢具體體現在電磁波譜域的高分辨率和寬范圍,能夠反映出物體材料的固有特性[1]。 隨著遙感的實踐應用領域越來越廣泛、 研究內容精細程度越來越高,處理與分析遙感圖像的過程中,對于地物分辨能力呈現出越來越高的需求。

人類視覺注意力有助于我們快速定位圖像或場景中最重要的信息[2],一般認為,圖像中的“顯著”區域比圖像的其他部分更容易引起注意,術語顯著性描述了圖像中視覺上感興趣的區域,因此通常用作基于內容的圖像索引和檢索技術。 顯著性檢測模型模擬視覺注意機制來解釋給定場景,具有廣泛的實用價值[3],視覺注意建模正是研究人類對給定場景的視覺解釋,即哪些對象或特征會率先引起視覺的注意,這一概念就與視覺系統中對目標顯著性的分析密切相關。 利用顯著性檢測方法對高光譜圖像進行處理,可以快速獲得感興趣區域。 同時,利用顯著目標的光譜信息為顯著目標的檢測提供更有用的信息。 近年來,一些研究人員將顯著性模型應用于高光譜圖像的目標檢測,取得了良好的效果。 一些研究已經證明,使用高光譜圖像提供的特殊特征可以提高顯著性目標檢測的準確性,這些模型大多基于Itti模型的擴展。 Itti等[4]提出了一個通用的視覺注意模型,計算得到顯著性圖,其目的是預測特定場景下的人類注視區塊聚集簇。 該模型涉及三個主要特征通道的中心環繞比較和組合,即顏色、 強度和方向,是從彩色圖像計算顯著性圖的方法中最有影響力的工作之一。 Le Moan等[5]提出了一種基于顯著性的自動識別感興趣對象的方法,以增強降維過程中前景和背景之間的分離,提出將波段分為三組,每組分別處理,得到RGB圖像。 Cao等[6]提出了一種在高光譜圖像中檢測目標的方法,通過擴展Itti的模型來計算高光譜圖像中的顯著目標。 它使用四種不同的特征得到四個特征圖,然后將它們相加得到一個顯著性圖,以獲得更穩健的結果。 該方法更適用于高維反射矢量。 文獻[7]提出了一種基于區域對比度的視覺顯著性區域檢測算法。 該方法同時考慮全局對比度和空間相干性,并且算法簡單、 高效,可以產生全分辨率的顯著性圖,檢測結果具有更高的精度和更好的召回率,明顯優于現有視覺顯著性檢測方法。 Kadir等[8]觀察到顯著性、 尺度選擇和圖像內容描述之間存在內在聯系。 顯著性波段可以描述盡可能多的對象,這也意味著顯著性波段中會有盡可能多關于地物目標的信息。 Liang等[9]通過將HSI轉換為三色圖像,將Itti模型應用于三色圖像,將研究重點放在三個顯著波段的選取,進而實現高光譜數據與顯著目標檢測相結合。 Su等[10]提出將具有某些屬性的預期帶被定義為顯著帶,然后顯著條帶選擇問題轉化為基于顯著性、 尺度和圖像描述具有內在聯系的思想的尺度選擇問題。

基于以上研究理論,限于高光譜數據信息的冗余與重疊,全波段數據難以提供有利于目標、 背景分離的度量信息,使用所有波段進行實驗操作不是區分在光譜范圍內具有非常相似識別特征的最優方法。 本文立足于不同種類的物體(或同一物體的不同狀態)對太陽光譜輻照度有不同的反射特性,挑選光譜內某些關鍵波長范圍區間足以清楚地區分目標與背景的特殊波段。 選擇所有條帶中目標與背景響應差異最明顯的條帶,使得獲取的兩個或多個包含不同高光譜特征的光譜波段可以提供等同于甚至優于全波段級別的特征信息。

1 視覺機制波段選擇框架和排序方法

不同種類的物體(或同一物體的不同狀態)對太陽光譜輻照度有不同的反射特性,即使某兩個或多個物體在人眼中呈現的外表形態非常相似,挑選光譜的某些關鍵波長范圍區間就足以清楚地區分這兩個物體。 如果稱某個波段是顯著的,即代表著它可以描述一些物體的特征,具有代表波段表征物體較強的波段響應能力。 選擇相鄰條帶中響應較高的條帶,所獲取的兩個或多個包含不同高光譜特征的相同光譜波段可以提供等同于甚至優于全波段級別的特征信息。 這是由于信息的冗余與重疊,全波段數據難以提供最大有利于目標、 背景分離的度量信息,使用所有波段進行實驗操作不是區分在光譜范圍內具有非常相似識別特征的最優方法。

利用模仿人眼亮度信息感知能力建立的目標識別度模型,面向目標與背景的視覺亮度信息感知差異分析,構建基于目標視覺可識別度的波段選擇(band selection based on target visual recognizability,TVR_BS)方法; 選取LC視覺顯著性算法進行改進和集成化,建立面向目標檢測的LC顯著性算法波段選擇模型,依據其度量波段差異描述子方法將其命名為基于LC顯著目標結構分布的波段選擇(band selection based on LC significant target structure distribution,LCSTSD_BS)方法,與大多數現有的基于圖像的波段選擇技術不同,前者用于波段幅圖中特有目標反射像元灰度值特性,后者用于波段圖像中的目標反射特征表現出的目標分布特征要素,二者關注光譜波段的目標判別性。 并且利用AVIRIS San Diego公開數據集和野外場地綠色植被類材料的實驗數據集進行目標檢測實驗進行波段選擇效果驗證。

本文為波段選擇過程中盡可能避免波段信息重復,提取光譜數據中所含信息差距大的波段,提出改進的子空間劃分方法,將數據分成若干區塊,隨后在區塊內對目標地物顯著性程度進行層次分析,使得到的結果子集具有較低的相似性和較豐富的代表性信息,具有對于目標檢測體現較強顯著性的作用。 研究過程框架結構如圖1所示。

圖1 算法流程示意圖Fig.1 Schematic diagram of algorithm flow

1.1 子空間劃分方法

基于連續波段相關性高這一高光譜數據特性,在適當區間內,連續的波段可被劃分為同一空間子集,這種先聚類再分組的方法被稱為子空間劃分。 本文所使用的子空間劃分方法的主要特點是利用基于波段相關性聚類劃分成多個空間塊的方法和目標視覺顯著性波段優先級排序的優點,選擇相關性較低、 目標識別判別信息較多的波段子集。 因此,為了將有序的高光譜波段劃分為幾個內部相關性較低的子空間塊,本節受自適應子空間劃分波段選擇方法(adaptive subspace partition band selection,ASPBS)啟發,利用相鄰波段相關性變化確定準確的空間子集的有效邊界。 下面首先簡要介紹自適應子空間劃分,然后提出本研究解決子空間劃分有效邊界的方法細節。

1.1.1 自適應子空間劃分

傳統的自適應子空間劃分方法[11],第一步粗子空間劃分(coarse partition),為了更快地完成波段聚類,根據所選波段的數量,將高光譜圖像立方體按相等的寬度劃分為有限的子立方體。 每個子立方的條帶數目等于總的波段數除以所選波段數。 第二步細子空間化分(fine partition),將每個空間波段的像素矩陣被拉伸為一維向量,然后利用歐幾里得距離構造任意兩個波段之間的相似矩陣,通過最大化類間距離與類內距離的比率來獲得最終的聚類結果。

其中,由于光譜數據中相對位置距離遠的兩個子空間之間的相關性小,考慮兩個相鄰子立方體之間的關系即可。 選擇最大距離作為衡量兩個類間關系的標準。 設定一個分割點以相同的方式,不斷迭代更新初始點,以獲得最終的分割點。 這種劃分方法可以使獲得的子立方體之間的相關性較低,從而可以有效地避免選擇冗余頻帶。

1.1.2 相關性子空間劃分

傳統的自適應子空間算法使用波段間歐幾里得距離評價波段關系,本研究采用波段間的相關性作為評價指標,并將相關性進行可視化處理,使其劃分過程更加形象。 研究同樣采取兩次劃分,即粗子空間—細子空間劃分的方式。

第一步,粗子空間劃分,為了率先確定波段之間的相關性分布情況,采用波段相關性可視化進行粗子空間數量的確定,波段間的相關系數計算如式(1)所示。

(1)

(2)

利用得到的相關系數矩陣進行可視化得到相關系數熱力圖,將全部波段進行視覺粗劃分得到粗子空間數目和子空間分布邊界區間,選取一個起始點。

第二步,細子空間劃分,依據波段間的全局相關系數曲線圖,將波段進行變化檢測閾值選取并不斷迭代,可以得到眾多空間相關系數變化率最大的統計區間。 經曲線求導變化率,不斷帶入新值、 累加,并搜索累加得到的最大值。 將此數值設定為分割點位,即為最終波段子空間分割位點。 據分割位點將波段相關系數矩陣圖像進行二值化處理,即可自動確定高光譜數據確定的精確細子空間邊界,最后得到劃分好的子空間劃分結果。

本研究所使用的相關性子空間劃分方法,主要特點是利用基于波段相關性聚類劃分成多個空間塊的方法和目標視覺顯著性波段優先級排序的優點,有助于選擇相關性較低、 對目標判別信息較多的波段子集。

1.2 基于地物可識別度的目標顯著性波段排序

使用圖像亮度信息法揭示不同類別地物在同幅波段圖像的反射差異特性,計算所分析波段對不同地物判別分離能力,即地物可識別度[12]。 本節利用此原理,在高光譜圖像目標檢測中進行應用研究,將前者對不同種類地物的判別與分析,運用至目標與背景的判別與鑒定。

運用圖像亮度信息法所選擇的波段的背景亮度均值IB越小,同時該波段的灰度圖像標準差σi越大,視覺效果就較好。 經式(3)計算,可以得到不同地物在各個波段的可識別度值Dt。

(3)

式(3)中,第i波段標準差σi計算方法如式(4),標準差值越大代表該波段中的目標與背景的差異越大。

(4)

本方法是將地物分析轉向為目標與背景分析,以達到提取并強化目標與背景的光譜特性差異的目的。 通過設計模仿人眼視覺模型描述對象在圖像中的突出程度,將含有待檢測目標的波段圖幅,經視覺可識別度模型算法計算待檢測目標所在波段圖幅的目標與背景的可識別程度,以量化所在波段對地物目標與背景的判別能力,再結合提出的改進自適應子空間劃分方法,利用以上方法在子空間內實施并得到關于目標判別能力的波段優先級序列,可將該波段選擇方法定義為基于目標視覺可識別度的波段選擇(band selection based on target visual recognizability,TVR_BS)方法。

1.3 基于LC顯著性算法的目標顯著波段排序

顯著性檢測的關鍵思想是中心環繞比較,也就是說,如果一個像素或一組像素與其鄰域存在某種差異,那么它就是顯著的。 因此,為了實現這種檢測,需要在圖像的空間維度中定義這些“中心”和“周圍”,但也需要一種有效的方法來比較它們。 根據多種目標顯著性算法的研究對比,在選取局部對比度(local contrast,LC)[13]算法用于顯著性分析并全幅提取視覺顯著性目標的應用中,通過逐像素地計算與灰度圖像內其他所有像素在反射值上的距離之和作為該像素的顯著值,如式(5)中SalS(Ik)表示像素Ik的顯著值。 據此提取符合視覺接受處理信號特點的單個波段內相對顯著目標的像素集合S,稱之為顯著性圖。

(5)

式(5)中,Ii的值在[0,255]的范圍內,‖·‖表示顏色值之間的距離度量。 等式擴展為式(6)形式,

SalS(Ik)=‖Ik-I1‖+‖Ik-I2‖+…+‖Ik-IN‖

(6)

式(6)中,N是圖像中的像素總數。 鑒于輸入圖像,每個像素的顏色值是已知的。 令Ik=am,得到如式(7)

SalS(Ik)=‖am-a0‖+…+‖am-a1‖+…+…

(7)

式(7)中,fn是圖像中像素值an的頻率。 這頻率以直方圖的形式表示。 由于n∈[0,255],顏色距離度‖am-an‖也限定在[0,255]的范圍。 由于這是一個固定的范圍,所以距離映射D可以在顯著性圖計算。 在此映射中,元素D(m,n)=‖ax-ay‖是X和Y之間的色差。 給定直方圖f(·)和色彩距離圖D(·,·),一個像素Ik的顯著性值計算如式(8)

(8)

計算所有圖像像素的顯著性值,只有顏色{ai,i=0,…,255}的顯著性值,符合直方圖中目標與背景的分布,才是生成最終顯著性映射所必需的,保留顯著性像素的集合即顯著性圖Sk。

在面向目標檢測的波段選擇應用,所選擇波段對目標應具備明顯的反射特征值,為了更加全面地利用包含目標地物信息的圖像,本文提出利用圖像間的結構相似度(structural similarity,SSIM),同待檢測目標的地面真值進行逐波段近似性計算,如式(9)。 計算所得到的目標顯著圖和地面真值參照在每個位置上的差異,在該位置上從兩張圖中各取一個區域的像素。 在具體的計算方面,SSIM可以更敏銳地描述兩個圖像之間的局部結構差異,由亮度、 對比度、 結構三個維度組成,亮度對應于均值,對比度對應于方差或標準差,結構對應于余弦相似度。

(9)

C1=(K1L)2,C2=(K2L)2

波段的顯著性定義如式(10),描述了第i個波段圖像中的目標t與背景b的像素顯著性對比度,將波段依據目標的顯著性提出度量波段顯著性的值OSi進行排序,隨后在各子空間中由大到小降序選擇波段,在各子空間中選擇波段圖幅中目標與背景差異最為明顯波段組成結果子集。

(10)

在子空間劃分步驟中,利用前文提到的改進自適應子空間劃分方法,在各子空間中利用上述過程計算波段優先級序列,可將該波段選擇方法定義為基于LC顯著目標結構分布的波段選擇(band selection based on LC significant target structure distribution,LCSTSD_BS)方法。

在該方法中,LC算法提供對光譜圖像波段內的像素局部分析,生成對應光譜波段的目標顯著圖,光譜波段的視覺顯著圖提供了在可視化相關應用中有價值的信息,此類信息滿足了視覺注意的應用范圍,不僅實現了描述哪些目標對象是顯著的,還可以由波段優先級序列表示特定的、 具有判別價值的波長范圍區間,進而提取目標突出的優勢波段,實現增強對目標的檢測能力和數據降維,從而大大提高檢測效率和縮短計算時間。

2 實驗及結果討論

高光譜目標檢測通常可以根據待檢測目標、 提供已知目標知識的先驗目標和具有已知目標光譜特征的后驗目標進行分類,傳統的探測器是基于目標和背景光譜的統計信息構建的,通過細化目標光譜使檢測器具有魯棒性來解決這個問題。

研究選取含有單一背景以及待檢測目標為飛機的AVIRIS San Diego數據集進行目標檢測實驗來驗證本文提出的基于視覺注意機制的波段選擇方法模型。 實驗選用五種高光譜目標檢測算法,分別是自適應相干估計器(adaptive coherence estimator,ACE),將目標檢測視為假設檢驗問題; 約束能量最小化方法(constrained energy minimization,CEM)和混合調諧目標約束干擾最小化濾波器(mixture tuned target-constrained interference-minimized filter,MTTCIMF),對目標或背景施加約束,并構建有限脈沖響應濾波器,以最小化濾波器的輸出能量; 正交子空間投影(orthogonal subspace projection,OSP),基于子空間的方法抑制背景光譜,突出目標光譜,并支持干擾源設計的特征; 光譜角度映射器(spectral angle mapper,SAM),原理在于測量測試像素的光譜和目標的先驗光譜特征之間的“距離”。

實驗將通過波段選擇方法得到的波段子集經目標檢測器識別處理得到的結果,選取ROC(receiver operating characteristic)曲線和AUC(area under curve)值對其進行精度評價。 本研究通過對不同目標檢測算法的應用及選擇的波段子集與全波段的結果評價對比,驗證本文所提出的波段選擇方法的有效性。

2.1 實驗數據

本實驗使用的AVIRIS San Diego數據是在美國加利福尼亞州圣地亞哥機場區域采集,AVIRIS(airborne visible infra-red imaging spectrometer)傳感器是第一個全光譜范圍成像光譜儀,致力于地球遠程測量[14],其光譜分辨率為10 nm,光譜覆蓋范圍為350～2 500 nm,在去除低信噪比和水汽吸收帶后,共使用189個波段進行實驗。 選擇兩個大小分別97×59像素和49×70像素的區域作為測試圖像,并將其分別命名為San Diego1場景圖和San Diego2場景圖,前者是機場的一部分。 目標是3架飛機,背景是建筑物和跑道,后者是10架小型飛機,背景是跑道和停機坪。 San Diego1場景和San Diego2場景的真彩色圖像和地面真值圖分別顯示在圖2和圖3中,在該數據集中,飛機被視為要檢測的目標。

圖2 自適應子空間劃分方法Fig.2 Adaptive subspace partition method

圖4 San Diego2場景(a)真彩色圖(b)目標的地面真值圖Fig.4 (a) Ture color image of San Diego2 area; (b) Ground-truth map of the targets

2.2 實驗過程

2.2.1 波段子空間劃分結果

將這兩種高光譜圖像數據集,經本文1.1.2所提到的相關性子空間劃分方法處理,第一步計算全波段相關系數并進行可視化處理得到波段相關系數熱力圖,以用于波段聚類粗劃分,如圖5所示。

圖5 高光譜數據波段相關系數熱力圖Fig.5 Hyperspectral data band correlation coefficient heat map

接著,提取粗劃分邊界前后10個單獨波段間相關系數,利用相關系數變化曲線求導,并進行累加求和分析,來確定波段子空間精確分割點位,單個波段相關系數變化曲線如圖6所示。

圖6 高光譜數據單波段相關系數變化曲線Fig.6 Single-band correlation coefficient curve of hyperspectral data

將實驗所使用的高光譜數據經以上過程計算得到劃分好的波段子空間如表1所示,兩種數據均被分成了五個子空間。

表1 波段子空間劃分結果Table 1 Division results of wave segment subspace

2.2.2 波段選擇結果

經波段選擇得到的各子空間取等量數目的波段,首先在劃分好的5個子空間中,各取一條顯著性波段得到表2所示的波段選擇結果集合,以驗證波段選擇算法的有效性。

表2 San Diego數據的波段選擇結果Table 2 Band selection results of San Diego data

經過子空間內單一波段的算法驗證后,即可將波段選擇結果進行擴充,按照各空間提取數量從總數5波段成倍增加至10波段,15波段,20波段,25波段,將不同數目的波段集合進行目標檢測,將其結果精度與全波段下的目標檢測結果進行對比,使得將算法的有效性更具說服力地表現。

2.3 檢測結果與評價

將上面提到的四種含有5個波段的組合分別應用到5種目標檢測算法中,San Diego1場景和San Diego2場景得到目標檢測結果分別如圖7和圖8所示,在兩組結果圖中的第一行結果圖為基于TVR_BS方法得到,第二行結果圖為基于LCSTSD_BS方法得到,第三行為基于全波段應用得到的目標檢測結果圖,從左至右每一列分別是由(a)ACE,(b)CEM,(c)MTTCIMF,(d)OSP和(e)SAM算法得到。

圖7 San Diego1場景目標檢測結果圖Fig.7 Target detection results in San Diego 1 scene

圖8 San Diego2場景目標檢測結果圖Fig.8 Target detection results in San Diego 2 scene

針對圖8的檢測結果可以發現,CEM、 MTTCIMF和OSP算法的檢測結果,在人眼的主觀目視觀察仍能保持較高的準確度,優于全波段應用的檢測結果,其中基于TVR_BS方法的結果子集在MTTCIMF目標檢出數量最全面,明顯優于全波段結果,所提出的兩種方法在SAM算法上檢測目標率較高,但存在建筑物錯誤識別成目標的現象,而在ACE的錯誤識別像元較少,但是目標檢出數量同樣較少。

接著,將目標檢測結果進行精度評價,得到如圖9所示的ROC曲線圖,其中的(a)和(b)分別是基于TVR_BS方法得到的5波段組合在San Diego1場景和San Diego2場景的目標檢測結果評價; (c)和(d)是基于LCSTSD_BS方法得到的5波段組合在San Diego1場景和San Diego2場景的目標檢測結果評價; (e)和(f)是基于全部波段在San Diego1場景和San Diego2場景的目標檢測結果評價。

圖9 San Diego數據目標檢測結果ROC曲線圖Fig.9 ROC curve of target detection results of San Diego data

為便于直觀了解波段選擇算法對目標檢測提升的作用程度,將數目成倍增長后的波段選擇組合進行目標檢測實驗,進而對結果進行評價與分析,得到數據豐富的目標檢測結果AUC評價指標如圖10所示,其中(a)、 (b)是基于TVR_BS方法得到的波段組合與全波段分別在San Diego1場景和San Diego2場景的檢測結果評價AUC值; (c)、 (d)是基于LCSTSD_BS方法得到的波段組合與全波段分別在San Diego1場景和San Diego2場景的檢測結果評價AUC值。

圖10 San Diego數據不同算法波段組合的目標檢測結果AUC值Fig.10 Target detection results (AUC value) of different algorithm band combinations of San Diego data

通過目標檢測結果AUC值普遍高于0.90可以發現,本文提出的兩種基于視覺顯著性的算法TVR_BS與LCSTSD_BS在五種目標檢測算法中均取得了較好的目標檢測效果,驗證了視覺顯著性應用于面向目標檢測的波段選擇方法中的應用,具有較好的可行性。 其中,相對于全波段結果來說,在不同數目波段的比較中,較少的波段對于目標檢測的應用體現了較優異的效果。

3 結 論

本文面向高光譜目標檢測實踐應用,引入針對目標進行視覺注意機制處理模型揭示光譜特異性波段從而完成波段的選擇。 研究并提出了基于目標視覺可識別度的波段選擇(TVR_BS)方法和基于LC顯著目標結構分布的波段選擇(LCSTSD_BS)方法,將這兩種波段選擇方法與改進自適應子空間劃分方法結合建立基于視覺注意機制的波段選擇模型框架。 并將所提出的算法模型利用單類飛機目標檢測場景高光譜數據集進行波段效果驗證。 目標檢測實驗結果表明,該波段選擇模型所檢測出的目標結果精度較高,能夠較好地應用于面向目標檢測應用的高光譜數據降維處理,具有較高數據降維能力和實際應用前景,為快速高效地解譯高光譜遙感場景提供了理論方法與應用支持。 未來可將該模型應用于研究任意維度、 任意波長范圍的高光譜數據,將可視化范圍內描述對象的顯著性,覆蓋在全光譜波長范圍內。 使用一系列目標反射特征來提取并輸出光譜數據中富含目標特征信息的特異性波段,可進一步用于包括但不限于目標檢測、 圖像配準和分割等各種應用。