一種基于IHS和NSST的多光譜圖像融合方法?

余楚恒 任明武

（南京理工大學計算機科學與工程學院 南京 210094）

1 引言

迷彩服的設計初衷［1］就是為了偽裝迷彩人員，其技術原理是減少迷彩服飾與背景在可見光、紅外等某一波譜上的輻射強度的差異，使得迷彩目標與背景進行混淆，達到偽裝的目的。在實際應用中，迷彩服、偽裝網等與背景極為相似，使用可見光設備采集的圖像，迷彩光譜特征較弱，成像細節不明顯，導致很難進行區分，造成目標檢測效果較差，難以達到預期的要求。但是迷彩服飾與植物在材料組成上仍然存在本質的區別，不同波譜下的反射強度存在明顯差異，可結合不同波段下的圖像進行聯合檢測。相關研究表明，基于多傳感器或多譜段數據的融合能夠達到增強目標，抑制背景的目的。通過多光譜圖像的有效融合，可以充分利用不同光譜波段圖像之間的冗余數據和互補信息，獲得對于某一特定目標更為精確的描述，從而提高目標檢測的效果［2～3］。

傳統的多光譜圖像融合算法主要分為兩類，第一類是基于空間域的方法，包括ICA［4］、主成分分析法PCA［5］以及人工神經網絡［6］等，該類方法較為容易實現，但是融合后圖像細節不明顯，目標特征不明確。第二類是基于變換域的方法，主要有小波變換DWT［7］、NSCT變換［8］和NSST變換等。2004年宋建社［9］提出將小波變換應用于遙感圖像融中，但是DWT的多尺度分解僅僅在少數幾個方向上，導致融合結果難以反映良好的空間邊緣信息；NSCT則具備多尺度各向異性的能力，具有平移不變性，但是由于結構復雜，使得運算數據量過大，耗時較長。NSST則是在剪切波的基礎上發展而來的，具有較好的多尺度分解能力，較好地描述圖像的細節特征，并且運行速度快。

因此，針對叢林環境中迷彩人員檢測問題，本文結合IHS變換能有效區分亮度信息和光譜信息這一優點，以及NSST變化在多尺度分析和平移不變性的優勢，提出一種基于IHS變化和NSST變換的多光譜圖像融合方法。

2 基本理論

2.1 IHS空間

IHS顏色空間［10］是根據色彩、亮度以及飽和度對于圖像進行描述，亮度分量與色度是相互獨立，色彩和飽和度分量與視覺感知相關聯，適用于人的視覺來感知彩色特征的圖像融合算法，因此對于不同迷彩服在色彩上的特征能借助該變換進行圖像融合。

從RGB可見光圖像到IHS顏色空間的變換公式如下所示：

其中，I表示亮度分量，H和S分別表示色彩分量和飽和度分量。

從IHS空間轉換到RGB坐標的逆變換如下所示：

2.2 非下采樣剪切波NSST變換

2007年Guo［11］通過反射系統將幾何和多尺度相結合構成了剪切波（shearlet），但是不具備平移不變性，在圖像重構過程中容易出現偽吉布斯現象，因此Guo基于shearlet進行改進，提出了NSST變換，該變換具有一定的各向異性、計算效率高、無方向數和支撐尺度尺寸限制等優點，內部的基函數具有可變的楔形支撐空間，通過膨脹和剪切操作自適應表示圖像的幾何特性，將其應用于多光譜圖像融合，可以為融合圖像提供更多有用的信息。

非下采樣剪切波變換［12］屬于非正交變換，主要是由基于非下采樣金字塔濾波（NSP）的多尺度分解和基于改進的剪切波濾波（SF）多方向分解組成。多尺度分解是通過K次反復的分解，每一級分解均根據對于上一級分解過程中使用的錄波器組進行上采樣，最終得到K個高頻分量和單個低頻分量，與原圖像具有相同的尺寸大小。多方向分解使用標準的SF分解器，將偽極化網格系統直接映射到直角坐標系上，并進行傅里葉變換，實現二維卷積操作，從而避免了SF分解過程中的下采樣步驟，保證了尺度平移不變特性。NSST離散化過程如圖1所示。

圖1 IHS顏色空間

2.3 融合規則

多光譜圖像融合的目的就是將特征波段下的邊緣特征和可見光下的紋理特征結合到一起。低頻分量主要包含圖像的特征目標輪廓信息和可見光圖像中的背景信息，本文對于特征波段圖像采用局部能量取大值原則，因為迷彩服在不同波段下的反射強度不相同，在圖像上所顯示則是亮度信息的差異，即局部能量的差異，因此對于特征波段圖像采用基于局部能量取大原則［13］。

其中：

式中：(i，j)表示圖像中的像素點，M，N分別表示局部尺寸大小，c代表低頻分量序號。

對于彩色圖像分解出來的亮度分量，則使用自適應模糊邏輯［14］原則，因為目標的不同特征和相鄰像素之間以及圖像系統內部的不確定性。利用模糊邏輯隸屬度函數能自適應地決定分量中的像素點歸屬于特征目標還是背景，對應的隸屬度函數如下所示：

式中：U表示對象構成的集合，x為集合中的元素，A為U的模糊集合，μA(x)表示A的隸屬度，取值在0～1之間。常見的隸屬度函數包括三角形隸屬度函數，高斯分布隸屬度函數以及廣義鐘形隸屬度函數，文中采用高斯函數隸屬度函數作為加權系數，應用于圖像融合中，表達式如下所示：

式中：μ為函數的中心，文中表示圖像均值；σ為函數寬度，文中表示圖像標準差。

高頻分量主要反映的是圖像細節信息，包含了圖像的紋理特性、邊緣特性等信息，細節信息之間具有很大的獨立性，采用模值取大的規則，能極大程度保留目標的邊緣細節，保證融合圖像的清晰度，并且算法運行效率高。表達式如下所示：

3 融合步驟和流程圖

特征波段圖像記錄了迷彩服飾在不同波段下的反射信息，輪廓特征較為明顯，細節信息較弱。而可見光圖像記錄場景中的更多細節信息，適合于人眼觀察。

針對全色圖像和特征波段圖像融合的特點，根據IHS變換和NSST變換各自的優勢進行融合策略的設計，提出了一種結合IHS和NSST變化的多光譜圖像融合方法，具體步驟如下：

1）對于特征波段圖像和全色圖像進行圖像配準，本文算法中的圖像均已完成圖像配準操作。

2）將全色圖像進行IHS變換，分離出亮度分量I，和對應的H、S分量。

3）特征波段圖像之間進行多層NSST變換，其中低頻分量采用基于局部能量比與基于局部能量加權原則，高頻分量采用模值取大策略進行圖像融合，得到特征波段融合圖像F2。

4）利用NSST變換對于亮度分量I和融合圖像F2進行多尺度多方向分解，得到對應的高低頻分量，按照低頻分量進行自適應模糊邏輯操作，高頻分量模值取大規則進行融合，得到新的亮度分量I'。

5）將新亮度分量I'、H和S分量進行逆HIS變換，得到融合圖像新RGB。

圖像融合流程如圖2所示。

圖2 NSST變換流程

圖3 算法流程

4 實驗和結果分析

為驗證本文所提出的基于IHS和NSST變換的多光譜圖像融合方法的有效性，使用采集的多光譜圖像進行試驗，采集圖像時的氣象條件為晴朗天氣，采集時間覆蓋日出后、正午以及日落前等時間段，采集場景主要為叢林背景，并且所使用的圖像均已進行配準，圖像大小為1920*1000。圖4為一組多光譜圖像實例。

圖4 多光譜圖像實例

實驗的驗證環境為Inter Core i5-8300H，CPU主頻為2.3GHz，內存16GB，軟件實驗平臺為MAT?LAB R2014a。并與DWT、NSCT、文獻［15］中使用的NSST_PCNN［15］等方法進行實驗比較，其中DWT采用2層“bior”小波分解；NSCT選擇使用相同的融合規則，即低頻、高頻分別采用自適應模糊邏輯和模值取大的融合規則；文獻中采用NSST變換，其中低頻基于PCNN融合規則，各類算法的融合實驗結果如下所示。

圖5 融合結果實驗圖

由于缺少標準參考圖像，使用可見光圖像作為參考圖像，選擇相關系數（CC）、標準差（STD）、平均梯度（AG）、通用質量評價指標（UIQI）和信息熵（IE）等五種客觀評價指標對于融合圖像進行客觀評估［16］。其中，CC表示圖像之間的相關程度。STD表示像素點與圖像平均值之間的離散程度，值越大圖像信息越多，融合質量越好；AG反映圖像對于細節的表達能力，值越大圖像對比度越高，圖像越清晰；IE表示圖像所攜帶的信息量的大小。UIQI表示圖像的相似程度，越接近1表示圖像質量越好。對應的融合圖像質量評價指標數據如表1。

表1 圖像融合結果的客觀評價

從融合圖像進行分析，各類算法均能實現信息的有效提取，但是效果存在一定的差異。DWT算法實現的算法中迷彩人員的輪廓信息與周圍環境對比效果不明顯，并且圖像較為模糊；NSCT算法融合圖像在視覺上存在色彩失真的情況，并且迷彩人員亮度信息明顯，丟失了一部分紋理特征信息；文獻［15］使用的算法實現的融合結果，目標特征不明顯；本文實現的融合圖像結合了前兩種方法的優點，既增強了亮度信息，有保留了圖像的紋理特征信息。從圖像質量評價指標上分析，本文提出的方法在各類指標上均得到較好的指標。

并且分別對于可見光圖像、融合圖像以及單通道圖像進行YOLOv3網絡訓練并進行目標檢測，其中可見光圖像準確率僅為65%；單通道圖像中不僅準確率低，而且由于缺少顏色信息，對于不同顏色迷彩服無法準確檢測，無法正確分辨荒漠迷彩和叢林迷彩；融合圖像檢測結果準確率為75.8%，從而驗證了本文算法具有一定的優勢。

5 結語

本文基于多光譜圖像之間信息互補的特點，提出基于IHS顏色空間和非下采樣剪切波圖像融合的迷彩人員檢測方法，采用自適應模糊邏輯作為低頻分量融合策略，模值取大作為高頻分量融合規則，通過特征波段圖像多級融合，增強了可見光圖像中迷彩人員信息，增大了目標與背景之間的對比度，提高目標檢測精度，并且在圖像質量評價方面優于傳統方法。