基于冗余提升不可分離小波的LSCN紅外圖像增強方法①

占子威,鄧長征,付 添,夏鵬雨,丁虹宇,黃曉宇

1(三峽大學 電氣與新能源學院,宜昌 443002)

2(湖北南邦創電科技有限公司,宜昌 443002)

紅外成像因其具有無源性、持續監測等特點,已成為電力設備狀態檢測的主要手段[1]. 運用紅外成像技術被動和非接觸式工作的特點進行電力設備狀態檢測,能有效避免主動檢測或接觸式檢測方式對電力設備工作狀態造成干擾,對電力設備運行安全保障至關重要.但是,紅外成像技術也存在許多問題,如自身分辨率較低、易受外界干擾、通訊易受電磁干擾,這些問題會導致紅外成像儀輸出的紅外圖像含有噪聲、細節紋理不清晰、圖像整體模糊等問題,不利于人眼觀察和后續計算機分析處理[2]. 因此,紅外圖像增強技術對于研究低成本、便攜式的紅外成像設備至關重要.

對于圖像的研究,主要是有空間域方法即直接對像素進行操作和頻域方法將圖像像素矩陣轉換到頻域進行處理好再反變換回空間域[3]. 直方圖均衡的方法是常用的空域增強方法,通過改變輸入圖像的灰度分布來提升圖像的灰度動態范圍,改善人眼視覺效果,但是會導致圖像灰度級減少、細節消失、過增強等問題[4,5]. 小波變換是一種經典頻域變換方法,其基本原理是傅里葉變換,通過改變頻率系數來處理圖像,但容易出現系數選取問題,導致圖像失真[6,7]. 因此,基于神經網絡的紅外圖像增強算法受到廣泛關注. 其中,運用較為廣泛的是基于視覺皮層的神經網絡,稱為脈沖耦合神經網絡(pulse coupled neural network,PCNN),源于其對視覺皮層特性的研究,PCNN 已成為圖像處理的一種通用而且強大的工具[8–10]. 但是,PCNN 模型也有許多弊端,其中之一就是需要設定大量的參數,并且依賴于設置人員經驗. 對于紅外圖像這種對比度低、目標輪廓不清晰的特點,已有的PCNN 算法不能在抑制噪聲的同時增強圖像[11].

針對上述不足,本文受到圖像分割和融合思想的啟發,提出一種基于不可分離小波多尺度方向分析(non-separable wavelet based multiscale directional analysis,NSWMDA)和連接突觸計算網絡(linking synaptic computation network,LSCN)的紅外增強方法,通過冗余提升的不可分離小波(non-separable wavelet transform,NSWT)分離圖像高低頻分量,對高頻先采用方向濾波抑制噪聲后,再對近似子圖和細節子圖分別采用LSCN 增強,最后進行融合重構得到增強的紅外圖像.

1 連接突觸計算網絡原理

連接突觸計算網絡是由Zhan 等[12]于2017 年提出的一種模擬人的神經連接突觸機制的圖像增強模型,屬于第3 代人工神經網絡. 該網絡模仿生物視覺皮層在受到外部刺激時,會產生生物電脈沖,從而影響周圍的神經元的行為,將反饋輸入作為外激勵,用內部活動作神經元狀態的衰減項. LSCN 是在PCNN 的基礎上改進的模型,針對PCNN 參數多、資源占用率高、人工依賴性強的不足,LSCN 在輸入機制上做了大量簡化,待參量也大大減少. PCNN 模型中采用3 個漏積分器,并進行兩次卷積運算[13]. LSCN 中保持了3 個漏積分器,但是減少了一次卷積運算,大大降低了計算復雜度,并且使得外激勵和內部活動的關系更加直接. LSCN相比傳統PCNN,最大的優勢就是其迭代過程自動停止,無需手動設置. LSCN 的神經元結構如圖1.

圖1 單個LSCN 神經元結構

在LSCN 神經元中,采用漏積分器來描述神經振蕩器的動電勢u(t),可離散簡化為:

其中,s為輸入信號,U(n)為離散動電勢,n為離散時間,lr為漏積分衰減常數.

連接突觸計算網絡由連接突觸C、膜電位M、神經閾值D組成,均被實例化為漏積分器. 其模型表達式如下:

其中,像素神經元用(i,j)表示,相鄰的像素神經元用(p,q)表示,n為離散時間,h是連接常數,Wijpq是連接權重,Ppq(n–1)是突觸后動作電位.

其中,a為膜電位衰減常數,Sij為外刺激信號,α為連接強度系數.

其中,g是閾值衰減常數,β為幅度調整系數.

突觸后動作電位產生代表著神經元點火成功. 點火成功后,神經元的閾值Dij會因為反饋信號而快速上升,由式(5)可知,閾值大于膜電位時,神經元會終止發射尖峰脈沖. 神經元停止發射脈沖后,閾值會再次因為反饋信號而降低,神經元再次點火發射,如此反復. 當網絡中所有的神經元全部點火成功后,迭代停止.

2 改進的LSCN 算法

2.1 本文算法框架

傳統的LSCN 解決了PCNN 中參數設置的問題,但是存在一些潛在的問題. 根據LSCN 的原理可知,神經元之間通過互相影響來使細節得到增強,對于圖像中的一些高頻噪聲也會被識別為圖像細節進行增強.對于紅外圖像而已,噪聲遠多于一般可見光圖像,這就會導致增強效果不理想,信噪比低. 針對傳統的LSCN算法存在的放大噪聲和細節邊緣不夠突出的問題,本文提出一種改進的基于NSWMDA 的LSCN 算法. 算法框架如圖2 所示.

圖2 不可分離小波多尺度變換的紅外圖像增強算法

非下采樣輪廓波變換(non-subsampled contourlet transform,NSCT)是一種圖像二維表示方法,其采用多尺度分解捕獲奇異點將圖像進行拆分[14]. NSCT 不僅可以保持contourlet 變換的多分辨率、局部化和多向性等優良特性,具備平移不變的特點,還能消除Gibbs現象. NSCT 采用的是非下采樣金字塔(non-subsampled pyramid,NSP)對圖像進行處理,但是NSP 變換對細節的捕捉能力較弱[15],而紅外圖像本身的細節紋理不夠明顯,所以傳統的NSCT 變換對紅外圖像,特別是興趣區域不明顯的紅外圖像并不友好. 基于不可分離小波的多尺度方向分析方法(NSWMDA)采用冗余提升的不可分離小波來替代NSCT 中的NSP 分解以提高對細微細節信息的捕捉能力. NSWMDA 首先對圖像進行不可分離小波變換,生成低頻輪廓子帶和高頻細節子帶,然后對高頻細節子帶進行方向分解,以增強細節子帶的方向分辨率. 不可分離小波變換具有多分辨率和局部化時間和頻率的特性,還具有高度的方向性和各向異性. 其能對圖像進行多尺度細化分析,符合人眼觀察特性. LSCN 對高頻信息和低頻信息的敏感度不同,對源圖像直接進行LSCN 增強會導致噪聲被放大. 因此,本算法利用NSWMDA 的多尺度多方向分析特性對源圖像進行預處理,將源圖像分解成低頻近似子帶和高頻細節子帶,再結合LSCN 對分離后的圖像進行處理,增強圖像對比度和細節紋理,最后進行融合疊加得到完整的紅外增強圖像.

Step 1. 原始紅外圖像進行NSWT 變換,得到低頻近似子帶和高頻細節子帶;

Step 2. 對高頻子帶,首先進行NSDFB 多方向濾波,減少噪聲干擾,然后,利用LSCN 增強,得到濾波以后的增強的細節子圖;

Step 3. 對低頻子帶,采用LSCN 進行增強,得到增強后的模糊子圖;

Step 4. 將增強后的細節子圖和模糊子圖進行NSWT反變換重構,得到增強后的紅外圖像.

2.2 冗余提升的不可分離小波變換

NSWT 由于存在下采樣環節,會導致平移可變,在處理圖像中的奇異信息時,會產生Gibbs 現象,不利于圖像的處理. 為解決這一問題,本文采用基于冗余提升的NSWT 變換將原始紅外圖像分解成高頻子帶和低頻子帶.

傳統的小波變換算法中,分裂方法采用的是將數據分成兩個集合,這樣產生的子帶數據就變為原來的一半. 數據量的減少雖然加快了運行速度,但也意味著帶來了平移可變,不利于圖像處理. 基于冗余提升的NSWT 采用復制的方式來處理數據,每次變換產生的子帶與原數據量相同,并在濾波器中進行插值運算就可實現多分辨率分解. 冗余提升的NSWT 變換實現過程如圖3 所示.

圖3 冗余提升的NSWT 過程圖

設原始圖像的輸入信號為Im,則冗余提升NSWT可分為以下步驟:

Step 1. 復制

將原始信號Im復制到Lm和Hm,其中,Lm是原始圖像的低頻子帶,Hm是原始圖像的高頻子帶.

Step 2. 預測

根據低頻信息Lm的4 鄰域中的最大值來預測高頻信息Hm.

Step 2.1. 水平/垂直方向預測

其中,imod 2 ≠jmod 2.

Step 2.2. 對角方向預測

其中,imod 2=jmod 2=1.

Step 3. 更新

根據高頻信息Hm的4 鄰域中大于零的值來更新高頻信息Lm.

Step 3.1. 水平/垂直方向更新

其中,imod 2 ≠jmod 2.

Step 3.2. 對角方向更新

其 中,imod 2=jmod 2=1.

2.3 高頻增強

原始紅外圖像通過NSWT 變換后得到高頻子帶和低頻子帶,高頻子帶包含了噪聲和圖像邊緣紋理細節. 在傳統的LSCN 算法中,噪聲會引起周圍領域像素點火,從而增大噪聲像素范圍. 為了避免噪聲對紋理增強產生干擾,本算法采用的是改進的非子采樣方向濾波器對高頻子帶進行方向濾波,可以得到對角線方向、水平方向、垂直方向分量.

改進的非子采樣方向濾波器NSDFB (non-subsampled directional filter bank)是一個雙通道的濾波器,其省去了二維方向濾波器組(directional filter bank,DFB)的下采樣步驟,并對濾波器進行相應的上采樣便可得到NSDFB. NSDFB 與嚴格采用方向濾波器組的濾波器類似,都是由單個的扇形濾波器得到,且計算復雜度不變[16]. 如圖4 所示,為一個4 通道NSDFB 分解圖.

圖4 NSDFB 濾波結構

在NSDFB 中加入上采樣(supq(d)為采樣階數上界限)是為了在不增加計算量的前提下,消除吉布斯效應. 對于采樣矩陣S和二維濾波器D(m),則濾波輸出y[n]采用卷積公式:

經過方向濾波以后的各方向高頻分量會抑制噪聲,減少噪聲干擾. 在高頻分量中細節紋理由于像素與周圍像素的連接強度Wijpq小,會對周圍的非紋理細節部分的像素產生抑制,減少其點火行為,增強自身的點火次數,迭代結束以后,紋理細節更加突出而背景和噪聲則被抑制. 對增強后的各方向高頻分量采用加權平均融合的規則得到增強后的細節子圖.

2.4 低頻增強

低頻子帶主要包含的是圖像的整體模糊信息,沒有清晰的邊界,具有較為集中的灰度. 根據LSCN 模擬視覺神經的工作方式的特點,當某像素與周圍的像素的灰度接近時,會刺激該像素(i,j)與其周圍的像素(p,q)同時點火,產生脈沖輸出Pij(n)=1,該信號會影響周圍像素的點火狀態,依次產生迭代,直到所有的像素都參與點火,終止迭代. 低頻增強通過模糊子圖各相鄰像素之間相互影響從而平滑灰度,使圖像更加平滑,灰度分布更均勻. 經過處理后得到的高頻子圖和低頻子圖,進行融合疊加后進行NSWT反變換得到紅外增強圖像Om.

3 實驗與分析

為驗證基于不可分離小波多尺度變換的LSCN 圖像增強算法的可行性和有效性,本文選取了普通場景紅外圖像(“吉普車”)和電力應用場景(“變壓器”)紅外圖像進行實驗分析. 分別對這兩幅紅外圖像采用直方圖均衡增強算法(histogram equalization,HE)、PCNN、LSCN、多尺度Retinex 增強算法(multi-scale Retinex,MSR)、本文算法進行紅外圖像增強,并對增強結果進行主觀和客觀分析來驗證本算法的優越性. 實驗軟件環境: Matlab R2020a; 硬件環境: AMD R7-4800H 2.9 GHz 處理器,16 GB 運行內存,Nvidia GTX1650 4 GB顯卡. 實驗結果如圖5 和圖6 所示,不同方法平均運行時間如表1 所示.

圖5 “吉普車”增強結果

圖6 “變壓器”增強結果

表1 各種方法的平均運行時間(s)

3.1 主觀分析

圖像背景的亮度和對比度對人眼視覺的感受影響較大,并且人眼對低頻中的噪聲敏感度大于高頻區域.從圖5 和圖6 的實驗結果可以看出,HE 算法和MSR算法在一定程度上提升了圖像細節紋理,但同時使局部位置的灰度過大或過小,亮度失衡,圖像出現部分失真; PCNN 算法增強效果并不顯著,圖像清晰度不高,并且對比度和細節處理有待提高; LSCN 算法突出了原圖的細節紋理,但整體對比度并無明顯增強; 本文算法相比上述4 種算法,處理后的圖片不僅整體清晰度增強,對比度有較大提高,細節紋理也更加豐富. 從主觀角度,本文所提出的算法整體人眼視覺效果較好,具有亮度均衡、對比度明顯、細節較為豐富、噪聲小、目標容易識別等特點.

3.2 客觀分析

通過多次運算得到表1,結果表明,最簡單的HE算法運算速度最快且基本不受圖像復雜度影響,相比而言基于神經網絡的算法(LSCN、PCNN 和本文)計算速度較慢,這是因為這幾種方法都需要進行迭代,計算復雜度更高,并且還會受到圖像復雜度的影響,PCNN 算法每進行一次迭代,就要對滿足條件的像素點的3×3 鄰域進行局部中值濾波,即對每個像素的鄰域元素求中值,并且每次都要進行2 次卷積計算,大大增加了計算量,因此計算速度最慢. 本文在LSCN 每次迭代只需進行一次卷積計算基礎上,通過引入冗余提升不可分離小波,雖然提升了算法復雜度,但是由于高低頻分離后的圖像,在進行LSCN 處理時,迭代次數變少,總的運行時間與改進前的方法增長較小,并且通過進一步改進小波分離方法和參數,可進一步縮短運行時間.

為深入分析上述5 種算法的增強質量,本文選取邊緣強度(edge intensity,EI)、信息熵(information entropy,IE)、峰值信噪比(peak signal-to-noise ratio,PSNR)、結構相似度(structural similarity index measure,SSIM)、平均梯度(average gradient,AG)5 種常用客觀評價指標對增強圖像進行評價. 上述5 種評價指標值越大,增強效果越好. 評價結果如表2、表3所示.

表2 “吉普車”客觀評價指標

表3 “變壓器”客觀評價指標

由表2 中實驗結果可以得到,本文算法在EI、IE、PSNR、SSIM、AG 五類指標均高于其他4 種算法,對比其他算法各指標分別至少提高了15.30%、2.40%、4.95%、3.69%、6.86%. 由表3 中實驗結果可以得到,本文算法在EI、IE、PSNR、SSIM、AG 五類指標均高于其他4 種算法,對比其他算法各指標分別至少提高了10.86%、14.39%、19.95%、7.06%、6.70%. 從以上數據可以看出,對待不同復雜程度和不同背景的紅外圖像,本算法的客觀指標均較其他算法好,以“變壓器”為例,各項指標較其他各算法歸一化增長幅度如圖7 所示.

圖7 “變壓器”各指標歸一化對比圖

從以上歸一化后的圖7 可以看出,本文算法的各項指標均較其他算法更好,HE 算法和MSR 算法的各項指標較為均衡,均處在中等水平; PCNN 算法各項指標差異較大,這主要是因為PCNN 算法需要設置大量參數,而這些參數很大一部分需要依靠設置人員的經驗來設置,一旦經驗不足,設置的參數不好,就會導致增強效果不理想; 與本文最為接近的是LSCN 算法,本算法在其基礎之上進行了NSWMDA 多尺度分析,分離出圖像的不同成分,再利用LSCN 算法進行增強,很好地發揚了LSCN 算法能自適應參數并自動停止迭代的優勢,解決了傳統LSCN 算法在增強的同時放大了噪聲,導致SSIM 指標驟降的缺點.

4 結論與展望

針對紅外圖像對比度低、細節模糊等問題進行算法改進研究,提出一種基于NSWMDA 多尺度分析和LSCN 的紅外圖像增強方法. 目前,大多數文章采用的是PCNN 的增強方法,該方法參數設置過多,依賴設置人員的經驗. 本文采用在其基礎上改進而來的LSCN模型,結合圖像融合的思想,將紅外圖像進行NSWMDA多尺度分解,對細節子圖和輪廓子圖進行分別處理以后,再將兩幅子圖疊加重構,得到增強后的紅外圖像.實驗證明,此方法有效的解決了傳統的LSCN 算法對細節加強的同時也放大噪聲的缺陷,不僅提高了圖像整體清晰度,減少并抑制了大部分噪聲,同時圖像的紋理細節也得到了加強,人眼視覺效果和客觀評價指標均較目前主流方法更好. 下一步研究將考慮在增強后的灰度圖像上添加偽彩,提升人眼視覺效果,并進一步改善算法的計算速度,以運用在電力設備紅外在線監測上.