紅外圖像校正與增強技術研究現狀

張寶輝，姚立斌，張巍偉，陳瑩妍，王潤宇

?

紅外圖像校正與增強技術研究現狀

張寶輝，姚立斌，張巍偉，陳瑩妍，王潤宇

（北方夜視科技集團有限公司 南京研發中心，江蘇 南京 211106）

非均勻校正和視覺增強是紅外圖像處理的關鍵性技術，其主要是為了解決紅外系統在光學、焦平面、讀出電路等設計和工藝中存在的問題。基于此，在非均勻校正方面，概述了近年來基于場景的非均勻校正技術和去除“鬼影”現象的發展現狀。在視覺增強方面，從灰度值的動態壓縮角度闡述了傳統方法和紅外圖像細節增強技術的最新研究成果，以及640×512中波數字化焦平面探測器在增強方面采用的最新技術和成像效果；并從分辨率增強角度介紹了“微掃”技術在紅外系統分辨率增強方面的突破技術和相關產品。最后，對紅外圖像處理發展趨勢進行了展望。

紅外圖像處理；非均勻校正；分辨率增強；視覺增強

0 引言

隨著紅外技術的不斷革新與發展，紅外成像技術在森林防火、醫療、行車輔助、電力監測、軍事等領域越來越多地被應用[1]。紅外成像系統包括紅外光學系統、紅外焦平面技術和紅外圖像處理系統，而紅外圖像處理系統作為最后端的處理系統，其處理之后的信號直接展示在最終顯示端，其處理方法和結果直接決定了系統的質量。受前端的光學系統、紅外焦平面技術工藝、讀出電路等因素影響，面對同一輻射面源，不同像元最終輸出給紅外成像電路的值會有所不同，從而產生了紅外圖像的非均勻性和盲元。此外，紅外焦平面的設計動態范圍較大，設計時為了滿足不同環境的適應性，一般采用滿量程的高精度ADC進行數據采集保證其精度。但日常使用環境的輻射強度基本集中在較小的范圍，這樣ADC采集到的信號也就集中在滿量程的小部分范圍。因此，未經處理的圖像信號輸出顯示時，分辨率、對比度和人眼舒適度都很差，必須經過相應的處理后才能顯示。

目前，隨著焦平面工藝的改進和成熟，焦平面的盲元現象已經越來越少，而均勻性、對比度和分辨率等問題，與紅外探測器材料、光學系統、讀出電路和成像電路設計等因素有關，很難單純地從工藝方面解決。國內外學者針對這些問題，開展了多方面的研究和探索，取得了一定進展，本文將針對這些進展進行分析和討論。

1 圖像非均勻校正技術

目前，針對紅外焦平面探測器輸出的非均勻性問題，所采用的校正技術主要分為參考源標定技術（Calibration-Based NUC, CBNUC）和場景算法校正技術（Scene-Bsed NUC, SBNUC）[2]。CBNUC技術主要是指在實驗室內利用均勻的黑體通過不同溫度對紅外系統進行標定，計算出不同像元在同一溫度下不同響應的差異，從而進行相應的補償，其算法主要分為單溫度點校正、雙溫度點校正和多溫度點校正算法。CBNUC技術由于原理簡單、校正效果明顯、技術相對成熟，在工程中被大量采用。但CBNUC校正方法缺點也很明顯，每臺熱像儀都需要在實驗室中利用參考黑體標定，這樣大大增加了熱像儀的工作量；同時，熱像儀的各種性能會隨著時間和環境而改變，之前標定的參數也逐漸偏離真實值，導致校正效果越來越不理想。而基于場景的非均勻校正算法（SBNUC）正好能克服定標法的不足，自適應判定出場景中的非均勻成分，具有免維護的優點，使其在紅外領域的應用前景和市場非常廣闊，而近年來紅外圖像非均勻校正技術的研究方向也逐漸轉向了基于場景的校正算法。這類算法整體上可以根據實現途徑分為兩大類，一類是基于統計類的校正算法，另一類是基于配準的校正算法[3]。

1.1 基于統計類的校正算法

在基于統計類的校正算法中，比較典型的是時域高通濾波法，它的存儲量和計算量相對較小，因而得到了廣泛的應用和研究，但是這種算法對場景隨機運動的依賴性較強，且容易被場景中強輻射所干擾，使得該算法的穩定性和收斂速度不能兼顧，要取得較好的穩定性就必須犧牲算法的收斂速度，而要想取得較快的收斂速度，則校正后的圖像會存在明顯的“鬼影”問題。針對時域高通濾波算法所存在的問題，許多學者做了廣泛的研究和改進。目前比較常見的時域濾波改進是空域低通和時域高通相結合的方法（Space Low-pass and Temporal High-pass, SLTH-NUC），算法首先利用空域濾波器（一般采用均值濾波）分離輸入圖像中的高低頻信號，在非均勻性的校正過程中只利用高頻部分來計算校正參數。為了減少對場景邊緣的影響，設定了一個閾值，當高頻部分中某個像素值比該閾值大時，判定其處在場景的邊緣上，不用于非均勻性校正參數的計算中。該方法相對于原始算法收斂速度得到提高，并且“鬼影”現象得到一定抑制。文獻[4]中對這種方法進一步改進，提出了雙邊濾波時域高通法（Bilateral Filter and Temporal High-pass, BFTH-NUC），利用性能更好的雙邊濾波代替均值濾波，該濾波器對圖像的邊緣部分能夠起到更好的保護作用，所以能有效減少鬼影的出現，同時算法收斂速度也得到了提高。其對不同算法的校正效果如圖1所示。改進后的BFTH-NUC算法，校正后的圖像明顯好于前幾種效果。

圖1 基于時域高通濾波的校正效果

基于恒定統計（Constant Statistics , CS）的非均勻校正算法也是統計類校正算法的一種，其主要思想是假設紅外焦平面上各像元接收的輻射范圍一致，各像元的均值和標準偏差恒定，從而用于計算校正因子。文獻[2]中介紹了改進的CS-NUC方法，通過縱向通道間的統計量均衡策略實現對條紋非均勻性的抑制，并引入遺忘因子通過幀間迭代實現非均勻性的動態校正，有效地降低了算法對場景信息的要求，可快速有效地消除網格和條紋狀固定噪聲，且不受場景變動的影響，提高紅外圖像質量，其效果如圖2所示。

另一種基于統計類的算法為基于神經網絡的校正方法，其主要思想是尋找到一個“期望”圖像，通過校正圖像不斷趨近“期望”圖像來擺脫圖像的非均勻性。非均勻校正的增益和偏置參數采用最小均方（Least Mean Square, LMS）等算法進行校正更新，依照校正圖像和“期望”圖像之間的均方誤差的梯度變化進行計算。文獻[5]提出了一種改進的神經網絡方法，采用了一種具有空間自適應能力的LMS算法，根據場景變化的情況調整對應的校正步長大小。觀察像素點局部方差的變化情況，調整校正步長，高方差的圖像區域采用較小的步長，較平坦的圖像區域采用較大的步長，并對LMS采用設置自適應值進行改良。該算法能夠快速實現收斂（一般在幾十幀圖像內），同時能夠有效地抑制“鬼影”現象，如圖3所示，從圖中標出的位置可以看出，經過改進后的基于神經網絡的算法，在抑制“鬼影”方面取得很好的結果。

1.2 基于配準的校正方法

基于統計的校正方法速度快，效果明顯，但在校正時需要統計的先驗條件，如果實際的圖不滿足這些先驗條件，會嚴重影響校正的圖像質量。針對這些問題，文獻[6]中提出了基于幀間匹配的最小均方誤差法，估計了相鄰兩幀之間的差異，并且以最小化均方誤差的方法對相鄰兩幀進行匹配。這種方法可以減少累積的匹配誤差，并且計算比較簡單，需要較少的存儲空間，能獲得時域上的非均勻性漂移參數，圖4給出了其校正效果。

文獻[7]中，提出了一種基于場景的空間投影估計和時域迭代非均勻性校正算法，主要是通過投影估計來估算全局位移，并且在連續多幀圖像中進行迭代計算。算法首先為配準準則設計了一個新的投影估計方法，然后利用相鄰幀進行迭代計算，以此來獲得較快的固定圖案噪聲（Fixed-Pattern Noise, FPN）收斂，同時在減少“鬼影”產生方面也取得了良好的效果。此外，文獻[8]給出了一種同時考慮全局和局部運動信息的算法，對紅外焦平面的非均勻性進行補償。文獻[9]提出了一種考慮了環境溫度補償的非均勻性校正方法，這種方法在校正了像元響應非均勻性的同時對環境溫度的漂移進行了補償，這些方法都取得了較好的效果。

圖2 基于恒定統計的校正效果

圖3 神經網絡校正算法

基于場景的校正算法，能夠克服傳統標定算法的缺點，大大降低紅外系統對標定工作的依賴，成為近些年非均勻校正的主要研究方向。但由于算法是基于時域及空域等未知場景信息，因此難免會對圖像信號造成“誤傷”，產生“鬼影”現象，雖然許多學者和科研機構對此展開了大量的工作和研究，但還是達不到完全去除“鬼影”現象的要求。從近年來基于配準校正算法的思路和時效性來看，基于場景的校正技術可與光機電技術相結合，更精確地計算圖像的位移等空間信息，從而降低甚至去除“鬼影”。

2 視覺增強技術

經過非均勻校正后的紅外信號最終要在顯示終端進行顯示，終端的顯示效果主要取決于圖像信號的灰度值和分辨率。對于紅外系統輸出信號而言，其灰度值動態范圍一般大于顯示終端的動態范圍，因此需要進行動態范圍調整。紅外圖像分辨率一般隨著焦平面的參數而固定，若要增強視覺效果，則必須后期提升系統的分辨率。

2.1 顯示動態范圍壓縮

顯示動態范圍調整技術，即紅外圖像增強技術，傳統的圖像增強處理方法根據其作用域的不同，可分為空域增強和頻域增強兩種。空域增強是對圖像中的像素點直接操作，將每一個像素點作為處理對象，最后通過改變灰度值實現圖像增強，典型的算法有灰度變換、直方圖均衡化以及改進的平臺直方圖等；頻域增強主要是對圖像所在的頻譜操作，再逆變換得到增強后的圖像。

自從美國FLIR公司首次在產品中使用了數字細節增強技術（Digital Detail Enhancement, DDE）[10]之后，近年來紅外圖像增強算法大多圍繞著數字增強技術進行。文獻[11]提出了一種用于紅外成像系統的動態范圍壓縮技術，如圖5所示。該技術通過采用雙邊濾波來分離圖像的細節部分和背景部分，然后對兩部分進行單獨處理，最后通過一定的方法進行綜合，得出增強后的圖像。通過實驗驗證，具有較好的增強效果，如圖5所示。

文獻[12]提出了一種高動態范圍紅外圖像的顯示和細節增強方法，它同樣采用雙邊濾波和動態范圍分割技術，將原始高動態范圍圖像映射到8位圖像。該方法對梯度反轉有比較好的消除作用，使得圖像具有更好的視覺效果。如圖6所示。

文獻[13]提出了一種針對海上場景的高動態范圍壓縮方法，該方法主要基于兩種技術：對比度增強和動態范圍壓縮。前者增強了圖像的細節，后者減少了包含大量無關信息的灰度區間。并且考慮了一些海上場景的特殊情況，利用圖像的聚類信息，通過一個合適的權重函數將每個聚類的內容信息映射到輸出圖像。該方法細節增強效果較好，并且克服了地平線的影響，可以比較容易看到感興趣的目標。文獻[14]提出了一種基于梯度域的高動態范圍紅外圖像的壓縮和細節增強方法，該方法利用了一個包含數據限制項和梯度限制項的能量函數。在數據限制項中，采用經典的直方圖投影方法進行初始的動態范圍壓縮，得到希望的像素值，并且保持全局的對比度。在梯度限制項中，采用矩匹配方法獲得標準圖像，然后設計一個梯度增益因子函數去調整標準圖像的梯度值，獲得想要的梯度域。最后通過給出的能量函數可以獲得低動態范圍的圖像。該方法可以較好地減少暈輪、梯度反轉、模糊和飽和現象。文獻[15]提出一種基于時域數字細節增強濾波的高動態范圍紅外圖像的低對比度目標增強算法，該算法采用導向濾波將原始圖像分為基本層和細節層，并且采用一種掩膜去避免噪聲的擴大，最后的圖像采用一種自適應的依賴于直方圖投影的方法，在時域上的直方圖限制可以避免幀間的全局亮度波動，也取得了較好的效果。文獻[16]提出了一種針對紅外圖像shearlet變換的自適應增強算法，該算法基于結構信息線性增強了高頻分量的細節，并通過低頻分量的非均勻校正來提高全局對比度，最后將其轉換為空域圖像獲得增強圖像，可以在提高紅外圖像細節的同時減少噪聲產生的區域，其效果如圖7所示。

圖4 基于配準的校正算法

圖5 動態范圍壓縮技術增強效果

2016年昆明物理所最新研制了640×512中波數字化焦平面探測器，并在此平臺上，研制了增強算法FDR（Fine Detail Resolution）技術。該算法原理如圖8所示。

主要是利用濾波技術將14位紅外圖像進行高低頻域濾波，由于圖像低頻部分主要包含圖像顯示的背景分量，而高頻部分主要含有圖像細節及噪聲分量。為了使所觀察物體在圖像中更為顯著，必須讓該物體與其周圍背景產生一定差異，因此在處理背景分量時利用顯著性算法進行運算，然后對其進行灰度映射。在高頻處理部分，主要是濾除高頻部分的噪聲，然后對高頻細節進行增強，最后與背景分量進行融合，輸出8位顯示圖像。圖9為45 mm光學鏡頭焦距、25mm數字化焦平面在FPGA中實時成像的效果，該成像效果具有很好的細節特征和人眼舒適度。

2.2 顯示分辨率增強

紅外圖像信號顯示在終端除了灰度值的影響之外，圖像分辨率也是一項重要指標，高分辨率的圖像能夠提供更多的場景及細節信息，最直接地提升系統分辨率的方法就是提高焦平面的分辨率，但是目前受到焦平面技術的限制，成本和技術難度較大。分辨率增強技術在此問題下應運而生。從本質上來講，提高圖像的空間分辨率就是要增加圖像所承載的信息量，由于單幀圖像所承載的信息量有限，必須利用多幀圖像信息提高系統圖像的分辨率，但同時帶來了幀間圖像匹配問題。若單靠圖像處理算法進行配準，系統運算量太大，實時性很難保障。因此目前工程應用中主要利用“微掃”技術進行分辨率增強。利用“微掃”技術擴展分辨率主要分為兩種，一種是同一視場下的超分辨率技術，另一種則用不同視場的拼接提高系統的分辨率甚至可至360°全景，這兩種方式都是借助光學裝置，利用空間運動讓傳感器多次曝光，配準后利用算法進行拼接融合的過程。

圖6 高動態范圍顯示和細節增強方法

圖7 Shearlet變換紅外細節增強效果

圖8 FDR技術原理

利用“微掃”技術提升紅外系統分辨率成本低、效果佳，甚至可以拓展和挖掘紅外系統的應用價值和潛能，因此成為國內外學者和公司逐漸重視的研究內容。早期的英國BAE SYSTEMS公司研發的2×2微掃描系統將輸出像素擴大了4倍；德國耶拿公司所研制的ProgRes C14 plus 通過“微掃”技術可以提供高達4080×3072像素的視頻；德國AEG和STANTRLAS共同開發的掃描成像系統，將原來像素384×288提高到了768×576等。國內相關學者和機構也對此展開了研究，取得了不少技術突破。文獻[17]提出了一種基于幀間塊匹配圖像增強算法，結合“微掃”和后端圖像處理技術，能很好地提高紅外系統分辨率。文獻[18]研究了自適應虛擬電子微掃描技術，提高了紅外圖像的空間分辨率，如圖10。

文獻[19]分析了常用的掃描模型之間的調制傳遞函數（Modulation Transfer Function, MTF）的差別，驗證了圓形模型在微掃設計中具有較好的MTF，為掃描型熱像設計提供了很好的參考意義。文獻[20]介紹了一種基于國產自研的超長線長波紅外線列探測器紅外預警系統的設計，系統利用1152×6的線列紅外，通過轉臺與“微掃”技術輸出1152×50000的高分辨率圖像，如圖11所示。

2013年，法國HGH紅外系統公司推出了Spynel-S 360紅外預警系統，如圖12所示。系統攜帶中波紅外制冷熱像儀，將紅外熱像儀的分辨率提升至3千萬像素，展示周圍360°無死角圖像[21]。

2016年，以色列Elbit Systems公司在展會上推出了新型便攜式紅外監控預警系統SupervisIR，如圖13所示。該系統可以提供高廣域分辨率和可視范圍的紅外監控，相當于并排放置150個熱成像儀[22]，拓展和挖掘了紅外系統的應用領域和潛能。

基于“微掃”的紅外分辨率增強技術是在不增加探測器像素尺寸和規模的條件下，通過增大成像系統的空間采樣頻率，從多幅圖像相互之間位移的時間序列來提高系統成像的分辨率。近年來，隨著紅外技術的發展，成像電路采集到的焦平面輸出信號精度會越來越高、動態范圍會越來越大，因此成像電路采集到的紅外信號中包含的細節信息也會越來越多，在圖像處理時需要將這些細節信息更合理、更有效地展現在視頻顯示端，還要兼顧人眼的視覺特性、不同場景變化的適應性，以及利用幀間冗余信息提升圖像分辨率及圖像質量，擴展或重新定義紅外系統的應用。

圖9 FDR技術在不同場景中的效果

圖10 微掃技術提高圖像分辨率

圖11 國產自研的超長線列紅外預警系統及成像效果

圖12 Spynel-S 360系統及成像效果

圖13 SupervisIR系統及成像效果

Fig.13 SupervisIR system and it’s imaging result

3 結束語

紅外圖像處理技術是整個紅外系統的輸出端與展示端，圖像處理技術的好壞直接影響整個紅外系統的性能。文章介紹了紅外圖像處理中的非均勻校正和視覺增強關鍵性技術的最新研究進展。現階段，基于場景的非均勻性校正技術，如何突破校正后圖像的“鬼影”現象；圖像增強方面，如何更好地與視覺系統結合，挖掘紅外信號中的可用信息并適當合理地展現出來；圖像分辨率增強方面，如何結合紅外焦平面高幀頻技術，與光機電多學科結合，充分提升系統分辨率，實時展示超分辨率圖像，這些問題將是目前紅外圖像處理中研究的主要內容。

[1] 馮濤, 金偉其, 司俊杰. 非制冷紅外焦平面探測器及其技術發展動態[J]. 紅外技術, 2015, 37(3): 177-184.

FENG Tao, JING Weiqi, SI Junjie. Uncooled infrared FPA-A review and forecast[J].,2015, 37(3): 177-184.

[2] 曹揚, 金偉其, 劉崇亮, 等. 紅外焦平面陣列的自適應非均勻性校正及硬件實現[J]. 光學精密工程, 2011, 19(12): 2985-2991.

CAO Yang, JING Weiqi, LIU Chongliang, et al. Adaptive nonuniformity correction and hardware implementation of IRFPA[J]., 2011, 19(12): 2985-2991.

[3] 潘科辰. 基于國產紅外焦平面陣列的非均勻性校正技術研究[D]. 南京: 南京理工大學, 2016.

PAN Kechen. Research on the nonuniformity correction technology based on demestic IRFPA detector[D]. Nanjing: Nanjing University of Science and Technology, 2016.

[4] ZUO C, CHEN Q, GU G, et al. New temporal high-pass filter nonuniformity correction based on bilateral filter[J]., 2011, 18(2): 197-202.

[5] 陳芳林, 張寶輝, 汪貴華, 等. 改進的神經網絡非均勻性校正算法研究[J]. 科學技術與工程, 2016, 16(33): 215-220.

CHEN Fanglin, ZHANG Baohui, WANG Guihua, et al. Research on the nonuniformity correction based on improved neural net algorithm[J].2016, 16(33): 215-220.

[6] ZUO C, CHEN Q, GU G, et al. Scene-based nonuniformity correction algorithm based on interframe registration[J]., 2011, 28(6):1164-76.

[7] XU Honglie, CHEN Qian, SUI Xiubao, et al. Space projection estimator and temporal iteration scene-based non-uniformity correction algorithm[J]., 2015, 34(6): 710-714.

[8] Bae Y, Ra J B. Scene-based nonuniformity correction in infrared videos[C]//, 2012, 8399: 14.

[9] QU H M, GONG J T, HUANG Y, et al. New Non-uniformity correction approach for infrared focal plane arrays imaging[J]., 2013, 17(2): 213-218.

[10] FLIR Systems Inc. Digital detail enhancement, technical note [EB/OL]. [2013-06-12]. www.flir.com/uploadedfiles/Eurasia/MMC/Tech_Notes.

[11] Branchitta F, Diani M, Romagnoli M. New technique for the visualization of high dynamic range infrared images[J]., 2009, 48(9): 6401.

[12] ZUO C, CHEN Q, REN J. Display and detail enhancement for high-dynamic-range infrared images[J]., 2011, 50(12): 895-900.

[13] Rossi A, Acito N, Diani M, et al. High dynamic range compression for visualization of IR images in maritime scenarios[C]//:IX, 2012, 8541: 85410V.

[14] ZHANG F, XIE W, MA G, et al. High dynamic range compression and detail enhancement of infrared images in the gradient domain[J]., 2014, 67: 441-454.

[15] Frederic Garcia, Cedric Schockaert, Bruno Mirbach. Media-real-time visualization of low contrast targets from high-dynamic-range infrared images based on temporal digital detail enhancement filter[J]., 2015, 24(6): 061103..

[16] FAN Z, BI D, GAO S, et al. Adaptive enhancement for infrared image using shearlet frame[J]., 2016, 18(8): 085706.

[17] 白俊奇, 陳錢, 屈惠明. 紅外凝視成像光學微掃描重建技術研究[J].紅外與毫米波學報, 2008, 27(4): 257-260.

BAI Junqi, CHEN Qian, QU Huiming. Research on optical micros caning reconstruction for infrared staring imaging[J]., 2008, 27(4): 257-260.

[18] 隋修寶, 陳錢, 陸紅紅. 紅外圖像空間分辨率提高方法研究[J]. 紅外與毫米波學報, 2007, 26(5): 377-385.

SUI Xiubao, CHEN Qian, LU Honghong. Research on improving spatial resolution of infrared image[J]., 2007, 26(5): 377-385.

[19] SUN Mingjie, YU Kanglong. Effect of pixel active area shapes on microscanning based infrared super-resolution imaging [J]., 2015, 44(1): 48-52.

[20] 范宏波. 基于1152×6長波線列探測器的高性能紅外搜索預警系統[J]. 紅外技術, 2010, 32(1): 20-24.

FAN Hongbo. A high performance IRST system based on 1152×6 LWIR detectors[J]., 2010, 32(1): 20-24.

[21] KATIE SHEA. HGH Infrared Systems news. Debut of Spynel-S [EB/OL]. [2013-04-18]. https: //www.hgh-infrared.com/ News/News/ Debut-of- Spynel-S.

[22] Elbit Systems. Infrared Wide Area Persistent Surveillance System [EB/OL]. [2016-08-06]. http: //elbitsystems. com/pr-new/elbit-systems -introduces -supervisir/.

The Current Research Status of Infrared Image Correction and Enhancement

ZHANG Baohui，YAO Libin，ZHANG Weiwei，CHEN Yingyan，WANG Runyu

(,.,,211106,)

Non-uniformity correction(NUC) and vision enhancement are the key techniques of infrared image processing. They serve mainly to resolve the existed problems for infrared system in the design and technology of optics, FPA and circuitreading. In the respect of non-uniformity correction, recent advances on the technique of scenario-based non-uniformity correction, and ghosting artifact are reviewed. In the respect of vision enhancement, traditional method and the new technique of infrared image detail enhancement are expounded from the perspective of gray value dynamic compression, as well as the new imaging enhancement technique used in the MWIR 640×512 digital IRFPA detector. The breakthrough technique and related products of micro-scanning technique used in infrared system resolution enhancement are introduced. Finally, the development trends of infrared image processing are also presented．

infrared imageprocessing，non-uniformity correction，resolution improvement，vision enhancement

TN911.73

A

1001-8891(2017)06-0481-08

2017-06-02；

2017-06-06 .

張寶輝（1984-），男，陜西寶雞人，高級工程師，博士，主要從事紅外圖像處理方面的研究。E-mail：zbhmatt@163.com。

姚立斌（1968-），男，博士，研究員，博士研究生導師，主要研究方向為混合信號集成電路設計。