基于像素級輻射自校準的紅外圖像非均勻性校正改進方法

王 杰，洪聞青，葛 朋，王曉東，潘 超

基于像素級輻射自校準的紅外圖像非均勻性校正改進方法

王 杰，洪聞青，葛 朋，王曉東，潘 超

（昆明物理研究所，云南 昆明 650223）

紅外成像系統中一直存在著非均勻性的問題，針對紅外大動態范圍成像等任務對改變成像系統積分時間的需要，提出了一種利用像素級輻射自校正技術的可變積分時間的非均勻性校正方法。通過輻射自校正為紅外探測器中的每個像元建立輻射響應方程以估計出場景的輻射通量圖，利用線性校正模型對輻射通量圖進行校正，實現任意積分時間下的非均勻性校正。該方法的有效性通過高分辨率碲鎘汞紅外探測器進行了驗證。

非均勻性校正；輻射自校準；積分時間

0 引言

為解決紅外成像系統存在的非均勻性問題，研究者們已經提出了很多的非均勻性校正方法，例如兩點校正[1]、基于神經網絡的方法和基于時域濾波的方法等[2-3]。然而其中絕大多數方法在設計時并未考慮積分時間這一因素，這些方法通常只適用于積分時間固定的應用。針對紅外大動態范圍成像[4]等任務對改變積分時間的需要，一些可變積分時間的非均勻性校正方法被提出。這類算法主要可分為兩種：一種通過建立精確的含積分時間等變量的紅外成像物理模型并求解模型參數實現[5-7]，比如Chen等人[5]建立了含有入射照度、積分時間、探測器暗電流和偏置電壓等變量的響應模型，提出了可變積分時間的二維定標非均勻性校正方法。另一種則不需要建立精確的解析模型，而是利用機器視覺中的輻射校準方法來實現，例如Ochs等人[8]提出了基于像素級輻射自校準的非均勻性校正方法，首先通過輻射自校準來估計場景的輻射通量圖，再對輻射通量圖進行非均勻性校正。

本文在Ochs等人提出的校正方法的基礎上，對該方法中的兩個關鍵的步驟進行了改進，主要體現在使用多組不同積分時間的黑體圖像序列進行輻射自校準以獲得更準確的輻射響應方程，以及利用進行輻射自校準過程所使用的多組圖像序列來計算非均勻性校正參數。

1 響應模型

對于典型紅外成像系統，來自場景的紅外輻射被光學系統匯聚在紅外焦平面陣列上，經過有效的積分（曝光），焦平面的像元中紅外光子經由光電轉換及一系列電信號處理后被轉化為相應的灰度值[9]。假設這些過程均為線性變換，且不考慮暗電流和噪聲等影響時，則對于紅外成像系統中的像元，輸出的灰度值Y與到達成像系統的紅外光的輻射通量F和積分時間int的關系可以表示為：

Y＝aFtint＋b(1)

式中：a為光學系統、光電轉換和電信號處理等引起的增益；b為電信號處理帶來的偏移。

如公式(1)所示，成像系統輸出的灰度值與積分時間的關系通常被認為是線性的，因此能夠以較方便的方法估計出場景的輻射通量，通過對輻射通量進行非均勻性校正處理來降低積分時間變化帶來的影響。這也是絕大多數積分時間可變的非均勻性校正方法[5-8]實現的基礎。雖然實際上在紅外探測器的整個動態范圍內，探測器輸出信號與積分時間是非線性的，如圖1所示。但是在探測器的某段動態范圍內，輸出信號與積分時間之間具有很高的線性度。對于本文所使用的紅外中波碲鎘汞探測器，在其15%～85%的動態范圍內，大多數像素關于積分時間的響應非線性度[10]小于0.2%，可認為在此范圍內該探測器為線性響應。

圖1 恒定輻照度時某像素輸出信號與積分時間的關系

2 基于像素級輻射自校準的校正方法

輻射自校準是一種估計場景輻射能量與場景圖像（歸一化）灰度之間映射關系＝()的方法，它假設可以通過階多項式建立的響應方程來描述這種關系[11]。Ochs等人針對紅外成像系統的非均勻性的特點，提出了一種基于像素級輻射自校準的非均勻性校正方法（以下簡稱Ochs方法）。該方法為探測器的每一個像元建立這種映射關系，考慮到輻射能量與輻射通量的關系＝×，像素的響應方程f可以表示為：

通常紅外成像系統使用固定的F數，對某一固定溫度的面源黑體采集種不同積分時間的圖像序列，可以得到不同圖像所對應的輻射能量與積分時間比值之間的關系：

式中：和＋是圖像序列的編號，將公式(2)代入，得到：

根據公式(4)，可以得到像元的誤差方程，如公式(5)。結合約束f(1)＝1，通過最小化可以計算出響應方程f的＋1個多項式系數a,n。

在獲得每個像素的響應方程后，可以估計出場景的輻射能量圖，除以積分時間便能夠得到場景輻射通量圖的估計。由于光學系統的影響[8]，以及輻射自校準方法計算出響應方程所固有的不確定性[11]，還需要對獲得的輻射通量圖進行校正。對輻射通量圖中像素的校正使用公式(6)所示的線性校正模型完成，并使用兩點校正方法計算出校正參數g和o，式中F*是校正后的輻射通量。

F*＝g×F＋o(6)

3 本文方法

3.1 像素級輻射自校準方法

為了能夠獲得更準確且更穩定的結果，本文提出利用多個溫度點的黑體圖像序列來求解每個像素的響應方程的多項式系數。該方法對種溫度的面源黑體分別采集J種積分時間的圖像（＝1,…,），在誤差方程(5)的基礎之上，可以得到新的誤差方程：

結合約束f(1)＝1，令誤差方程最小化可求出響應方程的系數a,n。需要注意的是，選取黑體的溫度點時，其范圍最好能夠覆蓋實際觀測場景的溫度范圍。

3.2 校正參數計算方法

3.3 處理流程

本文提出的方法的處理流程如下：

1）分別對種溫度面源黑體采集J種積分時間的圖像，得到序列{Y,j}并做歸一化處理；

2）使用{Y,j}和積分時間{t,j}利用公式(7)計算出每個像元的響應方程f；

3）使用響應方程計算{Y,j}對應的輻射通量圖序列{F,j}，并通過公式(8)獲得校正參數{g,o}；

4）對于待校正圖像，先計算出待校正的輻射通量圖，再使用公式(6)得到校正后的輻射通量圖；

5）若僅需輸出圖像，將校正后的輻射通量圖乘以積分時間得到校正的圖像。

4 實驗結果與分析

4.1 實驗設置及評價方式

實驗采集圖像使用640×512中波紅外碲鎘汞焦平面陣列探測器組件和焦距30mm的F/4鏡頭，探測器工作在ITR模式，采樣ADC精度為14bit；高精度面源黑體使用HGH公司的DCN1000 N4，靶面尺寸為100mm×100mm。采集黑體圖像時，調整鏡頭與黑體靶面間的距離確保靶面能夠覆蓋鏡頭視場。

實驗中以5℃為步長，分別采集15℃～100℃共18個溫度點的黑體的圖像。在確定至少能夠覆蓋探測器15%～85%的動態范圍時任意挑選積分時間，每個溫度點下分別采集8～15種積分時間的圖像各1張，一共產生198張黑體圖像。

本文中，針對面源黑體的圖像使用的偏移不均勻性NU[9,12]進行評價，針對實際場景的圖像使用粗糙度[13]進行評價。

另外，實驗采集到的圖像均會預先進行無效像元替換處理，所展示的紅外圖像均經過了非線性的自動增強處理。

4.2 實驗結果與分析

實驗分別使用兩點校正方法、Ochs方法和本文提出的方法處理圖像數據。光子型紅外探測器的響應線性度較好，2階多項式模型足以擬合探測器的非線性性，因此Ochs方法和本文方法均使用2階多項式模型建立響應方程。這3種方法中，兩點校正使用積分時間為3ms的20℃和75℃的圖像計算校正參數；Ochs方法使用35℃的圖像序列計算響應方程，使用20℃和90℃的圖像來獲取校正參數；本文方法使用15℃、30℃、50℃和90℃的圖像數據計算響應方程和校正參數。

這3種方法對198張黑體圖像進行非均勻性校正處理后，校正后圖像的偏移不均勻性NU的統計數據如表1所示。表1中可以看出，本文方法校正后的黑體圖像的偏移不均勻性NU的均值，比未校正降低了98.3%，比兩點校正降低了93.5%，比Ochs方法降低了24.1%，校正后圖像NU的中值、最小值和最大值也均低于其他兩種方法。

表1 3種方法處理前后的黑體圖像的NU的統計數據

另外，實驗還使用該熱像儀對一場景采集了4ms、9ms和12ms三種積分時間的圖像，兩點校正、Ochs方法和本文方法校正后的圖像如圖2所示。圖2中可以看出兩點校正后的圖像中存在亮點和暗點，且圖像的積分時間偏離標定使用的積分時間（3ms）越多時亮點和暗點的數量越多；另外圖像的四周還存在過補償的情況，導致圖像四周偏亮、中心偏暗，背景因對比度不足也難以辨別。相對于兩點校正，Ochs方法和本文方法校正后的圖像的效果均有較明顯的提升，圖像中均沒有明顯的固定圖案噪聲，比如暗角、四周過補償、豎條紋、亮點和暗點等，圖像經過增強后的對比度也更高。

為了能夠更客觀地評價3種方法的校正效果，分別計算了9幅圖像（增強之前）的粗糙度，如表2所示。3種方法中，本文方法校正后圖像的粗糙度數值也最小。

5 總結

本文提出了一種基于像素級輻射自校準的紅外圖像非均勻性校正改進方法。該方法通過對估計出的場景的輻射通量圖進行校正，實現了可變積分時間的非均勻性校正。該方法在輻射自校準的基礎上，利用多個溫度點下采集的面源黑體的不同積分時間的圖像，獲得了更準確且更穩定的像素級響應方程的估計，可以得到更準確的場景輻射通量的估計。該方法還將非均勻性校正參數的求解轉化為了線性最小二乘問題，從而能夠充分利用采集到的多溫度點、多積分時間的圖像，實現更好的非均勻性校正效果。實驗表明，本文方法能夠將線性響應范圍內的任意積分時間下的紅外圖像的非均勻性降低至較低的水平。

圖2 三種方法校正后的場景圖像

表2 三種方法處理前后的場景圖像的粗糙度r

[1] 蔡盛, 柏旭光, 喬彥峰. 基于標定的IRFPA非均勻性校正方法綜述[J].紅外技術, 2007, 29(10): 589-592. CAI Sheng, BAI Xuguang, QIAO Yanfeng. Summarize on the Nonuniformity Correction Algorithms for IRFPA Based on Calibration[J]., 2007, 29(10): 589-592.

[2] Scribner D A, Sarkady K A, Caulfield J T, et al. Nonuniformity correction for staring IR focal plane arrays using scene-based techniques[C]//, 1990, 1308: 224-233.

[3] 周永康, 朱尤攀, 趙德利, 等. 基于場景的紅外焦平面非均勻校正算法綜述[J]. 紅外技術, 2018, 40(10): 952-960. ZHOU Yongkang, ZHU Youpan, ZHAO Deli, et al. A Review of Scene-based Nonuniformity Correction Algorithms for Infrared Focal Plane Arrays[J]., 2018, 40(10): 952-960.

[4] 洪聞青, 姚立斌, 姬榮斌, 等. 基于不同積分時間幀累加的紅外圖像超幀方法[J]. 光學精密工程, 2016, 24(6): 1490-1500. HONG Wenqing, YAO Libin, JI Rongbin, et al. A super-frame processing method for infrared image based on accumulation of different integration time frame[J]., 2016, 24(6): 1490-1500.

[5] CHEN N, ZHANG J, ZHONG S, et al. Nonuniformity Correction for Variable-Integration-Time Infrared Camera[J]., 2018, 10(6): 1-11.

[6] LIU M, LI S, LI L, et al. Infrared HDR image fusion based on response model of cooled IRFPA under variable integration time[J]., 2018, 94: 191-199.

[7] 白樂, 賴雪峰, 韓維強, 等. 適應積分時間調整的紅外圖像非均勻性校正方法[J]. 光子學報, 2020, 49(1): 0110002. BAI Le, LAI Xuefeng, HAN Weiqiang, et al. Infrared Image Nonuniformity Correction Method Adapted to Adjustment of Integration Time[J]., 2020, 49(1): 0110002

[8] Ochs M, Schulz A, Bauer H J. High dynamic range infrared thermography by pixelwise radiometric self calibration[J]., 2010, 53(2): 112-119.

[9] Rogalski A.[M]. Boca Raton, FL: CRC press, 2010.

[10] EMVA 1288 Working Group. EMVA Standard 1288–Standard for Characterization of Image Sensors and Cameras, Release 3.1[S]. [2020-04-20], 2016.

[11] Mitsunaga T, Nayar S K. Radiometric self calibration[C]//. 1999, 1999, 1: 374-380.

[12] Mooney J M, Sheppard F D, Ewing W S, et al. Responsivity nonuniformity limited performance of infrared staring cameras[J]., 1989, 28(11): 281151.

[13] Majeed M Hayat, Sergio N Torres, Ernest Armstrong, et al. Statistical algorithm for nonuniformity correction in focal-plane arrays[J]., 1999, 38: 772-780.

Improved Non-uniformity Correction Method by Pixel-wise Radiometric Self-calibration for Infrared Imaging

WANG Jie，HONG Wenqing，GE Peng，WANG Xiaodong，PAN Chao

(Kunming Institute of Physics, Kunming 650223, China)

Eliminating non-uniformity is a persistent challenge for infrared imaging systems, especially when the integration time varies. This paper describes a non-uniformity correction method with the ability to adapt to arbitrary changes in integration time by correcting the infrared radiation flux map of the scene, which is estimated by pixel-wise radiometric self-calibration.Multiple images of an extended blackbody, obtained with different integration times and blackbody temperatures,were used toobtain the parameters of both the correction model and radiometric calibration model. The correction effect of this method within a wide range of integration times was verified by a high-resolution HgCdTe medium-wave infrared imager.

non-uniformity correction, radiometric self-calibration, integration time

TN219

A

1001-8891(2021)03-0246-07

2020-12-17；

2021-03-03.

王杰（1992-），男，碩士研究生，工程師，主要從事紅外圖像處理方面的研究。E-mail：jaegerwang@outlook.com

洪聞青（1986-），男，博士，高級工程師，主要從事紅外成像系統方面的研究。E-mail：hongwenqing@aliyun.com