熱像儀暗角補償研究

粟宇路，楊 波，夏 菲，蘇 蘭，蘇俊波，劉傳明，陳大乾

?

熱像儀暗角補償研究

粟宇路1，楊 波1，夏 菲2，蘇 蘭1，蘇俊波1，劉傳明1，陳大乾1

（1. 昆明物理研究所，云南 昆明 650223；2. 國網遼陽供電公司 信息通信分公司，遼寧 111000）

針對熱像儀普遍存在的暗角噪聲進行了分析，提出了一種基于參考輻射源進行暗角噪聲補償的方法。探討了傳統非均勻性校正方法對暗角噪聲進行補償的優劣性，并提出了一種改進的神經網絡校正算法。基于Retinex理論提出了一種基于單幀圖像快速去除暗角噪聲的方法，實驗結果表明，該算法可以有效去除暗角噪聲。

熱像儀；暗角噪聲；非均勻性校正

0 引言

隨著凝視型紅外焦平面技術的發展，紅外熱像儀被越來越多地應用到軍事、醫療、安防、農業、工業等領域。同時，人們對紅外熱像儀功能、性能需求的提升也促使紅外熱像儀不僅探測器陣列分辨率越來越高（像元數越來越多、像元尺寸則越來越小），而且其系統結構也越來越復雜（光學系統越來越復雜）。紅外熱像儀系統響應非均勻性校正一直是紅外熱像儀研究的熱點問題之一，伴隨著熱像儀功能、性能的提升，紅外系統響應非均勻性問題也越來越突出，難以解決。紅外熱像儀系統響應非均勻性產生的三大來源是光學系統、探測器、后處理電路。對于整個熱像儀系統，經過一次基于參考輻射源的校正通常可以很好地補償光學系統、探測器和后處理電路共同引入的系統響應非均勻性缺陷。但隨著熱像儀視場切換、調焦以及環境溫度、沖擊振動等因素的影響，光學系統引入的非均勻性會呈現明顯變化，導致熱像儀輸出圖像經常會出現畫面中心亮、邊緣及四角暗的現象——暗角。暗角其實就是熱像儀光學系統引入非均勻性未得到有效補償所導致的結果，是一種特殊的光學系統引入噪聲。

本文針對暗角噪聲現象及其產生原因進行了分析，提出了基于參考輻射源的暗角噪聲補償方法，采用了傳統熱像儀系統響應非均勻性校正算法對暗角噪聲進行補償，改進了神經網絡校正算法，并提出了一種基于單幀圖像快速去除暗角噪聲的方法。

1 暗角分析

1.1 暗角表象

未經過校正的熱像儀輸出圖像一般都會出現不同程度的中心亮、周圍暗的現象，如圖1所示，這種現象稱為暗角。其中，圖1(a)為國產640×512制冷型中波熱像儀對55℃均勻輻射黑體成像輸出的未經校正的本底圖像；圖1(b)為黑體輻射出的中波紅外能量進入光學系統最終到達像面，探測器對其響應的二維能量強弱分布；圖1(c)為探測器接收入射二維中波紅外能量分布的等能線。

排除紅外探測器自身響應非均勻性和后續電路引入噪聲的影響，從探測器響應能量分布的趨勢可以看出，進入光學系統最終到達探測器（像面）的紅外能量呈現以光軸為中心，向探測器邊緣由強至弱的漸變分布過程。

1.2 暗角產生原因

暗角的產生主要源于光學系統孔徑光闌大小、視場大小等因素的限制，如圖2所示。為了簡明闡釋暗角產生原理，圖中對整個光學系統進行了簡化，物面中心與光軸重合，物面中心點B發出的所有進入光學系統的光線（介于B1和B2之間所有光線）后均能達到像面形成像點B’，而位于物面邊緣的A、B兩點發出的進入光學系統的光線則都存在部分光線被遮擋，無法到達像面。以物面邊緣點A為例，A點發出三條光線，分別為通過光學系統上邊緣的邊緣光線A1，通過光學系統中心的中心光線A2，通過光學系統下邊緣的邊緣光線A3。上邊緣光線A1和中心光線A2都能順利通過光學系統，并會聚于像面A’點，而下邊緣光線A3則被孔徑光闌的下邊緣遮擋，無法到達像面。事實上，A點發出的進入光學系統靠近下邊緣光線A3的光線均被孔徑光闌遮擋。因此，像點A’只會聚了物點A發出進入光學系統的部分光線，其會聚的紅外光能量較少；像點B’則會聚了物點B發出進入光學系統的全部光線，其會聚的紅外光能量較多；像面便呈現中心區域亮，邊緣區域暗的現象。

2 補償方法

2.1 構建圖像退化模型

首先，我們構建紅外場景成像退化模型，如圖3所示。場景輻射出紅外中波，經過大氣傳輸進入熱像儀光學系統，由于受到光學系統結構、材料等因素的限制，只有一部分光線能夠到達探測器感光面。探測器將紅外光能轉換為電信號輸出給后續處理電路，后續電路對信號進行放大、濾波等處理，最終用于顯示或存儲，形成最終的場景成像。

為了簡化問題，方便計算，忽略影響熱像儀成像退化的次要因素，如紅外光在大氣中傳輸引起的能量衰減和受到氣流擾動等因素的影響，得到成像退化計算式如式(1)所示：

圖2 暗角成因示意圖

圖3 紅外場景成像退化模型

式中：in表示入射紅外場景；opt表示光學系統引入的乘性噪聲；opt￠表示光學系統引入的加性噪聲；sen表示探測器光電轉換帶來的乘性噪聲；sen￠表示探測器引入的加性噪聲；cir表示電路引入的乘性噪聲；cir￠表示電路引入的加性噪聲；out表示熱像儀最終輸出的退化圖像。

對式(1)進行整理，可以得到式(2)：

out＝in×opt×sen×cir＋opt￠×sen×cir＋

sen￠×cir＋cir￠(2)

令mul＝opt×sen×cir，add＝opt￠×sen×cir＋sen￠×cir＋cir￠，則式(2)變為式(3)：

out＝mul×in＋add(3)

由式(3)可以看出，整個熱像儀對輸入場景的響應呈線性，故而紅外場景成像退化模型可以簡化如圖4所示。

圖4 熱像儀線性響應模型

熱像儀輸出退化圖像跟場景入射的紅外能量成正比，入射能量越強，輸出圖像響應越強。本文目的是消除光學系統引入的暗角噪聲，而輸出圖像也加入了探測器和電路引入的噪聲，因此通過已知的輸出圖像還原出輸入真實場景的估計，就可以將光學系統連同探測器和處理電路引入的噪聲一起消除了。

2.2 基于參考輻射源的暗角噪聲補償方法

對式(3)進行變型，求解真實輸入場景得到式(4)：

in＝×out＋(4)

式中：＝1/mul，表示增益補償系數；＝－add/mul，表示偏置補償系數。

式(4)就是通常用到的熱像儀系統響應非均勻性校正模型。我們可以通過采集熱像儀對一組高低溫黑體的響應數據求解出增益補償系數和偏置補償系數，從而實現對整個熱像儀輸出的校正，這就是兩點非均勻性校正法。對于固定視場熱像儀兩點非均勻性校正法可以很好地對光學系統帶來的暗角效應進行校正，但對于多視場熱像儀，尤其是連續變倍熱像儀則存在應用上的技術瓶頸。我們在某一個確定視場所做的校正參數隨著熱像儀視場的變化而不再適用。由于存儲空間有限，我們難以對連續變倍熱像儀的所有視場均進行兩點校正并保留校正參數以備調用。

對圖3紅外場景退化模型的3種退化來源（光學系統、探測器、后處理電路）進行分析可以發現，引起輸出圖像由中心向邊緣由亮變暗現象（暗角）的因素只有光學系統，為了最大限度降低探測器和后處理電路引入噪聲影響，可對未加光學系統的熱像儀先進行兩點校正，并存儲相關校正參數以備熱像儀調用。然后安裝光學鏡頭，將熱像儀對準恒溫黑體執行連續視場切換，等間距采集熱像儀在變倍過程中的響應數據，每組響應數據對應一個具體的視場位置。由于已對熱像儀的探測器和后處理電路噪聲進行了校正，因此殘留的噪聲相對于光學系統對熱像儀成像退化的影響可以忽略不計，對于每個視場輸出圖像式(1)的退化公式可以簡化如式(5)所示：

out＝in×opt＋opt￠(5)

采用兩點校正法可計算出每個像元的光學系統補償系數，如式(6)所示：

如上所述，我們獲得了各個像元在不同視場下的光學補償系數，利用所獲得的光學補償系數隨視場位置變化的離散數據，采用最小二乘法擬合出補償系數隨視場位置變化而變化的曲線關系，從而可根據視場位置計算出對應的光學補償系數，完成熱像儀不同視場光學系統非均勻性響應的校正。基于參考輻射源的光學系統補償校正過程如圖5所示。

圖5 基于參考輻射源的暗角補償方法

2.3 基于多幀場景圖像的暗角噪聲補償方法

利用參考輻射源對光學系統進行標定補償可以獲得較好的補償效果，但是這種方法所獲得的補償系數難以適應由于溫度變化、沖擊振動引起的熱像儀光學系統通透率的改變。因此，需要尋求一種方法對熱像儀光學系統產生的暗角進行實時校正。如前所述，由光學系統引起的暗角屬于熱像儀響應非均勻性的一種特殊情況，故可以使用普適性的基于場景的熱像儀系統響應非均勻性校正方法對暗角進行補償，典型的方法有恒定統計法、時域高通濾波法、神經網絡法。

恒定統計法[1-2]對真實場景分布進行統計學假設，即假設紅外探測器各單元對真實場景響應輸出信號的統計平均值是恒定的（可設為0），并且各單元對真實場景響應輸出信號的統計方差也是相等的[3]（可設為1）。

對式(4)兩端求平均和方差，變換整理可得增益系數和偏置系數，如式(7)所示：

式中：(out)表示熱像儀各像元輸出圖像的時域均值；(out)表示熱像儀各像元輸出圖像的時域標準差。

時域高通濾波法[4-5]認為紅外圖像低頻部分主要是探測器單元的響應特性隨時間的緩慢變化和探測器內部的1/噪聲，高頻部分為目標與背景的相對運動。熱像儀光學系統引入的暗角實質也是一種低頻噪聲，因此對紅外圖像低頻部分進行濾波，即可消除光學系統引入的暗角噪聲。該算法原理如圖6所示，計算如式(8)所示：

圖6 時域高通濾波原理

式中：fl()表示第幀紅外圖像的低通濾波輸出；表示預先設定的時間常數。

神經網絡法[4]認為相鄰像元之間響應相關性較大，可利用相鄰像元響應的均值作為該像元對應場景真實值的估計，采用LMS算法更新補償系數。該算法原理如圖7所示，計算如式(9)所示：

圖7 神經網絡法原理

式中：(－1)表示第－1幀紅外圖像輸出值與真實值估計之差；表示預先設定的步長因子。

由于傳統神經網絡校正算法真實值估計僅考慮鄰域像素的影響，因而難以消除暗角這種低頻噪聲。本文引入全局偏置系數對真實值估計進行修正，其算法原理如圖8所示。

全局偏置系數2的更新計算如式(10)所示：

式中：i,j表示像元坐標；k表示幀序號；表示經過空域和時域低頻濾波后的像元灰度值；Sum表示像元總數。

2.4 基于單幀場景圖像的暗角噪聲快速去除方法

基于場景的熱像儀系統響應非均勻性校正算法雖然擺脫了參考輻射源的束縛，可以在不干擾熱像儀工作的情況下持續進行暗角補償，但是這類方法無疑都要求場景移動，對于固定方位監控的熱像儀或者場景變化緩慢的情況則不適用。此外，該類算法要達到收斂狀態通常要成百甚至上千幀圖像序列，難以滿足實時性要求較高的特定戰場需要。因此，需要尋求一種只用單幀紅外圖像就可去除暗角噪聲的方法。

Edwin Land提出Retinex理論[4]，其認為原始圖像是入射光圖像和反射率圖像的乘積，如式(11)所示，而場景信息與物體表面的反射性質緊密相關。因此，通過消除入射光圖像的影響并求出反射率圖像可以達到圖像增強的目的：

out＝×(11)

式中：表示入射光圖像；表示反射率圖像。

受此理論啟發，結合熱像儀輸出紅外圖像暗角噪聲（圖像中心亮，圖像邊緣暗）的特點進行分析，不難發現輸入的場景信息通過光學系統后產生的這種退化跟場景信息自身的亮度分布沒有直接關系，因此推斷光學系統引入的暗角退化應該是一種加性噪聲，熱像儀輸出圖像為輸入場景圖像與噪聲圖像之和，計算如式(12)所示，通過對熱像儀輸出退化圖像out去除暗角噪聲圖像light，即可求出真實場景的估計圖像in：

out＝in＋light(12)

式中：light表示暗角噪聲圖像，其計算如式(13)所示。

light(,)＝in(,)*Gaus(,) (13)

式中：*表示卷積運算；Gaus(,)為高斯函數，計算如式(14)所示：

3 實驗結果及分析

本文以國產1024×1280中波制冷型熱像儀輸出未經任何校正的場景視頻為實驗對象，如圖9所示，分別采用傳統算法、本文改進算法以及本文快速算法進行處理，結果如圖10和圖11所示。

對實驗結果分析，可以看出基于場景的非均勻性校正算法如恒定統計法和時域高通濾波法可以對光學系統引入的暗角噪聲得到較好的補償效果，但這兩種方法都需要成百上千幀圖像才能使補償因子收斂從而獲得一個較好的效果，且對場景的變化有一定的要求；基于場景的非均勻性校正算法如神經網絡法對于暗角噪聲這種空域低頻噪聲則無能為力，究其原因是因為神經網絡法以鄰域像素值而非全域像素值來估計真實場景值，本文改進的神經網絡法則可以較好地補償暗角噪聲；單尺度Retinex算法和本文算法去除暗角噪聲均只依靠單幀圖像，不同之處在于單尺度Retinex算法實質將暗角噪聲當成一種乘性噪聲，而本文算法將暗角噪聲當成一種加性噪聲，從處理結果來看，本文算法處理的結果明顯優于單尺度Retinex算法，從而佐證了光學系統引入的暗角噪聲更可能是一種加性噪聲的結論。

圖9 原始圖像

Fig.9 Original image

圖10 第720幀圖像處理結果比較

圖11 第1420幀圖像處理結果比較

4 結論與展望

本文分析了熱像儀產生暗角噪聲的原因，提出了一種基于參考輻射源進行暗角噪聲補償的工程應用方法，針對暗角噪聲的低頻特性，提出了一種改進的神經網絡校正算法，并在Retinex理論的基礎之上，提出了一種基于單幀圖像快速去除暗角噪聲的方法，并取得了較好效果，可對工程應用中消除熱像儀光學系統引入噪聲提供一定的指導意義。

[1] John G. Harris, Yu-Ming Chiang. Nonuniformity Correction of Infrared Image Sequences Using the Constant-Statistics Constraint[J]., 1999, 8(8): 1148-1151.

[2] 季爾優, 顧國華, 陳錢, 等. 雙通道分頻段恒定統計非均勻性校正算法[J].激光與紅外, 2011, 41(4): 474-475.

JI Er-you, Gu Guo-hua, CHEN Qian, et al. Dual channel constant statistic NUC algorithm of separate band[J]., 2011, 41(4):474-475

[3] 許慧慧, 張桂林, 姜瑾. 基于場景的紅外探測器非均勻性校正方法的分析[J]. 計算機與數字工程, 2007, 35(9): 27-29.

Xu Huihui, Zhang Guilin, Jiang Jin. Analysis of Scene-based Non-uniformity Correction for IRFPA[J]., 2007, 35(9): 27-29.

[4] Scribner D.A, Sarkady K.A, Caulfield J.T, et al. Nonuniformity correction for staring IR focal place arrays using scene-based techniques[J]., 1990, 1308: 224-233.

[5] 鄭瑞紅, 陳錢. 基于場景的紅外圖像非均勻性校正算法的研究[J]. 光電子技術, 2003, 23(4): 242-243.

ZHENG Rui-hong, CHEN Qian. The Research of Scene-based Methods on Infrared Nonuniformity Correction[J]., 2003, 23(4): 242-243.

Research on Thermal Imager Dark-corner Compensation

SU Yulu1，YANG Bo1，XIA Fei2，SU Lan1，SU Junbo1，LIU Chuanming1，CHEN Daqian1

(1.,650223,; 2.,111000,)

A dark-corner compensation method based on reference source is proposed in this paper, following the analysis of the multi-view thermal imager dark-corner noise. The superiority-inferiority of NUC algorithm is discussed based on multi-frame images to solve the problem of the dark-corner noise, and improve the NUC algorithm based on neural network.A fast algorithm of removing dark-corner noise based on single frame image is also introduced in this paper. The experimental results show that the proposed algorithm can remove dark-corner noise effectively.

thermal imager，dark-corner noise，NUC

TN219

A

1001-8891(2017)03-0226-06

2016-09-28；

2017-01-08.

粟宇路（1987-），男，湖南懷化人，工程師，研究方向為紅外系統成像及圖像信息處理。