基于曲面擬合的紅外圖像盲元檢測方法

張北偉，曹江濤，叢秋梅

?

基于曲面擬合的紅外圖像盲元檢測方法

張北偉，曹江濤，叢秋梅

（遼寧石油化工大學 信息與控制工程學院，遼寧 撫順 13001）

針對傳統紅外圖像盲元檢測方法采用固定檢測閾值和不能兼顧全局非均勻性的問題，提出了一種基于曲面擬合的盲元檢測方法。首先分析了有效像元和盲元在灰度分布三維圖上的顯著差別，進而提出整幅本底圖像的曲面擬合方法，然后用擬合后的曲面值作為比較基準運用3原則進行盲元檢測。使用擬合后的曲面值替代固定基準能夠消除探測器響應非均勻性對盲元檢測的影響，提高盲元檢測的準確性和有效性。進一步開展了驗證實驗和比較實驗，實驗結果表明該方法比直接運用3原則法檢測精度更高、更有效。

紅外圖像；盲元檢測；曲面擬合；3原則

0 引言

凝視型紅外焦平面陣列（IRFPA）技術具有響應靈敏、分辨率高、體積小、功耗低等諸多優點，已在國防、民用等領域得到廣泛應用。但由于制造工藝、材料等因素的影響，IRFPA器件不可避免地存在著盲元[1-2]。盲元的出現對于56FE像的觀察和后續任務（如識別、跟蹤）的進行產生了嚴重的干擾。所以去除盲元成為紅外圖像必不可少的預處理工作。

盲元是探測器、光學系統、讀出電路等各種因素綜合作用的結果[3]。盲元又稱為無效像元，包括死像元和過熱像元[4]，死元是響應率過低的像元，過熱元是時間噪聲過高的像元。考慮到探測器的響應值只能在零到滿阱容量之間取值，響應率過高的像元和響應異常的像元也應屬于盲元，因為這些像元會過早地趨于飽和或噪聲水平，丟失信息。盲元在成像上的表現為異于大部分有效像元的過亮點和過暗點，如圖1(a)所示。去除盲元分為兩步：盲元檢測和盲元補償。盲元補償基于盲元檢測，現有的各種補償方法均能達到滿意效果。去除盲元效果不佳大多來源于盲元檢測不完全[5]。盲元的檢測會受到系統噪聲和非均勻性噪聲的影響，常用的3原則檢測法[1,6]能檢測出大部分顯著的盲元，但3原則并沒有考慮非均勻性噪聲的影響，容易造成誤判。

分析了盲元和有效像元在灰度分布三維圖上的區別后，在原有3原則盲元檢測法的基礎上提出一種基于曲面擬合的盲元檢測方法。在分析了算法思想之后，給出了方法的效果圖，并與傳統3原則方法的效果進行了比較，論證了該方法的有效性。該方法對盲元檢測的精度和數量均有提高。

1 盲元的圖像特征

盲元的檢測一般是在本底圖像上進行的，本底圖像是探測器對均勻溫度的黑體所成的圖像，理想的本底圖像應該是個均勻的平面，但由于紅外圖像非均勻性和盲元的存在，所以一般的本底圖像會有固定圖案和過亮、過暗點。圖1(a)是制冷型紅外探測器對20℃黑體所成的本底圖像。為了便于直觀地對盲元進行觀察，我們在圖1(b)中畫出該本底圖像的灰度分布三維圖來反映像元灰度的分布情況，其中軸、軸為像元的行坐標和列坐標，軸為像元的灰度值。從圖中可看出大部分像元的灰度位于圖1(b)下方的一個曲面上，位于曲面上或附近的像元為有效像元。也有少數像元的灰度異常凸起或下陷，這些像元便是盲元。盲元檢測便是找出這些異常的像元。之所以在本底圖像而不是在場景圖像上進行，是因為場景圖像的異常凸起或下陷也可能是信息，本底圖像則可以排除信息的干擾提高準確性。人眼能輕松地從灰度分布三維圖中分辨出有效像元和盲元，根據的是曲面的連續性，認為那些不符合曲面連續性且偏離曲面太遠的像元是盲元。

2 傳統的盲元檢測方法

目前的盲元檢測方法有：定義法[4]、雙閾值迭代法[7]、3原則檢測法[1,6]、直方圖法[8-9]、小波濾波法[1]、定標法[3,10]等。其中小波濾波法是利用小波來增強盲元以便在3原則下能識別出來；直方圖法是根據在非均勻性校正后有效像元的均值和標準差等符合正態分布，對不符合此要求的像元進行檢測；雙閾值迭代法根據的原理是有效像元的響應隨溫度的變化呈近似線性關系，而盲元則幾乎不隨溫度的改變而改變。小波濾波法和直方圖法存在計算量大，工程實施困難等缺點；雙閾值迭代法的缺點是兩個閾值的選取是直接給出的，不能做到因圖而異。定義法和3原則檢測法原理類似，只是判斷的閾值選取不同。

3原則檢測法是先求出圖像的均值：

式中：、分別為圖像的行數和列數；(,)為坐標(,)的像元灰度值。再根據均值求出圖像的像元灰度標準差[1]：

并計算每個像元灰度偏離均值的偏離距離(,)：

(,)＝|(,)－|(3)

判定偏離距離大于等于3的像元為盲元，即：

(,)＝|(,)－|≥3(4)

3原則檢測法的缺陷是在計算和偏離距離(,)時均采用了統一的恒定的基準——均值。由于此時的本底圖像是有非均勻性的，即有固定圖案，在灰度分布三維圖上表現為曲面，不同位置起伏不一致，統一恒定基準適用的是平面的情況，這種情況下采用統一恒定基準容易產生誤判。

圖1 原始紅外圖像及其灰度分布三維圖

3 基于曲面擬合的盲元檢測算法

針對3原則法采用恒定基準的缺陷，本文提出對不同像元采用不同基準的方法。先對圖像進行曲面擬合，擬合出圖像的固定圖案，即非均勻性。而像元(,)的參考基準（用(,)表示）是經過曲面擬合后位置(,)的擬合灰度值。據此計算像元灰度標準差：

然后再運用3原則判斷盲元。用曲面擬合的灰度作為基準判斷盲元能使檢測結果更準確，因為去除了固定圖案（非均勻性）產生的誤判影響。這也是人眼能從灰度分布三維圖中判斷出盲元的思想。檢測算法的主要步驟如下：

第1步，設定曲面擬合模型。根據探測器型號和使用情況選取合適的曲面擬合模型，由于多項式曲面通用性比較強，三次曲面能夠并且足以描述曲面的曲折變化，所以此處采用一般化的三階多項式擬合模型：

也可根據具體情況選擇其他曲面擬合模型。

第2步，帶入圖像數據計算出多項式擬合系數，并求出各像素點的擬合灰度值。帶入數據公式則可得式：

式中：x、y為第個像元的行坐標和列坐標，1≤≤×；g(x,y)為第個像元的實際灰度值。把式(7)寫成矩陣形式為：

×＝(8)

此方程至少需要10個點才能有唯一解，一般圖像的點數都遠遠多于10個，故可利用最小二乘求出多項式擬合系數＝(T)－1T，計算各像素點(,)的擬合灰度值，并把此作為基準(,)。以圖1為例說明這兩步，由于圖1中過亮元灰度特別高，所以在圖1(b)中顯示起來看到凸起的豎條而掩蓋了下面曲面的形狀，即固定圖案。現調整灰度顯示范圍以顯示出固定圖案（曲面形狀），如圖2所示。帶入數據求出擬合系數，并根據多項式擬合公式計算出各像元的擬合灰度值，便可得到圖1經曲面擬合后的灰度分布三維圖，如圖3所示。比較圖2和圖3可知，擬合后的數據很好地反應了圖像中占大多數的有效像元的總體分布情況。因此，用曲面擬合后的數據可作為像元基準數據而不是單純地使用恒定的整幅圖像平均值，可減少局部非均勻性的影響。

第3步，根據各像素點的灰度值(,)和基準(,)，由式(5)求出像元灰度標準差。

第4步，檢測盲元。應用3原則，認為滿足公式的像元(,)為盲元：

(,)＝|(,)－(,)|≥3(9)

記錄下各盲元的位置以待后續的盲元補償。此處檢測的盲元既包括過亮元，也包括過暗元（死元）。為了進一步提高檢測精度和數量，仿照國標中的檢測方法中的迭代思想[4]，用去除已檢測出的盲元后的數據重新再擬合、檢測，只是此時圖像的像元灰度標準差變為：

式中：為已檢測出的盲元的數量，后面的求和也不包括盲元，迭代直至不能檢測出新盲元為止。

總結上面的檢測步驟可得基于曲面擬合的盲元檢測方法的流程圖如圖4所示。

4 實驗結果與分析

根據3節中描述的盲元檢測算法，對有盲元的圖像（圖1）進行檢測并用8鄰域高斯補償方法進行盲元補償，高斯補償是用鄰域中非盲元灰度值的加權和來替代盲元灰度值，權值為距離的高斯函數值。檢測的結果數量如表1，檢測出的盲元集合和補償后圖像的灰度分布三維圖如圖6所示，左側顯示了檢測出的所有325個盲元，右側為已補償后的圖像的灰度分布三維圖，從圖中可以看出圖2中異常凸起和下陷的盲元已得到充分檢測和恰當補償。本文還做了與直接運用3原則法的比較實驗，來驗證本文方法的有效性和準確性，表1還列出了直接運用3原則法檢測出的盲元數，從數量上說明本文方法的有效性。準確性方面，圖5給出了參考文獻[6]中介紹的3原則法得到的盲元集合和對盲元補償后的灰度分布三維圖，與圖6對比可以看出3原則法對許多不顯著的盲元沒能檢測出，而本文方法多檢測出的部分盲元恰為3原則法沒能檢測出的不顯著的盲元。也說明了直接運用3原則有漏判的現象。表1中第2列給出的是先經過非均勻性校正后用兩種盲元檢測方法檢測盲元并補償得到的均勻圖像的方差，本文方法的方差為6.3953，是因為探測器探測信號有一定程度的噪聲水平。由于所用的探測器的規模是320×256，有81920個像元，3原則法方差多出的1.2說明有大量盲元沒有被檢測出。

圖2 調整灰度顯示范圍后的灰度分布三維圖

圖3 經曲面擬合后的灰度分布三維圖

圖4 本文方法的流程圖

表1 盲元檢測結果統計

圖5 由文獻[6]得到的盲元集合及其灰度分布三維圖

圖6 由本文方法得到的盲元集合及其灰度分布三維圖

圖7(a)顯示的是檢測并去除盲元后的效果圖，與圖1對比即可看出原圖中過亮和過暗的像元被準確檢測出并得到了合理補償，只剩下了固定圖案噪聲，效果更適合人眼觀察和后續處理。圖7(b)顯示的是圖7(a)經過非均勻性校正之后的圖像，去掉了固定圖案噪聲，還原成均勻的本底圖像。

驗證實驗和比較實驗表明，本文提出的盲元檢測方法能較好地將盲元檢測出來，且在檢測精度和數量上優于3s原則和國家標準中的盲元檢測方法。

圖7 本文方法效果圖

5 結論

分析了盲元與有效像元在灰度分布三維圖上的區別，介紹了3原則檢測盲元的思想，并在此基礎上提出了一種基于曲面擬合的盲元檢測方法。然后給出了算法的主要步驟，演示了算法的效果圖，并把它與原3原則法的效果進行對比，證明了該方法的有效性，該方法在提高盲元檢測的準確性和數量上優于原3原則法。

[1] 張科, 趙桂芳, 崔瑞青, 等. 一種提高紅外焦平面陣列盲元檢測精度的方法[J]. 紅外與激光工程, 2007, 36(4): 453-456.

ZHANG Ke, ZHAO Gui-fang, CUI Rui-qing, et al. Method of improving bad pixel detection precision ofIRFPA[J]., 2007, 36(4): 453-456.

[2] SCRIBNER D A, KRUER M R, GRIDLEY C J. Measurement, characterization and modeling of noise in staring infrared focal plane array[C]//, 1987, 782: 147-160.

[3] 隋修寶, 陳錢, 顧國華, 等. 紅外焦平面陣列盲元檢測算法[J]. 光電工程, 2008(8): 107-111.

Sui Xiubao, Chen Qian, Gu Guohua, et al. Algorithm of blind pixels detection for IRFPA[J]., 2008(8): 107-111.

[4] GB/T 17444-2013. 紅外焦平面陣列參數測試方法[S]. 北京: 中國標準出版社, 2013.

GB/T 17444-2013. Measuring methods for parameters of infrared focal plane arrays[S]. Beijing: China Standards Press, 2013.

[5] Dierickx B, Meynants G. Missing pixel correction algorithm for image sensors[C]//, 1998, 3410: 200-203.

[6] 劉會通, 馬紅偉. 紅外焦平面非均勻性校正若干方案的設計和分析[J]. 激光與紅外, 2003(4): 277-279.

Liu Huitong, Ma Hongwei. Design and analysis of schemes for nonuniformity correction of IRFPA[J]., 2003(4): 277-279.

[7] 周慧鑫, 魏亞姣, 秦翰林, 等. 采用雙閾值的非制冷IRFPA盲元迭代檢測算法[J]. 紅外與激光工程, 2011, 40(5): 795-799.

Zhou Huixin, Wei Yajiao, Qin Hanlin, et al. Blind-pixel iterative detection algorithm based on double threshold for uncooled IRFPA[J]., 2011, 40(5): 795-799.

[8] 石巖, 毛海岑, 張天序, 等. 一種新的基于特征直方圖分解的紅外焦平面陣列無效像元判別方法[J]. 紅外與毫米波學報, 2005, 24(2): 119-124.

Shi Yan, Mao Haicen, Zhang Tianxu, et al. New approach of IRFPA non-effective pixel discrimination based on pixel's characteristics histogram analysis[J]., 2005, 24(2): 119-124.

[9] 張紅輝, 羅海波, 余新榮, 等. 采用特征直方圖的紅外焦平面陣列盲元檢測方法[J]. 紅外與激光工程, 2014(6): 1807-1811.

Zhang Honghui, Luo Haibo, Yu Xinrong, et al. Blind-pixel detection algorithm for IRFPA by applying pixel's characteristics histogram analysis[J]., 2014(6): 1807-1811.

[10] 周慧鑫, 殷世民,劉上乾, 等. 紅外焦平面器件盲元檢測及補償算法[J]. 光子學報, 2004(5): 598-600.

Zhou Huixin, Yin Shimin, Liu Shangqian, et al. Algorithm of blind pixels auto-searching and compensation for IRFPA[J]., 2004(5): 598-600.

Detection Method for Infrared-image Blind Pixels Based on Curved-surface Fitting

ZHANG Beiwei，CAO Jiangtao，CONG Qiumei

(,, Fushun 113001, China)

Aiming at solving the problem that the traditional blind-pixel detection methods for infrared images use the fixed detection threshold and could not give consideration to global non-uniformity, a blind-pixel detection method based on curved-surface fitting is proposed. Firstly, the analyzation of the difference between effective pixels and blind pixels was conducted in the 3D distribution of grayscale. Then the curved-surface fitting method based on the whole background image was put forward, and the fitted surface values could be used afterward as the benchmark to detect blind pixels with the 3sprinciple. Using fitting values instead of a fixed benchmark can eliminate the influence that the non-uniformity noise of the detector brings to the blind-pixel detection, and improve the accuracy and effectiveness of blind-pixel detection. Then the verified experiment and comparison experiment were carried out, and the experimental result shows that the proposed method is more effective and precise as compared to directly using the 3sprinciple.

infrared image，blind pixels detection，curved surface fitting，3principle

TN215

A

1001-8891(2017)11-1007-05

2016-05-23；

2016-12-05.

張北偉（1984-），女，博士，講師，研究方向為模式識別及圖像處理，目標識別與跟蹤，認知無線電。

國家自然科學基金資助項目（61203021）。