基于紅外雙波段的盲元補償算法

李 謙，趙燦兵，劉 星，蘇俊波，洪聞青，蘇 蘭，樊佩琦，張潤琦

（1.昆明物理研究所，云南 昆明 650223；2.63850 部隊，吉林 白城 137000）

0 引言

紅外焦平面陣列由于受到制造工藝等的影響，常常會出現盲元，盲元包括固定盲元和隨機盲元，其表現形式通常是在圖像上形成暗點或者亮點。盲元會影響探測器成像的質量，因此需要對焦平面陣列進行盲元檢測和補償[1]。雙波段紅外焦平面陣列相對于傳統的單波段紅外焦平面陣列具有較大的優勢，在環境條件極其復雜多變的現代戰場上，雙波段紅外焦平面陣列可以獲取更多的目標信息，提高目標的檢測和識別機率。但是雙波段紅外焦平面陣列依然存在盲元的困擾。

此前，國內對盲元校正的研究通常是在單波段層面，在盲元檢測方面，可以分為基于定標的檢測法和基于場景的檢測法[2]。基于定標的檢測法方面，張紅輝等人通過對定標圖像進行直方圖分解，估計出有效元分布情況進行分類，針對不同情況使用不同的策略像元的均值差和標準差，進而區分有效像元和盲元[3]。姚琴芬等人提出了一種基于雙參考源的盲元檢測方法，通過黑體在兩個不同溫度下采集圖像，然后利用閾值對盲元進行檢測[4]。基于場景的檢測法方面，冷寒冰等人使用了時域多幀累加的檢測方法，可以較為有效地避免誤檢[5]。粟宇路等人根據盲元的時空域灰度分布特性，通過多幀圖像來對盲元進行檢測[6]。張東閣等人利用無監督學習的一類支持向量機以及隨機場景圖像序列，建立了更新的分類模型，可以實時地檢測盲元[7]。

過往通常使用的單波段盲元替換算法對大盲元簇及位于邊緣位置的盲元補償效果不盡如人意，隨著雙波段熱像的逐漸興起，本文提出了一種基于雙波段信息的盲元補償算法，利用雙波段之間的圖像差異來對盲元進行檢測，并對雙波段紅外圖像中出現的不同盲對盲元進行補償。

1 雙波段紅外圖像盲元檢測

國家軍用標準中通過將器件對黑體輻射的響應程度作為量化標準，將其分為過熱像元與死像元兩類，過熱像元是像元噪聲電壓大于平均噪聲電壓10 倍的響應像元，而死像元則是指像元響應率小于1/10 平均響應率的像元。通常，過熱像元表現為白點和亮點，死像元表現為灰點和暗點，如圖1所示。

圖1 盲元圖像Fig.1 Image with blind pixels

在雙波段紅外成像中，由于目標不同波段的輻射是通過同一光學系統被雙波段焦平面陣列接受，因此，同一目標的不同波段輻射信息在雙波段紅外圖像中是有一定的相似性的，此外，雙波段探測器中，兩個波段的圖像中盲元位置較少有重疊，因此使用雙波段信息對盲元進行補償是完全可行的。

在雙波段紅外圖像中，對于像元的判斷可以簡單的分為3 種情況：

①像元在一個波段正常響應，而在另一個波段不正常響應，則該像元在不響應波段為盲元；

②像元在兩個波段都正常響應，則該像元為正常像元；

③像元在雙波段都不正常響應，則該像元在兩個波段皆為盲元。

對于盲元的檢測，前人做了許多工作，根據文獻[4]，可將紅外圖像看作不含盲元的理想圖像和盲元的疊加，即：

因此像元是否正常響應可以通過以下公式判斷：

式中：YB(i,j)為原始圖像；XB(i,j)為理想無盲元圖像；B(i,j)盲元圖像；h為閾值。

在雙波段紅外圖像中，對于盲元的檢測，一般是對兩個波段的圖像進行盲元檢測，分別標記出兩個波段的盲元，最后再進行運算，也就意味著本文算法中需要進行兩次盲元檢測。

此外，對于運動場景，由于場景信息比較復雜，因此本文對其進行累計多幀的判斷，連續多幀判斷圖像中某一像元為盲元才會對其進行標記[7]。本文算法流程圖如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flow chart

2 盲元補償

在單波段的盲元替換中，通常都是使用鄰域平均的方法來對盲元進行補償，當盲元位于場景中的邊緣位置時，如果使用鄰域校正，則有可能讓部分非邊緣的信息參與到盲元補償過程，由于邊緣信息與非邊緣信息的差異較大，這就導致了盲元補償后，補償后的盲元與周圍像元差異依然比較明顯。

因此，本文在盲元補償過程中增加了對盲元的位置是否位于邊緣的判斷。先通過邊緣檢測得出圖像的邊緣，本文在進行邊緣檢測時是使用的Sobel 算子，Sobel 算子兩個方向的模板如下所示：

提取出圖像的邊緣圖像后，可以對圖像中的盲元進行分類，根據其是否位于邊緣采取不同的盲元補償策略。當盲元位于圖像邊緣時，對盲元進行鄰域平均補償時僅選取鄰域中同樣位于邊緣位置的且非盲元的像素，當圖像位于非邊緣位置時，對盲元進行鄰域平均補償時僅選取鄰域中同樣位于非邊緣位置的且非盲元的像素，雙波段盲元分布如圖3所示。

圖3 雙波段盲元圖像Fig.3 Dual-band image with blind pixels

此外，在雙波段紅外圖像中，雖然目標不同波段的輻射是由同一焦平面陣列接收，但是由于各波段的光譜靈敏度曲線是非線性的，同一目標的強度響應在不同的波段內的變化也是非線性的，這就導致了在使用雙波段信息進行盲元替換，不能簡單使用另一波段的信息直接對其進行替換補償，這時候就需要對兩個波段之間信息的相似性進行評估了。

假設x、y是不同波段對于同一目標接收到的信號，他們的相似性決定了是否能夠使用另一波段的信息對其進行補償，在單幅圖像中，x、y可視為離散信號，其相似性問題可以使用求向量內積來度量。

式中：Inner(x,y)為中波圖像x及長波圖像y中目標的相似性；n為目標大小。

如果x高的地方y也比較高，x低的地方y也比較低，那么整體的內積是偏大的，也就是說x、y是相似的。

但是向量內積是沒有界限的，有一種解決方法是除以長度之后再求內積，即余弦相似度，余弦相似度與向量的幅值無關，只與向量的方向有關。

使用余弦相似度對雙波段圖像中一定大小的區域進行度量后，可以評估出兩個波段圖像中此區域各個像素點之間的相似性。

評估出相似性后，可以根據兩個波段中盲元鄰域的相似性來決定對另一波段信息的使用情況，當相似性高時，使用的另一波段信息較多，當相似性低時，使用另一波段信息較少，這樣可以較為有效地減小補償后盲元與周圍像素的差異。

因此，考慮雙波段信息，邊緣信息，以及相似性后，本文使用的盲元補償方法如式(6)所示：

式中：Eij為邊緣圖像；bpxij為盲元圖像；dist(x,y)為相似性；xij為盲元所在波段信息；yij為另一波段信息。

3 仿真結果與分析

本文對提出的算法進行了仿真分析。

圖4 為不同大小的中波信息對盲元簇的補償效果的影響，其中圖4(a)中為不使用中波信息，僅使用長波信息對長波圖像中的盲元進行補償，其中圖4(b)中為使用50%的中波信息及50%的長波信息，對長波圖像中的盲元進行補償，圖4(c)為使用本文算法對長波圖像中的盲元補償結果，可以發現，根據相似性來使用中波信息可以較為有效地減小補償后盲元與周圍像素的差異。

圖4 使用不同大小的中波信息補償結果Fig.4 Results were compensated using midwave information of different sizes

圖5 仿真使用的圖片來自某中長波熱像儀，其中長波圖像中有盲元，而中波圖像中沒有盲元，為了達到較好的驗證效果，在仿真過程中，我們隨機賦予了長波圖像一個7×10 的盲元簇，仿真結果見圖5，其中圖(c)為僅使用單波段信息對盲元進行補償的結果，圖(d)為本文算法結果。

圖5 本文算法和單波段盲元校正算法仿真結果Fig.5 Correction results of new algorithm and single band compensation algorithm

從仿真結果來看，僅使用單波段盲元對其進行校正，得到的盲元補償后圖像中，雖然盲元簇有一定的改善，但是依然有較為大塊的盲元簇存在，而使用本文算法對盲元簇進行補償后，圖像中的盲元現象得到了明顯的改善，盲元簇基本消失。

4 結論

傳統的單波段盲元替換算法對于大盲元簇及位于邊緣位置的盲元通常不能取得較為理想的補償結果，本文針對此問題并結合雙波段熱像儀的特點，提出了一種基于雙波段信息的盲元替換算法，實驗結果表明，本文算法對于場景中的大盲元簇及位于邊緣位置的盲元有著較為良好的補償效果。但是，在實驗過程中，我們同樣也發現了一些問題，諸如硬件實現時資源需求過多等問題，依然有待后續改進。