紅外成像傳感器效應建模與仿真的驗證評價方法*

婁樹理,李召龍,周仁來,任建存

(海軍航空工程學院,山東煙臺 264001)

紅外成像傳感器效應建模與仿真的驗證評價方法*

婁樹理,李召龍,周仁來,任建存

(海軍航空工程學院,山東煙臺 264001)

為解決紅外成像傳感器系統典型效應建模與仿真的驗證評價問題,基于全參考圖像質量評價方法提出了一種驗證評價方法。在紅外實拍和典型效應仿真圖像的基礎上,采用逐像素比較和統計比較相結合的分析方法,綜合直方圖統計、結構相似度、保真度等評價指標進行全面驗證評價。實驗結果表明:綜合評價結果與直方圖、傅里葉頻譜數據分析一致,與主觀評判結果相符。該評價方法可有效對紅外成像傳感器效應建模與仿真圖像進行置信度評價。

紅外成像傳感器;建模與仿真;驗證評價

0 引言

隨著紅外成像制導武器的發展和應用,紅外成像傳感器系統典型效應建模與仿真的研究越來越受到重視,紅外成像傳感器系統典型效應建模與仿真的真實性和逼真度決定著建模與仿真的有效性,因此紅外成像傳感器系統典型效應建模與仿真的真實性和逼真度的驗證方法研究具有十分重要的意義[1]。

目前,對于紅外成像傳感器系統典型效應建模與仿真的研究很少,建模與仿真準確性和真實性的驗證至今沒有行之有效的方法和公認的評價指標[2]。一種方法是將實拍圖像與建模仿真圖像進行逐像素比較,如國內胡方明等人[3]利用歸一化最小方差、保真度等進行評價,由于此類方法只比較了兩幅圖像對應像素的絕對誤差,沒有考慮像素的相關性,對于特定類型的圖像評價與主觀評價結果存在較明顯差異;另外一種方法是整幅圖像的統計比較,如李珂等人[4]采用直方圖統計的方法,Jonathan D.Fanning、張福娣等人采用結構相似度(SSIM)方法[2,5],此類方法利用的是圖像整體的統計量,容易產生誤導,且對某些類型退化失真不敏感。

為了解決紅外成像傳感器系統典型效應仿真的驗證評價問題,文中提出一種紅外成像傳感器系統典型效應仿真準確性和真實性的驗證方法,在紅外實拍圖像與紅外傳感器效應仿真圖像的基礎上,采用逐像素比較和統計比較相結合的分析方法,利用一維、二維直方圖統計、結構相似度、保真度等綜合評價指標進行全面驗證評價,有效克服了單一分析方法只能驗證部分效應仿真結果的缺陷。

1 紅外成像傳感器系統典型效應建模與仿真的驗證方法

由于構造無參考的圖像質量評價方法比全參考和半參考評價方法要困難得多[6],且全參考圖像質量評價方法的準確性要遠遠優于無參考的圖像質量評價方法[7]。為驗證紅外成像傳感器系統典型效應建模與仿真的準確性,采取全參考圖像質量評價方法,在實拍紅外圖像與仿真圖像的基礎上,采用逐像素比較和統計比較的分析比較方法,對仿真圖像與實拍圖像進行分析評價,具體實現方法如下:

首先利用紅外成像系統對黑體靶標成像,并針對不同黑體溫度、溫差分別輸出紅外實拍圖像;其次,根據黑體溫度、溫差及靶標類別,計算黑體靶標的輻射亮度并量化為灰度,采用計算機仿真技術生成黑體靶標的紅外理想仿真圖像,并將紅外理想仿真圖像經過紅外成像系統各模塊的退化效應作用,最終得到黑體靶標的紅外傳感器效應仿真圖像;最后,采用逐像素比較和統計比較相結合的分析方法,綜合分析信息熵、保真度、偏離度和結構相似度等驗證評價指標,形成綜合評價指標,對紅外傳感器效應仿真圖像和紅外實拍圖像進行分析比較,并給出可信度評價。

圖1 紅外成像傳感器典型效應仿真的驗證方法框圖

2 紅外成像傳感器典型效應建模與仿真的驗證評價指標

為了全面客觀的對紅外成像傳感器效應建模與仿真圖像進行綜合評價,必須對指標進行合理的選擇。選擇并確立驗證評價指標的原則如下:1)全面性。選擇的評價指標要盡可能地覆蓋評價的圖像退化各個因素,要能從不同的角度對建模與仿真進行評價。2)通用性。能夠適用于多種紅外成像系統的建模與仿真評價。3)精選指標。限制指標數量,減少指標的重復性和相關性。4)評價指標得到的結果應具有單調性、準確性和一致性。5)評價指標得到的評價結果應與人類視覺感受具有較好的符合程度。

針對紅外成像傳感器典型效應建模與仿真的驗證問題,分析比較了均值、標準差、信息熵、偏離度、密集度、對角線峰度、結構相似度等統計指標,以及保真度、均方誤差、峰值信噪比等像素比較指標,經過試驗和理論分析,根據指標選擇確定原則,從優選擇確定信息熵、保真度、偏離度和結構相似度作為驗證評價指標。

2.1 信息熵

信息熵是從信息論角度反映圖像信息豐富程度的一種度量方式,圖像的熵定義為[8]:

(1)

信息熵說明的是圖像的信息量,反映了圖像中有意義的灰度層次的豐富程度,紅外成像傳感器系統退化效應仿真圖像與實拍圖像的熵存在差異,因此選取熵作為一項指標。

2.2 保真度

保真度與均方誤差、峰值信噪比(PSNR)等評價指標一樣,是對仿真圖像和實拍圖像兩幅圖像之間對應像素值的絕對差異進行統計和平均計算,具有如下形式[3]:

(2)

保真度F越大表示兩幅圖像之間差異越小,說明建模與仿真圖像可信度高,當F=1時,表示所評價的仿真圖像與實際拍攝圖像沒有差異。

保真度指標因子既考慮了圖像灰度分布特征,也考慮了圖像像素之間的幾何結構特征,能全面評價影響光電系統成像質量的絕大多數因素,如分辨率、能量衰減以及信號處理對圖像退化的影響,具有很強的客觀性。該指標缺點是對部分圖像的評價結果可能與主觀感知的效果產生較大偏差。

2.3 偏離度指標

偏離度是二維直方圖統計指標,以相鄰像素灰度為定義,能夠形象的描述與像素空間位置有關的像素之間的相互關系,能很好的描述圖像的局部灰度波動狀況。偏離度的數學表達式如下[9]:

(3)

偏離度的物理意義是整幅圖像相鄰像素灰度層次的平均差別。

2.4 結構相似度指標

結構相似度(SSIM)評價指標因子分別提取圖像亮度、對比度等統計信息,然后綜合比較紅外實拍圖像和紅外傳感器效應仿真圖像在這些結構信息間的差異,定義為[10]:

(4)

(5)

實際應用時,一般以相同大小的窗口在兩幅圖像中進行滑動分析比較,采用高斯加權計算每一窗口的均值、方差以及協方差,得到兩幅圖像相應分塊的結構相似度,最后取平均值作為兩圖像的結構相似度。

結構相似度分別提取亮度比較、對比度比較和結構比較三類不同的信息,完全符合人類視覺系統從圖像中獲得結構信息的特點,可有效評價噪聲對于圖像退化的影響,但對某些模糊圖像的評價結果與人的主觀感覺不一致。

2.5 綜合評價指標

確定紅外成像傳感器系統典型效應建模與仿真圖像驗證的各評價指標因子后,綜合各評價指標因子建立綜合評價指標,較為困難的是各指標因子的權重分配,權重分配可以采用絕對比較法、二元比較法、模糊統計法等多種方法[12],在此采用實驗與絕對比較法相結合的方法確定各指標因子的權重。首先利用紅外成像系統對同一黑體靶的多次實拍圖像進行分析比較,在實驗的基礎上尋找規律,幾個指標中穩定度較高依次為保真度、結構相似度、偏離度、熵。權重分配時穩定度較高的指標賦以較大權重值,穩定度較低的賦予較小權重值,綜合評價指標為:

(6)

式中:A、B為兩幅比較圖像;HA與HB、ξA與ξB、SSIM(A,B)、F(A,B)分別為圖像A、B的熵、偏離度、結構相似度和保真度;k1、k2、k3、k4為權重系數,k1+k2+k3+k4=1。

Q(A,B)值在0和1之間,反映了兩幅圖像在結構特征、灰度特征、信息量和灰度相關性的差異,Q(A,B)數值越大說明兩幅圖像越接近,同一幅圖像進行比較時Q(A,B)為1。

3 實驗與結果

為了驗證各種評價指標對于建模與仿真驗證評價的有效性,采用文中提出的驗證方法,在實驗室利用多種紅外成像系統進行了實驗,在實驗的基礎尋找規律,經過多次實驗和理論分析,采用絕對比較法進行權重確定,k1=0.24、k2=0.18、k3=0.26、k4=0.32,并分析驗證了評價指標的有效性。

紅外成像系統1為非制冷長波紅外熱像儀,黑體溫差為4 K,實拍圖、仿真圖及其一維、二維直方圖和傅里葉頻譜圖見圖2,其中圖2(a)、圖2(b)為實拍圖像,圖2(c)是未經退化作用的理想仿真圖像,圖2(d)是理想仿真圖像經過衍射、漸暈、噪聲、低通濾波各種典型效應退化后,經圖像增強之后得到的仿真圖像。

圖2 紅外成像系統1實拍及仿真圖像比較

利用信息熵、保真度、偏離度和結構相似度指標對黑體溫差4 K時紅外成像系統1所拍攝的圖像和仿真圖像進行分析,并采用綜合評價指標Q(A,B)進行綜合驗證,比較分析時參考圖像是采用實拍圖像1,結果如表1所示。

紅外成像系統2為制冷中波紅外熱像儀,黑體溫差為4 K,實拍圖、仿真圖見圖3。

表1 紅外成像系統1的圖像驗證結果

圖3 紅外成像系統2實拍及仿真圖像比較

利用評價指標對紅外成像系統2所拍攝的圖像和仿真圖像進行分析,參考圖像為實拍圖像1,結果如表2所示。

表2 紅外成像系統2的圖像驗證結果

紅外成像系統3為制冷中波紅外成像系統,黑體溫差為4 K,實拍圖、仿真圖見圖4。

圖4 紅外成像系統3實拍及仿真圖像比較

用評價指標對紅外成像系統3所拍攝的圖像和仿真圖像進行分析,參考圖像為實拍圖像1,結果如表3所示。

表3 紅外成像系統3的圖像驗證結果

從直方圖、傅里葉頻譜圖直觀分析來看,每一紅外成像系統兩幅實拍圖像的直方圖、傅里葉頻譜圖非常接近,而考慮傳感器效應時仿真圖像的直方圖、傅里葉頻譜圖相比于理想仿真圖像更加接近于實拍圖像的直方圖、傅里葉頻譜圖。

從驗證評價指標來看,每一種紅外成像系統兩幅實拍圖像的熵、偏離度、結構相似度、保真度都非常接近,三種紅外成像系統兩幅實拍圖像之間的Q(A,B)值分別為0.997 7、0.998 0、0.997 5,即置信度在99.7%以上,與一維、二維直方圖和傅里葉頻譜數據一致,符合人眼視覺評價結果,說明綜合評價指標具有合理性。

從綜合評價指標Q(A,B)來看,紅外成像系統1的理想仿真圖像和退化仿真圖像的Q(A,B)值分別為0.643 6和0.830 9,紅外成像系統2的理想仿真圖像和退化仿真圖像的Q(A,B)值分別為0.661 0和0.856 0,紅外成像系統3的理想仿真圖像和退化仿真圖像的Q(A,B)值分別為0.702 6和0.938 1,考慮傳感器效應后仿真圖像相比未考慮傳感器效應的理想仿真圖像的置信度較高一些,與人眼視覺評價結果一致。

4 結論

文中根據紅外成像制導信號注入式仿真的需求,針對紅外成像傳感器典型效應建模與仿真的驗證問題,提出了紅外成像傳感器典型效應建模與仿真的驗證評價方法,給出了驗證評價方法的基本思路和評價指標。實驗結果證明:紅外成像系統對黑體靶標兩幅實拍圖像之間的綜合評價指標在99.7%以上,考慮傳感器效應后仿真圖像相比未考慮傳感器效應的理想仿真圖像的綜合評價指標高一些,與主觀評判結果一致。該評價方法可有效對紅外成像傳感器效應建模與仿真圖像進行置信度評價。

[1] 婁樹理,韓艷麗,任建存,等.基于結構相似度和保真度的紅外成像傳感器仿真評價方法研究 [J].紅外,2015,36(2):30-34.

[2] 張福娣,張建奇,徐茵.紅外凝視傳感器定量仿真及模型驗證 [J].光子學報,2011,40(4):596-601.

[3] 胡方明,王曉蕊,張建奇.光電圖像質量客觀度量準則的分析與比較 [J].紅外技術,2005,27(2):129-134.

[4] 李珂,王學偉,王世立.紅外傳感器模型的成像仿真效果分析 [J].計算機與數字工程,2012,40(7):118-122.

[5] JONATHAN D F.Metrics for Image-Based Modeling of Target Acquisition [C]// Proceeding of SPIE,8355.Bellingham:SPIE，2012:1401-1402.

[6] 范媛媛,沈湘衡,桑英軍.基于對比度敏感度的無參考圖像清晰度評價 [J].光學精密工程,2011,19(10):2485-2493.

[7] 褚江,陳強,楊曦晨.全參考圖像質量評價綜述 [J].計算機應用研究,2014,31(1):13-21.

[8] 章毓晉.圖像工程 [M].3版.北京:清華大學出版社,2012:141-144.

[9] 殷德奎.熱圖像的二維分析與仿真方法研究 [R].南京:南京理工大學博士后研究報告,1999:17-20.

[10] 易三莉,苗瑩,錢潔,等.基于感興趣區域的邊緣結構相似度圖像質量評估 [J].計算機工程,2015,41(6):216-221.

[11] 李愛華.基于相位的結構相似度圖像質量評價模型 [J].計算機應用與軟件,2014,31(11):233-237.

[12] 張偉,王行仁.仿真可信度模糊評判 [J].系統仿真學報,2001,13(4):473-475.

TheEvaluationMethodforModelingandSimulationofInfraredImagingSensor

LOU Shuli,LI Zhaolong,ZHOU Renlai,REN Jiancun

(Naval Aeronautical and Astronautical University,Shandong Yantai 264001,China)

In order to validate accuracy of modeling and simulation of infrared imaging sensor system,a method was proposed based on full reference image quality assessment.Actual infrared image and the simulated image were compared with pixel by pixel comparison method and statistical analysis,and the assessment was obtained based on histogram statistics,structural similarity and fidelity indicators.Experimental results indicate that the comprehensive evaluation index is consistent with histogram data and frequency spectrum,and it is accord with the subjective evaluation results.The evaluation method can effectively validate accuracy of modeling and simulation of infrared imaging sensor system.

infrared imaging sensor; modeling and simulation; image assessment

10.15892/j.cnki.djzdxb.2017.02.001

2016-06-10

總裝十二五預研基金(51303020403-3)資助

婁樹理(1976-),男,山東蒙陰人,副教授,博士,研究方向:光電工程、圖像處理。

TP751.1

A