基于圖像差值調制模型的紅外紋理生成方法

楊壹斌，李 敏，楊 敏，王亞楠

?

基于圖像差值調制模型的紅外紋理生成方法

楊壹斌，李 敏，楊 敏，王亞楠

（火箭軍工程大學908室，陜西 西安 710025）

針對紅外場景仿真中紋理映射真實感欠缺，實用性和靈活性較弱的問題，考慮到實拍圖像在多方面的局限性，提出了基于紅外圖像灰度差值調制模型的紋理生成方法。該方法以實測某時刻紅外圖像為基礎，實施材質分類后將材質灰度與其灰度均值進行逐像素差值運算，得到主要景物材質的灰度差值分布，利用傳熱學理論求出景物在一天內其它時刻的均值溫度，再模擬紅外成像系統工作過程將其量化為對應灰度均值，并與灰度差值分布進行調制，生成仿真時刻的紅外圖像。實驗結果表明，利用該方法生成的紅外紋理圖像兼具較高的真實性和可靠性，能夠滿足仿真應用要求。

紋理生成；灰度差值；成像鏈路；調制模型

0 引言

紅外仿真技術在武器裝備研發、紅外基準圖制備、打擊效能評估等多個領域具有廣泛的應用價值，作為拓展紅外數據源、構建紅外仿真場景的有效手段，紅外圖像仿真的作用愈發重要。傳統獲取紅外圖像的方法主要有兩種，外場實測圖像[1]和計算機仿真[2-3]。實測圖像的突出優勢是可靠性高，但在采集圖像時受到時間、場地、設備、波段等多方面條件的制約；計算機仿真方法可以根據實際要求靈活生成紅外圖像，但在真實感和可信度上有所欠缺，為了提高仿真精度，一些基于熱傳學原理的精細物理模型被提出來，較好地提升了仿真真實性，但帶來的問題是巨大的運算量，仿真效率受到一定影響。如何有效提高紅外圖像仿真精度和紋理逼真度，完善紅外場景數據庫一直是國內外學者的研究重點，Coiro利用Monte Carlo全局光照模型得到了目標飛行器的紅外輻射分布特性[4]，王彥等人通過OSG（Open Scene Graph）對海天背景下的艦船目標進行了仿真，并生成了實時的紅外圖像[5]，武國軍等人在實拍可見光圖像的基礎上，反演出不同環境條件下的紅外圖像[6]，陳聰蔥基于“FPGA＋DSP”架構對雙波段紅外圖像場景生成進行了研究實現[7]，黃曦等人通過測量目標表面輻射能量分布，反演生成目標紅外紋理，該方法具有較高的靈活性[8]。

為改善紅外圖像仿真中存在的不足，著眼提升紅外紋理的逼真度，本文將實測數據與計算機仿真有效結合，提出了在灰度差值預測的基礎上，生成一天內不同時刻紅外紋理圖像的方法。首先對實測紅外圖像分類，并將分類后景物各像素點灰度與其灰度均值作差值運算，得到景物灰度差值分布狀況，再利用熱傳學理論求得仿真時刻相關景物材質的均值溫度，最后通過模擬紅外成像系統工作流程的成像鏈路模型，將均值溫度的映射灰度級與灰度差值分布進行調制，生成仿真時刻紅外圖像。

1 紋理生成原理

實測紅外圖像不但包含有各像素點對應溫度信息和輻射特性，同時體現了量化后的灰度細節，在實測數據基礎上生成不同時刻紅外仿真圖像，也涵蓋了原始測量圖像的細節特征，具有一定真實性和可靠性。利用灰度差值調制模型生成紅外紋理時，首先采用K-means算法對預處理后的實拍紅外圖像進行材質劃分，通過各景物灰度與其灰度均值的逐像素差值計算求得該景物灰度差擾動情況，再利用熱平衡方程和導熱方程等傳熱學原理，求得仿真時刻各景物材質表面的均值溫度，并通過構建的成像仿真鏈路量化輸出為對應灰度級，最后對量化灰度與灰度差值分布實施調制，生成仿真時刻紅外圖像，具體過程如圖1所示。

2 紅外成像鏈路建模

紅外成像鏈路是指地物發射的輻射能量和對環境輻射反射的輻射能量經介質傳輸到達紅外成像系統并輸出為相應紅外圖像的傳輸過程[9]，建立的成像鏈路模型一般由三部分構成：地物輻射、大氣路徑傳輸和系統成像效應，在此基礎上保留了整個成像過程的關鍵步驟，又省去一些不必要的細節，簡化了仿真過程，其示意圖如圖2所示。

2.1 地物輻亮度計算

地物輻射包含其發射輻射和表面反射周圍環境輻射兩部分，一般來講，常溫物體的本征紅外輻射集中在長波波段，受太陽輻射影響較小。本文實測波段為8～12mm長波波段，以輻亮度作為計算模型輻射量的標準，本征輻亮度obj通過普朗克定律求得：

式中：為絕對溫度；()為物體表面材質的發射率；1和2為第一、第二輻射常數；為輻射空間立體角，在球坐標系中積分可得到其值為π。由于利用式(1)直接計算本征輻亮度涉及運算量較大，實際求解中可以利用查表法或多項式擬合來代替。斯蒂芬-玻爾茲曼定律指出，黑體輻亮度與溫度的四次方成比例關系[10]，因此本文在利用多項式擬合時以4次冪作為擬合方程的最高次冪，計算公式如下：

obj＝4＋3＋2＋＋(2)

式中：、、、、為多項式擬合系數，利用紅外成像系統采集一系列不同溫度黑體的輻亮度數據，并代入式(2)擬合求得多項式的各個系數。

圖1 紅外圖像生成原理示意圖

圖2 紅外成像鏈路示意圖

Fig.2 Schematic of infrared imaging link

物體對周圍環境輻射的反射與環境輻亮度和自身反射能力密切相關，輻射反射部分可分為對太陽輻射的反射和對天空背景輻射的反射。假設場景中無內熱源，則計算反射輻亮度ref的數學公式為：

式中：()為物體表面反射率，對非透明物體，反射率可按()＝1－()計算；sky()和sun()分別為天空背景和太陽的輻照度，計算中可以用相應波段的輻射總和來代替，并將平均發射率￠作為地物表面發射率，以降低仿真運算量。

2.2 大氣路徑傳輸建模

紅外成像系統工作時所處的環境介質主要是大氣，傳輸過程既受到大氣顆粒的阻隔而產生消光衰減效應，同時吸收和反射了部分太陽輻射能量，對地物目標有輻射增強的影響，成像模型中大氣傳輸過程通過如下公式表示：

式中：為入瞳輻亮度，即地物輻射到達紅外成像系統入口處的輻亮度；()為大氣透過率；path()為大氣路徑輻射，兩者均可通過MODTRAN軟件計算求得。

2.3 信號傳遞特性添加

紅外成像系統的主要任務是收集外界輻射并轉換為紅外圖像灰度值輸出，通常由光學系統、探測器系統和信號處理系統3部分組成[11]，本文在建立成像鏈路模型時主要考慮系統的信號傳遞轉換特性，在保證基本輸出結果的同時，有效減輕了系統運算壓力，得到的輸出紅外圖像灰度值(,)與入瞳輻亮度的映射關系如下：

式中：op是紅外成像系統綜合各效應的影響因子，與所使用成像系統內部結構有關，具體數值通過輻射定標實驗確定或利用經驗值替代；max,min分別為系統最大、最小電平值；為圖像灰度級數。為進一步提升信號處理與轉換速率，將綜合影響因子等參數作定值處理，得到簡化后系統輸出灰度與入瞳輻亮度的線性模型如下所示：

(,)＝×()＋(6)

式中：、分別為成像系統的信號轉換系數和固定噪聲，由其內部組成確定，實驗中同樣通過對紅外成像系統進行輻射參數定標而獲取。

3 灰度差值調制模型

紅外圖像的灰度變化與其對應景物材質的溫度分布，在一定溫度限度內成線性關系。一天內，同一材質的表面溫差擾動可近似認為不隨時間變化[12]。景物的灰度差是指景物對應圖像各像素點灰度值與整體灰度均值的差值，實測紅外圖像包含了當前時刻景物材質表面的溫度分布和熱輻射信息，各像素點灰度級與溫度值在一定條件下成對應關系，對特定紅外成像系統，目標表面溫度均值與紅外圖像的灰度均值也成相同的映射關系，因此可以認為所得數據的灰度差值在一天內也不隨時間變化。

3.1 材質分類

一般來講，由于不同景物、不同材質包含的輻射信息和物理屬性有較大的差異，上述灰度差調制方法只適用于同一材質，對包含多材質的紅外圖像無法直接應用。因此在獲取灰度差值擾動時首先要對實測數據中的有關材質進行分類。常用的分類方法有閾值法、OTSU算法、K均值算法（K-means）、模糊相似度法等等，本文采用改進后的K均值算法實現材質分類。該算法在樣本分類、圖像分割等領域有著廣泛的應用，其核心是依據樣本相似度進行聚類，對樣本分類后，同一類中的子集具有較高的相似性，而不同類間的相似性很小[13]。在同一場景中，相同材質的紅外特性相近，對應的圖像灰度值也很接近，而不同材質間差距較大，通過K均值算法對實測圖像進行像素級的處理，能夠達到材質劃分的目的。

實測圖像反映了實際景物的輻射分布狀況，分類時或多或少受到環境陰影、雜質組分等因素的影響，可能出現一些零散小區域，獨立于分類的主要景物，因此需要對劃分結果實施優化，將這些零散區域合并或單獨列為對象。具體做法是：根據實際情況設定區域面積閾值和灰度差閾值，將包含像素數小于區域面積閾值的部分定義為零散區域，并將零散區域與其鄰近的主要材質區域進行灰度比對，若二者灰度差值沒有超出灰度差閾值的范圍，則把該零散區域合并到相鄰景物中，否則便保留該零散區域，作獨立材質。

3.2 灰度差值調制

灰度差值調制建立在獲得仿真時刻灰度均值的基礎上，而灰度均值又與表面溫度均值密切相關。仿真中利用表面熱平衡方程和導熱方程求解對應條件下材質表面均值溫度，文獻[14]給出了具體的計算方法。將得到的均值溫度再通過成像鏈路模型及量化定標，轉換為該時刻對應的灰度均值，并利用該灰度差值分布對其進行調制，生成最終的紅外仿真圖像，具體步驟如下：

第四步得到的灰度數據f,)即是一天內仿真時刻的紅外生成圖像，式中為灰度差調節因子，其值一般在0～1之間，由紅外仿真中對紋理細節的要求而定。引入灰度差調節因子是為了根據實際情況增加或降低不同景物材質間及不同像素點間的對比度，的增減反映了每個灰度級所表示輻射能量的起伏，也就是表示相同的能量所需灰度級的多少，通過調節值便能夠較好地解決不同地物輻射對比度偏低或偏高的問題。

在量化為灰度圖像時，以一天的輻亮度變化作為灰度映射的上下限，即最大、最小輻亮度分別對應最大灰度級與最小灰度級。為了避免生成的圖像因差值擾動調制造成灰度溢出的問題，還需要對灰度范圍進行優化，本文對量化的灰度區間作如下規定：

式中：[G1,G2]分別指編號為的材質對應量化灰度范圍；Δgmax, Δgmin分別為灰度差值擾動模型中的最大和最小差值。取所有材質中最大灰度上限作為仿真圖像的量化上限，最小灰度下限作為圖像的量化下限1＝max{G1},2=max{G2}，則[1,2]即為圖像的量化灰度區間。

4 實驗結果及分析

基于上述由灰度差值擾動生成紅外紋理圖像的方法，本文選取日常簡單場景，通過實測某天上午9時紅外圖像數據，仿真生成當天11:00、13:00和21:003個仿真時刻的紅外圖像，并與利用單一均值溫度作為灰度映射結果的仿真圖像進行了比對。實測數據在西安某地，東經109°18'，北緯34°55'，實測波段：8～12mm，實測時刻氣溫為14.2℃，相對濕度為52%，氣壓962.7hPa，風向為東北風，風速3.7m/s，獲得的各場景紅外圖像如圖3所示。

圖3(a)～(d)四個場景分別表示由灰磚拼接的人行道、瀝青與水泥結合部、塑膠跑道與過道的交匯和塑膠跑道與草坪的交匯。當天實測氣溫浮動曲線如圖4所示，最高氣溫為28.6℃，最低氣溫為8.7℃。

圖3 四個場景實測紅外圖像

圖4 一天溫度變化波動

實測圖像各景物涉及的材質主要有灰磚、水泥、瀝青、青磚、塑膠、草地等，劃分材質后利用灰度差值調制模型得到對應主要材質的灰度差分布。為方便闡釋說明，截取上述材質的部分紋理信息進行差值表示，如圖5所示。

圖5(a)中灰磚灰度差值范圍是－4～8，圖5(b)中青磚灰度差值范圍是－4～3，圖5(c)中水泥灰度差值范圍是－9～8，圖5(d)中瀝青灰度差值范圍是－14～9，圖5(e)中塑膠灰度差值范圍是－7～6，圖5(f)中草地灰度差值范圍是－14～23。由此可知瀝青和草地表面灰度波動較大，主要是由于兩種景物材質表面分別受雜質覆蓋和裸露土壤影響，輻射能量分布起伏較大，相比之下灰磚和青磚的波動較小。同時利用熱傳學原理，計算出3個時刻各主要材質的表面均值溫度如表1所示。

圖5 主要材質灰度差值分布

表1 主要材質表面均值溫度

得到所有材質的均值溫度后，利用構建的成像鏈路模型，將均值溫度映射的灰度級與灰度差值分布進行調制，生成對應仿真時刻紅外圖像，如圖6～圖8所示，計算中使用的紅外熱像儀定標系數為5.2×107，為4980。

從圖6～圖8中能夠看出，13:00氣溫大幅度提升，太陽輻射充沛，景物溫度普遍較高，圖像灰度較大，21:00的生成圖像偏暗，主要是因為此時太陽已落山，在無明顯熱源影響時，自身溫度下降迅速，本征輻射能量較低，11:00圖像量化灰度隨著溫度升高而逐步增大。

同時，生成圖像相比9:00實測結果存在一定模糊，但仍然擁有較高的層次感，圖中灰磚間隙、路肩缺口、草地起伏等場景實際情況清晰展現出來，表面紋理由于受雜質附著、磨損等環境因素影響而造成的灰度波動也被保留下來，體現出豐富的材質細節，真實感較強。以場景1為例，3個仿真時刻實測場景1紅外圖像如圖9所示。

圖9中實測圖像與仿真結果灰度級接近，仿真圖像中灰磚接縫、灰磚和青磚間的銜接邊緣及景物材質表面的灰度變化等細節信息明顯表現，與實測圖像基本保持一致，驗證了仿真結果具有較高可信度。此外作為對比，直接利用景物均值溫度的量化灰度進行映射仿真，其結果如圖10～圖12所示。

圖6 11:00仿真結果圖像

圖7 13:00仿真結果圖像

Fig.7 The results of simulation images at 13pm

圖8 21:00仿真結果圖像

Fig.8 The results of simulation images at 21pm

圖9 三個時刻場景1實拍紅外圖像

Fig.9 Measured infrared images of scene 1 at three times

圖10 11:00均值溫度仿真圖像

圖11 13:00均值溫度仿真圖像

Fig.11 Mean temperature simulation images at 13pm

圖12 21:00均值溫度仿真圖像

圖10～圖12中體現了各場景的整體能量分布和景物基本輪廓，但輻射細節缺失嚴重，如場景1的灰磚縫隙，場景3中塑膠跑道的標識漆，場景4中草地與跑道的交接邊緣等等，雖然計算量有所降低，但真實感大打折扣。另一方面，由于部分景物間對應灰度值相近，材質分類時會出現把其它景物錯分到某一類景物中，如場景4中遠處的塑膠跑道排水孔與塑膠劃為同一材質，均值溫度直接映射的方法無法進行修正，仿真時將錯分情況延續，降低了生成圖像的可信度。而本文的方法則能夠在一定程度上彌補上述不足，因為一天內灰度差值分布與景物對應灰度值無關，若存在不同材質具有相近的灰度值，差值擾動只會在有關像素點產生小范圍灰度波動，生成圖像依然能夠保持一定灰度差異，同時仿真結果未出現明顯的灰度躍變，具有較高的逼真度。

5 結語

在實測紅外圖像和灰度差值調制的基礎上生成仿真紋理圖像，既最大限度保留了輻射細節信息，又具有較高的仿真效率，以實測某時刻紅外圖像為基礎，實施材質劃分后建立不同景物的灰度差值調制模型，同時求得各景物材質在一天內其它時刻的表面均值溫度，利用成像仿真鏈路模型將其進行灰度量化，并分別將量化后的輸出灰度與對應灰度差值分布進行調制，生成不同仿真時刻的紅外紋理圖像。結果表明，利用該方法所得的圖像能夠較好地保留景物輻射細節和灰度特征，，能夠為紅外仿真場景提供高逼真度和可信度的紅外紋理數據，具有一定工程應用價值。

[1] Kustas W, Anderson M. Advances in Thermal Infrared Remote Sensing for Land Surface Modeling[J]., 2009, 149(12): 2071-2081.

[2] 陸志灃, 高文, 洪澤華, 等. 高逼真度紅外復雜場景動態實時生成技術研究[J]. 系統仿真學報, 2015, 27(1): 76-81.

Lu Zhifeng, Gao Wen, Hong Zehua, et al. Research on dynamic real-time complicated scene generation technology[J]., 2015, 27(1): 76-81.

[3] 陳珊, 孫繼銀, 劉婧. 前視末制導地面目標紅外場景生成算法研究[J].光電子·激光, 2010, 21(8): 1269-1272.

Chen Shan, Sun Ji-yin, Liu Jing. Research of algorithm for ground target IR scene generation of FLIR terminal guidance[J]., 2010, 21(8): 1269-1272.

[4] Coiro E. Global Illumination Technique for Aircraft Infrared Signature Calculations[J]., 2015, 50(1): 103-113.

[5] 武國軍, 白廷柱, 白茯寧. 基于可見光圖像的紅外圖像反演研究[J]. 紅外技術, 2011, 33(10): 574-579.

Wu Guojun, Bai Tingzhu, Bai Funing. Research on infrared images simulation by inversing the scene of the visible light images[J]., 2011, 33(10): 574-579.

[6] 黃浩, 陶華敏, 陳尚鋒. 空間雙波段紅外成像仿真及目標特性分析[J]. 紅外技術, 2013, 35(8): 482-486.

Huang Hao, Tao Hua-min, Chen Shang-feng. Space dual-band infrared imaging simulation and target analysis[J]., 2013, 35(8): 482-486.

[7] 陳聰蔥. 雙波段紅外圖像場景模擬與實現[D]. 北京: 北京理工大學, 2015.

Chen Cong-cong. Scene simulation and implementation of dual-band infrared image[D]. Beijing Institute of Technology, 2015.

[8] 黃曦, 張建奇, 張紹澤, 等. 目標高真實感紅外圖像生成方法[J]. 紅外與激光工程, 2013, 42(4): 1084-1090.

Huang Xi, Zhang Jian-qi, Zhang Shao-ze, et al. Realistic infrared image generation method of target[J]., 2013, 42(4): 1084 -1090.

[9] Mahalati R N, Kahn J M. Effect of fog on free-space optical links employing imaging receivers.[J].2012, 20(2): 1649-1661.

[10] 李宏寧, 白廷柱, 曹峰梅, 等. 用于場景仿真的紅外成像模型及其有效性分析[J]. 紅外與毫米波學報, 2010, 29(1): 57-61.

Li Hong-ning, Bai Ting-zhu, Cao Feng-mei, et al. Infrared imaging model for scene simulation and its validation[J]., 2010, 29(1): 57-61.

[11] 張建奇, 王曉蕊. 光電成像系統建模及性能評估理論[M]. 西安: 西安電子科技大學出版社, 2010.

Zhang Jianqi, Wang Xiaorui.[M]. Xi’an: Xidian University Press, 2010.

[12] 胡海鶴, 白廷柱, 郭長庚, 等. 零視距地物長波紅外特征場景仿真研究[J]. 光學學報, 2012, 32(10): 1011002-1~1011002-9.

Hu Haihe, Bai Tingzhu, Guo Changgeng, et al. Long wave infrared scene simulation research based on zero stadia of landmark[J]., 2012, 32(10): 1011002-1-1011002-9.

[13] 馬德賓. 紅外圖像數據的自動采集與材質劃分[D]. 大連: 大連海事大學, 2014.

Ma Debin. Automatic acquisition infrared image data and materials division[D]. Dalian: Dalian Maritime University, 2014.

[14] 陳珊, 孫繼銀. 自然地表紅外成像仿真模型[J]. 紅外技術, 2008, 30(9): 537-540.

Chen Shan, Sun Ji-yin. An infrared image simulation model for ground surface[J]., 2008, 30(9): 537-540.

Method of Infrared Texture Generation Based on Images Difference Modulation Model

YANG Yibin，LI Min，XIE Hongwen，YANG Min，WANG Yanan

(908,,710025,)

Aiming at problems of texture mapping realistic deficient in infrared scene simulation and being weaker in practicability and adaptability, considering limitation of measured images in multiaspect, an infrared texture generation method is proposed based on gray level difference modulation model of infrared images. This method based on measured waveband infrared images at one point, per pixel difference operation was conducted between materials gray level and its mean gray level after classifying materials, to obtain gray level difference distribution of main scenery materials, mean temperature of photographic field in other moments a day wa received by using the theory of heat transfer theory, then corresponding gray-scale average which simulated working process of infrared imaging system was quantized, and infrared images were generated through modulating with gray level difference distribution. The experimental results indicate that infrared texture images generated by using this method possess both facticity and reliability, and can meet the requirements of simulation application.

texture generation，gray level difference，imaging link，modulation model

TP391.9

A

1001-8891(2017)03-0214-07

2016-10-28；

2017-02-18.

楊壹斌（1992-），男，山西忻州人，碩士研究生，主要研究方向：可視媒體計算和紅外視景仿真。E-mail：yxyyb4016@163.com。

國家自然科學基金項目（61102170）；國家社科基金項目（15GJ003-243）。