紅外無損檢測圖像處理方法的對比

江海軍,盛 濤,鄭金華,向 蘋

(1.南京諾威爾光電系統有限公司,南京 210014;2.上海復合材料科技有限公司,上海 201112)

紅外無損檢測是一種實用型無損檢測技術,目前被應用在航空、航天、機械、油氣、新能源、新材料等多個領域。紅外無損檢測技術采用主動式熱激勵源對試件進行熱激勵,主動式熱激勵源包括閃光燈、激光、LED、鹵素燈、超聲、電磁激勵等[1-4]。主動式熱激勵源用于打破試件表面原有的溫度平衡,在試件表面形成新的溫度場分布。在傳播過程中,試件表面的溫度場分布受試件內部缺陷影響,若要使試件表面產生異常的溫度分布,需要使用紅外熱像儀采集激勵前后的紅外圖像序列,并對采集的紅外圖像進行處理。紅外圖像處理對試件的缺陷檢測至關重要。紅外圖像處理方法包括單幀圖像處理和序列圖像處理方法。文章主要對紅外圖像處理方法的現狀和發展趨勢進行介紹和總結。

1 單幀圖像處理

單幀紅外圖像處理主要包括畸變校正、圖像增強、圖像垂直條紋去除、圖像濾波等,原始紅外圖像經過處理后可以變得清晰,同時噪聲會變小。采集紅外圖像之前,一般都會進行紅外熱像儀非均勻性校正,文章不考慮紅外熱像儀兩點校正及單點校正圖像處理方法。

1.1 畸變校正

紅外熱像儀成像過程中需要使用紅外鏡頭,紅外鏡頭為滿足成像系統大視場的需求,一般設計為大口徑系統,不可避免地造成了紅外圖像的幾何畸變(一般為桶形畸變)。大視場光學系統中,一般采用多組鏡片組合模式,但受限于工藝水平,其在加工時會產生誤差而加重畸變。畸變雖然不影響圖像的清晰度,但是會影響成像幾何位置的精度,給后續檢測結果分析和判斷帶來不利影響[5]。另一方面,在紅外無損檢測應用中,檢測距離一般小于500 mm,通常采用短焦距鏡頭(10～15 mm),鏡頭焦距越短,檢測距離越小,畸變越嚴重。國內外學者針對圖像畸變進行研究并提出了不同的解決方案[6-7]。主要有兩種修正方法,一種是試驗法,借助試驗儀器對畸變量進行測量并修正,但是由于試驗裝置復雜、成本高,故不容易實現;另外一種方法就是采用圖像畸變算法進行重建,通過幾何變換校正失真圖像中各像素點原來的空間關系。圖像畸變校正算法前后效果對比如圖1所示,可以看到,離中心越遠,畸變越嚴重,畸變校正后,試件中彎曲的邊緣變成了直線。

1.2 圖像增強

紅外無損檢測技術中采用主動熱激勵源對試件進行熱激勵,熱激勵結束后,熱波(變化的溫度場)會進行三維擴散,導致紅外圖像對比度低、圖像邊緣模糊,且隨著熱波的不斷傳播,三維熱擴散持續進行,檢測到的紅外圖像就越來越模糊,直到看不見缺陷信息。同時,紅外圖像采用14位/16位輸出,常規顯示設備或者人眼只有8位數據顯示寬度,因此紅外圖像顯示需把大動態范圍數據壓縮到8位數據。研究人員發現紅外圖像增強主要有3類算法:基于統計的直方圖增強、基于頻率變化進行增強、數字細節增強[8-9]。前兩類算法容易造成部分區域過亮或者過暗,導致圖像細節丟失。數字細節增強算法是一種高級的非線性圖像增強算法,也是目前紅外圖像增強的最佳算法,通過引導濾波或者其他濾波算法把高動態范圍原始圖像分成背景圖像和細節圖像,再分別對背景圖像進行壓縮和對細節圖像進行增強處理,最后將背景圖像和細節圖像進行融合,得到增強圖像,增強后的圖像不僅保留了細節信息,并且不會出現部分圖像區域過亮或者過暗的現象。不同圖像增強算法的效果對比如圖2所示。由圖2可以看出,統計直方圖算法容易造成部分圖像區域過亮或者過暗;數字細節增強算法處理的圖像不僅使缺陷區域明顯,也未出現過亮或者過暗區域,背景區域的黑點區域邊緣也非常明顯。

圖2 圖像的不同增強算法效果對比

1.3 垂直條紋去除

一般制冷紅外熱像儀很少看得到垂直條紋,除非是紅外原始圖像過度增強或者數字細節增強后才能勉強看到。垂直條紋常出現在非制冷紅外熱像儀中,非制冷熱像儀采用的是焦平面探測器,焦平面探測器每一列共用一個放大器,每個列放大器具有不同的噪聲特性,從而造成了列和列之間的差異,在圖像上整體表現為明顯的垂直條紋[10-11]。紅外熱像儀中的垂直條紋用非均勻性校正很難去掉,因為其是熱像儀受到芯片周圍電路溫度影響而產生的,采用非均勻性校正處理時僅能校正與擋板溫度接近的垂直條紋,當真實溫度與擋板溫度差超過2℃時,垂直條紋依然會存在。在實際使用中,熱像儀長時間工作更容易產生垂直條紋,垂直條紋比較影響缺陷特別是與垂直條紋平行的裂紋的判斷。TENDERO 等[12]采用列方向中值直方圖均衡化方法對垂直條紋進行去除,但該方法需要進行直方圖均衡以及逆變換,算法復雜度高、計算量大;WANG等[13]提出了一種利用迭代計算獲取條紋噪聲的校正算法,該算法迭代次數多,不易實時處理。張盛偉等[14]提出了基于引導濾波提取垂直條紋噪聲校正項,再對噪聲進行校正的方法,該方法具有算法復雜度低、可實時等優點。不同紅外熱像儀采集圖像中的垂直條紋去除前后對比如圖3所示。圖3(a)為制冷紅外熱像儀采集的圖像,并且經過數字細節增強,圖中可以看到微弱的垂直條紋,條紋去除后圖像如圖3(b)所示;圖3(c)為非制冷紅外熱像儀采集的圖像,圖像中垂直條紋明顯,條紋去除后如圖3(d)所示,可見垂直條紋去除干凈,試件表面的水平弧形紋理和試件邊緣都沒有變模糊,故垂直條紋去除算法不會影響圖像的清晰度,不會模糊圖像的細節信息。

圖3 不同紅外熱像儀采集圖像中的垂直條紋去除前后對比

1.4 圖像濾波

紅外熱像儀噪聲主要包括熱噪聲、散粒噪聲、固定圖案噪聲、1/f噪聲等。通常,非制冷紅外熱像儀噪聲比制冷紅外熱像儀噪聲嚴重得多[15]。但制冷紅外熱像儀采集圖像增強后或者采集均勻的黑體圖像中也會出現噪聲,非制冷紅外熱像儀采集圖像增強后噪聲更加明顯。傳統紅外圖像去噪方法主要有空域和頻域兩種方法,空域方法除了常規的中值濾波、均值濾波外,還可以采用引導濾波進行噪聲去除,噪聲去除效果最好的為三維塊匹配(BM3D)的圖像濾波算法[16-18]。不同紅外熱像儀采集圖像的引導濾波和BM3D濾波的效果對比如圖4所示,其噪聲圖像分別為圖3中條紋去除后的圖像。由圖4可以看出,經過垂直條紋去除以及圖像濾波后,圖像噪聲變小,已經很難分辨是什么類型紅外熱像儀采集的圖像。從圖像濾波效果上看,BM3D濾波圖像比引導濾波圖像更加光滑,細節更為清晰。

2 序列圖像處理方法

紅外序列圖像處理方法主要包括熱波信號重建技術、主成分分析技術、獨立成分分析技術、脈沖相位法。文章除介紹該技術研究狀況以外,同時會采用該技術對序列圖像進行處理。處理的圖像來自于同一套閃光燈激勵紅外無損檢測系統,閃光燈能量為12 000 J,閃光燈脈沖寬度為3 ms,紅外熱像儀為制冷熱像儀FLIR X6530SC,分辨率為640 像素×512 像素,等效噪聲溫差小于20 mK。試件為塑料平底孔,共含15個平底孔缺陷,缺陷直徑為20 mm,缺陷深度從0.25 mm 至3.75 mm 不等,采集時間為70 s,采集頻率為100 Hz。

2.1 熱波信號重建技術

熱波信號重建技術(TSR)主要用于對脈沖激勵的紅外序列圖像進行增強。對采集的熱激勵后的紅外圖像序列減去背景后,對每一個像素點的溫差數據進行取雙對數操作,并進行多項式擬合,再對擬合數據求一階導、二階導,獲得1-D、2-D圖像。導數圖像不僅可以消除表面加熱不勻的影響,也可以對圖像細節信息進行增強,提早發現缺陷信息,同時可以利用導數圖像對缺陷深度進行測量[19-20]。李艷紅[21]對熱波信號重建技術進行了詳細分析和研究,梁濤[22]采用熱波信號重建技術對復合材料沖擊損傷后的缺陷特征進行研究,試驗結果表明,采用熱波信號重建技術和主成分分析技術在缺陷特征提取方面效果更好。熱波信號重建圖像序列如圖5所示。圖5(a)為不同時刻的原始圖像,0.1 s時看不見缺陷信息,可以清楚看到試件表面的紋理信息,也可看出由于缺陷深度不同,缺陷是逐漸顯現的。從圖5(b)、(c)可以看出,導數圖像比原始圖像更清晰,圖像邊緣更銳利。

圖5 熱波信號重建的圖像序列

2.2 主成分分析技術

主成分分析(PCA)技術是利用數學原理,找出一組最優的基向量來表征紅外圖像序列之間的關系。其用最少的特征來表述更多的圖像信息,是一種具有圖像降維特性的圖像序列處理方法。從本質上說,PCA可以把復雜數據關系降低為簡單數據關系。采用PCA可以提取紅外圖像序列中較高的主成分,同時可以對紅外序列圖像進行壓縮。董毅旺等[23]探究了玻璃鋼平底孔試件融合區間對PCA 算法處理結果的影響,提出了可依據溫差峰值選擇融合區間。WANG等[24]對玻璃鋼纖維復合材料脫黏缺陷采用TSR、PCA、FFT 等方法進行研究發現,PCA算法的缺陷識別率最高。同時,研究人員對復合材料分層、沖擊損傷圖像序列進行處理時發現,采用PCA算法可以有效提高圖像信噪比和缺陷識別能力。圖像的主成分分析結果如圖6所示,第一主成分包含全部的缺陷信息,其余主成分更多地包含了試件表面的紋理信息。

圖6 圖像的主成分分析法處理結果

2.3 獨立成分分析技術

獨立成分分析(ICA)技術是從獲得的多種觀測信號中提取出獨立信號。觀測信號是一個線性組合,該組合由多個獨立的分量構成,ICA 就是一個解混過程,最終獲得的圖像具有非高斯特征。對紅外圖像序列進行盲源分離,目的是把隱含的獨立信號分離開[25-26]。WANG等[27]對包覆層高硅氧酚醛樹脂板材缺陷進行了檢測,研究對比了主成分分析、獨立成分分析、脈沖相位法算法對紅外序列圖像的處理效果,結果表明獨立成分分析算法能顯著提高信噪比。LIU 等[28]采用渦流脈沖熱成像技術檢測復合材料人工分層缺陷,用主成分分析、獨立成分分析、脈沖相位法3種算法對紅外序列圖像進行處理,結果表明獨立成分分析算法在處理深度缺陷時表現更好。袁麗華等[29]對復合材料沖擊損傷進行了提取,由重構矩陣得到獨立成分特征圖像,從而獲得最大損傷長徑和損傷短徑的缺陷表征量。圖像的獨立成分分析結果如圖7所示,可見,相對于主成分分析結果圖像,其顯示的試件表面紋理信息更少,更多的是試件的內部信息。

圖7 圖像的獨立成分分析法處理結果

2.4 脈沖相位法

脈沖相位法(PPT)從紅外圖像序列中提取相位,通過相位差來判定缺陷信息,結合了脈沖激勵技術和脈沖鎖相技術的優點。其核心是對紅外圖像序列進行傅里葉變換,可以消除表面加熱不勻、表面發射率的影響。該方法對空域內噪聲有一定的抑制作用,可以提高圖像的對比度[30]。劉穎韜等[31]采用脈沖相位法對復合材料進行了研究分析,試驗結果表明脈沖相位法用于復合材料檢測是可行的。陶勝杰等[32]研究了脈沖相位法,結合熱擴散深度提出了最佳采樣長度估算公式,提高了相位計算速度。圖像的脈沖相位法結果如圖8所示,可見其能得到不同頻率下的振幅和相位信息,以及缺陷的深度信息。

2.5 二階導峰值法

二階導峰值法(PSDT)以熱波信號重建技術為基礎,將雙對數曲線(對數溫差-對數時間)的二階峰值時間作為特征時間,不需要選擇非缺陷區域作為參考區域。PSDT用于深度測量時,不會因為參考信號引入誤差。線性擬合二階導峰值時間與試件深度的平方,再將二階導峰值時間代入擬合參數便可計算出缺陷深度信息。王中華等[33]采用PSDT對不銹鋼平底孔缺陷進行了測量,獲得了缺陷深度信息。李美華等[34]通過ANSYS軟件模擬分析和試驗驗證了PSDT對平底孔缺陷的檢測可行性,結果表明PSDT 對缺陷深度的測量精度為0.36%～20%,測量誤差主要受三維熱擴散的影響。ZENG等[35]采用PSDT對鋁和不銹鋼平底孔缺陷進行了深度測量,得到了可靠性較高的測量結果。上述研究主要對單個像素點的單條曲線進行研究,文章重塑了PSDT 算法并獲取了整幅圖像的深度信息,如圖9(a)所示,對應的是圖像中5個點的二階導曲線,求出該曲線的二階導峰值,二階導峰值對應時間構成的峰值時間圖像如圖9(b)所示;二階導峰值構成了峰值圖像,如圖9(c)所示;二階導峰值和二階導峰值時間圖像邊緣都比較清晰,包含了所有的缺陷信息,由峰值圖像和峰值時間圖像可以得出缺陷深度圖像,缺陷深度圖像能更為直觀地展示不同深度的缺陷信息,如圖9(d)所示。

圖9 圖像的二階導峰值法處理結果

3 未來發展趨勢

文章對單幀紅外圖像處理方法和紅外序列圖像處理方法進行了介紹,同時采用紅外圖像對各個算法進行了驗證,試驗結果表明,TSR、PCA、ICA、PPT、PSDT都有各自的適用范圍,要判斷哪種方法效果好,需對各方法的圖像處理效果進行對比才能得出結論。TSR和PSDT需要面激勵源激勵試件表面且紅外序列圖像僅采集降溫段數據,適用于閃光燈激勵、激光激勵、鹵素燈短脈沖激勵,不適用于超聲激勵、渦流激勵方式;PCA和ICA對激勵方式基本沒有限制,適用于各種激勵方式。紅外圖像處理的目的不僅是獲取缺陷的位置信息,還要獲取缺陷的深度信息,對序列圖像處理是未來圖像處理的發展方向。另一方面,現有的缺陷需要人工判斷,準確度非常依賴于檢測人員的經驗。隨著深度學習方法研究的深入,其在目標檢測、語義分割、圖像去模糊等領域的表現獲得了認可。深度學習的算法較傳統神經網絡算法神經層深度增加,具有更好的特征信息感知能力,并且解決了容易收斂到局部最優解的問題,更容易實現缺陷的自動識別。采用深度學習方法的圖像處理效果如圖10所示,可見,圖像去模糊處理后,缺陷邊緣清晰、銳利;采用深度學習語義分割模型,可以獲得缺陷信息,自動過濾背景信息,很適合缺陷的自動分割和自動判斷,欲獲取缺陷的深度信息,可以采用更加復雜或者特殊定制的深度學習模型。

圖10 深度學習方法的圖像處理效果模型

4 結語

熱波是一種衰減波,會導致紅外圖像邊緣模糊,對比度降低,采用原始的紅外圖像往往達不到理想的效果,因此需要采用合適的紅外圖像處理方法。文章介紹和總結了單幀紅外圖像處理方法和紅外序列圖像處理方法,并用紅外圖像對各種處理方法進行了驗證。通過文章綜述可以得知,不同的缺陷適合于不同的圖像處理方法。如文章試驗采用的是塑料平底孔缺陷,該缺陷的二階導峰值法處理效果更佳,不僅可以過濾掉背景信息,更可以獲取缺陷深度信息。隨著人工智能深度學習的發展,通過算法創新、優化與改進獲取紅外圖像中的語義信息,有望實現紅外圖像的圖像去模糊、超分辨率重建、目標檢測、語義分割和場景理解,推動紅外無損檢測技術在人工智能領域的應用和發展,實現紅外無損檢測缺陷判定由人工識別向智能自動化識別方向發展。