基于時(shí)序信息的紅外圖像缺陷信息提取

王東升，王海龍,2，張 芳,3，韓林芳,3，趙怡琳,3

（1.中國(guó)礦業(yè)大學(xué)（北京）力學(xué)與建筑工程學(xué)院，北京 100083；2.河北省土木工程診斷、改造與抗災(zāi)重點(diǎn)實(shí)驗(yàn)室，河北 張家口，075000；3.深部巖土力學(xué)與地下工程重點(diǎn)實(shí)驗(yàn)室，北京 100083）

0 引言

混凝土材料往往因?yàn)轭A(yù)埋鋼筋的腐蝕、水的侵蝕、連續(xù)的凍融循環(huán)、荷載等多種因素共同作用，產(chǎn)生裂縫、孔洞和分層等缺陷[1]。這些內(nèi)部缺陷隨著時(shí)間的推移會(huì)逐漸積聚、擴(kuò)展，嚴(yán)重威脅著結(jié)構(gòu)的耐久性和安全性[2]。主動(dòng)紅外熱像檢測(cè)方法作為一種無(wú)損檢測(cè)手段，由于具有檢測(cè)面積大、非接觸式和應(yīng)用操作簡(jiǎn)單等優(yōu)點(diǎn)在混凝土結(jié)構(gòu)檢測(cè)領(lǐng)域得到了廣泛的關(guān)注，并逐漸被應(yīng)用到了隧道、橋梁現(xiàn)場(chǎng)檢測(cè)中。

主動(dòng)紅外熱像檢測(cè)技術(shù)是一種利用紅外熱像儀檢測(cè)材料內(nèi)部缺陷的無(wú)損檢測(cè)方法，其檢測(cè)的基本原理是：材料被熱激勵(lì)后其表面紅外輻射量因內(nèi)部缺陷的存在而表現(xiàn)出差異，紅外熱像儀通過(guò)記錄該差異，以獲得材料內(nèi)部的缺陷信息[3]。紅外圖像的信息提取與分析是紅外熱像檢測(cè)技術(shù)的核心內(nèi)容。理論上，根據(jù)熱圖像缺陷區(qū)域和正常區(qū)域之間的紅外輻射差異可獲得缺陷的信息。但實(shí)際上，紅外圖像本質(zhì)是根據(jù)缺陷與正常區(qū)域之間的溫度和輻射率生成的灰度圖，而且紅外光輻射的能量遠(yuǎn)比可見(jiàn)光低，因此到達(dá)光學(xué)鏡頭的紅外輻射能很小，導(dǎo)致了紅外圖像與可見(jiàn)光圖像相比只有較低的對(duì)比度，分辨弱小目標(biāo)和細(xì)節(jié)能力差[4]；另外，紅外光子的隨機(jī)性、紅外成像系統(tǒng)的固有特性以及熱激勵(lì)不均勻等給紅外圖像引入了許多噪聲，在一定程度上改變了圖像的原始信息，增加了圖像分割及后續(xù)圖像處理的難度[5-6]。傳統(tǒng)的基于空域的紅外圖像處理方法主要分為兩個(gè)大的步驟：首先，是對(duì)紅外圖像進(jìn)行降噪和增強(qiáng)，常用的方法有高斯濾波、中值濾波、引導(dǎo)濾波、小波變換、Contourlet 變換、三維塊匹配算法等[7-10]；其次，對(duì)紅外圖像進(jìn)行邊緣特征的提取，常用的方法有：基于邊緣的檢測(cè)算法、基于數(shù)學(xué)形態(tài)的檢測(cè)算法和最近發(fā)展較快的基于網(wǎng)絡(luò)模型的檢測(cè)算等[11-12]。傳統(tǒng)的基于單張空域的紅外圖像處理方法雖然在一定程度上可以消除噪聲的影響、提高圖像的對(duì)比度，但是仍存在一些問(wèn)題。第一，采集的數(shù)據(jù)集包含大量的熱圖像，每一幀紅外圖像都對(duì)應(yīng)著某一時(shí)刻，依靠視覺(jué)手動(dòng)選擇缺陷信息豐富的紅外圖像進(jìn)行缺陷信息的提取的識(shí)別費(fèi)時(shí)費(fèi)力。第二，在圖像降噪、增強(qiáng)和圖像分割過(guò)程中設(shè)定閾值會(huì)引入主觀成分，干擾紅外圖像的解釋。第三，僅僅分析單張紅外圖像，忽略采集過(guò)程中的時(shí)序信息可能會(huì)導(dǎo)致忽略一些邊緣的缺陷信息[13-14]。

針對(duì)上述問(wèn)題，本文提出了一種基于時(shí)序信息的紅外圖像缺陷信息提取方法。首先，通過(guò)室內(nèi)實(shí)驗(yàn)制作含缺陷分層的混凝土試塊，其次利用主動(dòng)紅外熱像檢測(cè)技術(shù)進(jìn)行紅外數(shù)據(jù)的采集，提取每個(gè)像素點(diǎn)的溫度特征曲線，然后采用基于時(shí)序信息的提取方法進(jìn)行含分層缺陷混凝土的缺陷提取，并與傳統(tǒng)的基于空域的處理方法進(jìn)行對(duì)比分析。

1 基本原理

1.1 主動(dòng)紅外熱像檢測(cè)技術(shù)原理和系統(tǒng)

主動(dòng)紅外熱像檢測(cè)技術(shù)中，當(dāng)以一定的距離對(duì)混凝土材料表面持續(xù)加熱時(shí)，物體會(huì)吸收入射波的能量并將其轉(zhuǎn)化為熱能，并以溫度場(chǎng)的形式表現(xiàn)出來(lái)。如果試樣存在缺陷（本研究采用的是隔熱型缺陷，模擬混凝土內(nèi)部的空氣分層缺陷），到達(dá)缺陷的大部分能量將反射到試樣表面，引起表面正常區(qū)域和有缺陷區(qū)域溫度場(chǎng)的差異。

利用紅外熱像儀記錄整個(gè)檢測(cè)過(guò)程中物體表面溫度場(chǎng)的空間和時(shí)間分布信息，通過(guò)對(duì)紅外圖像數(shù)據(jù)進(jìn)行分析和處理進(jìn)而可以提取材料近表層的分層缺陷信息。主動(dòng)紅外熱像檢測(cè)技術(shù)采集到的一系列紅外圖像組成了一個(gè)三維的圖像數(shù)據(jù)集[15]（尺寸：Nx×Ny×Nt，見(jiàn)圖1(a)），在空間維度上，每一幀對(duì)應(yīng)著某一時(shí)刻紅外熱像儀所采集到的物體表面溫度場(chǎng)信息，其像素個(gè)數(shù)為Nx×Ny；在時(shí)間維度上，每個(gè)像素點(diǎn)可以看作是一條隨時(shí)間變化的溫度特征曲線（Nt時(shí)間點(diǎn)組成），如圖1(b)所示，其中標(biāo)簽NT11 DEFECT表示缺陷區(qū)域的溫度特征曲線，標(biāo)簽NT11 NORMAL表示正常區(qū)域的溫度特征曲線。

圖1 主動(dòng)紅外熱成像采集的數(shù)據(jù)結(jié)構(gòu)：(a)三維紅外數(shù)據(jù)；(b)像素點(diǎn)溫度特征曲線Fig.1 Active infrared thermal imaging acquisition of data structures(a)Three-dimensional infrared data;(b)Temperature characteristic curves of pixels

1.2 基于時(shí)序信息的缺陷信息提取原理

主動(dòng)紅外熱像技術(shù)采集到的三維紅外圖像數(shù)據(jù)，其正常區(qū)域和含缺陷的區(qū)域每個(gè)像素點(diǎn)的溫度特征曲線在冷卻階段會(huì)存在差異，如圖1(b)所示，利用這個(gè)特點(diǎn)我們可以采用許多能夠分辨這個(gè)特征曲線差異值的相關(guān)算法進(jìn)行缺陷信息的提取，本文采用相對(duì)簡(jiǎn)單、容易實(shí)施的K-means 方法來(lái)提取混凝土的缺陷信息。K-means 聚類(lèi)方法的原理是同一類(lèi)內(nèi)的實(shí)體是相似的，一個(gè)類(lèi)是測(cè)試空間中點(diǎn)的集合，同一類(lèi)內(nèi)任意一個(gè)點(diǎn)到其類(lèi)中心的距離小于其到其它類(lèi)中心的距離，我們可以用此算法分辨正常區(qū)域和缺陷區(qū)域的溫度特征曲線[16]。K-means 方法的關(guān)鍵是核函數(shù)的選取，核函數(shù)決定了其分辨能力，本文采用常用的馬氏距離進(jìn)行度量。其具體算法原理如下[17]：

假設(shè)給定的數(shù)據(jù)集為Y＝{y1,y2,…,ym}，其中yi＝[X1,X2,…,Xn]，將數(shù)據(jù)對(duì)象劃分為k類(lèi)C＝{c1,c2,…,ck}，每個(gè)類(lèi)有一個(gè)類(lèi)中心U＝{u1,u2,…,uk}。選取歐式距離作為相似性和距離判斷準(zhǔn)則，計(jì)算ck類(lèi)內(nèi)各點(diǎn)到聚類(lèi)中心uk的距離平方和，見(jiàn)公式(1)：

聚類(lèi)的目標(biāo)是使各類(lèi)總的距離平方和最小，見(jiàn)公式(2)：

根據(jù)最小二乘法和拉格朗日原理，聚類(lèi)中心uk應(yīng)該取為類(lèi)別ck類(lèi)各數(shù)據(jù)點(diǎn)的平均值。

K-means 算法是一個(gè)反復(fù)迭代過(guò)程，目的是使聚類(lèi)域中所有的點(diǎn)到聚類(lèi)中心距離的平方和最小。

2 實(shí)驗(yàn)與數(shù)據(jù)分析

2.1 實(shí)驗(yàn)過(guò)程

本次實(shí)驗(yàn)混凝土試件的設(shè)計(jì)強(qiáng)度為C50，尺寸為50 cm×50 cm×20 cm，在混凝土中嵌入4 塊尺寸為10 cm×10 cm 的聚苯乙烯材料（隔熱型材料），模擬混凝土中的分層缺陷，混凝土試塊見(jiàn)圖2(a)。試驗(yàn)采用美國(guó)FLIR 公司的A655SC 非制冷型紅外熱像儀，其熱靈敏度為30 mK，圖像分辨率為640×480，標(biāo)準(zhǔn)測(cè)溫范圍為－40℃～150℃，波長(zhǎng)范圍為7.5～14 μm，見(jiàn)圖2(b)。主動(dòng)熱激勵(lì)系統(tǒng)采用自制的配有自動(dòng)控制加熱時(shí)間的碳化硅遠(yuǎn)紅外加熱板，共2 塊，每塊加熱板的加熱功率為500 W，見(jiàn)圖2(c)。整個(gè)實(shí)驗(yàn)過(guò)程中加熱時(shí)間為5 min，冷卻時(shí)間為10 min；加熱完成后，立即用紅外熱像儀采集試樣表面的冷卻溫度場(chǎng)，整個(gè)采集系統(tǒng)見(jiàn)圖3所示，本文選用的是持續(xù)加熱法。

圖2 實(shí)驗(yàn)試塊和儀器：(a)混凝土試塊；(b)紅外熱像儀；(c)紅外加熱板Fig.2 Test blocks and instruments:(a)Concrete test block;(b)Infrared thermal imager;(c)Infrared heating plate

圖3 主動(dòng)紅外熱像采集系統(tǒng)Fig.3 Active infrared thermography acquisition system

2.2 紅外圖像數(shù)據(jù)

實(shí)驗(yàn)采集到的紅外圖像序列如圖4所示，根據(jù)紅外圖像可以發(fā)現(xiàn)一共存在4 塊分層缺陷，各個(gè)缺陷之間存在溫度場(chǎng)相互影響的干擾區(qū)，而且各個(gè)缺陷的輪廓比較模糊，存在被隱藏的缺陷信息。整個(gè)采集的紅外圖像數(shù)據(jù)的第一幀（0 s）最清晰，其正常區(qū)域和缺陷區(qū)域存在較大的溫差；之后隨著冷卻的進(jìn)行，正常區(qū)域和缺陷區(qū)域的溫差逐漸減小，缺陷信息逐漸模糊，至最后一幀很難用肉眼分辨。

圖4 混凝土試塊紅外圖像數(shù)據(jù)Fig.4 Infrared image data of concrete block

3 紅外圖像處理和對(duì)比分析

3.1 紅外圖像缺陷提取

主動(dòng)紅外熱像檢測(cè)技術(shù)所采集的圖像每一幀都含有大量的噪聲，為了測(cè)試基于時(shí)序信息紅外圖像缺陷信息提取的可行性以及性能，本次在圖像特征提取前不對(duì)圖像進(jìn)行預(yù)處理。首先，將紅外圖像數(shù)據(jù)按像素點(diǎn)逐個(gè)提取時(shí)間序列，組成聚類(lèi)數(shù)據(jù)集；然后將時(shí)序數(shù)據(jù)序列輸入到K-means 程序中，進(jìn)而得到每一幀各個(gè)像素點(diǎn)的聚類(lèi)信息。為了提高運(yùn)算效率，本次在圖像序列處理中采樣間隔為1，其序列長(zhǎng)度減小為原來(lái)的一半。聚類(lèi)完成后得到圖像中每一個(gè)像素點(diǎn)所屬的類(lèi)別，進(jìn)而完成對(duì)圖像缺陷信息的提取。

圖5 為經(jīng)過(guò)聚類(lèi)后的提取結(jié)果，通過(guò)觀察發(fā)現(xiàn)4個(gè)缺陷信息都被提取出來(lái)，與原始紅外圖像相比（圖4），其缺陷信息有了明顯的增強(qiáng)，缺陷信息完全肉眼可見(jiàn)，每個(gè)識(shí)別出的缺陷區(qū)域呈近似正方形，完整性相當(dāng)好，接近于預(yù)埋缺陷的形狀，而且缺陷提取后的圖像序列的時(shí)序信息得以保留。

圖5 處理后的紅外圖像Fig.5 Processed infrared image

3.2 對(duì)比分析

為了測(cè)試基于時(shí)序信息紅外圖像分層缺陷的信息提取效果，本文采用基于空域的二維K-means 圖像缺陷信息提取算法與其進(jìn)行對(duì)比。由于采集的紅外圖像數(shù)據(jù)集第一幀（0 s）缺陷信息最清晰，因此選用第一幀紅外圖像進(jìn)行基于空域的分層缺陷信息提取。兩種方法的分層缺陷信息提取結(jié)果見(jiàn)圖6，由圖6(b)所示，基于時(shí)序信息的分層缺陷提取方法4 個(gè)分層缺陷都被完全提取出來(lái)，圖6(a)中模糊、隱藏的信息也被提取出來(lái)，缺陷細(xì)節(jié)分辨能力較好。由圖6(c)所示，基于空域信息的分層缺陷信息提取方法4 個(gè)分層缺陷被識(shí)別為一個(gè)缺陷，缺陷細(xì)節(jié)分辨能力較差。通過(guò)分析可能是受缺陷之間溫度場(chǎng)疊加的相互影響，缺陷之間區(qū)域（圖6(a)中虛線框內(nèi)部所示的無(wú)缺陷區(qū)域）的溫度信息和分層缺陷的溫度場(chǎng)信息較為接近，而和圖6(a)的無(wú)缺陷邊緣溫度場(chǎng)信息差異較大，導(dǎo)致基于空域信息的提取方法效果較差；根據(jù)含缺陷混凝土試塊的物理特性可知，存在分層缺陷和正常區(qū)域的溫度特征曲線是存在差異的，基于時(shí)序信息的提取方法主要是根據(jù)每個(gè)像素點(diǎn)的溫度特征曲線差異來(lái)提取特征，其提取缺陷的分辨能力和效果更好。

圖6 處理結(jié)果對(duì)比分析：(a)紅外原圖；(b)基于時(shí)序K-means 方法；(c)基于空域K-means 方法Fig.6 Comparative analysis of processing results:(a)Original infrared image;(b)K-means method based on temporal information;(c)K-means method based on spatial information

4 結(jié)論

主動(dòng)紅外熱像檢測(cè)技術(shù)中，傳統(tǒng)的紅外圖像處理方法在一定程度上可以消除噪聲、提高圖像的對(duì)比度，但是仍存在一些問(wèn)題。針對(duì)上述問(wèn)題，本文根據(jù)主動(dòng)紅外熱成像的數(shù)據(jù)特點(diǎn)提出了一種基于時(shí)序信息的紅外圖像缺陷信息提取方法。結(jié)果表明，基于時(shí)序信息的缺陷提取方法是可行的，其可以提取到隱藏的缺陷信息，分層缺陷信息提取效果優(yōu)于基于空域的K-means 方法。