基于YOLO V5算法的建筑外立面滲漏紅外圖像識別方法

吳玉龍,王嘉浩,丁 勇

(1.昆山市建設(shè)工程質(zhì)量檢測中心,昆山 215337;2.南京理工大學(xué) 理學(xué)院,南京 210094)

滲漏是建筑物常見且危害性極大的典型病害,其發(fā)展初期在時空上具有隨機性、隱蔽性等特征[1],通常不易被察覺,一旦發(fā)展到后期,將會造成十分嚴(yán)重的后果[2]。如何快速識別并定位建筑物的早期滲漏,進而及時、精確地進行除險加固和搶險救災(zāi)等工作,是保障建筑物安全的關(guān)鍵[3]。目前,用于建筑物滲漏隱患探測的常用手段有人工目測、開挖及鉆孔勘測、彈性波探測、溫度場探測、同位素示蹤和電阻率探測等[4-8],但大量工程案例表明,采用單一手段容易造成對建筑物滲漏隱患的誤判甚至漏判,極大降低了搶險救災(zāi)工作的效率;此外,有些方法還會造成建筑物結(jié)構(gòu)的二次破壞,加快建筑物結(jié)構(gòu)的老化和病變速度,產(chǎn)生更多的次生隱患。

隨著科技的發(fā)展,利用搭載高清可見光相機、紅外熱像儀等圖像采集裝置的爬壁機器人、無人機等設(shè)備進行掃描巡查,逐漸成為滿足工程快速無損檢測需求的熱門檢測方法[9-11]。紅外熱成像檢測技術(shù)可通過非接觸方式,獲取建筑物對熱激勵的異常響應(yīng),實現(xiàn)建筑外立面滲漏的檢測識別,近年來被廣泛應(yīng)用于建筑物裂縫檢測、輸電線路故障檢測、野外搜救等領(lǐng)域[12-16]。隨著紅外熱成像技術(shù)的不斷發(fā)展,紅外熱成像儀因具有成像距離遠、不受晝夜限制等特點而得到了廣泛應(yīng)用,但是滲漏的紅外圖像具有信噪比低、目標(biāo)尺寸小、特征不明顯等特點,加之場景復(fù)雜度不斷提升,雜波干擾嚴(yán)重,導(dǎo)致現(xiàn)有的紅外滲漏區(qū)域識別方法應(yīng)用于復(fù)雜場景時性能衰減。再加上建筑外立面會受材料不同、存在裂縫、存在剝落等因素影響,故如何有效地識別出建筑外立面紅外圖像中的滲漏區(qū)域仍是一大難點。

由于紅外目標(biāo)數(shù)據(jù)集具有保密性強、公開數(shù)據(jù)集少等特點,沒有可供深度學(xué)習(xí)訓(xùn)練使用的建筑外立面滲漏紅外圖像數(shù)據(jù)集,為了減少對真實建筑外立面滲漏紅外圖像數(shù)量的需求,筆者結(jié)合仿真滲漏紅外圖像與真實滲漏紅外圖像來制作數(shù)據(jù)集,作為深度學(xué)習(xí)的樣本進行訓(xùn)練。采用特征自適應(yīng)遷移學(xué)習(xí)的方法,完成仿真及目標(biāo)識別。

隨著近些年深度學(xué)習(xí)在目標(biāo)識別領(lǐng)域的不斷發(fā)展,越來越多算法被不斷提出,其中YOLO V5算法具有速度快、準(zhǔn)確率高等特點而得到了廣泛應(yīng)用。YOLO V5算法在小目標(biāo)識別時具有很好的性能,識別目標(biāo)像素分辨率較小,因此計算量相對較小。筆者以YOLO V5算法為基礎(chǔ)進行改進,通過更換特征金字塔網(wǎng)絡(luò),降低計算成本,有效完成了建筑外立面紅外圖像滲漏區(qū)域的識別。

1 基本原理與技術(shù)路線

為了能夠識別建筑外立面紅外圖像的滲漏區(qū)域,通過ANSYS軟件仿真生成建筑外立面滲漏紅外圖像,使用紅外熱成像儀對建筑外立面滲漏模擬試驗進行紅外圖像采集,將仿真圖像和真實圖像結(jié)合制作建筑外立面滲漏紅外圖像數(shù)據(jù)集,用于后續(xù)深度學(xué)習(xí)模型的訓(xùn)練與識別。

選用YOLO V5模型進行訓(xùn)練與后續(xù)的識別,Focus、C3Net是YOLO V5在骨干網(wǎng)絡(luò)上采用的主要網(wǎng)絡(luò)結(jié)構(gòu)。在滲漏識別過程中,目標(biāo)的尺度可能會存在變化較大的情況,會對識別精度產(chǎn)生一定的影響。特征金字塔可解決此問題,但可能會破壞不同尺度滲漏的特征一致性。而且,在實際應(yīng)用中,常用的方法很難在保證識別實時性的同時提高多尺度滲漏的識別精度。

為了解決模型大小與識別精度不相容的問題,在YOLO V5 模型的基礎(chǔ)上引入了AAM-FEMFPN以及自動學(xué)習(xí)數(shù)據(jù)增強模塊,進一步提高模型的識別性能。將原有的FPN(特征金字塔)結(jié)構(gòu)替換為AAM-FEM-FPN,增加了自適應(yīng)注意力模塊(AAM)和特征增強模塊(FEM),以提高識別多尺度目標(biāo)的能力,并在識別速度和準(zhǔn)確率之間做出有效的權(quán)衡,在實時識別的前提下,改進了YOLO V5網(wǎng)絡(luò)的目標(biāo)識別性能。此外,筆者通過去除原始網(wǎng)絡(luò)中的mosaic augmentation(馬賽克增強)并根據(jù)自動學(xué)習(xí)數(shù)據(jù)增強策略使用最佳數(shù)據(jù)增強方法來豐富數(shù)據(jù)集并提高訓(xùn)練效果。

基于傳統(tǒng)特征金字塔網(wǎng)絡(luò)的架構(gòu),AAM-FEMFPN增添自適應(yīng)注意力、特征增強兩個模塊。前者通過減少特征金字塔的特征通道,來規(guī)避高級特征映射的上下文信息丟失;后者通過增強特征金字塔的表示,以達到更佳的性能,紅外圖像滲漏識別技術(shù)路線如圖1所示。

圖1 紅外圖像滲漏識別技術(shù)路線

2 基于仿真的滲漏紅外圖像生成方法

使用ANSYS軟件制作仿真滲漏區(qū)域紅外圖像,將ANSYS仿真與室內(nèi)試驗和室外試驗關(guān)聯(lián)的關(guān)鍵方法包括熱特性校準(zhǔn)、環(huán)境條件模擬、材料特性匹配、外部輻射源模擬和數(shù)據(jù)對比與驗證等。通過校準(zhǔn)參數(shù)、模擬環(huán)境、匹配材料特性和驗證數(shù)據(jù),可以提高仿真模型的準(zhǔn)確性和逼真度。滲漏模型建立過程示意如圖2所示,首先在ANSYS-ICEM 中建立滲漏模型以及滲漏點(滲漏點可在模型區(qū)域內(nèi)的任一位置),采用的模型尺寸為3 000 mm×2 000 mm(長×寬);滲漏點尺寸為5 mm×5 mm(長×寬)。然后根據(jù)模型的邊建立新的塊,并定義塊為液體、二維平面類型;接著對模型的邊和塊的邊進行關(guān)聯(lián)操作,并根據(jù)滲漏點的位置進行分塊操作。隨后選擇塊的邊進行節(jié)點定義,并對節(jié)點數(shù)進行調(diào)整。最后勾選pre-mesh生成網(wǎng)格并保存模型。

圖2 滲漏模型建立過程示意

使用ANSYS-Fluent導(dǎo)入上述保存的模型,調(diào)整好網(wǎng)格比例,并將y方向的重力加速度設(shè)置為9.8 m·s-2。接著設(shè)置能量方程、邊界條件等各項參數(shù),調(diào)整迭代次數(shù)后開始運算,最后生成仿真滲漏紅外圖像的RGB圖像和BGR圖像,以此來表示水溫高于坡面溫度以及水溫低于坡面溫度兩種情況,ANSYS軟件仿真滲漏紅外圖像如圖3所示。

圖3 ANSYS軟件仿真滲漏紅外圖像

3 基于試驗的滲漏紅外圖像生成方法

基于模擬試驗的滲漏區(qū)域紅外圖像生成方法分為室內(nèi)試驗和室外試驗法兩種,其試驗示意如圖4所示。

圖4 建筑外立面滲漏模擬試驗示意

室內(nèi)試驗使用木板代替混凝土墻面,在木板上鉆一個小孔,把連接水管的針口固定在小孔上,按一定速度勻速出水,模擬建筑外立面滲漏的情況,再使用紅外熱成像儀采集滲漏區(qū)域紅外圖像,室內(nèi)模擬試驗的滲漏區(qū)域紅外圖像如圖5所示。在開始試驗前,先對滲漏區(qū)域采集一張還未出水時的紅外圖像作為參考,然后打開水流控制器,以大約1 mL·min-1的流速勻速出水,每隔15 s采集一張紅外圖像。

圖5 室內(nèi)模擬試驗的滲漏區(qū)域紅外圖像

室外試驗時,在建筑外立面上固定好帶針頭的塑膠水管,按一定速度勻速出水,模擬建筑外立面滲漏的情況,再使用紅外熱成像儀采集滲漏區(qū)域紅外圖像,室外模擬試驗的滲漏區(qū)域紅外圖像如圖6所示。

圖6 室外模擬試驗的滲漏區(qū)域紅外圖像

室外環(huán)境溫度的變化,會使得滲漏水溫度和建筑外立面溫度出現(xiàn)非常接近甚至相同的情況。如果目標(biāo)本身具有較大的溫度差異,無論是否使用激勵,都可能在紅外圖像中清晰地顯示出來;如果目標(biāo)的溫度差異較小,使用激勵就可能增加目標(biāo)在紅外圖像中的可見性。由于建筑外立面與水的比熱容不同,此時可以通過紅外激勵的方式來增大兩者的溫差,使得通過紅外熱成像儀采集得到的滲漏區(qū)域圖像具有較為明顯的特征,紅外激勵條件下模擬建筑外立面滲漏紅外圖像如圖7所示。在識別建筑外立面滲漏區(qū)域時,使用紅外加熱燈進行加熱,不僅能夠擴大滲漏區(qū)域的識別時間段,而且能夠較大地提高滲漏區(qū)域的識別準(zhǔn)確率,大大減少漏檢的情況。

圖7 紅外激勵條件下模擬建筑外立面滲漏紅外圖像

不同材料和表面對紅外輻射具有不同的反射或吸收特性。符合紅外輻射特性的圖像能夠呈現(xiàn)物體表面的紋理和特征,以及物體或場景中的溫度分布差異。熱圖像常用不同顏色表示溫度,從而直觀地顯示出溫度分布情況。將符合紅外輻射特性的滲漏仿真紅外圖像用于深度學(xué)習(xí)模型初步訓(xùn)練,即可在滲漏仿真紅外圖像中學(xué)習(xí)到所需要的滲漏真實紅外圖像特征信息。通過得到的特征信息,能夠優(yōu)化神經(jīng)網(wǎng)絡(luò)各層參數(shù),使得神經(jīng)網(wǎng)絡(luò)對建筑外立面紅外圖像滲漏區(qū)域的特征適應(yīng)能力得到加強,以達到能夠高效準(zhǔn)確識別建筑外立面紅外圖像滲漏區(qū)域的目的。

4 外立面紅外圖像滲漏識別模型及效果

對于建筑外立面滲漏紅外圖像的小樣本問題,利用建筑外立面紅外滲漏圖像中的特征,開發(fā)了一種基于YOLO V5算法的外立面紅外圖像滲漏識別方法。將仿真紅外滲漏圖像與真實紅外滲漏圖像結(jié)合起來制作數(shù)據(jù)集,作為深度學(xué)習(xí)的樣本進行訓(xùn)練。

試驗采用基于pytorch深度學(xué)習(xí)框架搭建的改進YOLO V5網(wǎng)絡(luò),共收集了2 096張紅外滲漏圖像,其中訓(xùn)練集1 677張,測試集419張。最后,利用真實建筑外立面滲漏紅外圖像作為驗證集進行識別。

筆者通過對比準(zhǔn)確率、召回率、平均精確率等指標(biāo)來驗證改進后的YOLO V5模型的優(yōu)點。采用相同的數(shù)據(jù)集樣本,使用當(dāng)前常用的目標(biāo)識別主流模型(SSD,Faster-RCNN,YOLO V5)進行訓(xùn)練,不同模型識別結(jié)果對比如表1所示,表中精確度是指交并比(Io U)的閾值為0.5時,計算得到的平均精確度,建筑外立面紅外滲漏區(qū)域算法改進前后識別效果如圖8所示。

表1 不同模型識別結(jié)果對比

對比可見,YOLO V5算法在滲漏仿真紅外圖像的訓(xùn)練條件下具有一定的適應(yīng)性,并且具有較高的準(zhǔn)確率和召回率,平均置信度從改進前的68.3%提升到改進后的82.6%。結(jié)果表明,提出的識別方法在處理真實建筑外立面滲漏區(qū)域紅外圖像時具有較好的識別效果。

5 結(jié)語

為了減少對真實滲漏紅外圖像數(shù)量的需求,文章創(chuàng)新性地將仿真滲漏紅外圖像與真實滲漏紅外圖像進行結(jié)合以制作數(shù)據(jù)集,作為深度學(xué)習(xí)的樣本進行訓(xùn)練,利用改進后的YOLO V5模型實現(xiàn)建筑外立面滲漏區(qū)域紅外圖像的識別功能。試驗結(jié)果表明,提出的識別方法對建筑外立面滲漏區(qū)域紅外圖像有較高的準(zhǔn)確率和召回率,分別達到了87.6%和96.5%。