基于紅外注意力提升機(jī)制的熱成像測溫區(qū)域?qū)嵗指?/h1>
2022-01-04 09:43:10李俊杰
電子與信息學(xué)報 2021年12期 關(guān)鍵詞：檢測
易 詩 李俊杰 賈 勇
①(成都理工大學(xué)信息科學(xué)與技術(shù)學(xué)院(網(wǎng)絡(luò)安全學(xué)院、牛津布魯克斯學(xué)院) 成都 610059)
②(工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點(diǎn)實(shí)驗(yàn)室 重慶 400065)
③(太赫茲科學(xué)技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室 成都 610054)
1 引言
熱成像使用物體溫度差成像，可以實(shí)時反映物體溫度以進(jìn)行非接觸式快速溫度測量[1]。熱成像在醫(yī)學(xué)中廣泛使用，是一種非侵入性和非接觸式檢測方法，已用于溫度調(diào)節(jié)[2]、乳腺癌檢測[3,4]、新生兒監(jiān)測[5]、泌尿系統(tǒng)檢測[6]和血管領(lǐng)域疾病的檢測[7,8]。
在2020年爆發(fā)的新冠肺炎疫情中，AI+熱成像實(shí)時體溫監(jiān)控系統(tǒng)得到了廣泛的應(yīng)用。這種類型的系統(tǒng)的原理是使用深度學(xué)習(xí)目標(biāo)檢測方法來檢測紅外圖像中的行人頭部并測量頭部區(qū)域的溫度。然而，使用紅外熱成像人體溫度監(jiān)測系統(tǒng)的有效溫度測量區(qū)域是裸露的面部區(qū)域，僅在紅外圖像中檢測人的頭部區(qū)域會導(dǎo)致以下問題：(1)頭發(fā)、帽子、口罩和眼鏡等遮擋物會導(dǎo)致溫度測量區(qū)域過小而無法正確測量。(2)目標(biāo)檢測精度難以分割到像素級溫度測量區(qū)域。使用實(shí)例分割方法，可以對紅外圖像中的頭部的溫度測量區(qū)域進(jìn)行像素級精確分割，并且同時可以分割出面部的各類遮擋物，從而劃定紅外圖像中頭部裸露區(qū)域進(jìn)行更準(zhǔn)確的溫度測量，同時對于遮擋過多導(dǎo)致測溫區(qū)域過小無法正確測量的情況進(jìn)行警告提示。
可見光環(huán)境下的實(shí)例分割方法發(fā)展迅速。He等人[9]提出了最具代表性的深度學(xué)習(xí)實(shí)例分割方法(Mask Region Convolutional Neural Networks,Mask R-CNN)，該方法在可見光環(huán)境下對目標(biāo)進(jìn)行實(shí)例分割達(dá)到較高的分割精度但實(shí)時性不理想。文獻(xiàn)[10]提出了一種實(shí)時實(shí)例分割方法YOLACT(You Only Look At CoefficienTs)，該方法針對實(shí)例分割的實(shí)時性做出了改進(jìn)。2020年，實(shí)時無錨實(shí)例分割網(wǎng)絡(luò)以其準(zhǔn)確性和實(shí)時性而廣受歡迎，Lee等人[11]提出了一種具有準(zhǔn)確性和實(shí)時性的實(shí)時無錨點(diǎn)實(shí)例分割方法(Center Mask, CenterMask)。Xie等人[12]提出了一種以中心點(diǎn)向外極化方式進(jìn)行分割的無錨點(diǎn)實(shí)例分割方法(Polarization Mask,PolarMask)，進(jìn)一步提升了無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)的分割準(zhǔn)確性。對于可見光環(huán)境下的面部分割，Benini等人[13]提出了通過語義面部分割進(jìn)行面部分析的方法，能夠較精準(zhǔn)地分割可見光環(huán)境下的面部。紅外圖像中檢測面部方面研究近年來也有所發(fā)展，文獻(xiàn)[14]全面回顧了紅外面部識別的當(dāng)前方法和數(shù)據(jù)集，Yang等人[15]提出了一種基于YWF-SIFT(Y-styled Window Filter Scale Invariant Feature Transform)和多尺度融合的紅外圖像人臉識別的良好匹配方法，文獻(xiàn)[16]提出了熱成像圖像中人臉和眼睛的定位算法，用于測量人眼溫度。
上述方法涉及可見光環(huán)境下目標(biāo)實(shí)例分割、面部分割、紅外圖像中的面部識別與定位，然而目前尚未出現(xiàn)應(yīng)用于紅外測溫系統(tǒng)中的測溫區(qū)域?qū)崟r精確分割方法的研究。為此，本文提出了一種融合紅外注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)，用于紅外熱像測溫系統(tǒng)中頭部裸露測溫區(qū)域的實(shí)時準(zhǔn)確分割。該網(wǎng)絡(luò)根據(jù)紅外圖像的特性對網(wǎng)絡(luò)架構(gòu)進(jìn)行了改進(jìn)，在特征提取主干網(wǎng)絡(luò)與分割模塊中融入紅外空間注意力模塊 (Infrared Spatial Attention Module,ISAM)以優(yōu)化提取到的紅外圖像特征，使像素分割注意力集中于紅外圖像中信息豐富的像素，同時抑制紅外圖像中的噪點(diǎn)。采集制作了針對紅外熱成像測溫區(qū)域分割的“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”用于模型訓(xùn)練。最后通過實(shí)驗(yàn)證明，本文提出的融合紅外注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)對紅外熱成像測溫區(qū)域的分割對比其他實(shí)例分割方法更具優(yōu)勢。
2 算法
2.1 問題描述
熱成像體溫測量方法如圖1所示，紅外圖像中左邊測溫人由于頭發(fā)遮擋而無法正確測溫。圖1(a)所示目前普遍使用的紅外熱成像頭部檢測溫度測量方法，頭部測溫框檢測到了頭部，對遮擋部分進(jìn)行了測溫，顯示了31.2 °C的溫度測量值，而圖1(b)所示本文提出的紅外熱成像測溫區(qū)域?qū)嵗指顪囟葴y量方法，分割結(jié)果顯示頭發(fā)遮擋了有效測溫區(qū)域無法準(zhǔn)確測量，給出了遮擋的警告提示。
圖1 熱成像體溫測量方法
2.2 網(wǎng)絡(luò)框架
實(shí)例分割可以準(zhǔn)確地分割所需的目標(biāo)輪廓，從而達(dá)到像素級的精度。本文需要構(gòu)架一個實(shí)時實(shí)例分割網(wǎng)絡(luò)來分割紅外熱成像面部溫度測量區(qū)域和各種遮擋物。
本文構(gòu)建了一種實(shí)時無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)適合于根據(jù)紅外熱成像的特征分割紅外熱成像溫度測量區(qū)域和各種遮擋物。網(wǎng)絡(luò)架構(gòu)如圖2所示。
圖2 用于紅外熱成像溫度測量區(qū)域分割的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)結(jié)構(gòu)
該網(wǎng)絡(luò)分為紅外目標(biāo)無錨點(diǎn)檢測與紅外目標(biāo)分割兩個階段。
紅外目標(biāo)無錨點(diǎn)檢測階段，主干特征提取網(wǎng)絡(luò)考慮到檢測精度與實(shí)時性選用殘差網(wǎng)絡(luò)ResNet-50[17]，階段2-階段5為主干特征提取網(wǎng)絡(luò)中步長22～25層所提取的特征圖，低層的特征圖擁有較高的空間分辨率，能提供更多的定位信息，而高層的特征圖則融合更多的語義信息，因此可將低層和高層的特征圖融合成一個特征圖的金字塔網(wǎng)絡(luò) (Feature Pyramid Networks, FPN)特征提取方式用于檢測任務(wù)。出于減少算法復(fù)雜度的考慮，這里采用一種簡單的特征融合方式：首先將每一特征提取階段輸出特征圖通過紅外空間注意力模塊(ISAM)以強(qiáng)化特征圖中紅外圖像特征，再利用由512個3× 3卷積核所構(gòu)成的反卷積層1、由1024個3× 3卷積核所構(gòu)成的反卷積層2、由2048個3× 3卷積核所構(gòu)成的反卷積層3分別將第3、4和5階段的特征圖分辨率提升到和第2階段的特征圖分辨率保持一致，之后對所有要融合的特征圖進(jìn)行L2歸一化，將這些特征圖在通道維度上拼接起來，得到增強(qiáng)型紅外特征圖。獲取增強(qiáng)型紅外特征圖后進(jìn)行目標(biāo)檢測，由于無錨點(diǎn)檢測方式提供了一種將目標(biāo)檢測中密集滑窗或錨點(diǎn)框鋪設(shè)轉(zhuǎn)換為目標(biāo)關(guān)鍵點(diǎn)檢測的思路，提高了目標(biāo)檢測的精確性、實(shí)時性與通用性。因此，無錨點(diǎn)檢測方式更加適用于密集人群中實(shí)時檢測紅外圖像測溫區(qū)域，本文對獲取的增強(qiáng)型紅外特征圖采用文獻(xiàn)[18]提到的無錨點(diǎn)檢測方法得到檢測結(jié)果。
紅外目標(biāo)分割階段，分割部分第1層輸入特征圖大小為112×112，第2層輸入特征圖大小為56×56，第3層輸入特征圖大小為28×28，第4層輸入特征圖大小為14×14，每個卷積層均由80個3×3卷積核構(gòu)成。在分割部分第2層與第3層間插入紅外空間注意力模塊，有助于將注意力集中在紅外圖像中信息豐富的像素上，同時還能抑制紅外圖像中的噪聲，得到更為精確的測溫區(qū)域?qū)嵗指罱Y(jié)果。
2.3 紅外空間注意力模塊
深度神經(jīng)網(wǎng)絡(luò)的注意力提升機(jī)制近年來廣泛應(yīng)用于提升特征提取網(wǎng)絡(luò)所提取的圖像的特征，其中具有代表性的為Woo等人[19]提出的卷積塊注意力模塊(Convolutional Block Attention Module, CBAM),Park等人[20]提出的瓶頸注意力模塊(Bottleneck Attention Module, BAM)。普遍使用的注意力提升模塊采用通道注意力分支(channel attention branch)與空間注意力分支(spatial attention branch)相融合的結(jié)構(gòu)以在特征圖通道關(guān)系與特征圖空間位置關(guān)系上進(jìn)行注意力提升，增強(qiáng)特征表達(dá)能力。
而對于紅外圖像這類單通道圖像，反映的是物體溫差，成像原理為目標(biāo)溫度差形成的灰度圖，因此設(shè)計(jì)提升紅外圖像特征的注意力模塊時，應(yīng)當(dāng)考慮單獨(dú)使用強(qiáng)化的空間注意力分支結(jié)構(gòu)。本文在構(gòu)建的實(shí)時無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)中融入了紅外空間注意力模塊針對紅外圖像的特點(diǎn)進(jìn)行了特征強(qiáng)化。本文設(shè)計(jì)的紅外空間注意力模塊結(jié)構(gòu)如圖3所示。
圖3 紅外空間注意力模塊結(jié)構(gòu)
紅外空間注意力模塊工作原理為將輸入紅外特征向量在空間路徑上進(jìn)行強(qiáng)化，經(jīng)過模塊中兩條路徑，生成增強(qiáng)紅外特征向量，如式(1)所示
式中，F(xiàn)表示輸入紅外特征向量，M(F)為紅外空間注意力提升向量，?為逐元素相乘，F(xiàn)E為輸出的增強(qiáng)紅外特征向量。
紅外空間注意力提升分支路徑由包含1個1× 1卷積核的卷積層1, 2個混合空洞卷積層包含擴(kuò)張率(Dilation Rate, DR)分別取1, 2, 5的3個3× 3空洞卷積核，包含1個1× 1卷積核的卷積層2，批標(biāo)準(zhǔn)化層和S型激活函數(shù)構(gòu)成。該路徑中，重要的改進(jìn)在于使用了混合空洞卷積層(Hybrid Dilated Convolution, HDC)，使用混合空洞卷積層可以在提升感受視野的同時，避免使用普通空洞卷積層對紅外特征產(chǎn)生的柵格效應(yīng)，紅外空間注意力提升向量M(F)的計(jì)算如式(2)所示
式中，BN為批標(biāo)準(zhǔn)化操作，f1為1×1卷積操作，fhd為3×3混合空洞卷積操作。
2.4 損失函數(shù)
在本文提出網(wǎng)絡(luò)訓(xùn)練中，所使用的損失函數(shù)為多任務(wù)損失函數(shù)，如式(3)所示
式中，L為總損失函數(shù)，Lcls為紅外目標(biāo)檢測階段的分類損失函數(shù)，Lcenter為紅外目標(biāo)檢測階段的中心位置損失函數(shù)，Lbox為紅外目標(biāo)檢測階段的邊界回歸損失函數(shù)，Lmask為紅外目標(biāo)分割階段的平均掩模交叉熵?fù)p失函數(shù)。λ,β,α,φ為平衡幾個損失函數(shù)分量的參數(shù)，根據(jù)參考文獻(xiàn)[19]分別取1, 0.01，0.10, 0.25。
Lcls分類損失函數(shù)在紅外目標(biāo)檢測階段訓(xùn)練中提供分類損失，使用Softmax Loss函數(shù)，如式(4)所示
式中，C為類別個數(shù)，s為正確類別對應(yīng)的Softmax函數(shù)輸入。
Lcenter中心位置損失函數(shù)在紅外目標(biāo)檢測階段訓(xùn)練中提供目標(biāo)中心點(diǎn)位置損失，如式(5)所示
式中，N為特征層階數(shù)，xi為 第i階特征向量，c為該類別中心點(diǎn)。
Lbox邊界回歸損失函數(shù)在紅外目標(biāo)檢測階段訓(xùn)練中提供目標(biāo)檢測框的大小范圍損失，如式(6)所示
式中，Intersection為預(yù)測框與標(biāo)注框的交叉范圍，Union為預(yù)測框與標(biāo)注框的聯(lián)合覆蓋范圍，P為預(yù)測框，G為標(biāo)注框。
Lmask平均掩模交叉熵?fù)p失函數(shù)在紅外目標(biāo)分割階段訓(xùn)練中提供了分割損失，如式(7)所示
式中，y ∈(0,1)為2維分割掩模標(biāo)簽，S為Softmax函數(shù)輸出。
3 實(shí)驗(yàn)結(jié)果與分析
3.1 實(shí)驗(yàn)環(huán)境
在實(shí)驗(yàn)中，軟件平臺使用TensorFlow平臺和Pytorch平臺，對應(yīng)的版本分別為1.12.0和1.1，使用CUDA深層神經(jīng)網(wǎng)絡(luò)庫10.0。硬件平臺使用NVIDIA GTX 1080 GPU(8 GB)進(jìn)行訓(xùn)練。
3.2 實(shí)驗(yàn)數(shù)據(jù)集
本研究所使用數(shù)據(jù)集，結(jié)合來自IRIS紅外/可見面部數(shù)據(jù)庫，Terravic Facial IR數(shù)據(jù)庫的5000張圖像以及根據(jù)溫度測量環(huán)境收集的5000張熱成像圖像。為了有效訓(xùn)練實(shí)例分割模型，需要大量的熱成像圖像。數(shù)據(jù)集增強(qiáng)是一種用于創(chuàng)建狀態(tài)與原始數(shù)據(jù)不同的新數(shù)據(jù)并進(jìn)行數(shù)據(jù)集擴(kuò)充的方法。本文使用的數(shù)據(jù)集增強(qiáng)方法包括亮度增強(qiáng)、對比度改變、翻轉(zhuǎn)、反轉(zhuǎn)和旋轉(zhuǎn)，通過原始數(shù)據(jù)集與增強(qiáng)部分融合，制作了“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”。訓(xùn)練集、驗(yàn)證集和測試集劃分比例為6:3:1，其中驗(yàn)證集與測試集使用原始數(shù)據(jù)。訓(xùn)練集中訓(xùn)練數(shù)據(jù)包括：帶口罩的面部、裸露的面部和具有各種遮擋物的面部。訓(xùn)練集中各類數(shù)據(jù)分布的比例如表1所示。
表1 訓(xùn)練集中各類數(shù)據(jù)分布
數(shù)據(jù)集使用labelme工具進(jìn)行實(shí)例分割的標(biāo)注。標(biāo)簽類別包括頭部裸露的測溫區(qū)域、頭發(fā)、帽子、眼鏡和口罩。數(shù)據(jù)集中的所有圖像均調(diào)整為512×512，以減少計(jì)算復(fù)雜度。實(shí)例分割任務(wù)在標(biāo)注分割類別時，要求對需要分割的每個類別賦予不同顏色掩模標(biāo)簽(Mask)，每種類別掩模標(biāo)簽對應(yīng)不同標(biāo)注色的RGB值對應(yīng)的標(biāo)注色如表2所示。
表2 數(shù)據(jù)集中標(biāo)簽對應(yīng)的標(biāo)注色
3.3 訓(xùn)練細(xì)節(jié)
在模型訓(xùn)練期間，選擇隨機(jī)下降梯度作為優(yōu)化器，并將學(xué)習(xí)率、學(xué)習(xí)率衰減和動量分別設(shè)置為0.001，e-6和0.9。訓(xùn)練批次大小設(shè)置為64，每個批次包括15個數(shù)據(jù)。
訓(xùn)練過程中，準(zhǔn)確率不斷提高，損失不斷降低。在第180個批次達(dá)到了最大的驗(yàn)證準(zhǔn)確率，此后大致保持不變。因此，在第200個批次之后停止訓(xùn)練，并保存第200個批次的訓(xùn)練模型。
3.4 評價指標(biāo)
本文從3個方面評估實(shí)時實(shí)例分割的性能：目標(biāo)預(yù)測的準(zhǔn)確性，目標(biāo)的分割的準(zhǔn)確性以及平均處理速度[20]。
IOU(Intersection-Over-Union)等同于將兩個區(qū)域的重疊部分除以兩個區(qū)域的合計(jì)部分的結(jié)果。正確預(yù)測結(jié)果(True Positives, TP)表示IOU>0.5的分割結(jié)果，假陽性(False Positives, FP)表示模型預(yù)測的陰性樣本為陽性，假陰性(False Negatives,FN)表示模型預(yù)測的陽性樣本為陰性。在這項(xiàng)研究中，平均精度(Average Precision, AP)用于評估目標(biāo)預(yù)測的準(zhǔn)確性。平均精度定義如式(8)所示
平均分割精度(Average Mask Precision, AMP)用于在預(yù)測目標(biāo)后評估分割掩模覆蓋目標(biāo)區(qū)域的平均精度。平均分割精度定義如式(9)所示
式中，c表示分割類別總數(shù)，t為檢測樣本數(shù)。
每秒幀數(shù)(frames per second, fps)用于評估平均處理速度。每秒的幀數(shù)定義如式(10)所示
式中，fr為圖像幀數(shù)，s為秒。
3.5 實(shí)驗(yàn)仿真與結(jié)果分析
3.5.1 紅外空間注意力模塊有效性驗(yàn)證
為了驗(yàn)證融入紅外空間注意力模塊對紅外圖像特征增強(qiáng)的有效性，采用無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)，融合CBAM模塊[19]的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)，融合BAM模塊[20]的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)以及本文提出的融合ISAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)進(jìn)行熱成像圖像中測溫區(qū)域的實(shí)例分割實(shí)驗(yàn)。對比結(jié)構(gòu)均以ResNet50網(wǎng)絡(luò)為主干特征提取網(wǎng)絡(luò)，由于在ResNet50網(wǎng)絡(luò)階段2至階段5提取特征，檢測部分使用無錨點(diǎn)檢測方法，因此訓(xùn)練過程中凍結(jié)ResNet50網(wǎng)絡(luò)輸入卷積層與最大池化層，去除網(wǎng)絡(luò)末端的平均池化層、全連接層以及softmax層，在其他層上重新進(jìn)行訓(xùn)練。用于對比的網(wǎng)絡(luò)結(jié)構(gòu)均采用前文提到的訓(xùn)練方法與訓(xùn)練參數(shù)，使用本文制作的“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”進(jìn)行訓(xùn)練。紅外空間注意力模塊有效性驗(yàn)證分為紅外目標(biāo)無錨點(diǎn)檢測階段的驗(yàn)證與紅外目標(biāo)分割階段的驗(yàn)證。
紅外目標(biāo)無錨點(diǎn)檢測階段驗(yàn)證目的在于驗(yàn)證紅外空間注意力模塊對目標(biāo)檢測效果的提升，該測試中紅外目標(biāo)分割部分不引入紅外空間注意力模塊，在目標(biāo)檢測階段進(jìn)行對比驗(yàn)證。測試結(jié)果如圖4所示。
圖4(a)為原始測試紅外圖像，圖4(b)為真實(shí)標(biāo)簽值，圖4(c)為無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)目標(biāo)檢測效果，圖4(d)為融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)目標(biāo)檢測效果，圖4(e)為融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)目標(biāo)檢測效果，圖4(f)為本文提出的融合ISAM模塊的無錨點(diǎn)實(shí)例分割目標(biāo)檢測效果，從圖4可以看出本文提出的融入紅外空間注意力模塊無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)對熱成像圖像中測溫區(qū)域的檢測效果相比其他3種結(jié)構(gòu)更為優(yōu)良，因?yàn)闄z測效果很大程度決定后續(xù)分割效果，因此可以看出在檢測階段本文提出的融入紅外空間注意力模塊使分割的細(xì)節(jié)也更為細(xì)膩精確。
圖4 紅外空間注意力模塊目標(biāo)檢測階段有效性測試
在“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”測試集中進(jìn)行ISAM模塊在目標(biāo)檢測階段有效性對比測試，測試結(jié)果統(tǒng)計(jì)如表3所示。精度指標(biāo)方面，本文提出的融合ISAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)在目標(biāo)檢測階段的檢測效果最佳，在AP指標(biāo)上相對其他3種對比結(jié)構(gòu)達(dá)到首位。AP達(dá)88.6%，相比無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高4.9%，相比融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高3%，相比融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高3.8%。由于目標(biāo)檢測的精度提升對將提升后續(xù)目標(biāo)分割的精度，因此，目標(biāo)檢測階段融入ISAM模塊的網(wǎng)絡(luò)AMP達(dá)84.5%，相比無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高4.5%，相比融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高3%，相比融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高3.5%。在實(shí)時性指標(biāo)方面，本文提出的實(shí)例分割網(wǎng)絡(luò)由于融入了紅外注意力空間注意力模塊加深了網(wǎng)絡(luò)結(jié)構(gòu)，因此低于無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)2.5 fps，由于ISAM模塊結(jié)構(gòu)上相對其他兩種注意力提升模塊更為簡單高效，因此，速度指標(biāo)高于融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)2 fps，高于融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)1 fps。實(shí)驗(yàn)結(jié)果表明，在目標(biāo)檢測階段融入ISAM模塊有助于增強(qiáng)網(wǎng)絡(luò)對紅外圖像目標(biāo)特征的提取能力，對熱成像測溫區(qū)域的檢測與分割效果起到關(guān)鍵的提升作用。
表3 ISAM模塊目標(biāo)檢測階段有效性驗(yàn)證實(shí)驗(yàn)結(jié)果
紅外目標(biāo)分割階段驗(yàn)證目的在于驗(yàn)證紅外空間注意力模塊對紅外目標(biāo)分割效果的提升，該測試在紅外目標(biāo)部分引入紅外空間注意力模塊的基礎(chǔ)上，進(jìn)一步在目標(biāo)分割階段進(jìn)行對比驗(yàn)證。測試結(jié)果如圖5所示。
圖5(a)為原始測試紅外圖像，圖5(b)為真實(shí)標(biāo)簽值，圖5(c)為無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果，圖5(d)為融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果，圖5(e)為融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果，圖5(f)為本文提出的融合ISAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果，從圖5可以看出目標(biāo)分割階段融入紅外空間注意力模塊相對其他3種結(jié)構(gòu)進(jìn)一步提升了紅外目標(biāo)的分割效果。
圖5 紅外空間注意力模塊目標(biāo)分割階段有效性測試
在“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”測試集中進(jìn)行目標(biāo)分割階段的結(jié)構(gòu)對比測試結(jié)果統(tǒng)計(jì)如表4所示。由于在該階段的測試僅對分割精度與速度有影響，由表4可見，精度指標(biāo)方面，AP值均一致，而本文提出的在目標(biāo)分割階段融合ISAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果最佳，AMP指標(biāo)上相對其他3種結(jié)構(gòu)達(dá)到首位。目標(biāo)分割階段融合ISAM模塊結(jié)構(gòu)AMP達(dá)86.5%，相比無注意力提升機(jī)制結(jié)構(gòu)提高2%，相比融合CBAM模塊結(jié)構(gòu)提高2.2%，相比融合BAM模塊結(jié)構(gòu)提高2.4%。在實(shí)時性指標(biāo)方面，本文提出的實(shí)例分割網(wǎng)絡(luò)由于融入了紅外空間注意力模塊加深了網(wǎng)絡(luò)結(jié)構(gòu)，因此低于無注意力提升機(jī)制結(jié)構(gòu)2 fps，但達(dá)到33.5 fps，高于注意力提升模塊結(jié)構(gòu)更為復(fù)雜的其他2種結(jié)構(gòu)，高于融合CBAM模塊結(jié)構(gòu)2.3 fps，高于融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)1 fps。實(shí)驗(yàn)結(jié)果表明，在目標(biāo)分割階段融入 ISAM模塊有助于進(jìn)一步提升熱成像測溫區(qū)域分割的能力。
表4 ISAM模塊目標(biāo)分割階段有效性實(shí)驗(yàn)結(jié)果
3.5.2 本算法與主流算法的比較
為進(jìn)一步驗(yàn)證本文提出算法的有效性，在在本文制作的“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”上使用其他4種目前主流代表性可見光環(huán)境下實(shí)例分割方法采用相同訓(xùn)練參數(shù)訓(xùn)練得到熱成像測溫區(qū)域?qū)嵗指钅Ｐ停瑢δＰ瓦M(jìn)行對比測試。本文選取用作對比的4種實(shí)例分割方法包括在引言部分提到的Mask R-CNN[10], YOLACT[11], CenterMask[12],PolarMask[13]。其中除Mask R-CNN根據(jù)參考文獻(xiàn)[10]以ResNet101網(wǎng)絡(luò)為主干特征提取網(wǎng)絡(luò)外，其余參與對比的網(wǎng)絡(luò)均以ResNet50網(wǎng)絡(luò)為主干特征提取網(wǎng)絡(luò)。
在“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”測試集中進(jìn)行方法對比測試的結(jié)果統(tǒng)計(jì)如表5所示。其中由于Mask R-CNN實(shí)例分割網(wǎng)絡(luò)使用了ResNet101網(wǎng)絡(luò)為主干特征提取網(wǎng)絡(luò)，目標(biāo)檢測與分割精度由于主干特征提取網(wǎng)絡(luò)的深度優(yōu)勢而超過了本文未融合紅外空間注意力模塊網(wǎng)絡(luò)，但實(shí)時性上將會大幅下降。由表5可見，精度指標(biāo)方面，本文提出的引入紅外注意力提升機(jī)制無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果最佳，在AP與AMP指標(biāo)上相對其他4種算法達(dá)到首位。AP達(dá)88.6%，相比Mask R-CNN實(shí)例分割網(wǎng)絡(luò)提高4.8%，比YOLACT實(shí)例分割網(wǎng)絡(luò)提高13%，比CenterMask實(shí)例分割網(wǎng)絡(luò)提高5.8%，比PolarMask實(shí)例分割網(wǎng)絡(luò)提高5%。AMP達(dá)86.5%，相比Mask R-CNN實(shí)例分割網(wǎng)絡(luò)提高6.2%，比YOLACT實(shí)例分割網(wǎng)絡(luò)提高16.4%，比CenterMask實(shí)例分割網(wǎng)絡(luò)提高8.4%，比PolarMask實(shí)例分割網(wǎng)絡(luò)提高7.5%。在實(shí)時性指標(biāo)方面，本文提出的實(shí)例分割網(wǎng)絡(luò)由于引入紅外注意力提升機(jī)制加深了網(wǎng)絡(luò)結(jié)構(gòu)，因此低于針對分割實(shí)時性特別強(qiáng)化的YOLACT實(shí)例分割網(wǎng)絡(luò)4.5 fps，但達(dá)到33.5 fps，滿足分割實(shí)時性要求，同時速度指標(biāo)高于其他3種算法，高于Mask R-CNN實(shí)例分割網(wǎng)絡(luò)22 fps，高于Center-Mask實(shí)例分割網(wǎng)絡(luò)0.5 fps，高于PolarMask實(shí)例分割網(wǎng)絡(luò)3 fps。實(shí)驗(yàn)結(jié)果表明，本文提出的引入紅外注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)對于熱成像測溫區(qū)域?qū)嵗指罡黜?xiàng)性能指標(biāo)相對其他算法最為優(yōu)良均衡，適用于在紅外熱成像圖像中實(shí)時精確地分割有效測溫區(qū)域。
表5 熱成像測溫區(qū)域?qū)嵗指罘椒▽Ρ葘?shí)驗(yàn)結(jié)果
4 結(jié)論
本文提出一種融入紅外注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)用于熱成像圖像中測溫區(qū)域的實(shí)時實(shí)例分割。該實(shí)例分割網(wǎng)絡(luò)在紅外目標(biāo)的檢測階段采用金字塔特征提取方式，在4個提取階段融入本文設(shè)計(jì)的紅外空間注意力模塊以增強(qiáng)紅外特征圖，提高紅外目標(biāo)檢測精度，采用無錨點(diǎn)檢測方式提高紅外目標(biāo)檢測實(shí)時性，在檢測完成后的紅外目標(biāo)分割階段，卷積層中插入紅外空間注意力模塊提升對紅外目標(biāo)分割的精度。在本文制作的“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”進(jìn)行訓(xùn)練與測試，對比多種最新主流實(shí)例分割算法，實(shí)驗(yàn)結(jié)果表明，對于熱成像中測溫區(qū)域的實(shí)時實(shí)例分割，本文方法在主觀視覺和客觀評價兩個方面都能超越大多數(shù)可見光環(huán)境下的實(shí)例分割算法。
猜你喜歡
QC 檢測中國設(shè)備工程(2022年12期)2022-07-11 04:33:00 “不等式”檢測題中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2021年6期)2021-11-22 07:50:58 “一元一次不等式”檢測題中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2021年6期)2021-11-22 07:50:58 “一元一次不等式組”檢測題中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2021年6期)2021-11-22 07:50:58 “幾何圖形”檢測題中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2020年12期)2021-01-18 06:57:46 “角”檢測題中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2020年12期)2021-01-18 06:57:46 “有理數(shù)的乘除法”檢測題中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年9期)2019-11-25 07:34:36 “有理數(shù)”檢測題中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年9期)2019-11-25 07:34:34 “角”檢測題中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年12期)2019-05-21 02:53:50 “幾何圖形”檢測題中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年12期)2019-05-21 02:53:48
易 詩 李俊杰 賈 勇
①(成都理工大學(xué)信息科學(xué)與技術(shù)學(xué)院(網(wǎng)絡(luò)安全學(xué)院、牛津布魯克斯學(xué)院) 成都 610059)
②(工業(yè)物聯(lián)網(wǎng)與網(wǎng)絡(luò)化控制教育部重點(diǎn)實(shí)驗(yàn)室 重慶 400065)
③(太赫茲科學(xué)技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室 成都 610054)
1 引言
熱成像使用物體溫度差成像，可以實(shí)時反映物體溫度以進(jìn)行非接觸式快速溫度測量[1]。熱成像在醫(yī)學(xué)中廣泛使用，是一種非侵入性和非接觸式檢測方法，已用于溫度調(diào)節(jié)[2]、乳腺癌檢測[3,4]、新生兒監(jiān)測[5]、泌尿系統(tǒng)檢測[6]和血管領(lǐng)域疾病的檢測[7,8]。
在2020年爆發(fā)的新冠肺炎疫情中，AI+熱成像實(shí)時體溫監(jiān)控系統(tǒng)得到了廣泛的應(yīng)用。這種類型的系統(tǒng)的原理是使用深度學(xué)習(xí)目標(biāo)檢測方法來檢測紅外圖像中的行人頭部并測量頭部區(qū)域的溫度。然而，使用紅外熱成像人體溫度監(jiān)測系統(tǒng)的有效溫度測量區(qū)域是裸露的面部區(qū)域，僅在紅外圖像中檢測人的頭部區(qū)域會導(dǎo)致以下問題：(1)頭發(fā)、帽子、口罩和眼鏡等遮擋物會導(dǎo)致溫度測量區(qū)域過小而無法正確測量。(2)目標(biāo)檢測精度難以分割到像素級溫度測量區(qū)域。使用實(shí)例分割方法，可以對紅外圖像中的頭部的溫度測量區(qū)域進(jìn)行像素級精確分割，并且同時可以分割出面部的各類遮擋物，從而劃定紅外圖像中頭部裸露區(qū)域進(jìn)行更準(zhǔn)確的溫度測量，同時對于遮擋過多導(dǎo)致測溫區(qū)域過小無法正確測量的情況進(jìn)行警告提示。
可見光環(huán)境下的實(shí)例分割方法發(fā)展迅速。He等人[9]提出了最具代表性的深度學(xué)習(xí)實(shí)例分割方法(Mask Region Convolutional Neural Networks,Mask R-CNN)，該方法在可見光環(huán)境下對目標(biāo)進(jìn)行實(shí)例分割達(dá)到較高的分割精度但實(shí)時性不理想。文獻(xiàn)[10]提出了一種實(shí)時實(shí)例分割方法YOLACT(You Only Look At CoefficienTs)，該方法針對實(shí)例分割的實(shí)時性做出了改進(jìn)。2020年，實(shí)時無錨實(shí)例分割網(wǎng)絡(luò)以其準(zhǔn)確性和實(shí)時性而廣受歡迎，Lee等人[11]提出了一種具有準(zhǔn)確性和實(shí)時性的實(shí)時無錨點(diǎn)實(shí)例分割方法(Center Mask, CenterMask)。Xie等人[12]提出了一種以中心點(diǎn)向外極化方式進(jìn)行分割的無錨點(diǎn)實(shí)例分割方法(Polarization Mask,PolarMask)，進(jìn)一步提升了無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)的分割準(zhǔn)確性。對于可見光環(huán)境下的面部分割，Benini等人[13]提出了通過語義面部分割進(jìn)行面部分析的方法，能夠較精準(zhǔn)地分割可見光環(huán)境下的面部。紅外圖像中檢測面部方面研究近年來也有所發(fā)展，文獻(xiàn)[14]全面回顧了紅外面部識別的當(dāng)前方法和數(shù)據(jù)集，Yang等人[15]提出了一種基于YWF-SIFT(Y-styled Window Filter Scale Invariant Feature Transform)和多尺度融合的紅外圖像人臉識別的良好匹配方法，文獻(xiàn)[16]提出了熱成像圖像中人臉和眼睛的定位算法，用于測量人眼溫度。
上述方法涉及可見光環(huán)境下目標(biāo)實(shí)例分割、面部分割、紅外圖像中的面部識別與定位，然而目前尚未出現(xiàn)應(yīng)用于紅外測溫系統(tǒng)中的測溫區(qū)域?qū)崟r精確分割方法的研究。為此，本文提出了一種融合紅外注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)，用于紅外熱像測溫系統(tǒng)中頭部裸露測溫區(qū)域的實(shí)時準(zhǔn)確分割。該網(wǎng)絡(luò)根據(jù)紅外圖像的特性對網(wǎng)絡(luò)架構(gòu)進(jìn)行了改進(jìn)，在特征提取主干網(wǎng)絡(luò)與分割模塊中融入紅外空間注意力模塊 (Infrared Spatial Attention Module,ISAM)以優(yōu)化提取到的紅外圖像特征，使像素分割注意力集中于紅外圖像中信息豐富的像素，同時抑制紅外圖像中的噪點(diǎn)。采集制作了針對紅外熱成像測溫區(qū)域分割的“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”用于模型訓(xùn)練。最后通過實(shí)驗(yàn)證明，本文提出的融合紅外注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)對紅外熱成像測溫區(qū)域的分割對比其他實(shí)例分割方法更具優(yōu)勢。
2 算法
2.1 問題描述
熱成像體溫測量方法如圖1所示，紅外圖像中左邊測溫人由于頭發(fā)遮擋而無法正確測溫。圖1(a)所示目前普遍使用的紅外熱成像頭部檢測溫度測量方法，頭部測溫框檢測到了頭部，對遮擋部分進(jìn)行了測溫，顯示了31.2 °C的溫度測量值，而圖1(b)所示本文提出的紅外熱成像測溫區(qū)域?qū)嵗指顪囟葴y量方法，分割結(jié)果顯示頭發(fā)遮擋了有效測溫區(qū)域無法準(zhǔn)確測量，給出了遮擋的警告提示。
圖1 熱成像體溫測量方法
2.2 網(wǎng)絡(luò)框架
實(shí)例分割可以準(zhǔn)確地分割所需的目標(biāo)輪廓，從而達(dá)到像素級的精度。本文需要構(gòu)架一個實(shí)時實(shí)例分割網(wǎng)絡(luò)來分割紅外熱成像面部溫度測量區(qū)域和各種遮擋物。
本文構(gòu)建了一種實(shí)時無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)適合于根據(jù)紅外熱成像的特征分割紅外熱成像溫度測量區(qū)域和各種遮擋物。網(wǎng)絡(luò)架構(gòu)如圖2所示。
圖2 用于紅外熱成像溫度測量區(qū)域分割的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)結(jié)構(gòu)
該網(wǎng)絡(luò)分為紅外目標(biāo)無錨點(diǎn)檢測與紅外目標(biāo)分割兩個階段。
紅外目標(biāo)無錨點(diǎn)檢測階段，主干特征提取網(wǎng)絡(luò)考慮到檢測精度與實(shí)時性選用殘差網(wǎng)絡(luò)ResNet-50[17]，階段2-階段5為主干特征提取網(wǎng)絡(luò)中步長22～25層所提取的特征圖，低層的特征圖擁有較高的空間分辨率，能提供更多的定位信息，而高層的特征圖則融合更多的語義信息，因此可將低層和高層的特征圖融合成一個特征圖的金字塔網(wǎng)絡(luò) (Feature Pyramid Networks, FPN)特征提取方式用于檢測任務(wù)。出于減少算法復(fù)雜度的考慮，這里采用一種簡單的特征融合方式：首先將每一特征提取階段輸出特征圖通過紅外空間注意力模塊(ISAM)以強(qiáng)化特征圖中紅外圖像特征，再利用由512個3× 3卷積核所構(gòu)成的反卷積層1、由1024個3× 3卷積核所構(gòu)成的反卷積層2、由2048個3× 3卷積核所構(gòu)成的反卷積層3分別將第3、4和5階段的特征圖分辨率提升到和第2階段的特征圖分辨率保持一致，之后對所有要融合的特征圖進(jìn)行L2歸一化，將這些特征圖在通道維度上拼接起來，得到增強(qiáng)型紅外特征圖。獲取增強(qiáng)型紅外特征圖后進(jìn)行目標(biāo)檢測，由于無錨點(diǎn)檢測方式提供了一種將目標(biāo)檢測中密集滑窗或錨點(diǎn)框鋪設(shè)轉(zhuǎn)換為目標(biāo)關(guān)鍵點(diǎn)檢測的思路，提高了目標(biāo)檢測的精確性、實(shí)時性與通用性。因此，無錨點(diǎn)檢測方式更加適用于密集人群中實(shí)時檢測紅外圖像測溫區(qū)域，本文對獲取的增強(qiáng)型紅外特征圖采用文獻(xiàn)[18]提到的無錨點(diǎn)檢測方法得到檢測結(jié)果。
紅外目標(biāo)分割階段，分割部分第1層輸入特征圖大小為112×112，第2層輸入特征圖大小為56×56，第3層輸入特征圖大小為28×28，第4層輸入特征圖大小為14×14，每個卷積層均由80個3×3卷積核構(gòu)成。在分割部分第2層與第3層間插入紅外空間注意力模塊，有助于將注意力集中在紅外圖像中信息豐富的像素上，同時還能抑制紅外圖像中的噪聲，得到更為精確的測溫區(qū)域?qū)嵗指罱Y(jié)果。
2.3 紅外空間注意力模塊
深度神經(jīng)網(wǎng)絡(luò)的注意力提升機(jī)制近年來廣泛應(yīng)用于提升特征提取網(wǎng)絡(luò)所提取的圖像的特征，其中具有代表性的為Woo等人[19]提出的卷積塊注意力模塊(Convolutional Block Attention Module, CBAM),Park等人[20]提出的瓶頸注意力模塊(Bottleneck Attention Module, BAM)。普遍使用的注意力提升模塊采用通道注意力分支(channel attention branch)與空間注意力分支(spatial attention branch)相融合的結(jié)構(gòu)以在特征圖通道關(guān)系與特征圖空間位置關(guān)系上進(jìn)行注意力提升，增強(qiáng)特征表達(dá)能力。
而對于紅外圖像這類單通道圖像，反映的是物體溫差，成像原理為目標(biāo)溫度差形成的灰度圖，因此設(shè)計(jì)提升紅外圖像特征的注意力模塊時，應(yīng)當(dāng)考慮單獨(dú)使用強(qiáng)化的空間注意力分支結(jié)構(gòu)。本文在構(gòu)建的實(shí)時無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)中融入了紅外空間注意力模塊針對紅外圖像的特點(diǎn)進(jìn)行了特征強(qiáng)化。本文設(shè)計(jì)的紅外空間注意力模塊結(jié)構(gòu)如圖3所示。
圖3 紅外空間注意力模塊結(jié)構(gòu)
紅外空間注意力模塊工作原理為將輸入紅外特征向量在空間路徑上進(jìn)行強(qiáng)化，經(jīng)過模塊中兩條路徑，生成增強(qiáng)紅外特征向量，如式(1)所示
式中，F(xiàn)表示輸入紅外特征向量，M(F)為紅外空間注意力提升向量，?為逐元素相乘，F(xiàn)E為輸出的增強(qiáng)紅外特征向量。
紅外空間注意力提升分支路徑由包含1個1× 1卷積核的卷積層1, 2個混合空洞卷積層包含擴(kuò)張率(Dilation Rate, DR)分別取1, 2, 5的3個3× 3空洞卷積核，包含1個1× 1卷積核的卷積層2，批標(biāo)準(zhǔn)化層和S型激活函數(shù)構(gòu)成。該路徑中，重要的改進(jìn)在于使用了混合空洞卷積層(Hybrid Dilated Convolution, HDC)，使用混合空洞卷積層可以在提升感受視野的同時，避免使用普通空洞卷積層對紅外特征產(chǎn)生的柵格效應(yīng)，紅外空間注意力提升向量M(F)的計(jì)算如式(2)所示
式中，BN為批標(biāo)準(zhǔn)化操作，f1為1×1卷積操作，fhd為3×3混合空洞卷積操作。
2.4 損失函數(shù)
在本文提出網(wǎng)絡(luò)訓(xùn)練中，所使用的損失函數(shù)為多任務(wù)損失函數(shù)，如式(3)所示
式中，L為總損失函數(shù)，Lcls為紅外目標(biāo)檢測階段的分類損失函數(shù)，Lcenter為紅外目標(biāo)檢測階段的中心位置損失函數(shù)，Lbox為紅外目標(biāo)檢測階段的邊界回歸損失函數(shù)，Lmask為紅外目標(biāo)分割階段的平均掩模交叉熵?fù)p失函數(shù)。λ,β,α,φ為平衡幾個損失函數(shù)分量的參數(shù)，根據(jù)參考文獻(xiàn)[19]分別取1, 0.01，0.10, 0.25。
Lcls分類損失函數(shù)在紅外目標(biāo)檢測階段訓(xùn)練中提供分類損失，使用Softmax Loss函數(shù)，如式(4)所示
式中，C為類別個數(shù)，s為正確類別對應(yīng)的Softmax函數(shù)輸入。
Lcenter中心位置損失函數(shù)在紅外目標(biāo)檢測階段訓(xùn)練中提供目標(biāo)中心點(diǎn)位置損失，如式(5)所示
式中，N為特征層階數(shù)，xi為 第i階特征向量，c為該類別中心點(diǎn)。
Lbox邊界回歸損失函數(shù)在紅外目標(biāo)檢測階段訓(xùn)練中提供目標(biāo)檢測框的大小范圍損失，如式(6)所示
式中，Intersection為預(yù)測框與標(biāo)注框的交叉范圍，Union為預(yù)測框與標(biāo)注框的聯(lián)合覆蓋范圍，P為預(yù)測框，G為標(biāo)注框。
Lmask平均掩模交叉熵?fù)p失函數(shù)在紅外目標(biāo)分割階段訓(xùn)練中提供了分割損失，如式(7)所示
式中，y ∈(0,1)為2維分割掩模標(biāo)簽，S為Softmax函數(shù)輸出。
3 實(shí)驗(yàn)結(jié)果與分析
3.1 實(shí)驗(yàn)環(huán)境
在實(shí)驗(yàn)中，軟件平臺使用TensorFlow平臺和Pytorch平臺，對應(yīng)的版本分別為1.12.0和1.1，使用CUDA深層神經(jīng)網(wǎng)絡(luò)庫10.0。硬件平臺使用NVIDIA GTX 1080 GPU(8 GB)進(jìn)行訓(xùn)練。
3.2 實(shí)驗(yàn)數(shù)據(jù)集
本研究所使用數(shù)據(jù)集，結(jié)合來自IRIS紅外/可見面部數(shù)據(jù)庫，Terravic Facial IR數(shù)據(jù)庫的5000張圖像以及根據(jù)溫度測量環(huán)境收集的5000張熱成像圖像。為了有效訓(xùn)練實(shí)例分割模型，需要大量的熱成像圖像。數(shù)據(jù)集增強(qiáng)是一種用于創(chuàng)建狀態(tài)與原始數(shù)據(jù)不同的新數(shù)據(jù)并進(jìn)行數(shù)據(jù)集擴(kuò)充的方法。本文使用的數(shù)據(jù)集增強(qiáng)方法包括亮度增強(qiáng)、對比度改變、翻轉(zhuǎn)、反轉(zhuǎn)和旋轉(zhuǎn)，通過原始數(shù)據(jù)集與增強(qiáng)部分融合，制作了“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”。訓(xùn)練集、驗(yàn)證集和測試集劃分比例為6:3:1，其中驗(yàn)證集與測試集使用原始數(shù)據(jù)。訓(xùn)練集中訓(xùn)練數(shù)據(jù)包括：帶口罩的面部、裸露的面部和具有各種遮擋物的面部。訓(xùn)練集中各類數(shù)據(jù)分布的比例如表1所示。
表1 訓(xùn)練集中各類數(shù)據(jù)分布
數(shù)據(jù)集使用labelme工具進(jìn)行實(shí)例分割的標(biāo)注。標(biāo)簽類別包括頭部裸露的測溫區(qū)域、頭發(fā)、帽子、眼鏡和口罩。數(shù)據(jù)集中的所有圖像均調(diào)整為512×512，以減少計(jì)算復(fù)雜度。實(shí)例分割任務(wù)在標(biāo)注分割類別時，要求對需要分割的每個類別賦予不同顏色掩模標(biāo)簽(Mask)，每種類別掩模標(biāo)簽對應(yīng)不同標(biāo)注色的RGB值對應(yīng)的標(biāo)注色如表2所示。
表2 數(shù)據(jù)集中標(biāo)簽對應(yīng)的標(biāo)注色
3.3 訓(xùn)練細(xì)節(jié)
在模型訓(xùn)練期間，選擇隨機(jī)下降梯度作為優(yōu)化器，并將學(xué)習(xí)率、學(xué)習(xí)率衰減和動量分別設(shè)置為0.001，e-6和0.9。訓(xùn)練批次大小設(shè)置為64，每個批次包括15個數(shù)據(jù)。
訓(xùn)練過程中，準(zhǔn)確率不斷提高，損失不斷降低。在第180個批次達(dá)到了最大的驗(yàn)證準(zhǔn)確率，此后大致保持不變。因此，在第200個批次之后停止訓(xùn)練，并保存第200個批次的訓(xùn)練模型。
3.4 評價指標(biāo)
本文從3個方面評估實(shí)時實(shí)例分割的性能：目標(biāo)預(yù)測的準(zhǔn)確性，目標(biāo)的分割的準(zhǔn)確性以及平均處理速度[20]。
IOU(Intersection-Over-Union)等同于將兩個區(qū)域的重疊部分除以兩個區(qū)域的合計(jì)部分的結(jié)果。正確預(yù)測結(jié)果(True Positives, TP)表示IOU>0.5的分割結(jié)果，假陽性(False Positives, FP)表示模型預(yù)測的陰性樣本為陽性，假陰性(False Negatives,FN)表示模型預(yù)測的陽性樣本為陰性。在這項(xiàng)研究中，平均精度(Average Precision, AP)用于評估目標(biāo)預(yù)測的準(zhǔn)確性。平均精度定義如式(8)所示
平均分割精度(Average Mask Precision, AMP)用于在預(yù)測目標(biāo)后評估分割掩模覆蓋目標(biāo)區(qū)域的平均精度。平均分割精度定義如式(9)所示
式中，c表示分割類別總數(shù)，t為檢測樣本數(shù)。
每秒幀數(shù)(frames per second, fps)用于評估平均處理速度。每秒的幀數(shù)定義如式(10)所示
式中，fr為圖像幀數(shù)，s為秒。
3.5 實(shí)驗(yàn)仿真與結(jié)果分析
3.5.1 紅外空間注意力模塊有效性驗(yàn)證
為了驗(yàn)證融入紅外空間注意力模塊對紅外圖像特征增強(qiáng)的有效性，采用無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)，融合CBAM模塊[19]的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)，融合BAM模塊[20]的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)以及本文提出的融合ISAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)進(jìn)行熱成像圖像中測溫區(qū)域的實(shí)例分割實(shí)驗(yàn)。對比結(jié)構(gòu)均以ResNet50網(wǎng)絡(luò)為主干特征提取網(wǎng)絡(luò)，由于在ResNet50網(wǎng)絡(luò)階段2至階段5提取特征，檢測部分使用無錨點(diǎn)檢測方法，因此訓(xùn)練過程中凍結(jié)ResNet50網(wǎng)絡(luò)輸入卷積層與最大池化層，去除網(wǎng)絡(luò)末端的平均池化層、全連接層以及softmax層，在其他層上重新進(jìn)行訓(xùn)練。用于對比的網(wǎng)絡(luò)結(jié)構(gòu)均采用前文提到的訓(xùn)練方法與訓(xùn)練參數(shù)，使用本文制作的“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”進(jìn)行訓(xùn)練。紅外空間注意力模塊有效性驗(yàn)證分為紅外目標(biāo)無錨點(diǎn)檢測階段的驗(yàn)證與紅外目標(biāo)分割階段的驗(yàn)證。
紅外目標(biāo)無錨點(diǎn)檢測階段驗(yàn)證目的在于驗(yàn)證紅外空間注意力模塊對目標(biāo)檢測效果的提升，該測試中紅外目標(biāo)分割部分不引入紅外空間注意力模塊，在目標(biāo)檢測階段進(jìn)行對比驗(yàn)證。測試結(jié)果如圖4所示。
圖4(a)為原始測試紅外圖像，圖4(b)為真實(shí)標(biāo)簽值，圖4(c)為無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)目標(biāo)檢測效果，圖4(d)為融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)目標(biāo)檢測效果，圖4(e)為融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)目標(biāo)檢測效果，圖4(f)為本文提出的融合ISAM模塊的無錨點(diǎn)實(shí)例分割目標(biāo)檢測效果，從圖4可以看出本文提出的融入紅外空間注意力模塊無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)對熱成像圖像中測溫區(qū)域的檢測效果相比其他3種結(jié)構(gòu)更為優(yōu)良，因?yàn)闄z測效果很大程度決定后續(xù)分割效果，因此可以看出在檢測階段本文提出的融入紅外空間注意力模塊使分割的細(xì)節(jié)也更為細(xì)膩精確。
圖4 紅外空間注意力模塊目標(biāo)檢測階段有效性測試
在“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”測試集中進(jìn)行ISAM模塊在目標(biāo)檢測階段有效性對比測試，測試結(jié)果統(tǒng)計(jì)如表3所示。精度指標(biāo)方面，本文提出的融合ISAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)在目標(biāo)檢測階段的檢測效果最佳，在AP指標(biāo)上相對其他3種對比結(jié)構(gòu)達(dá)到首位。AP達(dá)88.6%，相比無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高4.9%，相比融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高3%，相比融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高3.8%。由于目標(biāo)檢測的精度提升對將提升后續(xù)目標(biāo)分割的精度，因此，目標(biāo)檢測階段融入ISAM模塊的網(wǎng)絡(luò)AMP達(dá)84.5%，相比無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高4.5%，相比融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高3%，相比融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)提高3.5%。在實(shí)時性指標(biāo)方面，本文提出的實(shí)例分割網(wǎng)絡(luò)由于融入了紅外注意力空間注意力模塊加深了網(wǎng)絡(luò)結(jié)構(gòu)，因此低于無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)2.5 fps，由于ISAM模塊結(jié)構(gòu)上相對其他兩種注意力提升模塊更為簡單高效，因此，速度指標(biāo)高于融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)2 fps，高于融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)1 fps。實(shí)驗(yàn)結(jié)果表明，在目標(biāo)檢測階段融入ISAM模塊有助于增強(qiáng)網(wǎng)絡(luò)對紅外圖像目標(biāo)特征的提取能力，對熱成像測溫區(qū)域的檢測與分割效果起到關(guān)鍵的提升作用。
表3 ISAM模塊目標(biāo)檢測階段有效性驗(yàn)證實(shí)驗(yàn)結(jié)果
紅外目標(biāo)分割階段驗(yàn)證目的在于驗(yàn)證紅外空間注意力模塊對紅外目標(biāo)分割效果的提升，該測試在紅外目標(biāo)部分引入紅外空間注意力模塊的基礎(chǔ)上，進(jìn)一步在目標(biāo)分割階段進(jìn)行對比驗(yàn)證。測試結(jié)果如圖5所示。
圖5(a)為原始測試紅外圖像，圖5(b)為真實(shí)標(biāo)簽值，圖5(c)為無注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果，圖5(d)為融合CBAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果，圖5(e)為融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果，圖5(f)為本文提出的融合ISAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果，從圖5可以看出目標(biāo)分割階段融入紅外空間注意力模塊相對其他3種結(jié)構(gòu)進(jìn)一步提升了紅外目標(biāo)的分割效果。
圖5 紅外空間注意力模塊目標(biāo)分割階段有效性測試
在“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”測試集中進(jìn)行目標(biāo)分割階段的結(jié)構(gòu)對比測試結(jié)果統(tǒng)計(jì)如表4所示。由于在該階段的測試僅對分割精度與速度有影響，由表4可見，精度指標(biāo)方面，AP值均一致，而本文提出的在目標(biāo)分割階段融合ISAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果最佳，AMP指標(biāo)上相對其他3種結(jié)構(gòu)達(dá)到首位。目標(biāo)分割階段融合ISAM模塊結(jié)構(gòu)AMP達(dá)86.5%，相比無注意力提升機(jī)制結(jié)構(gòu)提高2%，相比融合CBAM模塊結(jié)構(gòu)提高2.2%，相比融合BAM模塊結(jié)構(gòu)提高2.4%。在實(shí)時性指標(biāo)方面，本文提出的實(shí)例分割網(wǎng)絡(luò)由于融入了紅外空間注意力模塊加深了網(wǎng)絡(luò)結(jié)構(gòu)，因此低于無注意力提升機(jī)制結(jié)構(gòu)2 fps，但達(dá)到33.5 fps，高于注意力提升模塊結(jié)構(gòu)更為復(fù)雜的其他2種結(jié)構(gòu)，高于融合CBAM模塊結(jié)構(gòu)2.3 fps，高于融合BAM模塊的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)1 fps。實(shí)驗(yàn)結(jié)果表明，在目標(biāo)分割階段融入 ISAM模塊有助于進(jìn)一步提升熱成像測溫區(qū)域分割的能力。
表4 ISAM模塊目標(biāo)分割階段有效性實(shí)驗(yàn)結(jié)果
3.5.2 本算法與主流算法的比較
為進(jìn)一步驗(yàn)證本文提出算法的有效性，在在本文制作的“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”上使用其他4種目前主流代表性可見光環(huán)境下實(shí)例分割方法采用相同訓(xùn)練參數(shù)訓(xùn)練得到熱成像測溫區(qū)域?qū)嵗指钅Ｐ停瑢δＰ瓦M(jìn)行對比測試。本文選取用作對比的4種實(shí)例分割方法包括在引言部分提到的Mask R-CNN[10], YOLACT[11], CenterMask[12],PolarMask[13]。其中除Mask R-CNN根據(jù)參考文獻(xiàn)[10]以ResNet101網(wǎng)絡(luò)為主干特征提取網(wǎng)絡(luò)外，其余參與對比的網(wǎng)絡(luò)均以ResNet50網(wǎng)絡(luò)為主干特征提取網(wǎng)絡(luò)。
在“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”測試集中進(jìn)行方法對比測試的結(jié)果統(tǒng)計(jì)如表5所示。其中由于Mask R-CNN實(shí)例分割網(wǎng)絡(luò)使用了ResNet101網(wǎng)絡(luò)為主干特征提取網(wǎng)絡(luò)，目標(biāo)檢測與分割精度由于主干特征提取網(wǎng)絡(luò)的深度優(yōu)勢而超過了本文未融合紅外空間注意力模塊網(wǎng)絡(luò)，但實(shí)時性上將會大幅下降。由表5可見，精度指標(biāo)方面，本文提出的引入紅外注意力提升機(jī)制無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)分割效果最佳，在AP與AMP指標(biāo)上相對其他4種算法達(dá)到首位。AP達(dá)88.6%，相比Mask R-CNN實(shí)例分割網(wǎng)絡(luò)提高4.8%，比YOLACT實(shí)例分割網(wǎng)絡(luò)提高13%，比CenterMask實(shí)例分割網(wǎng)絡(luò)提高5.8%，比PolarMask實(shí)例分割網(wǎng)絡(luò)提高5%。AMP達(dá)86.5%，相比Mask R-CNN實(shí)例分割網(wǎng)絡(luò)提高6.2%，比YOLACT實(shí)例分割網(wǎng)絡(luò)提高16.4%，比CenterMask實(shí)例分割網(wǎng)絡(luò)提高8.4%，比PolarMask實(shí)例分割網(wǎng)絡(luò)提高7.5%。在實(shí)時性指標(biāo)方面，本文提出的實(shí)例分割網(wǎng)絡(luò)由于引入紅外注意力提升機(jī)制加深了網(wǎng)絡(luò)結(jié)構(gòu)，因此低于針對分割實(shí)時性特別強(qiáng)化的YOLACT實(shí)例分割網(wǎng)絡(luò)4.5 fps，但達(dá)到33.5 fps，滿足分割實(shí)時性要求，同時速度指標(biāo)高于其他3種算法，高于Mask R-CNN實(shí)例分割網(wǎng)絡(luò)22 fps，高于Center-Mask實(shí)例分割網(wǎng)絡(luò)0.5 fps，高于PolarMask實(shí)例分割網(wǎng)絡(luò)3 fps。實(shí)驗(yàn)結(jié)果表明，本文提出的引入紅外注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)對于熱成像測溫區(qū)域?qū)嵗指罡黜?xiàng)性能指標(biāo)相對其他算法最為優(yōu)良均衡，適用于在紅外熱成像圖像中實(shí)時精確地分割有效測溫區(qū)域。
表5 熱成像測溫區(qū)域?qū)嵗指罘椒▽Ρ葘?shí)驗(yàn)結(jié)果
4 結(jié)論
本文提出一種融入紅外注意力提升機(jī)制的無錨點(diǎn)實(shí)例分割網(wǎng)絡(luò)用于熱成像圖像中測溫區(qū)域的實(shí)時實(shí)例分割。該實(shí)例分割網(wǎng)絡(luò)在紅外目標(biāo)的檢測階段采用金字塔特征提取方式，在4個提取階段融入本文設(shè)計(jì)的紅外空間注意力模塊以增強(qiáng)紅外特征圖，提高紅外目標(biāo)檢測精度，采用無錨點(diǎn)檢測方式提高紅外目標(biāo)檢測實(shí)時性，在檢測完成后的紅外目標(biāo)分割階段，卷積層中插入紅外空間注意力模塊提升對紅外目標(biāo)分割的精度。在本文制作的“熱成像溫度測量區(qū)域分割數(shù)據(jù)集”進(jìn)行訓(xùn)練與測試，對比多種最新主流實(shí)例分割算法，實(shí)驗(yàn)結(jié)果表明，對于熱成像中測溫區(qū)域的實(shí)時實(shí)例分割，本文方法在主觀視覺和客觀評價兩個方面都能超越大多數(shù)可見光環(huán)境下的實(shí)例分割算法。
猜你喜歡
中國設(shè)備工程(2022年12期)2022-07-11 04:33:00
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2021年6期)2021-11-22 07:50:58
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2021年6期)2021-11-22 07:50:58
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2021年6期)2021-11-22 07:50:58
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2020年12期)2021-01-18 06:57:46
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2020年12期)2021-01-18 06:57:46
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年9期)2019-11-25 07:34:36
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年9期)2019-11-25 07:34:34
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年12期)2019-05-21 02:53:50
中學(xué)生數(shù)理化·七年級數(shù)學(xué)人教版(2019年12期)2019-05-21 02:53:48
