基于雙分支點(diǎn)流語(yǔ)義先驗(yàn)的路面病害分割模型

龐榮，楊燕，冷雄進(jìn)，張朋，劉言

（1.西南交通大學(xué) 計(jì)算機(jī)與人工智能學(xué)院, 四川 成都 611756; 2.可持續(xù)城市交通智能化教育部工程研究中心,四川 成都 611756; 3.招商局重慶公路工程檢測(cè)中心有限公司, 重慶 400067; 4.國(guó)家山區(qū)公路工程技術(shù)研究中心,重慶 400067）

我國(guó)公路投資固定資產(chǎn)累計(jì)10萬(wàn)億元，公路總里程接近520萬(wàn)公里[1]。完善的公路路網(wǎng)和交通體系為推動(dòng)國(guó)家經(jīng)濟(jì)快速發(fā)展和加快城市化進(jìn)程提供堅(jiān)實(shí)的保障[2]。但是目前車多路多的嚴(yán)峻形勢(shì)，對(duì)公路養(yǎng)護(hù)提出了更高的要求，其中裂隙和坑槽等道路病害嚴(yán)重威脅到行車安全和人民生命健康，及時(shí)發(fā)現(xiàn)道路病害能避免非人為因素，保障車輛駕駛安全[3]。傳統(tǒng)人工路面病害識(shí)別檢測(cè)方法效率低下并且極具主觀性，急需引入路面病害智能化高效檢測(cè)，來(lái)加快智慧交通養(yǎng)護(hù)的發(fā)展，提高識(shí)別準(zhǔn)確率的同時(shí)實(shí)現(xiàn)降本增效[4]。

基于數(shù)字圖像處理方法的路面病害識(shí)別算法需要先使用直方圖均衡、灰度變換等技術(shù)進(jìn)行預(yù)處理，再使用投影法或者邊緣檢測(cè)對(duì)圖像進(jìn)行分割，使用人工設(shè)計(jì)的卷積核進(jìn)行特征提取，最后通過(guò)反向傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)路面病害識(shí)別。基于機(jī)器學(xué)習(xí)的路面病害識(shí)別算法的特征提取需要依賴人工經(jīng)驗(yàn)，通過(guò)機(jī)器學(xué)習(xí)圖像特征提取算法自行挖掘特征表示，常見(jiàn)的算法有尺度不變特征變換算法和 方向梯度直方圖算法。但是傳統(tǒng)機(jī)器學(xué)習(xí)算法是基于大量假設(shè)條件通過(guò)詳細(xì)數(shù)學(xué)推導(dǎo)而設(shè)計(jì)出來(lái)的，不具有通用性。而基于深度學(xué)習(xí)的路面病害識(shí)別通過(guò)車載攝像頭采集RGB路面圖像，利用車載邊緣端設(shè)備的數(shù)據(jù)傳輸服務(wù)將圖片傳輸?shù)皆朴?jì)算平臺(tái)并利用深度學(xué)習(xí)圖像算法進(jìn)行識(shí)別，具有較強(qiáng)的魯棒性。

雖然深度學(xué)習(xí)方法相對(duì)更加魯棒，但是目前此類算法仍然存在許多難點(diǎn)：1) 采集圖像的質(zhì)量和清晰度較低，路面病害與道路的幾何結(jié)構(gòu)特征對(duì)比不明顯，影響算法識(shí)別率。2) 路面病害尺度不一致且相對(duì)復(fù)雜的真實(shí)路面背景普遍較小，類別不平衡問(wèn)題極其嚴(yán)重。3) 目前大部分巡查設(shè)備的車載攝像頭安裝在車底并垂直地面進(jìn)行病害采集，利用此方法采集的圖像識(shí)別效果好，具有背景簡(jiǎn)單、病害相對(duì)背景占比大、清晰度高等特點(diǎn)，但是存在道路病害不完整，重復(fù)識(shí)別等問(wèn)題。

針對(duì)上述問(wèn)題，本文提出了一種基于雙分支點(diǎn)流語(yǔ)義先驗(yàn)的裂隙、坑槽路面病害分割模型，可以對(duì)前置攝像頭采集的低質(zhì)量路面圖像進(jìn)行裂隙、坑槽病害分割。該網(wǎng)絡(luò)模型由雙重自注意力的語(yǔ)義先驗(yàn)?zāi)K、語(yǔ)義局部增強(qiáng)模塊和稀疏主體采樣點(diǎn)流模塊組成，并采用雙分支結(jié)構(gòu)同步進(jìn)行訓(xùn)練。其中，雙重自注意力的語(yǔ)義先驗(yàn)?zāi)K運(yùn)用高效自注意力機(jī)制和互協(xié)方差自注意力機(jī)制分別對(duì)圖像的二維空間和特征通道進(jìn)行語(yǔ)義特征的提取。語(yǔ)義局部增強(qiáng)模塊利用深度可分離卷積對(duì)語(yǔ)義先驗(yàn)特征進(jìn)行局部聚合，并利用全連接層進(jìn)行升維和降維操作，切換特征空間維度進(jìn)行特征聚合。稀疏主體采樣點(diǎn)流模塊可以融合跨層和本層語(yǔ)義特征并利用稀疏采樣的方式對(duì)病害前景進(jìn)行特征提取和傳播，以緩解類別不平衡問(wèn)題。

本文的主要貢獻(xiàn)如下：1)提出一種基于雙分支語(yǔ)義先驗(yàn)網(wǎng)絡(luò)，并運(yùn)用高效自注意力機(jī)制和XCiT自注意力機(jī)制分別對(duì)二維空間和特征通道進(jìn)行語(yǔ)義特征提取，以提高低質(zhì)量復(fù)雜背景的病害識(shí)別率。2) 引入語(yǔ)義局部增強(qiáng)SLeff模塊提高局部特征聚合能力。3) 提出了一種新的稀疏主體點(diǎn)流模塊，并與傳統(tǒng)特征金字塔網(wǎng)絡(luò)相結(jié)合，進(jìn)一步緩解路面病害的類別不平衡問(wèn)題。4) 構(gòu)建了一個(gè)真實(shí)場(chǎng)景的道路病害分割數(shù)據(jù)集，并在該數(shù)據(jù)集和公開(kāi)數(shù)據(jù)集上與多個(gè)基線模型進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了模型的有效性。

1 路面病害識(shí)別相關(guān)工作

傳統(tǒng)路面病害分割檢測(cè)主要依賴數(shù)字圖像處理技術(shù)，其過(guò)程一般包括以下步驟：1) 定義每個(gè)圖像像素的各種梯度特征；2) 使用二值分類器判斷像素點(diǎn)所屬類別。路面病害分割檢測(cè)算法總體可以分成基于閾值化，顯著性和圖像邊緣3大類[5-7]。Sheng 等[8]提出一種基于梯度提升決策樹的路面裂縫檢測(cè)方法，該方法通過(guò)結(jié)合多層次特征來(lái)描述裂縫，并充分利用了裂縫的結(jié)構(gòu)化信息，使用梯度提升決策樹算法訓(xùn)練模型。Sun等[9]使用領(lǐng)域加權(quán)對(duì)病害附近像素進(jìn)行加權(quán)計(jì)算，然后使用局部閾值化對(duì)加權(quán)結(jié)果進(jìn)行精細(xì)化分割，最后為了解決病害連接問(wèn)題將膨脹法運(yùn)用在病害特征上，取得良好結(jié)果。曹建農(nóng)等[10]提出將均值漂移與直方圖模式判別方法對(duì)已分塊圖像進(jìn)行平滑處理，根據(jù)圖像直方圖模式特征判斷有無(wú)病害，結(jié)合多方向搜索進(jìn)行分割。然而上述方法都是基于人工設(shè)計(jì)特定特征提取模塊，無(wú)法自適應(yīng)不同病害環(huán)境，不具有通用性。

隨著深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域的不斷發(fā)展，高效智能化路面病害識(shí)別成為可能。基于深度學(xué)習(xí)的路面病害檢測(cè)主要分為深度病害目標(biāo)檢測(cè)[11-13]和深度病害語(yǔ)義分割[14-16]兩大類。這兩大類檢測(cè)方法根據(jù)特征提取網(wǎng)絡(luò)的不同又可以分為基于卷積神經(jīng)網(wǎng)絡(luò)和基于視覺(jué)Transformer的病害識(shí)別算法。實(shí)際項(xiàng)目中對(duì)路面病害識(shí)別采用目標(biāo)檢測(cè)的方法占主流，而基于語(yǔ)義分割的病害識(shí)別方法相對(duì)較少，因此具有較大的研究空間。

Zhang等[17]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的路面裂縫檢測(cè)方法，將切割獨(dú)立的小塊圖像輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，并將分類結(jié)果組合成一整張概率圖，其中高亮部分作為病害區(qū)域。韓靜園等[18]將全卷積神經(jīng)網(wǎng)絡(luò)用于路面裂縫分割，分析通道特征的關(guān)系，在特征金字塔網(wǎng)絡(luò)的池化層加入擠壓和激勵(lì)模塊，利用權(quán)重對(duì)原始特征在通道上進(jìn)行重標(biāo)定，自適應(yīng)地為裂縫邊緣、圖案和形狀等特征分配權(quán)重。Yang等[19]提出一種用于路面裂縫檢測(cè)的特征金字塔和層次增強(qiáng)深度卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)以特征金字塔的方式將上下文信息集成到低層特征中進(jìn)行裂紋檢測(cè)。

由于Transformer所具備的長(zhǎng)距離上下文建模能力和并行計(jì)算能力使其在自然語(yǔ)言處理領(lǐng)域取得巨大成功，因此相關(guān)學(xué)者開(kāi)始嘗試將其應(yīng)用在計(jì)算機(jī)視覺(jué)領(lǐng)域[20]。Xie等[21]提出一種簡(jiǎn)單高效且魯棒性強(qiáng)的語(yǔ)義自注意力分割模型（segmentation transformer, SegFormer），該模型由層次化自注意力編碼器層和僅由幾個(gè)全連接層構(gòu)成的解碼器2部分組成。Strudel等[22]提出的Segmenters是基于最新的視覺(jué)自注意力模型的研究成果，將圖像分割成塊并將它們映射為一個(gè)線性嵌入序列，用編碼器進(jìn)行編碼，再由Mask Transformer將編碼器和類嵌入的輸出進(jìn)行解碼，解碼器可以通過(guò)用對(duì)象嵌入代替類嵌入來(lái)直接進(jìn)行全景分割。Carion等[23]提出的基于自注意力的目標(biāo)檢測(cè)算法通過(guò)在解碼器上附加一個(gè)掩碼頭并擴(kuò)展到全景分割任務(wù)，并獲得有競(jìng)爭(zhēng)力的結(jié)果。

2 基于雙分支點(diǎn)流語(yǔ)義先驗(yàn)的復(fù)雜路面病害模型

模型整體框架如圖1所示，主要由自注意力層、語(yǔ)義先驗(yàn)層與稀疏主體采樣點(diǎn)流模塊組成。模型整體流程如下：輸入圖像通過(guò)圖像塊劃分層變成統(tǒng)一大小的圖像塊，利用通過(guò)線性投射層和分層窗口自注意力模塊對(duì)前置攝像頭采集的真實(shí)路面病害圖進(jìn)行特征提取；然后通過(guò)基于語(yǔ)義先驗(yàn)?zāi)K指導(dǎo)后續(xù)模塊的特征更新方向；通過(guò)稀疏主體點(diǎn)流模塊對(duì)病害前景特征點(diǎn)進(jìn)行采樣，并利用采樣點(diǎn)進(jìn)行訓(xùn)練。最后利用雙分支訓(xùn)練結(jié)構(gòu)同步完成自注意力層和語(yǔ)義先驗(yàn)層的更新優(yōu)化。另外，本文利用語(yǔ)義局部增強(qiáng)模塊對(duì)語(yǔ)義先驗(yàn)層輸出的語(yǔ)義特征張量在更高維度的特征空間進(jìn)行局部語(yǔ)義聚合。

2.1 基于雙重注意力機(jī)制的語(yǔ)義先驗(yàn)?zāi)K

大部分語(yǔ)義分割任務(wù)都是對(duì)已經(jīng)預(yù)訓(xùn)練好的骨干網(wǎng)絡(luò)進(jìn)行微調(diào)，以適配當(dāng)前任務(wù)。但是直接對(duì)預(yù)訓(xùn)練好的骨干網(wǎng)絡(luò)進(jìn)行微調(diào)缺乏語(yǔ)義指導(dǎo)，忽略了整體網(wǎng)絡(luò)在編碼階段提供的語(yǔ)義上下文信息。基于此，本模型引入Semask模型[24]的思想，在特征提取骨干網(wǎng)絡(luò)中添加圖像語(yǔ)義信息，每個(gè)先驗(yàn)語(yǔ)義模塊都為后續(xù)特征提取模塊的微調(diào)提供指導(dǎo)意義，使得整體網(wǎng)絡(luò)的語(yǔ)義優(yōu)化朝著更加合理的方向。具體來(lái)說(shuō)，本模型設(shè)計(jì)了一個(gè)新的語(yǔ)義解碼器對(duì)中間語(yǔ)義先驗(yàn)信息提供監(jiān)督，使用基于雙重自注意力的語(yǔ)義先驗(yàn)?zāi)K，用來(lái)捕獲全局整體圖像特征在空間和通道2個(gè)維度的關(guān)系。對(duì)于圖像空間級(jí)別的特征語(yǔ)義提取，本文采用高效自注意力機(jī)制[25]；對(duì)于特征通道維度級(jí)別的語(yǔ)義特征提取；本文采用XCiT自注意力機(jī)制[26]。相較于傳統(tǒng)的注意力計(jì)算方式，同時(shí)對(duì)這2個(gè)維度分別建模可以獲得更多的上下文信息和關(guān)系。基于雙重自注意力的語(yǔ)義先驗(yàn)?zāi)K整體結(jié)構(gòu)圖2所示。

圖2 基于雙重注意力的語(yǔ)義先驗(yàn)?zāi)K整體結(jié)構(gòu)Fig.2 The overall structure diagram of semantic prior modules based on dual attention

雙重自注意力模塊中的高效注意力機(jī)制的運(yùn)算方式為

式中：張量Q∈Rn×dq，張量K∈Rn×dk，張量V∈Rn×dv，ρq、ρk分別表示張量Q和張量K沿矩陣每一行和每一列應(yīng)用Softmax歸一化函數(shù)。高效注意力改變傳統(tǒng)注意力機(jī)制中間特征矩陣的乘法順序，將歸一化的張量K與張量V相乘，再將生成的全局上下文向量與歸一化的張量Q相乘生成新的語(yǔ)義特征。其具有線性的時(shí)間和空間復(fù)雜度，同時(shí)與傳統(tǒng)的自注意力機(jī)制有相同的表達(dá)能力，使用矩陣乘法的結(jié)合律來(lái)交換2個(gè)矩陣乘法的順序，大大減小注意力機(jī)制運(yùn)算次數(shù)，從n×n減小到dk×dv。

由于格拉姆矩陣(Gram)和協(xié)方差矩陣的特征譜非零部分等價(jià)，因此Gram矩陣和協(xié)方差矩陣能夠互相用對(duì)方的特征向量表示，而原始自注意力計(jì)算過(guò)程可以看成類似Gram矩陣的計(jì)算過(guò)程。因此對(duì)于特征通道維度的語(yǔ)義信息提取，本文拋棄了傳統(tǒng)沿圖像塊維度進(jìn)行自注意力矩陣乘法的計(jì)算方式，改用基于互協(xié)方差自注意力機(jī)制來(lái)重新對(duì)特征維度進(jìn)行建模，進(jìn)一步提高運(yùn)算效率，減少運(yùn)算次數(shù)。互協(xié)方差自注意力機(jī)利用特征通道之間的注意力操作替代圖像塊維度之間顯示完全成對(duì)交互計(jì)算，將圖像塊維度投影的鍵標(biāo)準(zhǔn)化張量K與圖像塊維度投影的查詢標(biāo)準(zhǔn)化張量Q做乘法操作，得到關(guān)于特征通道的互協(xié)方差矩陣，并將該矩陣與值張量Q相乘得到特征通道的注意力張量。最后使用分組自注意力機(jī)制，對(duì)輸入特征在通道維度進(jìn)行分組，只對(duì)位于對(duì)角線的通道分組應(yīng)用互協(xié)方差注意機(jī)制，避免對(duì)所有通道進(jìn)行計(jì)算降低運(yùn)算復(fù)雜度。值得注意的是，為了使得互協(xié)方差矩陣權(quán)重分布更加合理，互協(xié)方差自注意力機(jī)引入了可學(xué)習(xí)的溫度參數(shù)τ。基于通道特征的互協(xié)方差自注意力公式為

綜上所述，整個(gè)語(yǔ)義先驗(yàn)?zāi)K的完整流程為

式中：EA為二維圖像高效注意力操作，XA為通道XCiT注意力操作，EAres和XAres分別為注意力計(jì)算中間結(jié)果，LN為層標(biāo)準(zhǔn)化。

2.2 融合局部增強(qiáng)信息的語(yǔ)義先驗(yàn)?zāi)K

雖然Transformer網(wǎng)絡(luò)架構(gòu)能夠克服卷積的歸納偏置所帶來(lái)的局限性，但是其訓(xùn)練需要大量數(shù)據(jù)集[27]，其模型無(wú)法通過(guò)簡(jiǎn)單幾層網(wǎng)絡(luò)輕易捕捉本文所構(gòu)建的小樣本路面病害圖像的幾何低維拓?fù)浣Y(jié)構(gòu)信息。受到CeiT模型的啟發(fā)[28]，本文在語(yǔ)義先驗(yàn)?zāi)K中引入語(yǔ)義局部增強(qiáng)SLeff結(jié)構(gòu)對(duì)語(yǔ)義信息進(jìn)行局部聚合操作，該模塊的詳細(xì)設(shè)計(jì)如圖3所示。

圖3 語(yǔ)義局部增強(qiáng)模塊結(jié)構(gòu)Fig.3 The structure diagram of semantic local enhancement module

假設(shè)輸入圖像通過(guò)第i層特征提取網(wǎng)絡(luò)和雙注意力語(yǔ)義先驗(yàn)?zāi)K得到語(yǔ)義特征向量hi∈Rn×c，該向量首先經(jīng)過(guò)線性投影層將維度擴(kuò)展到n×e，然后根據(jù)圖像原始Token的排列順序?qū)⒍S語(yǔ)義向量hei∈Rn×(c×e)重組為三維張量為了聚合局部特征，SLeff模塊利用深度可分離卷積將新重組的特征矩陣進(jìn)行卷積運(yùn)算，最后將特征向量展平，并經(jīng)過(guò)一個(gè)線性投影層恢復(fù)成與輸入大小相同的語(yǔ)義特征向向量∈Rn×(c×e)，其中n表示中間特征語(yǔ)義向量的行數(shù)，c表示特征向量通道的維度。語(yǔ)義局部增強(qiáng)模塊SLeff流程為

式中：GELU為GELU激活函數(shù)，BN表示層歸一化函數(shù)，Linear1和Linear2表示線性投影層，SpatialReStore表示像素重排函數(shù)，DWConv表示深度可分離卷積函數(shù)，F(xiàn)latten表示特征矩陣展平函數(shù)。

2.3 稀疏主體點(diǎn)流采樣模塊

基于自注意力的語(yǔ)義分割模型需要圖像中的每個(gè)像素點(diǎn)與全局像素點(diǎn)進(jìn)行交互計(jì)算，但對(duì)于復(fù)雜背景占比較大的路面病害圖，如果直接進(jìn)行全局關(guān)系的建模就會(huì)造成大量計(jì)算的冗余，無(wú)法充分挖掘小面積前景的特征表示。此外，對(duì)于目前主流的特征提取網(wǎng)絡(luò)，隨著網(wǎng)絡(luò)層數(shù)的增加語(yǔ)義特征包含的信息逐漸抽象和高級(jí)，但是語(yǔ)義特征分辨率卻在逐漸減小，該特性會(huì)導(dǎo)致小面積的前景特征隨著網(wǎng)絡(luò)層數(shù)的增加而逐漸消失，不利于病害的識(shí)別。本文提出的稀疏主體點(diǎn)流模塊通過(guò)在當(dāng)前FPN層采樣部分病害前景特征像素點(diǎn)作為重點(diǎn)關(guān)注對(duì)象，只將該部分像素點(diǎn)與全局像素點(diǎn)進(jìn)行建模。同時(shí)該模型將相鄰層特征進(jìn)行下采樣融合，利用下層高分辨率特征的具象語(yǔ)義信息補(bǔ)充本層低分辨率的抽象語(yǔ)義信息。針對(duì)傳統(tǒng)點(diǎn)流方法沒(méi)有考慮融合本層特征，本模塊又對(duì)采樣點(diǎn)所在層進(jìn)行采樣點(diǎn)自注意力聚合，并將其與跨層特征相結(jié)合，真正意義上完成了不同階段的特征融合。稀疏主體點(diǎn)流采樣模塊通過(guò)稀疏注意力機(jī)制將相鄰特征層的信息相關(guān)聯(lián)，避免大量背景噪聲點(diǎn)參與全局建模，減少運(yùn)算次數(shù)，提高運(yùn)算效率，緩解類別嚴(yán)重不平衡問(wèn)題。同時(shí)跨層特征融合將不同層的分辨率信息與語(yǔ)義信息進(jìn)行互補(bǔ)，兼顧高分辨率信息和高語(yǔ)義信息的相互統(tǒng)一，提高對(duì)復(fù)雜背景下小面積病害的識(shí)別能力[29]，具體原理和操作如圖4所示。

圖4 考慮本層節(jié)點(diǎn)聚合信息的稀疏主體點(diǎn)流優(yōu)化Fig.4 Sparse subject point flow optimization graph considering aggregation information of local nodes

假設(shè)圖片經(jīng)過(guò)編碼骨干網(wǎng)絡(luò)得到4組不同的中間特征張量ti。首先將本層語(yǔ)義特征張量ti與相鄰層特征張量ti-1相疊加，疊加后的特征通過(guò)卷積操作得到融合低層具象特征和高層抽象特征的主體特征選擇信息流張量ci。然后對(duì)原始特征圖的主體特征選擇信息流張量的非0特征值點(diǎn)與對(duì)應(yīng)二維坐標(biāo)相映射，并根據(jù)該映射完成對(duì)特征張量ti的更新。為了達(dá)到稀疏特征點(diǎn)的目的，選擇更新后語(yǔ)義特征張量ti中特征值大小前top-n的點(diǎn)作為興趣點(diǎn)，并根據(jù)興趣點(diǎn)的坐標(biāo)信息進(jìn)行采樣，最終得到稀疏語(yǔ)義特征向量。根據(jù)FPN結(jié)構(gòu)的相鄰特征大小倍率關(guān)系，可以計(jì)算出語(yǔ)義特征張量ti-1中對(duì)應(yīng)主體特征選擇信息流張量的非0特征值點(diǎn)集合的二維坐標(biāo)。為了關(guān)聯(lián)相鄰FPN網(wǎng)絡(luò)的特征，進(jìn)一步提高其表達(dá)能力，還將本層稀疏采樣點(diǎn)之間進(jìn)行自注意力操作，通過(guò)2次矩陣乘法操作計(jì)算不同層之間語(yǔ)義特征的注意力矩陣，并將該矩陣與當(dāng)前層稀疏語(yǔ)義特征向量相乘后求和，得到最終更新完成的全局稀疏語(yǔ)義特征張量。最后根據(jù)語(yǔ)義特征向量ti-1的采樣坐標(biāo)將對(duì)應(yīng)位置的值插入到ti-1中（對(duì)應(yīng)圖5擴(kuò)散操作），進(jìn)而完成語(yǔ)義特征向量ti-1的更新操作，最終得到i-1層融合了i層語(yǔ)義信息的特征語(yǔ)義向量。稀疏主體點(diǎn)流結(jié)構(gòu)如圖5所示。

圖5 稀疏主體點(diǎn)流結(jié)構(gòu)Fig.5 Sparse subject point flow structure diagram

稀疏主體點(diǎn)流模塊具體操作流程為

式中：Interpolation表示插值操作，AdaptiveMax-Pool2d表示自適應(yīng)最大池化操作，Update表示根據(jù)采樣點(diǎn)進(jìn)行更新操作，Bmm表示矩陣乘法操作，Scatter表示擴(kuò)散操作。

3 基于雙分支點(diǎn)流語(yǔ)義先驗(yàn)的路面病害分割模型實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集和指標(biāo)

實(shí)驗(yàn)使用公開(kāi)數(shù)據(jù)集Crack500和采集自自研車載自動(dòng)化巡查項(xiàng)目的路面病害語(yǔ)義分割兩種數(shù)據(jù)集。其中，Crack500數(shù)據(jù)集包含訓(xùn)練集1 896張、驗(yàn)證集348張、測(cè)試集1 124張圖像。而自研巡查車路面病害數(shù)據(jù)集通過(guò)前置攝像頭錄制路面視頻并傳輸?shù)竭吘壏?wù)器上，并隔固定時(shí)間間隔進(jìn)行幀采樣。該數(shù)據(jù)集收集了從2022年3月-9月重慶部分路面病害數(shù)據(jù)，每張圖片的分辨率規(guī)整為1 080×720的PNG格式圖像，一共包含1 000張路面病害圖，訓(xùn)練集驗(yàn)證集的比例為3∶1，包含3個(gè)語(yǔ)義類別，分別為橫向裂縫、縱向裂縫和坑槽。本實(shí)驗(yàn)采用的語(yǔ)義分割評(píng)價(jià)指標(biāo)包括平均交并比（mIoU）、平均準(zhǔn)確率（mPrecision）、召回率（recall）、F1得分和參數(shù)量（param）。各項(xiàng)指標(biāo)表示如下：

式中：k表示種類數(shù)（不包含背景），pii、pjj、pij和pji分別表示預(yù)測(cè)正確屬于該病害、預(yù)測(cè)正確不屬于該病害、預(yù)測(cè)該類病害不屬于該類的假類和預(yù)測(cè)不屬于該類的病害屬于類（如果第i類為正類）。本實(shí)驗(yàn)如果在mIoU相差不大的情況下，即使出現(xiàn)mIoU偏低的情況，也著重觀察平均準(zhǔn)確率、召回率及F1得分，原因如圖6所示，由于人工對(duì)低質(zhì)量路面病害圖僅僅靠肉眼觀察后打標(biāo)不可能做到像素級(jí)別，而所提供數(shù)據(jù)集的Ground Truth相較于預(yù)測(cè)結(jié)果而言反而有漏打少打的情況，因此僅僅依靠計(jì)算mIoU會(huì)出現(xiàn)效果好的模型反而mIoU較低的情況，無(wú)法說(shuō)明模型的準(zhǔn)確性，因此著重考慮后面3個(gè)指標(biāo)。

圖6 人工路面病害打標(biāo)Ground Truth與模型預(yù)測(cè)結(jié)果對(duì)比可視化Fig.6 Visualization of comparison between Ground Truth and model prediction results for artificial pavement disease marking

所有實(shí)驗(yàn)均在Pytorch-GPU-1.8.1和Python-3.7上實(shí)現(xiàn)，并在單張NVIDIA GeForce RTX 3 090（顯存24 G）上運(yùn)行。為了實(shí)驗(yàn)的公平，所有實(shí)驗(yàn)?zāi)Ｐ途捎没鶞?zhǔn)學(xué)習(xí)率為γ0=0.001的AdamW優(yōu)化器，并采用poly學(xué)習(xí)率衰減，設(shè)置訓(xùn)練迭代次數(shù)為80 000，批處理大小為4。

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

本文在上述2個(gè)數(shù)據(jù)集上將所提出模型與其他語(yǔ)義分割模型進(jìn)行比較，如表1和表2所示。比較方法分為2類，基于CNN的語(yǔ)義分割算法和基于視覺(jué)Transformer的語(yǔ)義分割算法，基于卷積網(wǎng)絡(luò)包括以ResNet為骨干網(wǎng)絡(luò)的Ccnet[30]、Deeplabv3[31]、Deeplabv3+[32]及Hrnet系列[33]和Cgnet[34]；基于視覺(jué)Transformer的分割模型包括以VIT為骨干網(wǎng)絡(luò)的Setr[35]、Segmenter[22]和Segformer[21]。

表1 不同語(yǔ)義分割模型在自研路面病害數(shù)據(jù)集上的結(jié)果對(duì)比Table 1 Comparison of results of different semantic segmentation models on self-developed road surface disease datasets

表2 不同語(yǔ)義分割模型在Crack500公開(kāi)數(shù)據(jù)集上的結(jié)果對(duì)比Table 2 Comparison of results of different semantic segmentation models on Crack500 public dataset

在2個(gè)數(shù)據(jù)集上，基于Transformer的語(yǔ)義分割模型的效果要遠(yuǎn)差于CNN，是因?yàn)樽宰⒁饬W(wǎng)絡(luò)訓(xùn)練需要大規(guī)模數(shù)據(jù)集才能充分挖掘全局關(guān)系，而2個(gè)數(shù)據(jù)集中訓(xùn)練集數(shù)量遠(yuǎn)遠(yuǎn)不足。但是，本模型使用Transformer骨干特征網(wǎng)絡(luò)卻在2個(gè)少量樣本的數(shù)據(jù)集上比所有卷積方法在Flops、mPrecision、Recall和F1-score4個(gè)重點(diǎn)指標(biāo)上都高，說(shuō)明了該算法在訓(xùn)練少樣本的路面病害樣本上具有巨大潛力。同時(shí)可以觀察到在自研數(shù)據(jù)集上，本文方法的mPrecision指標(biāo)與Deeplabv3+接近；但是Flops遠(yuǎn)低于該方法，說(shuō)明本文方法在相同精準(zhǔn)度的情況下具有更快的運(yùn)算速度；同理，本文方法與基于ResNet101的Ccnet模型在Recall指標(biāo)接近，但是Flops減少了接近2倍，進(jìn)一步說(shuō)明本文模型的有效性（注：雖然Hrnet18網(wǎng)絡(luò)的參數(shù)量?jī)H9.64 M，但是本文不將其作為最佳參數(shù)量結(jié)果的原因是該網(wǎng)絡(luò)表現(xiàn)其他指標(biāo)極差，沒(méi)有參考意義。同理認(rèn)為所有模型中浮點(diǎn)運(yùn)算次數(shù)最低的為本文的模型，而不是Segformer）。而在公開(kāi)數(shù)據(jù)集上，由于數(shù)據(jù)集質(zhì)量大幅度提高，所有方法的指標(biāo)相較于自研數(shù)據(jù)集都有大幅度提升，但是本文所提模型表現(xiàn)大幅優(yōu)于基于所有對(duì)比方法，進(jìn)一步驗(yàn)證了本模型在高質(zhì)量語(yǔ)義分割數(shù)據(jù)集上更具魯棒性和有效性。

表3給出不同大小的 Swin-Transformer 骨干網(wǎng)絡(luò)細(xì)節(jié)參數(shù)。在表4中本文對(duì)Swin Transformer 3種不同編碼器變體進(jìn)行實(shí)驗(yàn)，其中Swin-T-FPN表示利用Swin-Tiny作為編碼器，F(xiàn)PN作為解碼器展示使用不同骨干相同網(wǎng)絡(luò)效果對(duì)比。變體具體參數(shù)如表3所示，基于Swin-Transformer的tiny版本的骨干網(wǎng)絡(luò)在所有指標(biāo)表現(xiàn)最好；相反，使用更大版本的Swin-Transformer特征骨干網(wǎng)絡(luò)反而會(huì)影響模型的精度，在各項(xiàng)指標(biāo)中都有大幅度的下滑。原因是更大的模型雖然擬合效果更好，但是由于實(shí)驗(yàn)使用的數(shù)據(jù)集質(zhì)量較低，數(shù)量較少，針對(duì)小數(shù)據(jù)集，大模型更容易出現(xiàn)欠擬合的現(xiàn)象。也就是說(shuō)，相同訓(xùn)練參數(shù)配置的下，大模型可能會(huì)一直陷入一個(gè)局部次優(yōu)解，無(wú)法對(duì)模型全局參數(shù)有個(gè)更好的更新。

表3 不同大小的Swin-Transformer骨干網(wǎng)絡(luò)細(xì)節(jié)參數(shù)表Table 3 Detailed parameter table of Swin-Transformer backbone network of different sizes

表4 Dual-SePointFlow模型使用不同大小Swin-Transformer骨干網(wǎng)絡(luò)效果對(duì)比Table 4 Comparison table of effects of Dual-SePointFlow model using Swin-Transformer backbone networks of different sizes

3.3 消融實(shí)驗(yàn)

在本節(jié)實(shí)驗(yàn)中，將對(duì)雙分支訓(xùn)練結(jié)構(gòu)、語(yǔ)義先驗(yàn)?zāi)K和稀疏點(diǎn)流主體模塊進(jìn)行消融實(shí)驗(yàn)，分析本文設(shè)計(jì)的模塊對(duì)于真實(shí)復(fù)雜路面病害識(shí)別的有效性。表5展示了3種結(jié)構(gòu)的消融結(jié)果，最簡(jiǎn)單的Swin-Transformer+FPN模型出人意料的召回率最高，表明該方法查全率高，但是查準(zhǔn)率非常低，綜合兩者的F1得分非常低；原始的semask模型相較于第1個(gè)模型添加了最簡(jiǎn)單的語(yǔ)義先驗(yàn)?zāi)K，其模型犧牲較多的查全率去提高查準(zhǔn)率，但是效果甚微，F(xiàn)1得分非常低，效果不理想。在原始semask基礎(chǔ)上添加稀疏點(diǎn)流模塊，查準(zhǔn)率小步上升，但是召回率進(jìn)一步下降。而采用新設(shè)計(jì)的雙重語(yǔ)義先驗(yàn)?zāi)K犧牲較少查準(zhǔn)率的同時(shí)大幅度提高查全率，F(xiàn)1得分也得到顯著提高，證明了雙重語(yǔ)義先驗(yàn)?zāi)K的有效性。最后結(jié)合局部增強(qiáng)模塊得到最好的結(jié)果，驗(yàn)證該模塊的有效性。

表5 Dual-SePointFlow不同模塊消融驗(yàn)證實(shí)驗(yàn)效果對(duì)比Table 5 Comparison of ablation validation experiments on different modules of Dual-SePointFlow

3.4 可視化結(jié)果分析

本節(jié)主要展示在自研車載自動(dòng)化巡查項(xiàng)目的路面病害語(yǔ)義分割數(shù)據(jù)集上的可視化結(jié)果分析。圖7給出了不同經(jīng)典語(yǔ)義分割模型的實(shí)驗(yàn)結(jié)果對(duì)照。基于卷積的分割模型中Cgnet預(yù)測(cè)的細(xì)小細(xì)節(jié)最多，Ccnet和Hrnet基本上無(wú)法預(yù)測(cè)細(xì)小裂縫細(xì)節(jié)。而對(duì)于較大的裂縫，所有卷積模型表現(xiàn)良好。基于Transformer的分割模型對(duì)于細(xì)小裂縫識(shí)別總體表現(xiàn)很差，但是對(duì)于較大裂縫的識(shí)別效果比卷積更好,預(yù)測(cè)結(jié)果更加完整。總體而言，在小數(shù)據(jù)集上基于卷積的分割模型效果更勝一籌。而本文方法效果最好，基本上準(zhǔn)確預(yù)測(cè)了大坑槽和細(xì)小的裂縫細(xì)節(jié)，證明了本文模型的有效性。

圖7 不同語(yǔ)義分割模型實(shí)驗(yàn)結(jié)果對(duì)照可視化Fig.7 Comparison visualization of experimental results of different semantic segmentation models

圖8給出了本文模型在自研路面病害數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果對(duì)照。純Swin骨干加FPN網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)結(jié)果最差，無(wú)法提取病害整體關(guān)系，因此出現(xiàn)一條裂縫被識(shí)別成好幾種病害。而添加最原始的語(yǔ)義先驗(yàn)?zāi)K，緩解數(shù)據(jù)集不夠?qū)е聼o(wú)法提取病害全局特征。進(jìn)一步添加稀疏主體點(diǎn)流模型，只關(guān)注病害特征點(diǎn)，預(yù)測(cè)病害的完整度更加好，最后使用本文的語(yǔ)義先驗(yàn)?zāi)K，預(yù)測(cè)結(jié)果光滑平整，基本上不會(huì)出現(xiàn)病害不連續(xù)的情況，驗(yàn)證了本文所設(shè)計(jì)模塊的有效性。

圖8 Dual-SePointFlow模型消融實(shí)驗(yàn)結(jié)果對(duì)照可視化Fig.8 Comparison visualization of ablation experimental results of Dual-SePointFlow model

4 結(jié)束語(yǔ)

本文提出了一種基于雙分支點(diǎn)流語(yǔ)義先驗(yàn)的真實(shí)路面病害識(shí)別模型。針對(duì)路面病害數(shù)據(jù)集小、圖像質(zhì)量差等問(wèn)題，提出了雙分支語(yǔ)義先驗(yàn)?zāi)K來(lái)指導(dǎo)骨干特征提取網(wǎng)絡(luò)更好地優(yōu)化；針對(duì)前置攝像頭采集圖像病害占比小的問(wèn)題, 提出了稀疏主體點(diǎn)流模塊，只對(duì)部分病害前景采樣點(diǎn)進(jìn)行計(jì)算，同時(shí)融合不同層與自身層的特征信息進(jìn)行更新，進(jìn)一步提高識(shí)別精度的同時(shí)緩解了病害類別嚴(yán)重不平衡問(wèn)題。為了訓(xùn)練和驗(yàn)證模型，本文構(gòu)建了一個(gè)真實(shí)路面病害分割數(shù)據(jù)集，通過(guò)大量實(shí)驗(yàn)驗(yàn)證本文方法不僅能在真實(shí)環(huán)境下有效地識(shí)別路面病害，而且針對(duì)小樣本和類比不平衡的情況也具有好的效果。由于類似的全景路面病害數(shù)據(jù)集很少，本文只在本數(shù)據(jù)集上表現(xiàn)良好，并驗(yàn)證本模型的有效性。但是想要模型做到強(qiáng)泛化能力和強(qiáng)魯棒性，具有一定的挑戰(zhàn)性和研究?jī)r(jià)值。未來(lái)如果有更多全景路面數(shù)據(jù)集公開(kāi)，還可以進(jìn)一步探究如何更好挖掘復(fù)雜背景與前景的關(guān)系，提高其檢測(cè)和分割的識(shí)別率。