基于FCN的路面裂縫分割算法*

韓靜園， 王育堅， 譚衛雄， 李深圳

(北京聯合大學 智慧城市學院，北京 100101)

0 引 言

我國公路交通正處于高速發展時期，交通流量與日俱增，人們對行車安全、舒適和經濟的要求不斷提高，路面養護的重要性和緊迫性日漸凸顯[1,2]。因此，加強路面裂縫圖像識別技術的研究具有很大的實際意義。目前，路面裂縫分割方法主要有傳統的圖像分割方法、基于機器學習的方法和深度學習方法等三種。

很多傳統的圖像分割方法能夠用于解決路面裂縫分割問題。文獻[3]針對裂縫較暗的特點，使用不同的閾值進行處理,但閾值的選擇存在困難，對噪聲和環境比較敏感。使用手動設計的特征表示方法，如Gabor濾波器、HOG等方法在檢測背景簡單的裂縫時取得了較好的效果，但是對于復雜背景下的圖像，分割效果不理想，且參數的選擇也耗時耗力。

機器學習方法也常用于路面裂縫分割。根據路面紋理特性，使用支持向量機[4]，采用不同的濾波器提取裂縫特征，利用AdaBoost[5]進行裂縫分類。為了提取出所有疑似裂縫的像素點進行二值化處理[6]，選擇K均值聚類檢測裂縫。雖然這些方法在一定場合下效果不錯，但是泛化能力差，通用性不高。

近年來，深度學習方法開始用于路面裂縫的檢測和分割。2016年Lei Z等人使用4層卷積神經網絡(convolutional neural networks，CNN)實現了路面裂縫檢測[7]，準確度達到87 %。2018年王森等人[8]為了實現逐個像素裂縫檢測，在全卷積神經網絡(fully convolutional networks，FCN)的基礎上提出了CrackFCN模型，但模型的查準率、查全率不高。2019年翁飄等人[9]在FCN8S的基礎上提出FCN4S模型，模型加入了第2層池化層的特征，增加了局部信息，從而提高了模型性能，但忽略了裂縫邊緣、圖案和形狀等特征的權重分配。

本文在FCN方法的基礎上，通過使用擠壓和激勵(squeeze and excitation，SE)模塊，自適應為裂縫邊緣、圖案和形狀等特征分配權重[10]，構建改進的FCN模型，用于路面裂縫分割，并設計實驗進行驗證。

1 模型方法原理

1.1 FCN

CNN主要通過多層次的卷積池化組合進行特征提取，再連接若干個全連接層來進行分類。VGG16模型的所有全連接層通過FCN轉化成卷積層,是為了解決在連接所有全連接層后，原始圖像中目標位置坐標無法與對應的像素點相對應的問題。FCN將最后的三層全連接層改為卷積層，卷積核的大小(C,H,W)分別為(4 096,1,1),(4 096,1,1)和(1 000,1,1)。

針對不同的池化層上采樣，FCN分為FCN32S,FCN16S和FCN8S三種模型，如圖1所示。

圖1 FCN三種模型卷積過程

1.2 擠壓和激勵

2019年Hu J等人10]通過考慮特征通道之間的關系來提高網絡的性能,因此提出了擠壓和激勵網絡(squeeze and excitation networks，SENet)，通過設計SE block自適應校準通道間的特征。SE block的核心就是擠壓(squeeze)和激勵(excitation)兩個運算。

Squeeze運算，就是將得到的多個特征U，采用全局平均池化Fsq(.)操作，然后再對每個特征uc進行壓縮，得到C個特征，最后變成1×1×C的實數數列，用zc表示第C個特征輸出，公式如式(1)所示

(1)

Excitation運算，是在得到z以后先經過一個全連接層由1×1×C變成1×1×C/r，然后用ReLU激活后，再經過一個全連接層變回1×1×C，最后經過Sigmoid輸出，得到特征U上權重

s=Fex(z,W)=σ(g(z,W)=σ(W2δ(W1z))

(2)

利用權重s對原始特征在通道上進行重標定，通過點乘逐個通道加權，提高有用特征的權重，抑制無用特征。

2 改進的FCN

2.1 改進的FCN模型結構

FCN按像素級別進行分類，將整個復雜的裂縫圖像分割成只含有裂縫像素的圖像，其過程如圖2所示。本文利用FCN按像素分類的特點，通過加入SE模塊，對FCN模型進行改進，提出一種SE—FCN8S改進模型。SE—FCN8S模型能夠調節裂縫邊緣、圖案和形狀等特征的權重，利于提高模型的性能。

圖2 FCN裂縫分割過程

SE—FCN8S模型的結構如圖3所示。模型輸入層是一張224×224×3的圖像，經過第1層2次卷積后送入第1個池化層(pool1)，維度變成112×112×64；經過第2層兩次卷積后送入第二個池化層(pool2)，維度變成56×56×128；經過第3層3次卷積后送入第3個池化層(pool3)，維度變成28×28×256；經過第4層3次卷積后送入第4個池化層(pool4)，維度變成14×14×512；經過第5層3次卷積后送入第五個池化層(pool5)，維度變成7×7×512；經過3層全卷積后維度變成1×1×2。

圖3 SE-FCN8S模型結構

通過上采樣(反卷積)將維度變成14×14×2；然后通過與經過SE的pool4進行特征融合后，再一次經過上采樣，將維度變成28×28×2；最后通過與經過SE的pool3進行特征融合后，再次經過上采樣，將維度變成224×224×2，也是最后的輸出，實現了端到端的輸出。改進方法在pool3和pool4后加入了SE模塊，建模卷積特性通道之間的相互依賴關系，通過擠壓和激勵，自適應的為裂縫邊緣、圖案和形狀等特征分配權重，進而提高網絡性能。

2.2 改進的FCN模型參數

SE-FCN8S模型的參數如表1所示。

表1 SE-FCN8S模型參數

3 實驗與分析

3.1 實驗環境和數據集

實驗環境是在基于Linux系統下搭建Keras深度學習框架。硬件環境是PC臺式機，內存32G；2塊1080GPU，每塊內存8GB；CPU 為Intel?CoreTMi5—2410 M，系統為Ubuntu 14.04.5。

實驗數據為線掃描相機采集的京藏高速路段的一部分，包括含有油脂和陰影的裂縫路面。根據裂縫的分類標準，采用橫向裂縫、縱向裂縫以及網狀裂縫三種具有代表性的圖片，共3 000幅，建立自己的路面裂縫數據庫(pavement segmentation database,PSDB)，數據庫中所有圖已全部標注。

3.2 評價標準

在評價路面裂縫分割性能時，主要考慮TP、FP、FN、TN等4種類別，其含義如表2所示。

表2 評價類別

落在每個類別中的像素數量通常用于量化檢測的裂縫與實際裂縫之間的一致性。可以從表2中4個基本評價類別推導出一些評價指標，其中以下幾個評價指標被廣泛使用：查準率P(Precision)，查全率R(Recall)，DSC(dice similarity coefficient)。DSC是P和R的調和平均值。分別定義為

(3)

(4)

(5)

DSC系數結合了查準率P和查全率R兩個評價指標，通常被用作綜合性評價指標[11]。DSC特別適用于評價目標像素表現不突出時的圖像分割，而裂縫分割就是屬于這種情況。DSC值位于0～1之間，值越大代表分割效果越好。在實踐中，一般認為DSC值超過0.7就意味著有很好的一致性。

3.3 SE-FCN8S模型結構測試與比較

從PSDB庫中抽取2 000張圖片作為訓練，1 000張作為驗證，因為這里輸入規格為224×224，所以把每張圖片切割成224×224的訓練圖片，則最后的訓練集為10 000個，驗證集為5 000個。采用VGG16模型，并用ImageNet預訓練參數。先應用FCN8S進行裂縫分割調優，然后在同樣的學習率和損失函數Loss下對SE-FCN8S進行訓練。從圖4(a)與圖4(b)可以看出，SE-FCN8S的Loss值不管是在訓練還是驗證時都比FCN8S低。從圖4(c)可以看出，單純使用FCN8S模型，DSC值最大為0.813，效果較好。但加入了SE模型后，SE-FCN8S模型最大的DSC可以達到0.882，提高了將近7 %。

圖4 FCN8S與SE-FCN8S的對比

3.4 與其他方法的比較和分析

為驗證改進算法的有效性，采用PSDB裂縫數據進行實驗，對FCN8S模型、CrackFCN模型[8]、FCN4S模型[9]和本文改進模型 SE-FCN8S進行定性和定量分析。為了分析復雜背景下分割裂縫的有效性，實驗中加入了帶陰影和油脂的圖片。圖5中，第1行和第2行是2張帶不同陰影圖的分割結果，第3行是一張有油脂圖的分割結果，第4行和第5行是任意2張圖的分割結果。從左往右每列依次是原圖和FCN8S,FCN4S,CrackFCN,SE-FCN8S的分割結果。

從圖5中可以看出，FCN8S模型存在明顯的誤分割和分割丟失現象。在油脂圖中，FCN8S分割性能較差，將油污等噪聲也當作目標處理。FCN4S雖然在誤分割方面有所改進，但對于存在陰影且裂縫很細的圖片，還是存在誤分割現象。CrackFCN雖然在誤分割方面表現很好，但也存在大量的分割丟失現象，在有陰影噪聲的情況下，裂縫分割性能較差，如圖5中第2行所示。本文改進模型SE-FCN8S在誤分割和分割丟失方面都表現較好。

圖5 FCN8S、FCN4S、CrackFCN和SE-FCN8S定性比較結果

為了定量分析改進方法在復雜背景下的裂縫分割的有效性，隨機選取了500幅帶陰影和油脂的裂縫圖像，還隨機選取了2 000幅裂縫圖像，分別進行統計，結果如表3和表4所示。

表3 帶陰影、油脂圖裂縫分割的P值、R值和DSC值

表4 隨機圖像裂縫分割的P值、R值和DSC值

統計數據與圖5的分析結果一致。圖像不管是在什么背景下，FCN8S在誤分割和分割丟失方面的分割性能都是最低的。FCN4S因為結合了第二次下采樣的信息，分割性能有所提升。但FCN4S多結合了裂縫的淺層特征，因此，在復雜背景下可能誤把油脂和陰影背景當成目標，結果存在大量的誤分割現象，P值很低。對于減少了網絡參數的CrackFCN模型，在復雜背景下，因為其網絡參數減少，會造成一些與陰影、背景相似的裂縫丟失，因此R值很小。對于本文改進的SE-FCN8S模型，因為在淺層特征與深層特征融合時，加入了SE模塊，可以很好地加強目標裂縫的權重，抑制如油脂、陰影等無用特征的權重，提高了裂縫分割性能。在復雜背景下，SE-FCN8S模型的R值上能達到0.88，DSC值也達到了0.85。統計數據也驗證了改進方法的魯棒性和有效性。

4 結 論

FCN模型可以用于路面裂縫的分割，但對于復雜背景下的路面裂縫圖像，分割效果不理想。改進模型SE-FCN8S通過加入SE模塊，自適應地為裂縫邊緣、圖案和形狀等特征分配權重，提高了路面裂縫分割的性能。實驗結果顯示，與其他FCN模型相比，SE-FCN8S模型在誤檢率、漏檢率和DSC綜合評價指標等方面都有明顯的改善。研究結果表明:在分割裂縫圖像網絡中應用SE-FCN8S模型是有效的。下一步研究工作是考慮在3D分割網絡中加入注意力機制，以進一步提高路面裂縫分割的性能。