基于卷積神經網的CCTV視頻中排水管道缺陷的智能檢測

呂 兵，劉玉賢，葉紹澤，閆 臻

(深圳市勘察研究院有限公司，廣東 深圳 518026)

排水管網是城市的重要基礎設施之一，也是城市地下空間的重要組成部分。排水管網的安全運行直接關系到城市的公共安全和環境保護。排水管網的長期運行，會造成管道的結構性和功能性等缺陷，從而造成道路的塌陷，地下水污染，城市內澇等重大安全隱患。如2010年5月7日，廣州因暴雨引起內澇，導致全市重大經濟損失，6人因洪澇次生災害死亡。因此有必要對排水管道內部信息進行定期測繪，對測繪信息中檢測到的缺陷進行實時記錄及維護維修。

如圖1所示，管道閉路電視(closed circuit television，CCTV)機器人是一種廣泛使用的排水管道內部信息測繪及缺陷檢測技術。CCTV管道機器人對排水管道缺陷的檢測作業分為外業和內業。首先外業作業人員通過控制器，控制機器人在排水管道內爬行，同時控制攝像頭的旋轉、變焦及燈光照明燈，使用閉路電視拍攝排水管道內部視頻圖像，并通過有線傳輸方式，將拍攝到的視頻傳入存儲設備記錄下來；同時視頻每一幀記錄有管道地址、拍攝時間、機器人移動距離等信息。對于外業作業拍攝到的排水管道內視頻，由內業作業人員通過觀看視頻，判讀管道中的缺陷，記錄缺陷在管道中的位置及缺陷在視頻中發生的時間等信息，并生成排水管道檢測報告。然而該人工判讀方式的內業作業方法，需要耗費大量人力，如對于錄制的80 h視頻，即使8倍播放速度，也需要10 h。另外，該內業作業方法的結果主觀性較強，其依賴內業作業人員的經驗及工作狀態，對于經驗不豐富或疲勞的作業人員容易出現誤檢、漏檢等情況。

盡管目前也有許多專家和學者提出使用圖像處理的方法來自動識別CCTV視頻中的管道缺陷，如文獻[1]使用形態學方法來檢測管道裂縫；文獻[2]除了使用形態學方法檢測裂縫外，還使用Gabor濾波和亮度矯正分別用來檢測沉積物和錯位。但是這類傳統的圖像處理方法目前仍不能滿足管道缺陷檢測的自動化需求。一方面是由于管道缺陷種類繁多，單種算法很難有效解決多類缺陷的檢測。如果集成多種算法同時檢測，勢必會降低檢測效率，并導致開發運維與成本過高。另一方面是由于管道環境復雜，基于傳統圖像處理的檢測方法的精度有限。

為了解決CCTV視頻中的管道缺陷自動化檢測，本文提出了基于卷積神經網絡的CCTV視頻中排水管道缺陷的智能檢測方法。自2012年基于大規模數據驅動的深度卷積神經網絡AlexNet[3]在圖像識別中取得了巨大成功之后，基于深度學習的人工智能技術得到了廣泛深入的研究，取得了巨大進步，推動了目標檢測[4]、語義分割[5]、視頻行為識別[6]等各個領域的發展，也提高了工業生產的自動化和智能化。本文結合排水管道的CCTV作業流程及拍攝到的視頻缺陷特點，提出了一種基于深度學習的排水管道缺陷檢測方法，最后通過試驗證明了該算法的有效性，其在缺陷的識別率和召回率，以及識別速度上均滿足了排水管道缺陷智能檢測的需要，同時基于該方法開發的軟件已經在深圳市的排水管道檢測中得到廣泛的應用和驗證。

1 卷積神經網絡理論基礎

卷積神經網絡[7](convolutional neural network，CNN)是一種前饋神經網絡，在神經網絡中引入了局部感受野、卷積、池化等思想[8]。圖2所示為一個典型的卷積神經網絡，由卷積層，全連接層，池化層等組成。

卷積層的參數是由一些可學習的卷積核集合構成的。每個卷積核在空間上(寬度和高度)都比較小。在每個卷積層上，會有多個卷積核，在前向傳播時，讓每個卷積核都在輸入數據的寬度和高度上滑動，然后計算整個卷積核和輸入數據任一處的內積。當卷積核沿著輸入數據的寬度和高度滑過后，再經過激活函數，會生成一個二維的特征圖(feature map)。在第i層，第j個卷積核在深度為N的輸入的(x,y)位置上，該卷積和激活的操作可表示為

(1)

式中，φ為激活函數；P和Q為卷積核的高度和寬度。經過卷積和激活后生成的特征圖給出了在每個空間位置處卷積核的反應，每個卷積核都會生成一個不同的二維特征圖。將每個卷積核生成的不同特征圖映射在深度方向上層疊起來就生成了輸出數據。池化層用于降低數據體的空間尺寸，減少網絡中參數的數量，使得計算資源耗費變少，也能有效控制過擬合。全連接層同卷積層一樣，與激活層一起形成神經元結構。不同于卷積層的局部連接，池化層與前后兩層的神經元是完全成對連接的。損失層在網絡參數訓練的過程中，放在網絡的最后一層，用來計算前向傳播的誤差。Softmax層則是在測試過程中，放在網絡的最后一層，用于獲得最終的預測得分。

卷積神經網絡的訓練或學習，是指卷積層和全連接層的參數優化，其有信號前向傳播和誤差反向傳播[9]組成。在網絡的學習過程中，信號由輸入層進入神經網絡，通過隱藏層神經元的計算，由輸出層輸出結果，并計算輸出與期望的誤差。再將誤差由輸出層向輸出層反向傳播，計算獲得的每層的梯度，以目標的負梯度方向，根據一定的策略來對各層神經元的連接權重和偏置進行更新。這種基于信號正向傳播與誤差反向傳播的各層參數更新，是迭代進行的，此迭代一直進行到誤差減小到可接受的程度或進行到預先設定的學習迭代次數為止，這個迭代過程就是神經網絡的學習過程。其中的參數更新策略即網絡的優化算法，常用的優化算法有SGD[10]，Adam[11]等。

2 基于卷積神經網絡的CCTV視頻中的排水管道缺陷檢測

2.1 排水管道缺陷識別任務的設計

采集到的CCTV視頻圖像，分為非作業場景和作業場景，同時作業場景中，根據鏡頭角度，又分為全局圖像和局部圖像。全局圖像是指CCTV機器人的攝像頭朝著前進方向獲取的完整管道圖像，局部圖像則是CCTV機器人的攝像頭旋轉獲取的管道局部圖像。全局作業圖像和局部作業圖像中均可能拍攝到管道缺陷，因此本文將CCTV視頻圖像分為如圖3所示的5種類別：非作業圖，全局缺陷圖，全局正常圖，局部缺陷圖，局部正常圖。因此本文將排水管道缺陷識別問題設計為一個有監督的圖像分類問題。通過大量收集這5類圖像，構建大規模數據集，將卷積神經網絡訓練為圖像分類器，對CCTV中的圖像進行分類，如果圖像被卷積神經網絡識別為全局缺陷圖或局部缺陷圖，則說明該圖像幀中包含管道缺陷。

2.2 卷積神經網絡的選擇和改進

本文選取了牛津大學可視化幾何實驗室設計的VGG結構[12]的卷積神經網絡，并對其進行改進，用于排水管道視頻中的缺陷圖像識別。VGG卷積神經網絡獲得了2014年ILSVRC圖像識別大賽的亞軍，是一種重要的神經網絡結構，具有較強的泛化能力，且具有結構簡單、容易訓練等特點。VGG包括VGG-16、VGG-19等網絡結構。相對于VGG-19，VGG-16的網絡層數少三層，因此網絡參數也相應較少。原生VGG-16結構包含16個卷積層或全連接層，卷積層分為5組，前兩個組包含兩個卷積層，后三組包含3個卷積層，所有卷積層均使用3×3大小的卷積核，5組卷積層的卷積數量分別為64、128、256、512、512，每組之后加入一個池化層，用于低數據的空間尺寸，在經過卷積和池化之后，有3個全連接層。前兩個全連階層有4096個神經元，VGG最初用于1000類的圖像的分類任務，因此最后一個全連接層具有10 000個神經元。如前所述，本文對于排水管道缺陷的識別問題設計為一個5中類別的圖像分類任務，因此需要將最后一個全連接層設置為5個神經元，這樣數據經過最后兩個全連階層，圖像特征直接從4096維降到5維，本文在最后兩個全連接層之間加入一個具有1024個神經元的新的全連階層，使特征維度下降的過程中有個過渡，以保留更有效的信息，從而提高分類器的能力。本文將用于管道檢測的改進后的VGG-16稱為VGG-Sewer。

對于新建的具有1024個神經元的全連階層，該層每個神經元的輸出用MP神經元模型表示為

式中，fc7i為前一全連階層的輸出，即該層輸入；wi則為對應的輸入權重；φ是激活函數，在全連階層和式(1)表示的卷積層中，激活函數均使用修正線性單元激活函數ReLU[13](rectified linear unit)，表示為

對于修改后的最后一個全連階層，具有5個神經元，該層每個神經元的輸出用MP神經元模型表示為

式中，fcnewi為新建全連階層的輸出，即該層輸入；wi為對應的輸入權重。

卷積神經網絡的輸入圖像最終獲得的得分為

VGG網絡修改后最終獲得的排水管道缺陷檢測網絡VGG-Sewer可視化如圖4所示，使用改網絡進行訓練和作業的流程如圖5所示。

2.3 樣本數據庫的構建

本文基于卷積神經網絡的有監督圖像識別任務，需要構建大規模的標注圖像用于網絡的訓練。在神經網絡的訓練中一般需要準備均勻的訓練樣本，即訓練樣本中各類別的圖像比例相等。在管道缺陷識別的需求中，希望不遺漏缺陷圖片，即提高缺陷的召回率，因此在訓練樣本中提高缺陷圖像的比例，使全局缺陷圖、全局正常圖、局部缺陷圖、局部正常圖和非作業圖的比例約為2∶1∶2∶1∶1，以使卷積神經網絡能夠對缺陷更加敏感，具有更強的對缺陷特征激活的能力。最終使用深圳市近5年的管道檢測圖像構建了數據庫，包含22 444張全局缺陷圖，11 255張全局正常圖，22 362張局部缺陷圖，11 581張局部正常圖以及10 395張非作業圖。其中每一類圖像選擇2000張作為測試集，剩余的作為訓練集用于神經網絡的訓練。

2.4 卷積神經網絡的訓練

對VGG-Sewer的訓練，使用預訓練模型微調的方法。使用牛津大學提供的VGG-16在大規模圖像數據庫ImageNet[14]上預訓練模型對所有卷積層和前兩個全連階層進行初始化，對最后一個全連階層以及新加入的1024個神經元的全連階層進行隨機初始化。使用SGD優化算法對本文的VGG-Sewer網絡進行訓練。

3 試驗與評估

3.1 卷積神經網絡的訓練結果

使用加州伯克利大學開發的深度學習平臺Caffe[15]對本文的VGG-Sewer網絡進行訓練，將學習率設置為0.000 01，經過每2萬次迭代將學習率下降為原來的1/10，在10萬次迭代時停止學習。圖6是訓練過程中的損失函數結果。

3.2 缺陷識別的評估標準與評估結果

本文的排水管道缺陷檢測設計為一個分類任務，分類任務常用卷積準確率來評估算法模型。如前所述，排水管道缺陷中更關注缺陷的召回率，因此本文使用準確率和缺陷召回率來對本文方法進行評估，其分別定義如下

識別率=正確識別的樣本數/所有的樣本數

缺陷召回率=正確識別的缺陷樣本數/所有缺陷樣本數

其中，缺陷樣本包括全局缺陷樣本和局部缺血樣本。對于使用訓練樣本完成訓練的VGG-Sewer，在如前所述的10 000張測試樣本上進行測試，使用識別率和缺陷召回率進行評估。如圖7所示的排水管網中三四級缺陷比一二級缺陷更容易造成危害且急需維修，因此需對其更加關注，試驗中也對測試樣本中的634張三四級缺陷進行了單獨評估，試驗結果見表1，缺陷樣本的召回率高于所有樣本的準確率1.93%，這也符合前述設計：通過增加缺陷樣本在訓練集中的比例，以使卷積神經網絡對缺陷特征具有更強的激活能力來提高缺陷的召回率。同時也可以看到缺陷的召回率達到了87.26%，其中三四級缺陷的召回率達到了95.11%。

表1 VGG-Sewer模型評估值 (%)

3.3 運行時間與內存消耗

本文提出的基于卷積神經網絡的排水管道檢測，除了讀取CCTV視頻所需要的內存之外，VGG-Sewer網絡模型對GPU內存消耗很大，VGG-Sewer網絡模型中共計150 MB個參數，需要消耗600 MB的GPU的內存。本文方法在計算速度上，試驗測得在Nvidia GTX 1050顯卡上可達20 ms/幀的速度。

3.4 生產作業評估

基于本文算法開發了一套智能排水管道缺陷識別軟件，如圖8所示。該軟件已經在深圳的排水管道缺陷檢測中得到了應用，本文以龍崗區布吉河項目為例對本文識別算法進行評估，不同于3.2節中的測試集圖像樣本的評估，在生成作業采集到的視頻中，一個缺陷在視頻中會持續多幀，對于一個缺陷的多幀，檢測到一幀為缺陷，則該缺陷即被認為成功召回，為了區分3.2結中的缺陷召回率，本節的召回率稱為缺陷實例的召回率。在布吉河項目中，采集到的367段視頻，通過人工標注，共計209個缺陷，其中三四級缺陷48個，通過該智能識別軟件召回到177個缺陷，缺陷實例的召回率達到84.6%，其中三四級缺陷召回45個，缺陷實例的召回率達到93.75%。

4 結 語

本文結合排水管道的CCTV測繪作業流程及拍攝到的視頻缺陷特點，提出了一種基于卷積神經網絡的CCTV視頻中排水管道缺陷的檢測方法，對網絡的選型和改進，網絡的訓練等均進行了研究。該方法極大地提高了排水管道缺陷檢測的智能化和自動化，節省了內業作業的人力，同時滿足城市排水管道缺陷檢測的需求。基于該檢測方法開發的軟件，在深圳市的排水管網缺陷檢測中得到了使用，獲得了驗證和認可。雖然該方法取得了一定的進展，但仍有很多改進工作可以開展：目前的訓練集包含一些老舊設備采集到的圖像，這些設備提取到的圖片特征與近些年的新設備提取到的圖片特征差別較大，而這些老設備已經淘汰不再使用，老設備提取的圖片在訓練集中已經成為噪聲，需要去除。同時在以后的作業中，將收集該法識別錯誤的圖片加入訓練集對網絡模型進行再訓練，以提高模型的識別性能。