基于機器視覺與深度學習的飛機防護柵裂紋檢測系統

張良安， 陳洋， 謝勝龍， 劉同鑫

(1.安徽工業大學 機械工程學院， 安徽 馬鞍山 243000；2.安徽省工業互聯網智能應用與安全工程實驗室， 安徽 馬鞍山 243023；3.中國計量大學 機電工程學院， 浙江 杭州 310018)

0 引言

飛機防護柵作為飛機發動機進氣口的防護裝置，能有效阻止沙石等外來物被吸入進氣口，為飛機發動機葉片正常工作提供保護作用[1-2]。但在其使用過程中，不可避免地會受到高速氣流所產生的應力作用和外來物的沖擊，從而產生不同程度的裂紋。如果不及時發現并維修，則防護柵網格可能因此斷裂并失效，引起沙石等外來物吸入進氣口，造成發動機葉片損傷，進而導致嚴重的飛行事故。因此，實現飛機防護柵裂紋的快速檢測十分重要[3-4]。

目前，在飛機疲勞試驗中裂紋的檢測手段主要包括人工檢查、渦流和超聲波等[5-7]，這些方法因防護柵的特殊結構在檢測效率和檢測精度上都受到了極大的限制。機器視覺檢測構成主要為相機、鏡頭、光源、圖像處理軟件、控制系統等，通過對工業相機采集到的圖像進行相應的圖像處理，根據反饋得到檢測結果。機器視覺檢測為無接觸測量面，對被檢測的物體材料和形狀等都無特定的要求，因此應用廣泛。隨著機器視覺技術的快速發展，深度神經網絡在分類、檢測和識別方面的檢測效率和精度都得到了大幅提升[8]。相比傳統的機器學習需要預處理和人工提取特征等一系列復雜操作[9]，深度學習只需要構造卷積神經網絡，神經網絡就會主動學習圖像特征，從而完成特征提取，為裂紋自動化檢測提供了一條新的解決路徑，因此引起了國內外很多學者的關注。陳波等[10]對圖像處理和卷積神經網絡進行了研究，實現了對壩面裂紋的識別。Zheng等[11]設計開發了一種使用有限數量的訓練圖像進行軌道表面裂紋檢測的深度遷移學習框架。王森等[12]為實現復雜背景下裂紋目標的有效檢測及降低錯誤標記，將全卷積網絡(FCN)引入圖像裂紋檢測中，并針對裂紋檢測實驗中FCN模型存在丟失局部信息和喪失部分精細化區分能力的問題，構建了一種Crack FCN模型。呂帥帥等[13]為了解決飛機結構構型多樣及疲勞試驗環境復雜等問題，提出了一種基于關鍵結構定位的檢測策略，并以區域卷積神經網絡為基礎對模型架構和非極大值抑制模塊進行了適應性改進，提出了一種裂紋自動識別方法。以上研究均表明圖像處理與深度學習技術對裂紋的檢測具有很好的效果，但目前在飛機防護柵的表面裂紋檢測中尚未見到相關應用。

本文基于機器視覺技術設計了一種飛機防護柵裂紋檢測裝置，并結合圖像處理技術與深度學習原理提出了一種飛機防護柵裂紋檢測算法。在自制防護柵裂紋數據集的基礎上，分別采用ZF-Net、VGG-16和ResNet-101卷積神經網絡作為Faster-RCNN特征提取網絡，開展了防護柵表面裂紋對比研究，并得出相關結論。

1 檢測系統設計

1.1 防護柵結構

本文研究的飛機防護柵實物如圖1所示，圖1(a)所示為飛機防護柵正面實物示意圖，圖1(b)所示為其反面和槽面實物示意圖。該防護柵由1.8 mm厚度的鈦合金板材加工而成，其表面分布有9萬多個2.5 mm×2.5 mm的小網格，網格之間的格框寬度僅為0.55 mm，且裂紋非常細小，有的裂紋寬度僅有10 μm左右，多分布在防護柵網格與網格之間的分界處，檢測環境復雜。飛機防護柵這種結構特點給人工檢測帶來了極大的難度，而傳統的無損檢測技術(如超聲波和渦流等)也因這種結構特點無論是在檢測效率還是檢測精度上都受到了極大的限制。而機器視覺因為其檢測的無接觸性、精度高和現場抗干擾能力強等突出的優點，在這種困難檢測條件下能較好地完成裂紋檢測任務。

因此，研究新型飛機防護柵裂紋自動檢測系統以代替傳統的檢測手段，具有非常重要的意義。

圖1 飛機防護柵結構示意圖Fig.1 Protective grill structure

1.2 檢測系統

飛機防護柵裂紋檢測裝置如圖2所示，它由高精密三坐標機器人控制系統、末端相機裝載裝置、數字成像系統和計算機平臺組成。

圖2 檢測裝置Fig.2 Detection device

高精密三坐標機器人移動控制系統由1臺工控機和7組高精度驅動控制平臺組成。每1組精密驅動控制平臺都由1個伺服驅動器、1個伺服電機組成，7組高精度驅動控制平臺統一由1塊PCI運動控制卡控制。防護柵放置平臺如圖3所示，3組高精度驅動控制平臺可使該放置平臺進入設備內部，并且可沿x軸、y軸方向傾斜，從而使相機能全方位采集防護柵圖像。為加快圖像采集和檢測效率，結合防護柵的結構特點在三坐標機器人末端設計了能同時搭載8個相機的相機搭載裝置，如圖4所示。

圖3 防護柵放置平臺Fig.3 Protective grill placement platform

圖4 相機搭載裝置Fig.4 Camera mounting device

設備硬件具體參數如表1所示，2 000萬像素的工業相機搭配光學倍率為0.44的遠心鏡頭，能夠精確成像僅10 μm寬的裂紋，有效地解決裂紋尺度較小對檢測效果的影響。環形漫射光源能為防護柵提供均勻高亮度照明，千兆以太網能確保實時接收相機圖像數據。

表1 設備硬件參數Table 1 Device hardware parameters

2 檢測算法原理

2.1 圖像處理識別原理

圖5為經過放大處理后的防護柵網格圖像。由于飛機防護柵由很多小柵格構成，且裂紋出現在柵格邊框處，為提高檢測的準確率，需分割防護柵網格圖像中每一個柵格。為此，參考文獻[1]中介紹的方法將柵格區域定義為Grid區域，Grid區域為一個完整的柵格圖像，其中包括柵格孔洞和柵格框架，并定義柵格孔洞區域為Hole區域。后續的圖像處理方法將通過Hole區域來定位Grid區域，然后將Grid區域圖像精準分割送入卷積神經網絡模型中進行檢測。

圖5 防護柵柵格示意圖(放大10倍)Fig.5 Schematic diagram of protective grill (10×)

結合上述飛機防護柵的結構特點，本文設計了一種基于機器視覺和深度學習的飛機防護柵裂紋檢測系統。首先對相機采集的原始圖片進行圖像濾波、二值化、高級形態學、閾值分割和粒子過濾器等處理，以獲得柵格孔洞Hole區域中心點坐標；然后通過像素計算和圖像分割獲取柵格Grid區域圖像；最后基于卷積神經網絡建立準確高效的防護柵裂紋分類器，完成對防護柵裂紋特征的自動提取，從而將柵格分成完好和有裂紋兩類。防護柵裂紋檢測方法流程圖如圖6所示。

圖6 防護柵裂紋檢測方法流程Fig.6 Crack detection process of the protective grill

2.1.1 圖像濾波處理

在對相機采集的圖像進行處理前，需要進行濾波處理，以突出防護柵中的裂紋細節。本文圖像濾波處理采用卷積濾波方法，選定一個像素，獲得其窗口范圍內的像素值，并與卷積核值相乘并相加，得到新的像素值再填充至濾波后圖像中。對原圖像中每一個像素都進行該運算，就得到卷積濾波運算后的圖像。窗口范圍為卷積核大小，本文采用3×3大小的卷積核，卷積核參數如下所示：

(1)

防護柵在使用過程中，其本身材質的顏色逐漸變暗，也因其結構特點導致防護柵部分結構復雜區域光照不均勻，裂紋細節不明顯，經過對大量防護柵裂紋數據的試驗，發現將卷積核的中心值設為9.2，可以更有效地突出裂紋細節，解決上述問題。圖像濾波處理結果如圖7所示，圖7(a)為相機采集的原圖像，圖7(b)為濾波處理后的圖像。通過圖像對比可以看出，處理后的圖像更為清晰且裂紋的細節更加突出，從而有助于后續的裂紋檢測識別。

圖7 圖像處理前后對比Fig.7 Comparison before and after image processing

2.1.2 圖像二值化

對濾波處理后的圖像進行二值化處理，通過二值化處理將圖像灰度值處理為0或255，從而使圖像中數據量大為減少，以便更能凸顯出目標的輪廓。其計算公式如下：

(2)

式中：I(x,y)為二值化圖像中像素點(x,y)處的灰度值；g(x,y)為原圖像位于象素點(x，y)處的灰度值；T為圖像二值化的設置閾值。

常見的二值化方法有OTUS閾值化、二維OTUS閾值化和固定閾值二值化等[14]，在防護柵網格圖像中，其柵格孔洞與柵格框架的像素灰度值差別較為明顯，因此選擇固定閾值二值化，減少計算量。經過大量數據實驗，最終設定顏色閾值為T=28，所得到的防護柵柵格示意圖(見圖5)對應的二值化圖如圖8所示。從圖8中可以明顯發現，圖像二值化后，原來圖像的部分信息會產生明顯的缺失。為了使柵格Hole區域輪廓信息完整，需對二值化后的防護柵圖像采用高級形態學處理。此外，在Grid區域以外也分布有大量噪點，還需要采用粒子濾波器過濾這些噪點，以提高輪廓提取的準確率。

圖8 防護柵二值化圖Fig.8 Diagram of protective grill binarization

2.1.3 高級形態學處理

高級形態學處理的原理為通過生成一個能將圖8圖片中所有的白色像素點都包含在內的凸多邊形，從而對圖像中的缺失部分進行連通性處理，方便后面圖像輪廓的提取。經過高級形態學處理后的Hole區域(圖8中第2行第1列)如圖9所示。從圖9中可以看到：高級形態學處理前的Hole區域中白色為缺失部分，影響該Hole區域的輪廓提?。欢涍^高級形態學處理后該白色區域被填充，且周圍的輪廓更為光滑，便于下一步對白色區域面積計算。

圖9 高級形態學處理前后對比Fig.9 Comparison before and after advanced morphological processing

2.1.4 粒子過濾器

粒子濾波的思想基于蒙特卡洛方法，是利用粒子集來表示概率。粒子濾波法是指通過尋找一組在狀態空間傳播的隨機樣本對概率密度函數進行近似，以樣本均值代替積分運算，獲得狀態最小方差分布的過程。這里的樣本即指粒子，當樣本數N接近無限大時可以逼近任何形式的概率密度分布。盡管算法中的概率分布只是真實分布的一種近似，但由于非參數化的特點，它擺脫了解決非線性濾波(例如中值濾波、雙邊濾波等)問題時隨機量必須滿足高斯分布的制約，能表達比高斯模型更廣泛的分布，應用范圍非常廣泛。

為過濾圖8中二值化后產生的噪點，本文提出一種粒子過濾器算法：隨機在圖像中產生N個隨機粒子，并記錄在白色封閉區域的隨機粒子數C，估算圖8中每一個不規則白色封閉的面積，過濾掉面積較小的白色封閉區域。面積計算公式如下：

(3)

式中：SR為白色封閉區域面積；SP為圖片總面積；其中N越大，面積計算越準確。

根據大量樣本數據計算分析，孔洞面積均在20 000以上，因此過濾面積范圍在0～16 000的白色封閉區域即可過濾全部噪點，留下所需的Hole區域的輪廓。提取出的Hoel區域輪廓如圖10所示，其中圖10(a)為未使用粒子過濾器的圖像，圖中紫色框選中區域為圖像部分噪點，圖10(b)為采用粒子過濾器處理后的圖像。對比圖像可以看出粒子過濾器過濾掉了面積范圍為0～16 000的噪點，排除了噪點的干擾，因此可以準確地提取Hole區域輪廓的中心坐標。

圖10 粒子過濾前后對比Fig.10 Comparison before and after particle filtration

2.1.5 計算及分割Grid區域

由于防護柵網格大小相同，即圖像中Grid區域尺寸相同，可假設圖11中Hole輪廓的中心像素坐標為點O，令點O到Grid區域左上角像素坐標A的像素距離為(x1,y1)，到Grid區域右下角像素坐標B的像素距離為(x2,y2)，計算可得A、B兩點的坐標為

(4)

通過式(4)可計算得出Grid區域左上角和右下角的像素坐標，此即在柵格圖像中分割Grid區域的理論基礎。

圖11 區域坐標示意圖Fig.11 Schematic diagram of area coordinates

經過上述一系列操作處理后的圖像，可用于構建防護柵裂紋數據集，并作為卷積神經網絡的輸入，用于飛機防護柵裂紋檢測。

2.2 裂紋圖像深度卷積網絡架構

為研究Faster-RCNN在飛機防護柵裂紋檢測領域的應用，本文選取ZF-Net、VGG-16以及ResNet-101卷積神經網絡作為Faster-RCNN特征提取網絡。3種網絡的特點如下：

1)ZF-Net[15]網絡架構是在AlexNet基礎上修改而來，使用一個多層的反卷積網絡來可視化訓練過程中特征的演化，便于使用者針對性的調整網絡參數，提高檢測精度。但是其訓練時參數收斂越到高層則需要越長的時間。

2)VGG16[16]網絡的特點在于結構規整，通過反復堆疊3×3的卷積，卷積核數量逐漸加倍來加深網絡提高檢測精度，采用5個卷積塊提取圖像特征，卷積后使用池化層降低參數量并與下一個卷積塊連接，最后使用全連接層加激活層進行分類，簡化了卷積神經網絡的結構。但是其訓練的特征數量非常大，且網絡越深，梯度消失的現象就越來越明顯，網絡的訓練效果也不會很好。

3)ResNet-101[17]即深度殘差網絡，基本思想是引入一個深度殘差框架來解決梯度消失的問題，即讓卷積網絡去學習殘差映射，解決網絡模型的退化問題，從而能夠讓神經網絡更深，提升網絡的識別效果。

3種卷積網絡結構參數如表2所示。

表2 網絡結構參數Table 2 Network structure parameters

3 實驗與結果

3.1 數據集制作

利用1.2節提出的檢測系統采集2 000幅具有裂紋的飛機防護柵圖片，并采用第2節提出的方法對圖片進行處理。由于飛機防護柵的數量較少且裂紋不多，實驗僅采集了防護柵各種類裂紋圖片共2 000張。防護柵裂紋種類和樣本較少會影響模型的訓練效果，可能導致模型出現過擬合，訓練出的模型泛化能力較差，裂紋檢測率低等問題，降低模型的使用能力。為了在有限數據下得到更好的識別效果，往往需要使用數據增強的方式，通過對樣本圖像的旋轉、加入噪音、仿射變換等方式增加數據量。為此，本文分別對圖像進行水平鏡像、豎直鏡像、180°旋轉、平移和高斯噪聲變換進行數據擴充。高斯隨機變量z的概率密度函數計算公式如下：

(5)

式中：z表示圖像像元的灰度值；μ表示z的均值；σ表示z的方差。本文設置均值μ=0，方差σ=0.01。

數據擴充結果如圖12所示，經過5種變換方式得到裂紋圖像共12 000張，并對其像素大小調整為510 像素×510 像素。按照VOC2007數據集的格式修改飛機防護柵數據集，標注圖片，數據集中80%作為訓練集，20%作為驗證集。

圖12 數據擴充Fig.12 Data expansion

3.2 結果分析

對比實驗為單變量實驗，使用了相同的數據集和相同的參數且在同樣的環境下運行。模型訓練完成后在驗證集上測試，對比不同模型的最終結果。

隨著訓練步數的增加，各模型的損失函數值呈整體下降的趨勢，其中ZF-Net隨著步數的增加，損失值曲線波動最大，而ResNet-101表現最為穩定且損失值整體維持在較低值，未發生明顯的過擬合現象。各模型的損失值曲線如圖13所示。隨著迭代次數的增加，各模型準確率整體都呈上升趨勢，基本都保持在90%以上且沒有顯著變化。ResNet-101具有較高的準確率，且在迭代過程中表現穩定。各模型的準確率曲線圖如圖14所示。

圖13 各模型在訓練時的損失值Fig.13 Loss of each model during training

圖14 各模型在驗證集上的準確率曲線Fig.14 Accuracy curves of each model on the validation set

為定量分析上述3種神經網絡的檢測效果，并與文獻[1]中提出的傳統機器視覺檢測方法進行對比，采用文獻[18]中介紹的3個評價指標進行進一步分析：

(6)

(7)

(8)

式中：RM為漏檢率；NM為漏檢個數；NC為檢出個數；RF為虛警率；NF為虛警個數；RD為檢測率。實驗結果如表3和圖15所示。與文獻[1]提出的機器視覺檢測方法對比，實驗數據采取其表現最好的第1組實驗數據。

表3 不同裂紋檢測算法實驗結果Table 3 Experimental results of different crack detection algorithms

圖15 4種算法實驗結果對比Fig.15 Comparison of the experimental results of the four algorithms

從實驗結果中可以看出，傳統機器視覺檢測方法漏檢率和虛警率最高，且虛警率高達91%，檢出率較低為75%。傳統機器視覺檢測虛警率高是因為該方法通過機器視覺的圖像處理方法，發現裂紋的灰度值比其他地方灰度值小的特點，并根據該特點通過判斷灰度值較小區域的連續性和長度來確定可疑裂紋。該方法雖然能夠識別部分裂紋，但是容易受裂紋尺度、環境、防護柵本體使用情況等種種因素影響，造成虛警率高的現象。而本文提出的基于機器視覺與深度學習的飛機防護柵裂紋檢測系統，通過圖像處理可將防護柵網格全部分割并獲取裂紋樣本，采用卷積神經網絡提取裂紋特征，生成裂紋檢測模型，再將分割后的網格圖像輸入模型中檢測，能極大地降低虛警率和漏檢率并提高識別精度。

對比實驗結果，3種不同卷積模型的檢測效果在各方面都比傳統機器視覺檢測要好，其中以ResNet-101網絡檢測效果最好，與文獻[1]提出的機器視覺檢測相比，漏檢率和虛警率分別下降了22.54%和89.28%，檢出率提高了22.54%，體現了深度學習算法在目檢測上的優越性能。

為進一步分析不同光照對3種神經網絡裂紋檢測效果的影響，在驗征集中分別挑出強光照、弱光照和正常光照下防護柵裂紋照片各100張，組成3個不同光照的數據集，送入3種模型中進行檢測，定量分析3種模型在不同光照下的漏檢率、虛警率和檢出率，實驗結果如表4所示。表4的結果表明，光照不足會對3種模型的檢測效果產生較大影響，當光照強度達到一定程度后，對3種模型的檢測效果幾乎不再產生影響。

表4 不同數據集下的實驗結果Table 4 Experimental results under different data sets %

圖16 不同光照下ResNet-101網絡的檢測效果Fig.16 Detection results of ResNet-101 network under different illumination conditions

圖16所示為以ResNet-101作為特征提取網絡在不同光照背景下的檢測效果，其中數字為ResNet-101網絡檢測裂紋的置信率，從中可見該網絡對不同光照下的裂紋檢測結果均有較好的檢測精度。

以上實驗結果表明，3種神經網絡中以ResNet-101作為Faster-RCNN基礎提取網絡在驗證集上針對防護柵裂紋的檢測，具有最低的虛警率、漏檢率和最高的檢出率，且該算法能適應不同光照和環境，滿足實際應用的需求，證明了深度學習在飛機防護柵裂紋檢測上的可行性。

由于僅采集2 000幅具有裂紋的飛機防護柵圖片，飛機防護柵表面裂紋樣本數量和不同光照下裂紋樣本數量較少，造成訓練的模型檢測存在漏檢和誤檢現象，后續可在檢測系統使用的過程中保存防護柵的裂紋圖像，增加樣本數量，進一步提高模型精度。

將現有的防護柵裂紋檢測方法與本文設計的檢測系統在檢測效率、檢測精度和可靠性上進行對比，結果如表5所示。

表5 不同裂紋檢測方法性能對比Table 5 Performance comparison of different crack detection methods

從表5中可以看出，本文設計的一種基于機器視覺和深度學習的飛機防護柵裂紋檢測系統在檢測效率、檢測精度和可靠性上都有較高的表現，有效地解決了人工檢查和文獻[1]機器視覺檢測方法存在的效率較低、檢測精度和可靠性不高的問題。

需要指出的是，雖然本文是針對特定結構的飛機防護柵表面裂紋和缺陷裂紋開展的研究，但對于其他類型的防護柵，只需調節相機參數，改變末端運動路徑和更換圖3中的防護柵放置平臺，即可方便地對其他類型的飛機防護柵的裂紋開展檢測研究。針對其他缺陷如氣孔等檢測，只需要在深度學習裂紋檢測模型中添加對應的樣本數據進行訓練，即可對其他缺陷開展檢測研究。因此本文方法有效地解決了人工檢測和傳統檢測方法存在的誤檢、漏檢和虛警率高的問題，實現飛機防護柵表面裂紋的檢測，提高了檢測的效率和精度。

4 結論

本文針對傳統飛機防護柵裂紋檢測效率低、可靠性差的現狀，基于機器視覺設計了一種飛機防護柵裂紋檢測裝置，并結合圖像處理技術與深度學習原理對飛機防護柵的裂紋進行了檢測。研究并制作了飛機防護柵裂紋檢測數據集，在此基礎上分別以ZF-Net、VGG-16和ResNet-101卷積神經網絡作為Faster-RCNN特征提取網絡開展了防護柵裂紋檢測研究，3種模型均達到了良好的檢測精度，其檢測精度分別為92.79%、95.12%和97.54%。其中ResNet-101網絡檢測效果最好，與文獻[1]提出的機器視覺檢測相比，漏檢率和虛警率分別下降了22.54%和89.28%，檢出率提高了22.54%。進一步研究發現ResNet-101網絡在不同光照條件下仍有較高的檢測精度，從而為飛機防護柵的裂紋在線檢測提供了新方法。