基于改進(jìn)GrabCut的絕緣子缺陷檢測

左 鈺，劉 偉+，馬玉騏，郭觀凱,2，譚帥帥

(1.山東理工大學(xué) 電氣與電子工程學(xué)院，山東 淄博 255049；2.中國科學(xué)院 中國工程院遵義院士工作中心，貴州 遵義 563000)

0 引 言

絕緣子作為輸電線路中不可或缺的絕緣控件，在輸電線路中起著電氣絕緣和機(jī)械固定的作用[1]。絕緣子“掉串”故障檢測主要分為3個(gè)步驟[2,3]：絕緣子檢測、絕緣子分割與缺陷定位。文獻(xiàn)[4]采用YOLO進(jìn)行絕緣子檢測，再通過對絕緣子的隨機(jī)一致采樣來擬合絕緣子主軸，最后對主軸方向進(jìn)行水平投影，從而進(jìn)行絕緣子缺陷定位。文獻(xiàn)[5]根據(jù)絕緣子的幾何特征，對盤片進(jìn)行橢圓檢測，然后通過最近鄰分類器定位盤片位置，根據(jù)盤片間歐式距離判定故障位置。文獻(xiàn)[6]采用OTSU分割算法將絕緣子與背景分離，經(jīng)形態(tài)學(xué)濾波后采用最小二乘法擬合主軸基線，沿主軸方向?qū)^緣子進(jìn)行掃描，根據(jù)像素點(diǎn)個(gè)數(shù)定位掉串區(qū)域。以上方法在特定場景下可獲得良好的檢測效果，但復(fù)雜背景下的分割效果較為一般，面對相互重疊、遮擋的絕緣子檢測效果不夠穩(wěn)定。

針對因絕緣子背景復(fù)雜、重疊、遮擋等因素導(dǎo)致檢測效果不佳的問題，本文提出了一種絕緣子“掉串”檢測方法。首先由改進(jìn)SSD網(wǎng)絡(luò)模型識別并定位圖像中的絕緣子，然后通過改進(jìn)GrabCut算法實(shí)現(xiàn)絕緣子分割，最后采用形態(tài)學(xué)處理法對絕緣子進(jìn)行缺陷識別。改進(jìn)GrabCut算法融入了圖像的位置信息與顯著性信息，因此可自動(dòng)分割出圖像中的絕緣子，且分割效果有了顯著提升。形態(tài)學(xué)處理法可對相互遮擋、重疊的絕緣子串共同檢測，檢測效果受重疊遮擋現(xiàn)象影響較小，且易于實(shí)現(xiàn)，適用于背景復(fù)雜條件下。

1 方法流程

基于機(jī)器視覺的絕緣子缺陷檢測方法大體可分為兩種，一種是基于深度學(xué)習(xí)技術(shù)的絕緣子缺陷識別法，它直接使用含缺陷絕緣子的數(shù)據(jù)集進(jìn)行模型訓(xùn)練，只需在訓(xùn)練集圖像中標(biāo)注故障位置便可完成故障檢測，其有著實(shí)現(xiàn)簡單、泛化能力強(qiáng)等優(yōu)點(diǎn)，但該方法對數(shù)據(jù)集的要求較高，需要大量含有缺陷絕緣子的航拍圖像參與訓(xùn)練，另外，航拍圖像中絕緣子缺陷區(qū)域往往較小，這將使得網(wǎng)絡(luò)識別精度較低；另一種則是采用傳統(tǒng)圖像處理技術(shù)識別絕緣子,并對其進(jìn)行分割及故障檢測，該類方法的優(yōu)點(diǎn)是對數(shù)據(jù)集和硬件的要求較低、特定場景下檢測精度高，但其有著泛化能力弱、調(diào)參復(fù)雜等缺陷。本文綜合考慮模型的泛化能力與檢測精度兩種因素，將深度學(xué)習(xí)與傳統(tǒng)圖像處理技術(shù)相結(jié)合，首先通過深度學(xué)習(xí)技術(shù)對圖像中的絕緣子串進(jìn)行識別，再通過圖像處理技術(shù)進(jìn)行分割與缺陷檢測。本文的絕緣子缺陷檢測主要分4個(gè)步驟。流程如圖1所示：

圖1 方法流程

(1)采用改進(jìn)SSD算法識別出圖像中的絕緣子串，并獲取絕緣子的位置信息；通過多種顯著性檢測方法對航拍圖像進(jìn)行顯著性度量，從而提取圖像的顯著性信息；

(2)將絕緣子位置信息與圖像顯著性信息提供給改進(jìn)GrabCut模型，分割出圖像中的絕緣子；

(3)對已分割的絕緣子圖像進(jìn)行形態(tài)學(xué)處理，檢測出故障絕緣子，并定位故障區(qū)域；

(4)將故障區(qū)域在原始圖像中標(biāo)記出。

2 絕緣子分割算法

2.1 改進(jìn)SSD算法

SSD網(wǎng)絡(luò)是目前主流的目標(biāo)檢測網(wǎng)絡(luò)之一[7]，它由Faster R-CNN和YOLO的檢測模型衍生而來。檢測過程中，網(wǎng)絡(luò)采用端對端的訓(xùn)練方案，采用不同分辨率的特征圖分別對目標(biāo)做預(yù)測，再對不同特征圖的預(yù)測分?jǐn)?shù)加權(quán)平均。本文采用SSD算法對絕緣子進(jìn)行識別與定位，以提取絕緣子的位置信息，減少背景區(qū)域?qū)收献R別帶來的干擾。

航拍圖像質(zhì)量受天氣、光照、背景等因素影響，這些干擾因素會導(dǎo)致定位不準(zhǔn)，目標(biāo)識別穩(wěn)定性差等問題，原始SSD網(wǎng)絡(luò)中，前端卷積網(wǎng)絡(luò)采用VGG16，VGG16存在網(wǎng)絡(luò)感受野較小的缺陷，它將導(dǎo)致目標(biāo)特征提取不充分，從而影響檢測精度。為此，本文對原始SSD網(wǎng)絡(luò)做了改進(jìn)，采用ResNet101替代原始SSD網(wǎng)絡(luò)前端的VGG16，增加了網(wǎng)絡(luò)的深度，提高了網(wǎng)絡(luò)在復(fù)雜背景下對絕緣子的識別能力。同時(shí)ResNet101引入的殘差網(wǎng)絡(luò)，降低了因網(wǎng)絡(luò)深度增加而導(dǎo)致的梯度彌散或梯度爆炸的風(fēng)險(xiǎn)。為解決因局部細(xì)節(jié)信息丟失而導(dǎo)致的網(wǎng)絡(luò)對小目標(biāo)識別能力不足的問題，本文在SSD網(wǎng)絡(luò)引入了膨脹卷積[8]，在不增加額外參數(shù)的前提下增大了感受野，解決了信息丟失問題，從而提高了網(wǎng)絡(luò)對小絕緣子串的抓取能力。改進(jìn)SSD網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。殘差網(wǎng)絡(luò)中，對第4層和第5層進(jìn)行膨脹系數(shù)為2和膨脹系數(shù)為4的膨脹卷積。

圖2 改進(jìn)SSD網(wǎng)絡(luò)結(jié)構(gòu)

2.2 顯著性信息的提取

圖像的顯著性反映了某像素點(diǎn)與圖像其它區(qū)域像素的差異[9]。顯著性主要衡量的是像素間對比度的關(guān)系，高對比度區(qū)域更容易吸引人的注意。相比RGB顏色空間，Lab顏色空間可較為直觀的反應(yīng)圖像亮度特征和顏色特征，更符合人類感知。因此，本文顯著性度量環(huán)節(jié)在Lab顏色空間內(nèi)進(jìn)行。

局部顯著圖可以突出絕緣子邊緣信息，但不能很好地展現(xiàn)對比度變化平緩的目標(biāo)內(nèi)部區(qū)域；全局顯著圖可均勻地突出前景信息，對目標(biāo)的邊緣描繪效果則較為一般；而頻域顯著圖具有較好的抑制高頻噪聲的特點(diǎn)，但某些前景信息可能會缺失。顯著性效果對比如圖3所示。

圖3 顯著性效果對比

3種顯著性檢測方法各有其獨(dú)特的優(yōu)點(diǎn)和缺點(diǎn)。為此，本文從多角度度量圖像的顯著性，采用不同的算法，分別遍歷航拍圖像每個(gè)像素點(diǎn)的局部顯著值、全局顯著值和頻域顯著值，并生成相對應(yīng)的顯著圖，然后采用均值法將顯著圖進(jìn)行特征融合[10]，對融合后顯著圖像進(jìn)行對比度加強(qiáng)，最后將對比度加強(qiáng)后的像素點(diǎn)顯著值轉(zhuǎn)換為概率值，將其作為約束條件添加至改進(jìn)GrabCut模型的區(qū)域項(xiàng)。最終顯著圖如圖4所示。

圖4 最終顯著

本文對圖像局部顯著值的計(jì)算采用AC算法[11]，該算法采用Lab空間的歐式距離來衡量距離特征，通過改變一個(gè)感知單元的鄰域大小來實(shí)現(xiàn)圖像多尺度顯著值的計(jì)算，局部顯著值為多尺度特征顯著值的均值，圖像的局部顯著值如式(1)所示

(1)

全局顯著值用于衡量某像素點(diǎn)與整幅圖像所有像素點(diǎn)間的對比度關(guān)系，全局顯著值如式(2)所示

(2)

計(jì)算圖像的頻域顯著值，首先需對圖像進(jìn)行低通濾波，然后通過計(jì)算Lab顏色空間中每個(gè)像素和圖像的平均像素值的歐式距離即可得出。采用DOG算子對圖像進(jìn)行低通濾波后，頻域顯著值如式(3)所示

(3)

根據(jù)式(1)、式(2)、式(3)，采用均值法將3種顯著圖進(jìn)行特征融合，生成融合顯著圖

(4)

其中，Sl(x,y)、Sg(x,y)、SF(x,y) 分別表示圖像的局部顯著值、全局顯著值和頻域顯著值，Sfuse(x,y) 表示融合后的顯著值。

(5)

將顯著圖中的顯著值轉(zhuǎn)換為概率信息，以便轉(zhuǎn)換成約束條件添加至GrabCut分割算法區(qū)域項(xiàng)。首先采用sigmoid函數(shù)將融合后的圖像的顯著值Sfuse(x,y) 進(jìn)行歸一化。為避免顯著圖中低顯著值的像素點(diǎn)對分割造成的干擾，將概率小于0.1的區(qū)域排除到顯著區(qū)外。顯著性信息的轉(zhuǎn)換如式(6)、式(7)所示

(6)

(7)

式中：Sn表示像素點(diǎn)經(jīng)歸一化后的顯著值結(jié)果，PSal(vi) 表示顯著性信息判別該點(diǎn)為前景點(diǎn)的概率。

2.3 改進(jìn)GrabCut算法

GrabCut是在GraphCut基礎(chǔ)上改進(jìn)的圖像分割算法，在使用GrabCut分割算法時(shí)需手動(dòng)設(shè)置輸入圖像的前景框[12]，算法將對圖像中每個(gè)像素點(diǎn)分配GMM中的高斯分量，經(jīng)不斷的參數(shù)學(xué)習(xí)與分割估計(jì)后可將前景與背景的分離。為實(shí)現(xiàn)絕緣子圖像自動(dòng)且精準(zhǔn)的分割，本文對傳統(tǒng)GrabCut分割算法做了改進(jìn)，用SSD算法識別出的矩形區(qū)域?qū)D像進(jìn)行初始化，取代手動(dòng)設(shè)置前景框的過程；將圖像的顯著性信息作為約束條件，加入到GrabCut分割算法的區(qū)域項(xiàng)，使混合高斯模型與顯著性信息相結(jié)合，共同對區(qū)域像素進(jìn)行分割估計(jì)，從而實(shí)現(xiàn)圖像最小分割。

首先構(gòu)造一個(gè)包含區(qū)域項(xiàng)和邊界項(xiàng)的損失能量函數(shù)E(α)， 損失能量值最小時(shí)，便達(dá)成了圖像的最小分割；然后將能量函數(shù)映射成一個(gè)帶有權(quán)值的圖，把前景背景分類問題轉(zhuǎn)化成最大流/最小分割問題。用SSD網(wǎng)絡(luò)檢測得到的矩形框?qū)D像進(jìn)行初始化，目標(biāo)矩形框外設(shè)定為背景區(qū)域，矩形框內(nèi)為未知區(qū)域；并將圖像的顯著性信息設(shè)計(jì)成約束項(xiàng)融合到能量函數(shù)的區(qū)域項(xiàng)中，從而實(shí)現(xiàn)圖像自動(dòng)且精確的分割。損失能量函數(shù)E(α) 如式(8)所示

(8)

式中：EGS表示區(qū)域項(xiàng)能量，EV表示邊界項(xiàng)能量，αn表示圖像點(diǎn)n分割結(jié)果，αn∈{0，1}分別表示前景點(diǎn)與背景點(diǎn)。向量α由每一個(gè)像素的標(biāo)簽值αn組合而成，z表示像素點(diǎn)的像素值，區(qū)域項(xiàng)Ds由混合高斯模型與顯著性信息乘以相應(yīng)的權(quán)值并相加得到，用來約束αn使其和觀察標(biāo)簽θ一致。邊界項(xiàng)S(αm,αn,z) 用于約束相鄰像素的標(biāo)簽一致性。能量函數(shù)的邊界項(xiàng)可用式(9)表示

(9)

式中：αm、αn分別表示像素點(diǎn)m和n的前景背景標(biāo)簽，z表示像素點(diǎn)的像素值，γ取50，β取值隨圖像的對比度不同而不同，圖像對比度越高則β取值越大，區(qū)域項(xiàng)DGS如式(10)所示

(10)

式中：vi為圖像中某像素，αn取值為0或1，分別代表目標(biāo)和背景，P(vi|αn) 表示像素點(diǎn)vi屬于αn的概率，Pgmm(vi‖αn) 表示混合高斯模型計(jì)算出的每個(gè)像素點(diǎn)屬于αn的概率，PSal(vi) 表示顯著性信息判別該點(diǎn)αn=1的概率，k用來分配混合高斯模型和顯著性信息在區(qū)域項(xiàng)中的權(quán)值。

混合高斯模型判別的像素點(diǎn)前景背景概率差值越小，圖像的顯著性信息對區(qū)域項(xiàng)貢獻(xiàn)越大。若前景背景概率差值不大于0.6時(shí)，區(qū)域項(xiàng)DGS由混合高斯模型與圖像顯著性信息共同參與約束；前景背景間的概率差值大于0.6時(shí)，k取1，此時(shí)，混合高斯模型判別效果良好，無需顯著性信息參與約束。式(11)為混合高斯模型的權(quán)重k表達(dá)式

(11)

初始化完成后，為每個(gè)像素點(diǎn)分配GMM高斯分量，對GMM的參數(shù)進(jìn)行學(xué)習(xí)優(yōu)化。通過GMM參數(shù)與顯著性約束條件對像素點(diǎn)進(jìn)行聚類，落入前景區(qū)域的像素點(diǎn)被分割為前景點(diǎn)，落入背景區(qū)域內(nèi)的像素點(diǎn)被分割為背景點(diǎn)，落入邊界上的像素點(diǎn)被分割為未知點(diǎn)。再對未知區(qū)域的像素點(diǎn)進(jìn)行重新分配，依此迭代，直至能量損失函數(shù)收斂。

3 形態(tài)學(xué)處理法故障檢測

輸電線路中，絕緣子串大多成對出現(xiàn)，線路巡檢過程中，由于無人機(jī)飛行軌跡受高壓線路、桿塔、樹木等因素限制，拍攝高度與拍攝角度也會受限，這將不可避免地使得圖像中存在大量相互重疊、遮擋的絕緣子。而對于絕緣子重合遮擋較多的輸入圖像，常用的擬合基線法的檢測效果并不理想。為此，通過觀測絕緣子的結(jié)構(gòu)特征，本文提出一種形態(tài)學(xué)處理法識別故障絕緣子，并定位故障區(qū)域。

形態(tài)學(xué)圖像處理將數(shù)學(xué)形態(tài)學(xué)作為工具，從圖像中提取對于表達(dá)和描繪區(qū)域形狀有用的圖像分量，比如邊界、骨架以及凸殼等[13]。絕緣子串由一個(gè)中心軸和一定數(shù)目的橢圓形盤片拼接而成，其幾何形狀有著明顯的周期性、方向性與均勻性，相較于其它絕緣子檢測方法，形態(tài)學(xué)處理法檢測效果受重疊遮擋等干擾因素影響較小，具有較高的魯棒性，且有著算法簡單，容易實(shí)現(xiàn)等優(yōu)點(diǎn)。形態(tài)學(xué)處理法故障檢測步驟為：

(1)將GrabCut算法分割出的絕緣子區(qū)域放縮至尺寸相同或相近，并將放縮后的圖像二值化。如圖5(a)所示；

(2)將圖5(a)使用小卷積核進(jìn)行閉運(yùn)算，以平滑絕緣子串的非故障區(qū)域。如圖5(b)所示；

(3)將圖5(a)使用大卷積核進(jìn)行閉運(yùn)算，以平滑絕緣子故障區(qū)域。如圖5(c)所示；

(4)對圖5(b)與圖5(c)進(jìn)行異或運(yùn)算；并采用小卷積核對異或結(jié)果進(jìn)行開運(yùn)算，去除非故障區(qū)的干擾像素，便可定位故障區(qū)域。如圖5(d)、圖5(e)所示；

(5)記錄5(e)中高亮區(qū)域的位置，并在原圖像中將故障區(qū)域標(biāo)記出。如圖5(f)所示。

圖5 故障檢測步驟

4 實(shí)驗(yàn)結(jié)果與分析

在Windows10平臺下運(yùn)行，GPU為NVIDIA GTX1080Ti，CPU為Intel Core i7-6700 3.4 GHz，內(nèi)存32 GB，采用caffe框架，python3.7環(huán)境，深度學(xué)習(xí)加速庫為CUDA 8.0結(jié)合CUDNN5.1。航拍圖像分辨率為1920*1080。訓(xùn)練樣本為3600張圖片，測試樣本為2000張。共迭代57 000次，其中，前3.7×104次學(xué)習(xí)率設(shè)置為10-4，后2×104次學(xué)習(xí)率為10-5。動(dòng)量參數(shù)為0.9，圖像批次為8。

改進(jìn)SSD網(wǎng)絡(luò)中，膨脹卷積的引入使得網(wǎng)絡(luò)對圖像中的小絕緣子目標(biāo)能力更強(qiáng)，采用ResNet101替代網(wǎng)絡(luò)前端VGG16則提升了復(fù)雜背景下網(wǎng)絡(luò)對小絕緣子的辨識能力。圖6為改進(jìn)SSD網(wǎng)絡(luò)測試結(jié)果。

圖6 改進(jìn)SSD網(wǎng)絡(luò)測試結(jié)果

本文將改進(jìn)SSD網(wǎng)絡(luò)與原始SSD網(wǎng)絡(luò)、YOLO-V3作對比，表1記錄了三者各自的檢測精度(P)與召回率(R)，從中可看出，相較原始SSD網(wǎng)絡(luò)，改進(jìn)SSD網(wǎng)絡(luò)的精度和召回率分別有2.4%和0.6%的提升，精度與召回率均強(qiáng)于YOLO-V3。

表1 不同網(wǎng)絡(luò)性能對比

圖7為OTSU分割法、傳統(tǒng)GrabCut算法、改進(jìn)GrabCut算法的分割效果對比圖，分割圖像來自SSD識別框內(nèi)。圖7(a)中OTSU法和傳統(tǒng)GrabCut法都未能將絕緣子與其后面的背景電塔分離，改進(jìn)算法由于顯著性信息的加入，桿塔部位被成功排除在前景區(qū)域外；圖7(b)中由于背景與絕緣子顏色較為接近，OTSU分割法效果并不理想，傳統(tǒng)GrabCut法識別的絕緣子邊緣縫隙處混入了部分背景信息，而改進(jìn)算法實(shí)現(xiàn)了較好的分割效果；圖7(c)中OTSU法分割結(jié)果中蘆葦區(qū)域目標(biāo)未被完整分割，傳統(tǒng)GrabCut算法中絕緣子出現(xiàn)邊緣缺失，改進(jìn)算法獲得了較為準(zhǔn)確的結(jié)果。分割結(jié)果表明，改進(jìn)的GrabCut算法不僅能實(shí)現(xiàn)圖像的自動(dòng)分割，對復(fù)雜環(huán)境下的絕緣子分割效果也表現(xiàn)較好。

圖7 各種方法分割效果對比

航拍圖像中，絕緣子串大多成對出現(xiàn)，相互重疊、遮擋現(xiàn)象較為常見。圖8(a)中絕緣子重疊現(xiàn)象比較嚴(yán)重，且很難將兩串絕緣子分割開。圖8(b)為文獻(xiàn)[6]方法的直線擬合圖，由于分割算法無法將兩絕緣子串分離，絕緣子串很難形成一個(gè)完整輪廓，受背景像素干擾，經(jīng)最小二乘法擬合出的主軸基線發(fā)生偏移，致使掃描過程中count值的統(tǒng)計(jì)結(jié)果不正確，進(jìn)而使得檢測結(jié)果出錯(cuò)。圖8(c)為文獻(xiàn)[6]法檢測結(jié)果，灰色橢圓表示故障位置。本文檢測方法的優(yōu)勢在于，可通過形態(tài)學(xué)操作對多條相互遮擋、重疊的絕緣子串共同處理，從而完成缺陷檢測。圖8(d)為經(jīng)本文改進(jìn)GrabCut算法分割出的絕緣子圖像。圖8(e)為將不同卷積算子閉運(yùn)算的圖像經(jīng)異或運(yùn)算后再開運(yùn)算結(jié)果，高亮區(qū)域即為缺陷位置。圖8(f)為本文方法的故障定位結(jié)果，白色橢圓表示標(biāo)記出的故障位置。

圖8 故障檢測對比

圖8中可看出，兩絕緣子串與背景顏色較為接近，改進(jìn)GrabCut算法分割效果良好；重疊遮擋現(xiàn)象使得兩鄰近的絕緣子串難以分離，形態(tài)學(xué)處理法將多條絕緣子串歸為整體、共同檢測，成功定位出故障區(qū)域。檢測結(jié)果表明，針對部分相互遮擋、重疊的絕緣子，本文方法仍能有效識別出故障絕緣子，并準(zhǔn)確地定位缺陷位置。

本文從絕緣子測試集中隨機(jī)抽出200張含缺陷絕緣子的航拍圖像，經(jīng)改進(jìn)GrabCut算法分割后進(jìn)行缺陷定位，其中，186張圖像中絕緣子缺陷位置得到了準(zhǔn)確定位，11張圖像中有絕緣子存在錯(cuò)檢，3張圖像中有絕緣子被漏檢，錯(cuò)檢的絕緣子大多發(fā)生在絕緣子兩端。實(shí)驗(yàn)結(jié)果表明，在復(fù)雜環(huán)境下，該缺陷檢驗(yàn)方法具有較高的魯棒性，在實(shí)際工程中，可用于輔助無人機(jī)巡檢。

5 結(jié)束語

本文提出了一種絕緣子掉串檢測方法。首先通過改進(jìn)SSD算法獲取絕緣子位置信息，然后通過改進(jìn)CrabCut算法分割出圖像中的絕緣子，最后采用形態(tài)學(xué)處理法識別出缺陷絕緣子并進(jìn)行缺陷定位。改進(jìn)SSD算法提高了網(wǎng)絡(luò)對圖像中絕緣子的識別精度。有顯著性信息參與的GrubCut算法對圖像具有良好的分割效果；形態(tài)學(xué)處理法缺陷檢測魯棒性較高，且更為容易實(shí)現(xiàn)。本文提出的絕緣子檢測方案仍需進(jìn)一步優(yōu)化，今后應(yīng)針對圖像分割邊緣效果方面加以研究改進(jìn)。