基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)識別變形儀表圖像的二次矯正方法

付波, 黃志斌, 權(quán)軼, 馮萬璐

(湖北工業(yè)大學(xué)電氣與電子工程學(xué)院, 武漢 430068)

目前,電網(wǎng)運(yùn)維需要巡檢,多數(shù)以人工巡檢、抄表、記錄、上傳模式對電網(wǎng)的指針式電壓表和電流表進(jìn)行檢定,存在著消耗大量的時間、人力以及誤差率高等問題。在數(shù)字式儀表已經(jīng)進(jìn)入成熟階段的情況下,更換數(shù)字儀表,能夠緩解上述所提的問題。考慮到全面更換數(shù)字式儀表所帶來的成本與時間以及數(shù)字式儀表容易受到電磁干擾、高溫高壓等環(huán)境因素的影響,在許多應(yīng)用場合仍采用指針式儀表。

隨著機(jī)器人的快速發(fā)展,電網(wǎng)巡檢大量采用巡檢機(jī)器人,對拍攝的儀表圖像,利用神經(jīng)網(wǎng)絡(luò)與機(jī)器視覺識別儀表所在區(qū)域。文獻(xiàn)[1]提出Mask-R-CNN 方法根據(jù)損失函數(shù)變化對算法優(yōu)化從而達(dá)到數(shù)字儀表自動識別與讀數(shù)。文獻(xiàn)[2]改進(jìn)預(yù)訓(xùn)練MobileNet V2網(wǎng)絡(luò)模型與圓形 Hough變換相結(jié)合對圓形指針式儀表檢測和識別。文獻(xiàn)[3]使用YOLO v3目標(biāo)檢測算法,通過改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)等方式以保證網(wǎng)絡(luò)的精度,快速檢測表盤位置并將表盤從復(fù)雜環(huán)境分離。

但是現(xiàn)場工況復(fù)雜,巡檢機(jī)器人的攝像頭不能始終處于正視角度對工業(yè)儀表拍攝,且因拍攝角度的不同,存在著近大遠(yuǎn)小的視覺差異,導(dǎo)致儀表圖像發(fā)生畸變,且其畸變程度以及方向也因拍攝角度的變化有所改變,進(jìn)而嚴(yán)重影響對指針式儀表的精準(zhǔn)讀數(shù)。對于拍攝角度的矯正,文獻(xiàn)[4]研究攝像頭平面和儀表平面不平行導(dǎo)致的圖像畸變問題,利用4個頂點坐標(biāo)為先驗知識,對其進(jìn)行透視變換,得到可靠讀數(shù)。文獻(xiàn)[5]提出粗識別表盤中可能是刻度的區(qū)域,并細(xì)識別精確定位刻度,采取一種改進(jìn)的圓心選取方法,適應(yīng)不同角度下的計算。文獻(xiàn)[6]將表盤特征信息編輯成信息幀并制成二維碼粘貼在表盤上,從而獲取表盤特征,還利用二維碼的定位和校正圖案,通過透視變換對圖像進(jìn)行傾斜校正,從而讀取示數(shù)。文獻(xiàn)[7]提出一種基于不變矩信息融合的溫濕度計數(shù)字自動識別算法,利用Otsu法對圖像分割并截取儀表,通過Hough變換對儀表進(jìn)行校正,較好地消除實際儀表識別中的視覺誤差。還有一些對于變形問題的研究,由于儀表最大量程較小,導(dǎo)致變形儀表與讀數(shù)的準(zhǔn)確性并沒有多大關(guān)系;甚至有些研究在使用透視變換時,所需要頂點選取與定位避而不談,導(dǎo)致使用透視變換時只能人工選取頂點,未能有效實現(xiàn)自動讀數(shù)。

為此,針對上述問題展開研究。采用改進(jìn)的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region convolutional neural networks,Faster R-CNN)網(wǎng)絡(luò)檢測變形儀表圖像中儀表所在的區(qū)域,對該區(qū)域進(jìn)行裁剪,避免儀表畸變現(xiàn)象導(dǎo)致儀表難以識別的問題;利用圖像處理技術(shù)將儀表的前景與背景進(jìn)行分割;再通過矯正算法將畸變的儀表圖像進(jìn)行復(fù)原,提高讀數(shù)準(zhǔn)確率;最后提取細(xì)化指針并讀取示數(shù)。

1 改進(jìn)的Faster R-CNN的儀表識別

目標(biāo)檢測有許多方法,由于考慮到儀表識別過程中檢測效果的問題,且無需考慮檢測速度的要求,因此選擇兩階段(two-stage)目標(biāo)檢測算法,其中檢測效果較好的是Faster R-CNN算法[8-9]。

1.1 Faster R-CNN算法

Faster R-CNN算法[10]是以VGG16作為主干網(wǎng)絡(luò),用于提取輸入圖像的特征,利用區(qū)域生成網(wǎng)絡(luò)(region proposal network,RPN)將特征圖上每一個錨點固定選取9個候選感興趣區(qū)域(region of interest,ROI),判斷ROI是否包含前景,并計算與真實目標(biāo)之間的偏差,將其邊界回歸生成建議框。通過感興趣區(qū)域池化(ROI pooling)將綜合建議框后提取建議特征圖用于最后的全連接層輸出的分類與回歸檢測框的精準(zhǔn)坐標(biāo),如圖1所示。

圖1 Faster R-CNN結(jié)構(gòu)圖

1.2 改進(jìn)的Faster R-CNN算法

考慮到工業(yè)生產(chǎn)過程中的儀表環(huán)境較為復(fù)雜,且所采集的儀表圖像所占面積較小。原始的Faster R-CNN對該類儀表圖像在提取紋理、邊緣、輪廓等底層特征時有所損失。因此,在該網(wǎng)絡(luò)中引入特征金字塔(feature pyramid network,FPN)[11]網(wǎng)絡(luò),增加了高層特征向低層融合的路徑,并在多個尺度進(jìn)行預(yù)測,能獲取較準(zhǔn)確的儀表信息與提高小目標(biāo)檢測的精準(zhǔn)度,從而避免了圖像因儀表體積較小而誤檢、漏檢現(xiàn)象的發(fā)生。

該網(wǎng)絡(luò)可分為兩個過程,自下而上的過程可通過卷積網(wǎng)絡(luò)計算提取特征(C2,C3,C4,C5);自上而下的過程是將所提取的特征P5進(jìn)行上采樣,再與C4連接,從而得P4,依次所得特征P3、P2(圖2)。特征提取網(wǎng)絡(luò)采用的是直接拼接的方式,在各尺度中特征權(quán)重相同,且融合的特征信息還包含背景噪聲和其他干擾。隨著網(wǎng)絡(luò)層數(shù)的增加,模型將受到負(fù)面影響,模型的檢測精確度將降低。而注意力機(jī)制(SENet)[12]可以在特征提取階段中,不改變輸入特征圖特征結(jié)構(gòu)的基礎(chǔ)上,考慮每個通道的重要性,優(yōu)化網(wǎng)絡(luò)的學(xué)習(xí)能力與提高網(wǎng)絡(luò)精準(zhǔn)率。因此,將SENet模塊融合Faster R-CNN框架的共享特征提取網(wǎng)絡(luò)中,通過學(xué)習(xí)的方式自動獲取每個特征通道的重要程度,并且根據(jù)該通道的重要程度突出有用的儀表特征,抑制復(fù)雜環(huán)境背景的無用特征,以此來使提取到的特征具有更強(qiáng)的表征能力。SENet模塊利用全局平均池化壓縮輸入特征成一個1×1×C的向量。再利用兩個全連接層(fully connected layers,FC)分別通過Relu激活函數(shù)與sigmoid激活函數(shù)對輸入特征圖進(jìn)行降維至原來的1/16與恢復(fù)原來的維度,得到C個通道的權(quán)重,再與輸入特征相乘,如圖3所示。當(dāng)權(quán)重較大時,該通道特征圖的數(shù)值相應(yīng)增大,從而調(diào)整各通道的關(guān)注度,減少無關(guān)特征對檢測結(jié)果的影響,提高對儀表特征的注意力。

conv表示卷積層;UPSample表示上采樣;predict表示預(yù)測特征圖

H、W、C分別為特征圖的高度、寬度、通道數(shù)

為提高準(zhǔn)確性,將選取網(wǎng)絡(luò)層次更深、計算量更少、錯誤率更低的深度殘差網(wǎng)絡(luò)ResNeXt50[13]代替原來的VGG16作為主干網(wǎng)絡(luò)進(jìn)行圖像特征提取,如圖4所示。

圖4 基于 Faster R-CNN 的FPN與SENet融合的變形儀表檢測模型

1.3 實驗結(jié)果與分析

在自制數(shù)據(jù)及過程中,為解決數(shù)據(jù)不足和拍攝場景單一的問題,將1 028張儀表圖像利用數(shù)據(jù)增強(qiáng)方法,包括水平翻轉(zhuǎn)、旋轉(zhuǎn)變換、色域變換以及Mosaic方法擴(kuò)充至5 392張,其中畸變儀表圖像有 4 195 張,并隨機(jī)選取60%作為訓(xùn)練集,20%作為測試集,20%作為驗證集,如圖5所示。

圖5 不同角度和體積較小的變形儀表部分圖片

訓(xùn)練過程如圖6所示,首先在COCO數(shù)據(jù)集上采用隨機(jī)梯度法對搭建的模型進(jìn)行預(yù)訓(xùn)練,對預(yù)訓(xùn)練好的模型權(quán)重初始化儀表檢測模型,再利用自制儀表數(shù)據(jù)集進(jìn)行訓(xùn)練,并在測試集上評估模型性能。

圖6 模型訓(xùn)練流程圖

學(xué)習(xí)率初始化為0.005,動量設(shè)置為0.9,權(quán)重衰減因子為0.000 5,迭代次數(shù)為100,每迭代5次以0.33倍速降低學(xué)習(xí)率值。訓(xùn)練時采用的batch_size大小為8,交并比(intersection over union,IoU)為0.5。

本文算法和經(jīng)典Faster R-CNN算法進(jìn)行檢測效果對比,由圖7、表1可知在分別利用ResNeXt50與加入FPN與SENet后,平均精準(zhǔn)度(mean average precision,mAP)不斷增加,由經(jīng)典Faster R-CNN算法的75.51%至本文算法的94.45%,提高了18.94%。

表1 目標(biāo)檢測算法準(zhǔn)確率比較

圖7 變形儀表測試結(jié)果

由表2可知,本文算法因融合FPN網(wǎng)絡(luò),能夠檢測出圖像中體積較小的儀表,使得漏檢現(xiàn)象有所改善,漏檢率降低至1.4%。且由于SENet模塊的加入,突出儀表特征,使得誤檢率大大降低至0.4%。

表2 指針式儀表數(shù)量檢測結(jié)果對比

2 矯正變形儀表圖像并讀取示數(shù)

為了提高變形儀表的讀數(shù)精準(zhǔn)率,采用先矯正再讀數(shù)的方法,利用Harris角點檢測對表盤頂點的定位,再按照所要求的頂點位置投影至新的平面,從而形成正視角度下的儀表圖像,利用二次矯正對儀表精準(zhǔn)化矯正,如圖8所示。

圖8 改進(jìn)矯正儀表算法的流程框圖

2.1 矯正儀表圖像的表盤預(yù)處理

首先對已識別儀表的RGB色彩圖片進(jìn)行灰度化處理[14-15]得到灰度圖像[圖9(a)]。統(tǒng)計其灰度出現(xiàn)的頻率,得灰度直方圖[圖9(b)]。找到直方圖的第一個峰值、第二個峰值和這兩個峰值之間的谷值,該谷值即該圖像目標(biāo)與背景分割的閾值[15],使其分割圖像[圖9(c)]。

圖9 儀表圖像預(yù)處理

2.2 表盤Harris角點檢測與矯正

由于Canny邊緣檢測算子是一種多級檢測算法,檢測算法精確地找到圖像中盡可能多的邊緣,減少漏檢和誤檢。

因此,首先對分割圖像進(jìn)行高斯濾波平滑,其次,分別在橫、縱軸方向上對圖片一階求導(dǎo),得到灰度值。使用非極大值抑制來尋找局部最大值,將非極大值對應(yīng)的灰度值設(shè)置為0,剔除非邊緣像素點。最后,使用上下閾值來檢測邊緣去除偽邊緣,這樣在雙閾值的前提下,可以提高準(zhǔn)確度。從而得到儀表的邊緣圖像[圖10(a)]。

圖10 儀表的頂點檢測

角點檢測算法[16]為了判斷儀表圖像的角點,利用卷積窗口滑動,以該點為中心的窗口在附近滑動。當(dāng)滑動窗口在各個方向移動時,窗口內(nèi)的像素灰度出現(xiàn)了較大的變化,就可能是角點。因此可以構(gòu)建數(shù)學(xué)模型, 圖像窗口平移(u,v)所產(chǎn)生的灰度變化E(u,v),計算公式為

(1)

式(1)中:w(x,y)為一種加權(quán)函數(shù)。

首先計算邊緣檢測圖片中像素點(x,y)在水平和垂直方向上的一階偏導(dǎo)數(shù)Ix和Iy,則(x,y)為目標(biāo)像素點坐標(biāo);進(jìn)行平滑濾波,獲得像素點(x,y)的自相關(guān)矩陣M為

(2)

式(2)中:(u,v)為其他像素點相對于像素點(x,y)的偏移量;wu,v為指數(shù)加權(quán)窗口函數(shù)。

為了計算便利,利用角點相應(yīng)函數(shù)R的大小來判定像素是否為角點。像素點(x,y)的角點響應(yīng)值R計算公式為

R=det(M)-ktrace2(M)

(3)

式(3)中:det(M)為自相關(guān)矩陣M的行列式;trace(M)為自相關(guān)矩陣M的跡;k為常數(shù),取值范圍為 0.04≤k≤0.06。

重復(fù)以上步驟直至遍歷完邊緣檢測所有的像素點。逐一對邊緣檢測圖中所有像素點的角點響應(yīng)值進(jìn)行閾值判斷,獲得角點和角點位置,在角點中根據(jù)灰度變化率尋找出儀表的4個頂點,分別用紅圈藍(lán)圈黃圈綠圈表示[圖10(b)]。

找到4個頂點后,進(jìn)行透視變換[17],即從變形儀表圖片的4個頂點(x,y)組成的四邊形,獲取新矩形的長h和寬w,投影到新矩形4個頂點(1,1)、(1,h)、(w,1)、(w,h)的指定平面上。

由直角坐標(biāo)系下4個頂點坐標(biāo)得到透視系數(shù):即將四邊形區(qū)域內(nèi)所有點分別按照各自的透視系數(shù)進(jìn)行透視變換。透視系數(shù)由式(4)得到。

(4)

式(4)中:m1～m8為透視系數(shù);(xi,yi)為原圖像4個頂點坐標(biāo);(Xi,Yi)為變換后圖像4個頂點坐標(biāo)。上述描述的將區(qū)域內(nèi)的所有點分別按照各自的透視系數(shù)進(jìn)行透視變換。

(5)

式(5)中:(u,v,w)為透視變換后的任意一點在直角坐標(biāo)系的坐標(biāo);(x′,y′)為原圖片上的灰度圖中任意點在直角坐標(biāo)系上的坐標(biāo);m1～m8為透視系數(shù)矩陣M的元素。最終達(dá)到對整幅圖像的透視變換,得到正視角度的儀表,如圖11所示。

圖11 透視變換后的儀表

由于在透視變換矯正變形儀表圖像中,長與寬根據(jù)的是變形儀表的變形程度確定的,導(dǎo)致矯正畸變后儀表長寬與正視儀表的長寬存在比例不相等,會出現(xiàn)拉伸現(xiàn)象,以及存在輕微的旋轉(zhuǎn)現(xiàn)象。上述問題導(dǎo)致利用角度法計算示數(shù)時會降低精準(zhǔn)度,因此,為了使讀數(shù)更精準(zhǔn),進(jìn)行了二次矯正。

2.3 表盤二次矯正

透視變換得到的拉伸與旋轉(zhuǎn)的儀表圖像,依舊導(dǎo)致讀數(shù)存在誤差。針對該問題,將利用仿射變換進(jìn)行二次矯正,完成對拉伸、旋轉(zhuǎn)儀表圖像的復(fù)原工作,如圖12所示。

圖12 二次矯正邏輯框圖

仿射變換是通過一系列的原子變換的復(fù)合來實現(xiàn)二維坐標(biāo)到二維坐標(biāo)之間的線性變換,現(xiàn)使用的是縮放、旋轉(zhuǎn)變化,其約束分別如下。

(6)

(7)

對于拉伸儀表圖片[式(6)],每個橫縱坐標(biāo)分別放大(縮小)至sx、sy倍。利用霍夫變換檢測直線,獲取儀表下邊框直線的角度θ,通過角度判斷,根據(jù)式(7)使圖像繞圓點順時針旋轉(zhuǎn)θ,由此得到更為精準(zhǔn)的正視的儀表圖像,如圖13所示。

圖13 二次矯正后的儀表

2.4 讀取示數(shù)

為利用角度法讀取儀表示數(shù),先提取指針,對圖像預(yù)處理。遍歷周長最大的連通區(qū)域,將表盤的外輪廓提取出來,利用Hough變換和細(xì)化算法檢測直線,得到指針。

角度法需要人工預(yù)設(shè)最大刻度線Max、最小刻度線Min和最大夾角α,將指針指向最小刻度時的方向作為軸正方向,指針直線與軸正方向的夾角β,指針讀數(shù)計算公式如式(8)所示,讀取示數(shù)如圖14所示。

圖14 讀取示數(shù)

(8)

2.5 實驗結(jié)果與分析

在Intel Core i5 Window 10 系統(tǒng)下,以某工廠的電流表和電壓表作為實驗對象,采集任意時間段不同示數(shù)、不同傾斜角度拍攝的指針式儀表圖片樣本共211張,其讀數(shù)對比如圖15所示。由此可見,二次矯正后讀數(shù)值與的示數(shù)相接近,而透視變化后的讀數(shù)值則與儀表真實值存在一定的誤差。最后利用對應(yīng)的儀表讀數(shù)真實值和采取兩種方法分別得到的測試結(jié)果進(jìn)行誤差率計算,計算公式為

圖15 211張變形儀表讀數(shù)對比圖

(9)

式(9)中:e為誤差率;Vread為儀表讀數(shù);Vtrue為真實值。

僅用透視變化直接讀數(shù),其誤差率為9.141%,而通過儀表矯正讀取示數(shù),其誤差率為0.852%,極大地降低了讀數(shù)誤差,較精準(zhǔn)地讀取了儀表示數(shù)。

3 結(jié)論

提出了一種基于Faster R-CNN識別變形儀表圖像的二次矯正方法,對于電網(wǎng)等現(xiàn)場工況復(fù)雜,儀表在圖像中占據(jù)面積較小,同時攝像頭會因拍攝角度的不同,導(dǎo)致儀表圖像發(fā)生畸變難以識別的問題,利用改進(jìn)的Faster R-CNN識別變形儀表,通過利用Mosaic數(shù)據(jù)增強(qiáng)的變形儀表數(shù)據(jù)集,以ResNeXt50作為主干網(wǎng)絡(luò),通過FPN使得高層特征與底層特征融合,能夠識別因體積較小而出現(xiàn)漏檢的儀表,再通過SENet模塊使得共享特征層更能夠突出儀表的特征,更好地檢測出變形儀表。實驗結(jié)果表明,對于傳統(tǒng)的Faster R-CNN而言,本文算法在mAP性能比較上提高了18.94%。對于角度法讀數(shù)因變形表盤所帶來的識別率低下和讀數(shù)不準(zhǔn)確的問題,本文利用Canny邊緣檢測及Harris角點檢測精準(zhǔn)定位頂點與透視變換及二次矯正對變形表盤進(jìn)行矯正,實驗結(jié)果表明,本文方法使得變形儀表的識別與讀數(shù)都得到了相應(yīng)的改善,提高了自動識別與讀數(shù)的精準(zhǔn)度。