基于深度學(xué)習(xí)的集氣站指針式儀表讀數(shù)研究

江 濤,陶健成,范 旭

(1.中海油能源發(fā)展股份有限公司采油服務(wù)分公司，天津 塘沽 300452；2.東南大學(xué)自動(dòng)化學(xué)院，江蘇 南京 210096)

0 引言

在油氣勘探中，集氣站是重要組成部分。集氣站需要各種儀表實(shí)時(shí)指示當(dāng)前集氣站的工作狀態(tài)，以確保整個(gè)系統(tǒng)的安全、穩(wěn)定運(yùn)行，并在較短時(shí)間內(nèi)發(fā)現(xiàn)危險(xiǎn)。目前，多數(shù)集氣站主要依靠人工巡檢保障設(shè)備正常工作，主要存在以下缺點(diǎn)：儀表設(shè)備多，造成巡檢工作繁雜、耗時(shí)；巡檢頻次高，造成測(cè)量人員因疲勞等原因產(chǎn)生讀數(shù)誤差；集氣站有毒有害氣體會(huì)對(duì)巡檢人員的身體造成損害[1]。

隨著機(jī)器視覺和深度學(xué)習(xí)的興起，人們可以實(shí)現(xiàn)對(duì)目標(biāo)像素級(jí)的識(shí)別與分割。機(jī)器人技術(shù)在各行各業(yè)得到廣泛運(yùn)用，可以代替工作人員進(jìn)入更危險(xiǎn)的場(chǎng)所、執(zhí)行更精準(zhǔn)的動(dòng)作；加之人力成本上升趨勢(shì)和產(chǎn)業(yè)升級(jí)的需要，對(duì)集氣站各類儀表進(jìn)行自動(dòng)巡檢與讀數(shù)迫在眉睫，在行業(yè)有著現(xiàn)實(shí)需要和應(yīng)用前景。本文對(duì)指針式儀表自動(dòng)讀數(shù)的實(shí)現(xiàn)方式進(jìn)行了研究。

1 總體結(jié)構(gòu)

指針式儀表的自動(dòng)讀數(shù)算法由兩部分組成：儀表的識(shí)別定位和儀表表盤的建模讀數(shù)。儀表的識(shí)別定位主要實(shí)現(xiàn)圖像預(yù)處理和儀表檢測(cè)[2]。圖像預(yù)處理使用雙邊濾波實(shí)現(xiàn)去噪，并使用單尺度Retinex實(shí)現(xiàn)增強(qiáng)。儀表檢測(cè)采用一種Mask基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(region-based convolutional neural network,RCNN)[3-4]。儀表表盤的建模讀數(shù)主要用于確定指針區(qū)域、實(shí)現(xiàn)指針擬合和利用角度計(jì)算示數(shù)。該儀表采用局部閾值二值化和劃分連通域提取指針區(qū)域，以查表法細(xì)化指針和累計(jì)概率Hough變換實(shí)現(xiàn)指針擬合，通過對(duì)表盤進(jìn)行建模而利用角度關(guān)系計(jì)算示數(shù)。算法以儀表圖片作為輸入、儀表示數(shù)作為輸出。算法架構(gòu)圖如圖1所示。

圖1 算法架構(gòu)圖

2 儀表識(shí)別與定位

2.1 圖像預(yù)處理

2.1.1 雙邊濾波

儀表類圖像較為有效的信息在于物體與背景交接的邊界信息。常用的線性濾波方式，諸如高斯濾波等，會(huì)混淆圖像的這部分信息。作為一種典型的非線性濾波算法，雙邊濾波器[5]是一種用于保留邊界、平滑降噪的濾波器。與高斯濾波類似，雙邊濾波器同樣采用鄰接點(diǎn)像素值進(jìn)行加權(quán)平均的值來代替該像素的值。但與前者不同的是，它的權(quán)重不僅與像素點(diǎn)間的歐氏距離有關(guān)，還與深度距離、顏色差異等因素有關(guān)。這種濾波器在保護(hù)邊界信息方面卓有成效[6]。圖2展示了雙邊濾波測(cè)試結(jié)果。從圖2所示的對(duì)比結(jié)果來看，原始圖像中的儀表刻度線周圍分布散亂噪點(diǎn)，對(duì)后續(xù)的圖像處理產(chǎn)生干擾。相比之下，雙邊濾波算法可以有效地在不混淆邊界信息的情況下去除噪點(diǎn)。

圖2 雙邊濾波測(cè)試結(jié)果

2.1.2 單尺度Retinex

logli(x,y)=log[si(x,y)·Gi(x,y)]

(1)

(2)

式中：i∈{R,G,B}。

通過對(duì)輸出圖像應(yīng)用標(biāo)準(zhǔn)增益調(diào)整其亮度范圍，可獲得最終的輸出圖像。SSR測(cè)試結(jié)果如圖3所示。

圖3 SSR測(cè)試結(jié)果

通過圖3所示的對(duì)比結(jié)果可以看到：在原始圖像中，很難用肉眼分辨儀表的具體數(shù)據(jù)；在經(jīng)過算法處理后的圖像中，指針與刻度線區(qū)域與背景區(qū)分得較為明顯。

2.2 Mask RCNN模型結(jié)構(gòu)

與基于更簡單工程特征的系統(tǒng)相比，Mask RCNN可以顯著提高目標(biāo)檢測(cè)性能并且實(shí)現(xiàn)圖像的實(shí)例分割[8]。每個(gè)像素被劃分為一組區(qū)分不同對(duì)象的固定類別。Mask RCNN是Faster RCNN的改進(jìn)。它為每個(gè)感興趣區(qū)域增加了一個(gè)用于預(yù)測(cè)分割掩碼的分支，并使用RoIAlign層替換RoIPool層[9]。Mask RCNN整體結(jié)構(gòu)如圖4所示。

圖4 Mask RCNN整體結(jié)構(gòu)圖

卷積神經(jīng)網(wǎng)絡(luò)部分采用的是殘差神經(jīng)網(wǎng)絡(luò)，可以很好地解決因網(wǎng)絡(luò)層次太多而導(dǎo)致的退化問題。

2.3 儀表識(shí)別試驗(yàn)與結(jié)果

本文采用ResNet-50作為特征提取網(wǎng)絡(luò)。ResNet-50需要大量數(shù)據(jù)來調(diào)整參數(shù)值，以達(dá)到最佳特征提取效果。獲得儀表數(shù)據(jù)集后，按8∶2區(qū)分為訓(xùn)練和驗(yàn)證集，并且需要手動(dòng)對(duì)2個(gè)子集圖像中的儀表掩碼進(jìn)行標(biāo)注，將其存儲(chǔ)為.json格式文件用于后續(xù)調(diào)用。試驗(yàn)中共獲得112張訓(xùn)練集圖像和28張驗(yàn)證集圖像。

由于數(shù)據(jù)集小、訓(xùn)練資源有限，加之識(shí)別目標(biāo)較為簡單，試驗(yàn)采用遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練。本文在特征提取部分采用COCO數(shù)據(jù)集權(quán)重參數(shù)，以減少待優(yōu)化參數(shù)數(shù)量，從而盡快達(dá)到收斂；在檢測(cè)部分使用自制儀表訓(xùn)練集進(jìn)行重新訓(xùn)練，以實(shí)現(xiàn)檢測(cè)儀表的特定應(yīng)用。試驗(yàn)中：設(shè)置區(qū)域推薦網(wǎng)絡(luò)中正負(fù)樣本比例約為1∶2；共設(shè)置10個(gè)階段，每個(gè)階段訓(xùn)練50次；預(yù)測(cè)過程中置信區(qū)分度設(shè)置為0.9。在訓(xùn)練和推斷過程中使用的試驗(yàn)配置環(huán)境如表1所示。

表1 試驗(yàn)配置環(huán)境

最后，使用準(zhǔn)確率最高的模型對(duì)測(cè)試圖片進(jìn)行預(yù)測(cè)。儀表掩碼預(yù)測(cè)結(jié)果如圖5所示。

圖5 儀表掩碼預(yù)測(cè)結(jié)果

從圖5能夠直觀地看到儀表掩碼和邊界框位置，也可以通過獲得邊界框四點(diǎn)坐標(biāo)，進(jìn)一步對(duì)儀表區(qū)域進(jìn)行裁剪。

3 表盤建模讀數(shù)

3.1 確定指針區(qū)域

3.1.1 局部閾值二值化

對(duì)圖像進(jìn)行二值處理，是分離有效信息(例如刻度、指針等)與背景環(huán)境的有效方法。按閾值作用方式劃分，二值化可分為局部和全局。考慮到在獲取的儀表圖像的邊緣仍存在背景環(huán)境，采用全局二值化可能會(huì)將背景信息視為有效信息，為后續(xù)處理帶來干擾。因此，本文采用局部二值化。它會(huì)為每個(gè)像素點(diǎn)單獨(dú)計(jì)算閾值。計(jì)算過程為：

(3)

式中：(i,j)為前景像素點(diǎn)鄰域內(nèi)一點(diǎn);m為鄰域大小;G(i,j)為權(quán)重參數(shù);g(i,j)為像素值;c為偏移參數(shù);T為閾值。

由式(3)可知，某點(diǎn)閾值僅與該點(diǎn)周圍像素值有關(guān)。這對(duì)亮暗不均勻、反光、復(fù)雜背景等環(huán)境中的儀表圖像具有很好的區(qū)分效果。在實(shí)際使用時(shí)，通過調(diào)節(jié)偏移參數(shù)c和鄰域大小m，可得最佳效果。

3.1.2 劃分連通域

在獲得二值化圖像后，需要對(duì)其進(jìn)行連通域[10-11]的劃分。其目的在于將有相互關(guān)聯(lián)的前景像素點(diǎn)劃為獨(dú)立的區(qū)域塊，并通過對(duì)區(qū)域塊進(jìn)行形態(tài)學(xué)處理來獲得目標(biāo)區(qū)域。用于劃分連通域的常見方法主要有四鄰接法和八鄰接法2種。記某非圖像邊緣的物體像素點(diǎn)為D1，其周圍分布有D2到D8共8個(gè)像素點(diǎn)。四鄰接法定義D1與Di(i=3,5,7,9)有關(guān)聯(lián)。八鄰接法定義D1與Di(2≤i≤9,i∈N)有關(guān)聯(lián)。鄰接法原理如圖6所示。為了避免劃分的區(qū)域塊過于破碎、便于后續(xù)環(huán)節(jié)處理，本文采用八鄰接法。

圖6 鄰接法原理示意圖

在獲得所有區(qū)域塊后，需要對(duì)其進(jìn)行篩選。由于不同儀表指針規(guī)格類似，從面積、長寬比等幾方面指標(biāo)進(jìn)行篩選，具體條件如下：

(4)

式中：a為連通區(qū)域塊面積;r為連通區(qū)域塊長寬比;S為整個(gè)圖像面積。

通過上述條件，可以很好地篩選指針區(qū)域。

3.2 指針擬合

3.2.1 指針細(xì)化

獲得指針連通域后，需要對(duì)指針進(jìn)行細(xì)化，明確其所指方向。本文采用的指針細(xì)化方法是查表法[12]。對(duì)于任一非圖像邊緣像素點(diǎn)，它的鄰域有8個(gè)像素點(diǎn)。每個(gè)像素點(diǎn)的值都有255和0這2種可能，因此共有28=256種可能性。逐個(gè)分析每種情況，將需要?jiǎng)h除的標(biāo)記為1、保留的標(biāo)記為0，從而得到1個(gè)可供索引的一維數(shù)組。設(shè)數(shù)組長度為256，則用于搜索數(shù)組的索引值為：

(5)

(6)

式中：g(Di)為點(diǎn)Di的像素值。

在使用時(shí)，需要對(duì)區(qū)域塊中的點(diǎn)進(jìn)行遍歷，根據(jù)其周圍8個(gè)像素點(diǎn)的情況查找數(shù)組判斷是否刪除。通常將行遍歷和列遍歷作為一次循環(huán)。循環(huán)次數(shù)可根據(jù)實(shí)際情況自行定義。

3.2.2 累計(jì)概率Hough線檢測(cè)

對(duì)圖像進(jìn)行細(xì)化處理后，可得構(gòu)成骨架的一系列離散點(diǎn)，但還無法用公式對(duì)直線進(jìn)行描述。Hough線檢測(cè)是用于檢測(cè)與定位圖像中線段的常用算法。它的缺點(diǎn)在于計(jì)算量大、效率低且無法給出線段的端點(diǎn)。基于此，可得到改進(jìn)的累計(jì)概率Hough線檢測(cè)[13]，在實(shí)際檢測(cè)時(shí)更符合要求。本文將使用此方法定位圖像中的直線。

考慮到在3.1.2節(jié)獲得的指針區(qū)域塊不可避免地存在儀表規(guī)格參數(shù)、廠家名稱等背景信息，并且這些信息細(xì)化后的線段相對(duì)于指針線段來說較短，因此將獲得的最長線段認(rèn)定為指針線段并進(jìn)行后續(xù)的讀數(shù)處理。至此，可以得到指針線段的2個(gè)端點(diǎn)，并可以用直線公式對(duì)指針進(jìn)行表達(dá)。

3.3 角度法讀數(shù)

實(shí)現(xiàn)讀數(shù)的前提是獲得刻度圓盤和指針線段的位置。通過前述過程，已經(jīng)能夠得到指針線段的2個(gè)端點(diǎn)。由于不同規(guī)格儀表的刻度盤和刻度線形狀不一，無法找到普適的算法對(duì)刻度盤進(jìn)行提取，因此本文主要依靠人工標(biāo)定的方式獲得關(guān)鍵參數(shù)，包括量程最大值和最小值，以及量程最大值、最小值和中值所在點(diǎn)坐標(biāo)。設(shè)量程最大值Vmax、最小值Vmin和中值這3點(diǎn)坐標(biāo)分別為(xs,ys)、(xe,ye)和(xm,ym)，則可以通過列寫以下方程組解圓心坐標(biāo)(xo,yo)和半徑R：

(7)

獲得圓心坐標(biāo)后，即可區(qū)分指針線段的頭尾2端。多數(shù)儀表的指針頭部細(xì)長、尾部粗短。通過計(jì)算2端點(diǎn)到圓心距離進(jìn)行判斷：距離較長的為頭部，較短的為尾部。實(shí)際計(jì)算中，由于這些點(diǎn)近似共線，故只需判斷橫坐標(biāo)差值。

角度法讀數(shù)原理如圖7所示。

圖7 角度法讀數(shù)原理示意圖

設(shè)2端點(diǎn)坐標(biāo)分別為(x1,y1)和(x2,y2)，則頭部點(diǎn)為：

(8)

將線段的直線公式與刻度盤的圓公式聯(lián)立，可得兩者交點(diǎn)。此時(shí)解得的坐標(biāo)有2個(gè)解，保留與指針頭部點(diǎn)距離較近的坐標(biāo)，判斷過程與上述過程類似。獲得交點(diǎn)坐標(biāo)(xk,yk)后，利用量程中值點(diǎn)和圓心連線作為基準(zhǔn)線，計(jì)算此時(shí)的α和β角。則讀數(shù)的最終結(jié)果可表示為：

(9)

3.4 儀表讀數(shù)試驗(yàn)與結(jié)果

表盤建模讀數(shù)測(cè)試結(jié)果如圖8所示。

圖8 表盤建模讀數(shù)測(cè)試結(jié)果

讀數(shù)的算法流程為：首先，對(duì)圖像進(jìn)行局部閾值二值化，分離有效信息與背景信息；然后，對(duì)離散點(diǎn)劃分連通域，加以一定條件篩選指針區(qū)域；接著，對(duì)區(qū)域進(jìn)行細(xì)化并進(jìn)行累計(jì)概率Hough線檢測(cè)，得到最長的線為指針線；最后，根據(jù)前面獲得的信息建模計(jì)算示數(shù)。在試驗(yàn)中，設(shè)置鄰域邊長m為10、偏移參數(shù)c為25。

選取典型儀表的測(cè)試結(jié)果，記錄人工和算法判斷儀表數(shù)據(jù)值、誤差和運(yùn)行時(shí)間等。儀表讀數(shù)測(cè)試結(jié)果如表2所示。

表2 儀表讀數(shù)測(cè)試結(jié)果

4 結(jié)論

本文基于機(jī)器視覺和深度學(xué)習(xí)，實(shí)現(xiàn)了集氣站儀表的自動(dòng)讀數(shù)；通過雙邊濾波和單尺度Retinex算法，實(shí)現(xiàn)了圖像降噪和特征增強(qiáng)；通過Mask RCNN神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了儀表識(shí)別與定位；通過形態(tài)學(xué)和Hough檢測(cè)等算法，對(duì)表盤進(jìn)行建模讀數(shù)。試驗(yàn)結(jié)果表明，算法系統(tǒng)運(yùn)行穩(wěn)定，降噪和特征增效明顯。基于Mask RCNN的儀表識(shí)別可以準(zhǔn)確地定位儀表位置，減少了背景環(huán)境對(duì)讀數(shù)造成的干擾，可將儀表建模讀數(shù)的結(jié)果與儀表真實(shí)值的誤差率控制在0.5%以內(nèi)，達(dá)到了工程應(yīng)用要求，實(shí)現(xiàn)了預(yù)期目標(biāo)。