基于圖像識(shí)別的復(fù)雜裝備狀態(tài)辨識(shí)*

劉丙杰，楊繼鋒，史文森

(海軍潛艇學(xué)院， 山東青島 266199)

0 引言

復(fù)雜裝備一般具有流程繁多、狀態(tài)變化頻繁、數(shù)據(jù)非線性變化等特點(diǎn)。在復(fù)雜裝備運(yùn)行期間，往往需要對(duì)裝備狀態(tài)實(shí)時(shí)判讀，用于實(shí)時(shí)監(jiān)測(cè)評(píng)估裝備狀態(tài)。但是，由于復(fù)雜裝備狀態(tài)變化頻繁，不同流程下裝備狀態(tài)變化規(guī)律不同，特別是部分狀態(tài)一閃而過(guò)，人工監(jiān)測(cè)和評(píng)估難度很大且容易出錯(cuò)，這給復(fù)雜裝備狀態(tài)辨識(shí)帶來(lái)很大困難。

復(fù)雜裝備狀態(tài)辨識(shí)方法一般包括基于數(shù)據(jù)驅(qū)動(dòng)的方法[1-2]，基于解析模型的方法[3]，基于計(jì)算機(jī)仿真的方法[4]等。但是，基于圖像識(shí)別的裝備狀態(tài)辨識(shí)文獻(xiàn)較少。

文中采用圖像識(shí)別的方法通過(guò)采集裝備圖像，進(jìn)行圖像分割、圖像識(shí)別，識(shí)別裝備狀態(tài)，通過(guò)與期望裝備狀態(tài)向量進(jìn)行比較實(shí)現(xiàn)裝備狀態(tài)辨識(shí)。

1 復(fù)雜裝備狀態(tài)識(shí)別描述

裝備狀態(tài)識(shí)別可描述為：

(1)

(2)

式中:X為輸入裝備圖像；h(·)為圖像識(shí)別函數(shù)，文中h(·)為深度卷積神經(jīng)網(wǎng)絡(luò)；θ為h(·)的內(nèi)部參數(shù)。

2 基于圖像識(shí)別的裝備狀態(tài)辨識(shí)技術(shù)體系

裝備圖像識(shí)別技術(shù)體系如圖1所示。

圖1 裝備圖像識(shí)別技術(shù)體系

首先對(duì)裝備進(jìn)行邊界判定，確定識(shí)別區(qū)域，快速校對(duì)。然后根據(jù)裝備部件邊界對(duì)識(shí)別區(qū)域進(jìn)行劃分，在此基礎(chǔ)上進(jìn)行圖像分割。接著識(shí)別各區(qū)域圖像狀態(tài)，并與裝備狀態(tài)進(jìn)行對(duì)比，最后判定裝備狀態(tài)。

2.1 識(shí)別邊界判定

為了使得圖像采集設(shè)備與裝備能夠快速匹配，提高校對(duì)效率，每臺(tái)裝備上安裝了邊界識(shí)別標(biāo)簽，攝像頭通過(guò)識(shí)別標(biāo)簽位置實(shí)現(xiàn)裝備與攝像頭的快速校對(duì)。

2.2 圖像分割

典型復(fù)雜裝備由眾多部件組成，需識(shí)別的部件包括指示燈、儀表、開(kāi)關(guān)、數(shù)碼表等，同一個(gè)裝備可能由幾十甚至成百個(gè)部件組成，部件形狀有圓形、方形、矩形等，每一種部件有多種狀態(tài)，所有部件的狀態(tài)組合就形成了裝備狀態(tài)。為了識(shí)別裝備狀態(tài)，就需要對(duì)裝備進(jìn)行圖像分割。

復(fù)雜裝備具有結(jié)構(gòu)龐大、信息流程復(fù)雜、顯示信息多等特點(diǎn)。但是復(fù)雜系統(tǒng)的顯示信息一般都有規(guī)則形狀，而且顯示部件之間都有較明顯的分割線。根據(jù)研究對(duì)象圖像特點(diǎn)，文中采用基于邊緣檢測(cè)的圖像分割方法實(shí)現(xiàn)復(fù)雜裝備的圖像分割[5]。

2.3 圖像狀態(tài)識(shí)別

對(duì)于劃分的區(qū)域圖像，分別采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行狀態(tài)識(shí)別。

1)部件類(lèi)型識(shí)別

文中所述的復(fù)雜裝備顯示部件類(lèi)型包括：指示燈、儀表、數(shù)字面板、開(kāi)關(guān)、綜合顯示器等。采用K-均值算法對(duì)分割出的對(duì)象進(jìn)行分類(lèi)，其基本思想是：根據(jù)圖像分割狀態(tài)，對(duì)每個(gè)分割圖像與已知圖像進(jìn)行對(duì)比識(shí)別，確定各分割圖像類(lèi)型，算法步驟如下：

Step1:根據(jù)第i個(gè)分割圖像與已知圖像的距離，確定圖像相似度；

Step2:根據(jù)圖像相似度，確定分割圖像類(lèi)型。

2)指示燈狀態(tài)識(shí)別

裝備指示燈狀態(tài)分為亮、滅兩種狀態(tài)。HSI空間常用于彩色匹配實(shí)驗(yàn)，比較適合于飽和度和亮度描述。

假設(shè)待識(shí)別信號(hào)燈共有m種不同的顏色狀態(tài)，HSI 空間指示燈識(shí)別算法步驟為：

Step1:選擇照度不同的n個(gè)時(shí)刻，每時(shí)刻拍攝該指示燈不同顏色狀態(tài)的圖像各1張，采集到m×n張圖像，計(jì)算出每張圖像中信號(hào)燈區(qū)域的R、G、B各分量均值，歸一化后的R、G、B各分量均值記為：Rij,Gij,Bij。

Step2:分別對(duì)n種顏色狀態(tài)求出某段時(shí)間內(nèi)的R、G、B分量均值[6]：

(3)

式中：Ri、Gi、Bi分別表示指示燈在第i種顏色狀態(tài)下，某段時(shí)間內(nèi)紅、綠、藍(lán)三色各分量的均值，然后按如下公式轉(zhuǎn)換為HSI值，記為Ai=(Hi,Si,Ii)。

I=(R+G+B)/3

(4)

S=I-[3/(R+G+B)][min(R,G,B)]

(5)

(6)

(7)

Step3:求出待識(shí)別圖像信號(hào)燈區(qū)域的R、G、B各分量均值，歸一化后轉(zhuǎn)化為HSI 顏色，記為B=(H,S,I)。

Step4:將每個(gè)Ai與B相匹配，求出m個(gè)相似距離值，則：

A={Ai|min(|Ai-B|)}

(8)

3)儀表狀態(tài)識(shí)別

裝備常用儀表如圖2所示。

圖2 裝備儀表圖示

儀表狀態(tài)識(shí)別分為如下3個(gè)步驟：

①量程識(shí)別

根據(jù)裝備儀表特征，儀表量程一般有兩種表示方式：左起始，中間起始。

首先采用數(shù)字識(shí)別方法對(duì)面板內(nèi)數(shù)字進(jìn)行識(shí)別，識(shí)別最大值、中間值、零值位置為：Pmax(x,y)，Pmid(x,y)，Pzero(x,y)，根據(jù)此3點(diǎn)擬合量程曲線為：

y=a0+a1x+a2x2+a3x3

(9)

②指針位置識(shí)別

采用圖像識(shí)別的方法識(shí)別指針為一同色線段，線段識(shí)別為：

y=b0+b1x

(10)

③儀表狀態(tài)識(shí)別

根據(jù)儀表量程曲線與指針直線的交點(diǎn)，可得出儀表位置以及儀表讀數(shù)，從而判斷儀表狀態(tài)為：

(11)

式中：s為識(shí)別狀態(tài)，0表示非期望狀態(tài)，1表示期望狀態(tài)。r為識(shí)別讀數(shù)；datamin，datamax分別為標(biāo)準(zhǔn)數(shù)據(jù)的最小值和最大值。

2.4 裝備狀態(tài)辨識(shí)

復(fù)雜裝備期望狀態(tài)描述為：

K={N，b1,b2,…,bn,s1,s2,…,sm}

(12)

式中:N為裝備運(yùn)行流程號(hào)或序號(hào);bi為期望指示燈狀態(tài);si為期望儀表狀態(tài)。

復(fù)雜裝備識(shí)別狀態(tài)描述為：

(13)

式中:N為裝備運(yùn)行流程號(hào)或序號(hào);b′i為識(shí)別指示燈狀態(tài);s′i為識(shí)別儀表狀態(tài)。

裝備狀態(tài)為：

E=||K-K′||

(14)

正常狀態(tài)下：E=0；故障狀態(tài)下：E≠0。

3 實(shí)驗(yàn)分析

以某裝備為例，裝備面板如圖3所示。

圖3 某裝備面板

采用海康威視攝像頭，有效像素：300萬(wàn)，水平清晰度：700 TVL；網(wǎng)絡(luò)接口：TCP/IP(RJ-45)。計(jì)算機(jī)基本配置為：CPU I5-3470，3.2 GHz；內(nèi)存：8 GB；顯存：1 GB。

Step1：邊界識(shí)別。在裝備識(shí)別區(qū)域的邊界設(shè)置了4個(gè)識(shí)別標(biāo)志，攝像頭可迅速識(shí)別邊界標(biāo)志。

Step2：圖像分割。分別采用邊緣檢測(cè)方法[6]、GrubCut方法[7]對(duì)裝備進(jìn)行分割，效果如圖4所示。

從圖4中可以看出，兩種方法分割正確率均為100%。邊緣檢測(cè)方法不僅檢測(cè)出了元器件邊緣，而且檢測(cè)出了較小的螺絲邊緣，而這些細(xì)小圖像在裝備識(shí)別中是冗余的；GrubCut法雖然整體分割正確率較高，但是對(duì)細(xì)小圖像分割的正確率不高。兩種圖像分割方法所需時(shí)間均在10 ms以內(nèi)。將部分矩形識(shí)別為不變量，分割后將此區(qū)域刪除。

圖4 某裝備圖像分割結(jié)果

Step3：元件狀態(tài)識(shí)別。分別利用SURF[7]、FAST[7]方法對(duì)指示燈和指示儀表進(jìn)行狀態(tài)識(shí)別。裝備分別在開(kāi)機(jī)、接通電源兩種狀態(tài)下進(jìn)行狀態(tài)識(shí)別，運(yùn)行100次。兩種方法識(shí)別正確率對(duì)比見(jiàn)表1。

表1 圖像識(shí)別正確率對(duì)比 %

從上表可以看出，兩種方法識(shí)別正確率均較高，但是SURF在開(kāi)關(guān)狀態(tài)、儀表識(shí)別的正確率方面高于FAST方法。根據(jù)上述識(shí)別結(jié)果，結(jié)合式(8)、式(11)給出如下裝備識(shí)別結(jié)果：

期望狀態(tài)為：

Step4：裝備狀態(tài)辨識(shí)。

由上述識(shí)別狀態(tài)可得：

E1=|K1-K′1|=0，E2=|K2-K′2|=0

即：兩種狀態(tài)監(jiān)測(cè)結(jié)果均為正常，與實(shí)際狀態(tài)一致。

4 結(jié)束語(yǔ)

裝備狀態(tài)識(shí)別對(duì)于實(shí)時(shí)監(jiān)控裝備狀態(tài)、及時(shí)干預(yù)、減少安全風(fēng)險(xiǎn)具有重要作用。裝備狀態(tài)識(shí)別采用了圖像分割、圖像狀態(tài)識(shí)別、裝備狀態(tài)辨識(shí)等多種技術(shù)。文中提出的裝備狀態(tài)識(shí)別技術(shù)框架可采用的方法具有一定的通用性，但是采用的具體技術(shù)與使用環(huán)境有密切關(guān)系。由于文中研究對(duì)象光線較好、干擾較少，裝備狀態(tài)識(shí)別難度較小。在研究中，采用了OpenCV系統(tǒng)中的SURF、FAST、GrubCut等函數(shù)，并進(jìn)行了對(duì)比研究，對(duì)于不同的應(yīng)用環(huán)境和識(shí)別對(duì)象，可采用不同的圖像識(shí)別方法。