一種基于圖像識(shí)別的斗齒監(jiān)控系統(tǒng)在挖掘機(jī)上的應(yīng)用★

岳海峰

（太原重工股份有限公司技術(shù)中心， 山西　太原　030024）

1　現(xiàn)有技術(shù)的不足

為了能夠及時(shí)發(fā)現(xiàn)大型礦用挖掘機(jī)鏟斗前部斷裂或脫落的斗齒，現(xiàn)有的方法是在設(shè)備上加裝一套攝像顯示器系統(tǒng)，操作人員通過攝像頭在終端的顯示屏觀察斗齒完整與否。在實(shí)際使用中存在幾個(gè)不足：其一由于挖掘環(huán)境的惡劣，挖掘過程伴隨著大量的粉塵和較大石塊，加之物料黏性較大或者環(huán)境潮濕，物料堆積在斗齒部位增加操作員辨別的難度；其二長(zhǎng)時(shí)間頻繁檢查挖掘作業(yè)，特別是夜間作業(yè)增加了操作員的疲勞程度，在發(fā)生斷齒時(shí)很難第一時(shí)間確定可疑物料的范圍，導(dǎo)致整個(gè)工藝線停產(chǎn)排除故障。如果未能及時(shí)發(fā)現(xiàn)折斷的斗齒，則會(huì)使該段斗齒隨著渣土、礦石等一起被拉走并進(jìn)入破碎系統(tǒng)，由于斗齒的特殊材質(zhì)必定會(huì)造成重大經(jīng)濟(jì)損失。

2　基于圖像識(shí)別的斗齒監(jiān)控系統(tǒng)

為克服現(xiàn)有監(jiān)控系統(tǒng)的缺點(diǎn)，挖掘機(jī)設(shè)備采用了一種基于圖像識(shí)別技術(shù)的斗齒狀態(tài)監(jiān)控系統(tǒng)。該系統(tǒng)采用紅外熱成像技術(shù)，把掃描到斗齒的熱信號(hào)轉(zhuǎn)化為立體圖像，對(duì)挖掘機(jī)鏟斗位置進(jìn)行實(shí)時(shí)監(jiān)控；在特定位置對(duì)斗齒進(jìn)行采樣拍照，并在后臺(tái)運(yùn)行智能分析算法，當(dāng)發(fā)生斷齒情況時(shí)，及時(shí)發(fā)出報(bào)警信息。軟件還具備歷史視頻存儲(chǔ)、回放、下載、刪除、報(bào)警信息存儲(chǔ)、報(bào)警圖片抓拍等功能。

整套監(jiān)控系統(tǒng)基于Visual Studio 2008、OpenCV、C++[1]軟件平臺(tái)開發(fā)。圖1是監(jiān)控系統(tǒng)的組成部分，包括取流模塊（SDK攝像機(jī)），算法分析模塊，報(bào)警模塊以及故障存儲(chǔ)模塊四大部分。其中取流過程進(jìn)行實(shí)時(shí)的圖像采樣，算法分析將采樣的圖像數(shù)據(jù)進(jìn)行比對(duì)分析，報(bào)警過程屬于報(bào)警觸發(fā)，故障存儲(chǔ)是在報(bào)警觸發(fā)后所采取的數(shù)據(jù)記錄。

圖1　基于圖像識(shí)別的斗齒監(jiān)控系統(tǒng)

3　監(jiān)控系統(tǒng)在挖掘機(jī)上的應(yīng)用

由于鏟斗斗跟石礦顏色相近，在圖像識(shí)別過程中會(huì)帶來很大困擾。在挖斗卸完石礦后，會(huì)有幾秒鐘的空斗情況，此時(shí)對(duì)空斗進(jìn)行圖像抓拍，是圖像識(shí)別的關(guān)鍵，因此采取的解決方案是定位+識(shí)別+隔幀取流的技術(shù)。通過隔幀取流方法更有效快捷的提取到符合識(shí)別算法的圖像，然后在對(duì)該圖片進(jìn)行特征提取識(shí)別，再通過一定的圖像處理技術(shù)縮小檢測(cè)目標(biāo)的范圍，進(jìn)一步提高算法的精度以及性能，降低算法的誤差性。最終達(dá)到的效果是抓拍效果圖—輪廓特征圖—二分值圖。

SDK攝像機(jī)安裝在天輪位置，便于拍攝鏟斗齒尖。系統(tǒng)主機(jī)安裝在駕駛員操作室內(nèi)，顯示屏安裝在操作員左前方位置。

監(jiān)控系統(tǒng)在投入使用前首先進(jìn)行特定位置斗齒圖像庫(kù)的建立和，針對(duì)電鏟裝車卸料后的狀態(tài)抓拍圖像，進(jìn)行大量的圖像數(shù)據(jù)采集形成圖像數(shù)據(jù)比對(duì)庫(kù)。采集的圖像數(shù)據(jù)越全面，系統(tǒng)識(shí)別的精度越高。抓拍到的每一幅圖像都是目標(biāo)效果圖樣本，將目標(biāo)效果圖特征提取后生成目標(biāo)輪廓圖，目標(biāo)輪廓圖進(jìn)行圖像處理從中抽取出目標(biāo)對(duì)象的二分值圖。所有樣本圖像處理的信息數(shù)據(jù)匯集構(gòu)成了圖像識(shí)別的完整數(shù)據(jù)庫(kù)。整個(gè)數(shù)據(jù)庫(kù)是一個(gè)獨(dú)立的動(dòng)態(tài)庫(kù)，并可兼容多種設(shè)備，如下頁(yè)圖2—圖4所示。

圖2　鏟斗效果圖　

圖3　鏟斗輪廓圖

圖4　鏟斗二分值圖

針對(duì)要識(shí)別的特定類型的挖掘機(jī)斗齒，aboost[2]分類器算法進(jìn)行分類器訓(xùn)練，生成的分類器文件保存在XML文件中，在后面的分析中，使用該XML文件進(jìn)行分類。數(shù)據(jù)庫(kù)模板建立完成后，斗齒監(jiān)控系統(tǒng)可以投入運(yùn)行。系統(tǒng)運(yùn)行過程中，SDK攝像機(jī)進(jìn)行實(shí)時(shí)視頻采集，并進(jìn)行實(shí)時(shí)視頻顯示，同時(shí)將每幀數(shù)據(jù)進(jìn)行解碼，當(dāng)實(shí)時(shí)數(shù)據(jù)傳送給算法分析庫(kù)之后，算法首先對(duì)當(dāng)前圖像數(shù)據(jù)進(jìn)行預(yù)處理，并與之前訓(xùn)練的數(shù)據(jù)庫(kù)進(jìn)行比對(duì)分析，當(dāng)檢測(cè)到符合識(shí)別算法的圖像數(shù)據(jù)之后，進(jìn)行圖片抓拍。抓拍頻率30禎/s，每秒取3～5禎，時(shí)間10 s，每組取40禎左右圖片。并對(duì)每幀圖片進(jìn)行后續(xù)分割、特征提取等算法操作。

輪廓特征提取，首先進(jìn)行分割，將鏟斗與背景分割開來，其次進(jìn)行目標(biāo)輪廓線提取，從而得到目標(biāo)的輪廓線圖。獲取到目標(biāo)輪廓線圖之后，使用最小二乘法進(jìn)行曲線擬合。擬合之后得到每個(gè)斗齒的曲線情況，根據(jù)曲線的長(zhǎng)度、高度情況與系統(tǒng)設(shè)置閾值判斷該斗齒是否為斷齒或磨損。連續(xù)或間隔5～6禎數(shù)據(jù)偏差既可認(rèn)為有異常情況，每組數(shù)據(jù)10 s內(nèi)出結(jié)果。

通過接口將異常結(jié)果信息發(fā)送給前端界面或其他系統(tǒng)。報(bào)警模塊接到報(bào)警信息之后，會(huì)進(jìn)行報(bào)警信息顯示以及語(yǔ)音提醒等，具體報(bào)警方式可以有多種方式。通過報(bào)警模塊會(huì)觸發(fā)抓拍存儲(chǔ)模塊進(jìn)行數(shù)據(jù)抓拍和視頻錄像功能。采用視頻預(yù)錄功能，該功能能夠?qū)崿F(xiàn)將報(bào)警之前一段以及報(bào)警之后一段視頻數(shù)據(jù)進(jìn)行保存，從而利于后續(xù)查看、分析原因等。

4　結(jié)語(yǔ)

在挖掘機(jī)上應(yīng)用基于圖像識(shí)別技術(shù)的斗齒監(jiān)控系統(tǒng)，不僅可以將斗齒狀態(tài)實(shí)時(shí)視頻顯示，還可以對(duì)斗齒是否完整進(jìn)行自動(dòng)識(shí)別和報(bào)警，提升了挖掘機(jī)產(chǎn)品的自動(dòng)化水平，提高了產(chǎn)品競(jìng)爭(zhēng)力，填補(bǔ)斗齒掉落損壞后不能自行報(bào)警的空白，對(duì)鏟斗本體以及生產(chǎn)工藝后續(xù)設(shè)備提供了必要的保護(hù)，從而產(chǎn)生很大的經(jīng)濟(jì)效益和社會(huì)效益。

[1]蘇彥華.Visual C++數(shù)字圖像識(shí)別技術(shù)典型案例[M].北京：人民郵電出版社，2004.

[2]張國(guó)云，郭龍?jiān)?吳健輝,等.計(jì)算機(jī)視覺與圖像識(shí)別[M].北京：科學(xué)出版社，2012：89-120.