復(fù)雜環(huán)境下基于決策樹的數(shù)碼管識(shí)別算法研究

熊經(jīng)先 李慧慧 閆 坤* 劉思堯 黃錫文 張李軒

1(桂林金格電工電子材料科技有限公司 廣西 桂林 541004)2(桂林電子科技大學(xué)衛(wèi)星導(dǎo)航定位與位置服務(wù)國(guó)家地方聯(lián)合工程研究中心 廣西 桂林 541004)

0 引 言

近年來(lái),工業(yè)自動(dòng)化領(lǐng)域的相關(guān)技術(shù)研究方興未艾。作為工業(yè)自動(dòng)化系統(tǒng)的重要組成部分,信息采集一直是一個(gè)研究熱點(diǎn)[1-2]。常用的信息采集方式主要有兩類,第一類被稱為侵入式信息采集,需要將傳感器嵌入儀器設(shè)備內(nèi)部[3]。第二類為非接觸式信息采集,基于圖像處理的信息采集就是這一類中最重要的實(shí)現(xiàn)手段[4],由于易于部署,不影響設(shè)備工作,受到各種工業(yè)生產(chǎn)廠商的歡迎。

與其他環(huán)境中的圖像識(shí)別任務(wù)相比,工業(yè)環(huán)境中的識(shí)別目標(biāo)相對(duì)單一[5-7]。識(shí)別目標(biāo)主要是各種設(shè)備儀表的讀數(shù)。數(shù)碼管識(shí)別難度主要在于復(fù)雜工業(yè)環(huán)境中,常用的識(shí)別方法無(wú)法完成數(shù)字區(qū)域與背景區(qū)域的高精度分割,進(jìn)而影響后續(xù)識(shí)別算法的準(zhǔn)確度[8-9]。在數(shù)碼管識(shí)別方面,國(guó)內(nèi)外研究團(tuán)隊(duì)已經(jīng)做出很多工作[10-14]。Rasines等[15]針對(duì)帶背光顯示器設(shè)計(jì)了數(shù)字檢測(cè)識(shí)別算法,該算法依賴色彩空間中特定通道,使用閾值檢測(cè)識(shí)別區(qū)域。該算法僅適用于具備發(fā)光背景的顯示器,無(wú)法應(yīng)用于無(wú)背光的數(shù)碼管識(shí)別。文獻(xiàn)[16-17]設(shè)計(jì)了一種圖形用戶界面(Graph User Interface,GUI),用戶可在GUI中選擇包含數(shù)字的區(qū)域。系統(tǒng)僅在一個(gè)醫(yī)療設(shè)備上的300個(gè)數(shù)字上受過(guò)訓(xùn)練,因此無(wú)法在相對(duì)復(fù)雜的工業(yè)場(chǎng)景中使用。Li等[18]提出的方法無(wú)須圖像二值化,而是采用筆畫寬度變換來(lái)定位可能感興趣區(qū)域(Region of Interest,ROI),并使用支持向量機(jī)(Support Vector Machine,SVM)來(lái)進(jìn)一步篩選。但是,文中采用的測(cè)試圖像中有很大一部分是從互聯(lián)網(wǎng)上獲取的干凈圖像,并不是在現(xiàn)實(shí)情況下捕獲的。Prakruthi等[19]開(kāi)發(fā)了一種基于輸入圖像的Canny邊緣圖的屏幕檢測(cè)算法,并搜索最大的矩形輪廓,從而提取原始圖像中的多個(gè)ROI區(qū)域。但是,系統(tǒng)需要先驗(yàn)數(shù)字在屏幕上的位置。因此,一旦屏幕尺寸不同,算法錯(cuò)誤概率提高。Ghosh等[20]提出了一種利用OCR技術(shù)從數(shù)字萬(wàn)用表和其他類似的數(shù)字顯示設(shè)備中獲取自動(dòng)數(shù)據(jù)的系統(tǒng),此方法的顯著優(yōu)勢(shì)是它可以自動(dòng)檢測(cè)小數(shù)點(diǎn)和負(fù)號(hào),不過(guò)這種方法只針對(duì)七段顯示數(shù)碼管。

針對(duì)復(fù)雜工業(yè)場(chǎng)景,為提高數(shù)碼管識(shí)別應(yīng)用時(shí)的可靠性,本文提出一種基于決策樹的數(shù)碼管識(shí)別方法。首先從設(shè)備采集圖像中提取數(shù)碼管所在區(qū)域,即ROI,然后對(duì)ROI區(qū)域進(jìn)行灰度化,計(jì)算灰度圖的Tsallis熵[21-23]。不同Tsallis熵值對(duì)應(yīng)于不同的工作環(huán)境、數(shù)碼管狀態(tài)。然后基于Tsallis熵值,選擇預(yù)設(shè)的二值化算法,完成灰度圖的二值化。由于數(shù)碼管中的數(shù)字往往多于一個(gè),需要對(duì)數(shù)字區(qū)域分別識(shí)別,因此二值化后,利用數(shù)字定位算法對(duì)數(shù)碼管區(qū)域進(jìn)行切分。最后分別對(duì)每個(gè)數(shù)字區(qū)進(jìn)行識(shí)別。數(shù)字識(shí)別算法采用常用的穿線法。針對(duì)在實(shí)際工業(yè)環(huán)境中采集的數(shù)碼管圖片進(jìn)行測(cè)試。本文方法實(shí)驗(yàn)效果比其他識(shí)別方法更高效可靠,適用于工業(yè)場(chǎng)景應(yīng)用。

1 系統(tǒng)介紹

本文提出的數(shù)碼管識(shí)別方法如圖1所示,整個(gè)流程分為三個(gè)步驟,第一個(gè)步驟為圖像采集,是指獲取圖像中的圖案的掃描圖像(數(shù)字圖像)的過(guò)程。本文假設(shè)數(shù)碼管所在區(qū)域(即圖1中數(shù)碼管ROI)為已知。因此可以從采集到的圖像中提取出多個(gè)ROI用于后續(xù)處理。整個(gè)流程針對(duì)復(fù)雜的工業(yè)場(chǎng)景設(shè)計(jì),旨在實(shí)現(xiàn)工業(yè)環(huán)境中高效可靠的數(shù)碼管識(shí)別。

圖1 數(shù)碼管識(shí)別流程

數(shù)碼管識(shí)別流程的第二個(gè)步驟為預(yù)處理。首先,對(duì)每個(gè)ROI區(qū)域的彩色圖片進(jìn)行二值化處理,我們提出一種基于決策樹的二值化算法,根據(jù)灰度的樣本Tsallis熵,選擇相應(yīng)的二值化方法。圖像二值化后完成噪聲消除,通過(guò)邊緣消除以及膨脹和填充去除圖像中噪點(diǎn)。最后對(duì)不同尺寸的ROI進(jìn)行尺寸歸一,方便后續(xù)處理。

第三個(gè)步驟為數(shù)碼管識(shí)別,包括三個(gè)具體步驟:數(shù)字分割、特征提取和數(shù)值判定。由于實(shí)際工作中的數(shù)碼管位數(shù)差異較大,甚至是時(shí)變的,因此需要實(shí)時(shí)自適應(yīng)的數(shù)字分割,本文中以數(shù)碼管色塊分布特征為依據(jù)完成數(shù)字分割。最后對(duì)特征編碼進(jìn)而估計(jì)數(shù)值。

2 基于決策樹的二值化算法

復(fù)雜工業(yè)環(huán)境中,環(huán)境光對(duì)算法的精度影響較大。首先,同一設(shè)備不同光照情況所得的圖像灰度分布差別較大。另外,不同數(shù)碼管亮度也存在差別。這需要二值化算法具有較高的魯棒性。除了以上難點(diǎn),常規(guī)二值化方法用兩個(gè)高斯核或兩個(gè)泊松核擬合圖像灰度分布,這種假設(shè)并不適合數(shù)碼管二值化。數(shù)碼管所在區(qū)域在熄滅時(shí),亮度高于其他背景,因此熄滅的數(shù)碼管區(qū)表現(xiàn)出與其他部分不同的統(tǒng)計(jì)特征,極大地影響二值化算法的性能。

圖2-圖4分別為不同光線及設(shè)備工作情況下,獲取的數(shù)碼管ROI灰度圖。計(jì)算不同灰度的統(tǒng)計(jì)直方圖可知,正常光線、過(guò)度曝光、設(shè)備關(guān)機(jī)時(shí)灰度的統(tǒng)計(jì)分布具有較大差異。為提高二值化算法的適應(yīng)性,本文提出一種基于決策樹的二值化機(jī)制。

圖2 正常光照條件下數(shù)碼管及其灰度直方圖

圖3 過(guò)度曝光條件下數(shù)碼管及其灰度直方圖

圖4 設(shè)備關(guān)機(jī)條件下數(shù)碼管及其灰度直方圖

假設(shè)ROI第i行、第j列的像素值為p(i,j),ROI對(duì)應(yīng)的灰度頻數(shù)分布圖為:

式中:J、I分別為圖片的行像素?cái)?shù)、列像素?cái)?shù);Q(k)為對(duì)應(yīng)特定灰度的像素點(diǎn)數(shù)和;k=1,2,…,256。

計(jì)算灰度均值如下:

(2)

計(jì)算Tsallis熵如下:

式中:q為Tsallis熵的系數(shù)。Tsallis熵是香農(nóng)熵的擴(kuò)展,當(dāng)可調(diào)參數(shù)q→1時(shí),Tsallis熵等價(jià)為香農(nóng)熵。通過(guò)調(diào)整q值可以在圖像分析中更好地度量圖像中不同特征區(qū)域的狀態(tài)差異。本文應(yīng)用中,圖片主要差異表現(xiàn)在亮度較高的數(shù)碼管區(qū)域,這一區(qū)域占整個(gè)ROI的比例通常較低,因此為突出差異,選擇q值為0.5。圖5為不同實(shí)際場(chǎng)景圖片的灰度期望、Tsallis熵值分布圖。

圖5 均值、Tsallis熵分布圖

如圖5所示,在Tsallis熵-灰度均值平面上,正常光線、過(guò)度曝光、設(shè)備關(guān)機(jī)這三種狀態(tài)的圖像度量值能夠被兩條直線較好分割。根據(jù)這一特征,采用均值和Tsallis熵構(gòu)建雙層決策樹將以上三種狀態(tài)分開(kāi),決策樹示意圖如圖6所示。

圖6 決策樹示意圖

計(jì)算ROI均值和Tsallis熵,根據(jù)決策樹判斷圖片所屬場(chǎng)景,進(jìn)而采用適配不同場(chǎng)景的灰度圖二值化方法。

? 正常光線:根據(jù)Otsu算法[24]計(jì)算二值化門限。Otsu算法又稱為最大類間差法,用兩個(gè)高斯核擬合圖像中前景和背景灰度的統(tǒng)計(jì)頻數(shù),Otsu算法選擇最大化類間方差的門限。如圖2所示,在正常光線下,前景(發(fā)光數(shù)碼管)和背景(除發(fā)光二極管的其他區(qū)域)有明顯亮度差別,用Otsu算法分割效果較好。

? 過(guò)度曝光:如圖3所示,過(guò)度曝光使背景亮度提高,觀察過(guò)度曝光的統(tǒng)計(jì)頻數(shù),與正常光線統(tǒng)計(jì)頻數(shù)相比,前景(發(fā)光數(shù)碼管)和背景(除發(fā)光二極管的其他區(qū)域)的類間差減少,如使用Otsu算法計(jì)算二值化門限,會(huì)出現(xiàn)將較亮背景判為前景的問(wèn)題。因此以O(shè)tsu算法計(jì)算的門限為基準(zhǔn),并附加余量減少過(guò)度曝光的影響。

=ε+δ

(4)

式中:ε、δ分別為Otsu算法門限和附加余量。實(shí)驗(yàn)表明,要避免將背景判為前景,應(yīng)選擇δ>0。

? 設(shè)備關(guān)機(jī):二值化門限選為灰度最大值。以保證二值圖片中數(shù)碼管區(qū)域與背景區(qū)域一致。

(5)

3 數(shù)碼管識(shí)別

3.1 數(shù)字分割

數(shù)字分割是掃描整幅圖片裁剪數(shù)字區(qū)域并產(chǎn)生各個(gè)分段數(shù)字,然后調(diào)整所有大小分段的數(shù)字,以使其大小相似,降低識(shí)別難度。首先,將圖片的像素分為兩類:數(shù)字區(qū)域和空白區(qū)域。然后根據(jù)數(shù)字區(qū)域的統(tǒng)計(jì)特征找到數(shù)碼管邊緣并切出單獨(dú)數(shù)字的圖片。這種分割方法的精確性依賴輸入圖片噪聲大小。當(dāng)輸入圖片噪聲較多、數(shù)字變形較大時(shí),分隔準(zhǔn)確性下降。

假設(shè)第i行、第j列的像素值為p(i,j),計(jì)算二值化圖中每列的像素和,定義如下:

(6)

式中:I為圖片像素的總行數(shù),由于數(shù)碼管每個(gè)數(shù)字間存在間隔,因此可以假設(shè),每個(gè)數(shù)字分割處像素和的特征與數(shù)字所在區(qū)域不同。利用這種特征上的區(qū)別,可以分割出單個(gè)數(shù)碼管。

如圖7所示,數(shù)字分割點(diǎn)出現(xiàn)在峰值點(diǎn)之間。從左至右將峰值點(diǎn)排序,則第一個(gè)數(shù)字與第二個(gè)數(shù)字分割點(diǎn)出現(xiàn)在第二個(gè)峰值與第三個(gè)峰值間。因此設(shè)計(jì)數(shù)字分割方法如下:

圖7 基于像素和的數(shù)字分割

式中:di為第i個(gè)分割點(diǎn);mi為第i個(gè)峰值點(diǎn)。

3.2 特征提取及數(shù)字判定

七段數(shù)碼管通過(guò)調(diào)整每段數(shù)碼段的開(kāi)關(guān)狀態(tài)來(lái)表示0～9十個(gè)數(shù)字。本文用“0”表示數(shù)碼管關(guān)閉,用“1”表示數(shù)碼管打開(kāi)。每個(gè)數(shù)字都可以表示為長(zhǎng)度為7位的“0”“1”編碼。由于7段數(shù)碼管的亮滅方式一致,常用識(shí)別方式為先判斷對(duì)每段數(shù)碼管亮滅,然后判定相應(yīng)長(zhǎng)度為7的編碼。

由于復(fù)雜環(huán)境中的識(shí)別常常受噪聲和分段誤差的影響,相對(duì)固定化的識(shí)別規(guī)則無(wú)法保證較高的準(zhǔn)確性。本文中,使用支持向量機(jī)(SVM)完成數(shù)字的識(shí)別。分別計(jì)算7段數(shù)碼管所在區(qū)域點(diǎn)亮的數(shù)碼管區(qū)域像素總數(shù)作為識(shí)別特征,然后將7段數(shù)碼管的特征組合為一個(gè)7維向量。表1給出不同數(shù)碼管狀態(tài)對(duì)應(yīng)7維向量標(biāo)準(zhǔn)值。

表1 數(shù)據(jù)管狀態(tài)對(duì)應(yīng)7維向量標(biāo)準(zhǔn)值

表1中A表示正常光線下對(duì)應(yīng)段的點(diǎn)亮區(qū)域像素總數(shù)。復(fù)雜環(huán)境影響,當(dāng)數(shù)碼管點(diǎn)亮?xí)r,實(shí)際采集圖片中每段數(shù)碼管點(diǎn)亮區(qū)域通常為隨機(jī)變量,其均值為標(biāo)準(zhǔn)值。當(dāng)數(shù)碼管熄滅時(shí),實(shí)際采集圖片中每段數(shù)碼管點(diǎn)亮區(qū)域常大于標(biāo)準(zhǔn)值。

為提高算法適應(yīng)性,采集不同數(shù)字、多種場(chǎng)景下圖片,將圖片二值化,計(jì)算數(shù)碼管不同段點(diǎn)亮區(qū)域像素總數(shù),構(gòu)造7維向量,訓(xùn)練SVM模型用于數(shù)字的識(shí)別。

4 實(shí)驗(yàn)結(jié)果

采集圖像設(shè)備為200萬(wàn)像素網(wǎng)絡(luò)攝像頭,焦距2.6 mm,圖像中無(wú)顯示屏閃爍或反射。具體拍攝參數(shù)在表2給出。本文介紹的原始數(shù)據(jù)集包含7段數(shù)碼管,共收集2 000幅數(shù)碼管圖片,每幅圖片上有一個(gè)數(shù)碼管,數(shù)碼管上數(shù)字位數(shù)最多為6位,最短為4位。

表2 數(shù)據(jù)集拍攝參數(shù)

由于圖片在真實(shí)工業(yè)場(chǎng)景采集,數(shù)字出現(xiàn)頻率不均勻。數(shù)據(jù)集中有1 000幅圖片為白天均勻光線采集(其中600幅為數(shù)碼管開(kāi)啟,400幅圖片為數(shù)碼管關(guān)閉);1 000幅為白天非均勻光照情況采集(其中:800幅為數(shù)碼管開(kāi)啟;200幅圖片為數(shù)碼管關(guān)閉),數(shù)據(jù)集規(guī)格及其性質(zhì)在表3中給出。總計(jì)捕獲數(shù)字個(gè)數(shù)為5 903個(gè),關(guān)閉狀態(tài)數(shù)字2 858個(gè)。

表3 數(shù)據(jù)集統(tǒng)計(jì)參數(shù)

采用本文提出的決策樹對(duì)圖像進(jìn)行分類,選擇1 000幅圖片訓(xùn)練決策樹,剩余1 000幅圖片進(jìn)行測(cè)試。訓(xùn)練集中包含500幅白天均勻光線采集圖片(其中:300幅為數(shù)碼管開(kāi)啟;200幅圖片為數(shù)碼管關(guān)閉);500幅為白天非均勻光照情況采集(其中:400幅為數(shù)碼管開(kāi)啟;100幅圖片為數(shù)碼管關(guān)閉)。訓(xùn)練集與測(cè)試集均采用隨機(jī)方式。決策樹分類準(zhǔn)確性如表4所示。接著采用本文提出的SVM對(duì)數(shù)字進(jìn)行識(shí)別,隨機(jī)選擇1 000幅數(shù)字圖片訓(xùn)練SVM,剩余圖片進(jìn)行測(cè)試。

表4 決策樹分類準(zhǔn)確度

對(duì)圖片二值化后,采用本文提出的數(shù)字分割和SVM對(duì)數(shù)字進(jìn)行識(shí)別,隨機(jī)選擇1 000個(gè)數(shù)字圖片訓(xùn)練SVM,剩余圖片進(jìn)行測(cè)試。為測(cè)試本文方法的準(zhǔn)確性,針對(duì)不同數(shù)碼管顯示狀態(tài)(包括數(shù)字和數(shù)碼管關(guān)閉)分別計(jì)算識(shí)別準(zhǔn)確性。將本文設(shè)計(jì)方法與文獻(xiàn)[25]方法對(duì)比,數(shù)字識(shí)別準(zhǔn)確度由圖8給出。文獻(xiàn)[25]采用Otsu圖片二值化算法,然后采用模板匹配法識(shí)別數(shù)碼管,比較可知,本文方法能夠更好地應(yīng)對(duì)復(fù)雜環(huán)境中的數(shù)字識(shí)別,在不同光線下,識(shí)別精度達(dá)到97.9%以上。而傳統(tǒng)方法準(zhǔn)確度約為80%。由環(huán)境噪聲帶來(lái)的灰度分布變化多樣,傳統(tǒng)的二值化方法無(wú)法給出最佳的二值化門限,這是傳統(tǒng)方法準(zhǔn)確度低的主要原因,采用本文提出的基于決策樹的二值化方法后,數(shù)碼管識(shí)別準(zhǔn)確性可提高至90%以上。

圖8 本文方法與文獻(xiàn)[25]方法檢測(cè)準(zhǔn)確度對(duì)比

為進(jìn)一步優(yōu)化實(shí)驗(yàn)設(shè)計(jì),采用消融實(shí)驗(yàn)的思想,分析本文設(shè)計(jì)識(shí)別算法不同步驟的作用。將本文方法中的二值化方法替換為Otsu算法,作為第一個(gè)對(duì)比組。將本文方法中的數(shù)字分割和SVM算法替換為平均數(shù)字分割和常用的穿線法[26],作為第二個(gè)對(duì)比組。圖9給出了不同對(duì)比組與本文方法的數(shù)字識(shí)別準(zhǔn)確度。

圖9 本文方法與兩組對(duì)比組檢測(cè)準(zhǔn)確度對(duì)比

三組實(shí)驗(yàn)中,本文算法的識(shí)別準(zhǔn)確性較高,對(duì)比組二次之,對(duì)比實(shí)驗(yàn)組一識(shí)別準(zhǔn)確性最低,以上實(shí)驗(yàn)說(shuō)明準(zhǔn)確地二值化對(duì)數(shù)字準(zhǔn)確識(shí)別較重要,換言之,本文設(shè)計(jì)的二值化算法能夠較好地適應(yīng)復(fù)雜環(huán)境。另外,平均數(shù)字分割和常用的穿線法的識(shí)別性能稍遜于本文方法,可見(jiàn)本文方法能夠更好地適應(yīng)多變的實(shí)際環(huán)境。

5 結(jié) 語(yǔ)

數(shù)碼管的識(shí)別是實(shí)現(xiàn)工業(yè)自動(dòng)化的基礎(chǔ),尋求復(fù)雜環(huán)境中魯棒性強(qiáng)的數(shù)碼管識(shí)別方法具有至關(guān)重要的意義。我們提出一種新的基于Tsallis熵的決策樹二值化算法,并將二值化圖片自適應(yīng)分割為單個(gè)數(shù)碼管,進(jìn)而通過(guò)特征提取、數(shù)碼管識(shí)別完成數(shù)碼管自動(dòng)讀數(shù)。本文方法與以往的識(shí)別方法相比具有更強(qiáng)的適應(yīng)性,能很好地處理復(fù)雜環(huán)境中的光線不均問(wèn)題,同時(shí)能夠自動(dòng)識(shí)別數(shù)碼管關(guān)閉的情況。

實(shí)驗(yàn)證明,與常用的基于單一二值化方法的數(shù)碼管識(shí)別系統(tǒng)相比,本文方法在大幅提高識(shí)別準(zhǔn)確性的同時(shí),不增加過(guò)多的計(jì)算負(fù)擔(dān),只需增加均值、Tsallis熵計(jì)算,能夠更好地適應(yīng)復(fù)雜環(huán)境中的數(shù)碼光識(shí)別應(yīng)用。未來(lái)我們將進(jìn)一步探索能夠自適應(yīng)調(diào)整的圖像二值化方法,并將其應(yīng)用于自然光線圖片的分析識(shí)別。