復(fù)雜環(huán)境下基于邊緣擴(kuò)張的條形碼定位方法

艾 達(dá)，馬宇豪，劉 穎+，郭建林，周光軍

1.西安郵電大學(xué)電子信息現(xiàn)場(chǎng)勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，西安 710121

2.深圳市有方科技股份有限公司，廣東深圳 518109

條形碼是把不同寬度的黑白條紋按照一定規(guī)則進(jìn)行排列組成的標(biāo)識(shí)符，用來(lái)表達(dá)一定的信息[1]，通過(guò)光電掃描設(shè)備，實(shí)現(xiàn)機(jī)器自動(dòng)讀取信息的功能，廣泛應(yīng)用于工業(yè)生產(chǎn)與日常生活當(dāng)中。近年來(lái)，隨著智能終端設(shè)備和無(wú)線通信技術(shù)的快速發(fā)展，影像式條形碼識(shí)別技術(shù)利用智能終端內(nèi)置攝像頭與應(yīng)用程序相結(jié)合，通過(guò)對(duì)拍攝的條碼圖像進(jìn)行處理，實(shí)現(xiàn)條形碼的定位、識(shí)別和譯碼，具有成本低、易維護(hù)、擴(kuò)展性強(qiáng)的優(yōu)點(diǎn)，得到廣泛應(yīng)用。其中，在解碼前通過(guò)一系列圖像預(yù)處理[2-4]運(yùn)算對(duì)條形碼自動(dòng)定位，減少條形碼的解析運(yùn)算，能夠有效提高條形碼識(shí)別速度，對(duì)于優(yōu)化條形碼識(shí)別有重要的意義。

通過(guò)對(duì)近年來(lái)?xiàng)l形碼定位識(shí)別技術(shù)的研究成果總結(jié)，現(xiàn)有的條形碼定位方法主要分為三類：基于頻域和形態(tài)學(xué)濾波的方法、基于機(jī)器學(xué)習(xí)的方法、基于邊緣特征的方法。

頻域和形態(tài)學(xué)濾波方法：通過(guò)使用離散余弦變換[5]、小波變換[6-7]等運(yùn)算將圖像從空間域轉(zhuǎn)化為頻域，提取條形碼紋理的高頻信息并濾除干擾信息完成條形碼定位。優(yōu)點(diǎn)在于能準(zhǔn)確地將條形碼從圖案背景中分離出來(lái)，但當(dāng)條形碼圖像周圍背景存在大量其他紋理圖案時(shí)，很難精確定位到每條條紋，影響最終識(shí)別的結(jié)果；利用條形碼的形狀特性[8-10]，使用形態(tài)學(xué)濾波將條形碼區(qū)域從背景中分離出來(lái)，同樣也容易受到復(fù)雜背景的影響，一旦遇到較復(fù)雜的背景，就會(huì)增大條形碼區(qū)域的定位難度。

基于機(jī)器學(xué)習(xí)的方法：通過(guò)提取局部二值模式（local binary pattern，LBP）特征[11]，送入支持向量機(jī)分類器判斷所屬類別[12-13]，將連通子塊合并得到條碼區(qū)域；使用語(yǔ)義分割方法構(gòu)造一種基于雙金字塔結(jié)構(gòu)的分割網(wǎng)絡(luò)BarcodeNet[14]，對(duì)復(fù)雜環(huán)境中條形碼區(qū)域分割和定位；采用深度學(xué)習(xí)網(wǎng)絡(luò)，如YOLO（you only look once）[15-16]，可以對(duì)條形碼區(qū)域快速檢測(cè)，取得了較好的檢測(cè)效果。機(jī)器學(xué)習(xí)方法識(shí)別效率高，性能還可以進(jìn)一步提高，但從應(yīng)用角度來(lái)看，需要大量數(shù)據(jù)集訓(xùn)練，對(duì)設(shè)備運(yùn)算性能要求高。

基于邊緣特征的方法：主要有應(yīng)用Hough 變換查找條形碼的直線算法[17]、對(duì)條形碼區(qū)域所有黑白條紋進(jìn)行檢測(cè)[18]、基于投影曲線的定位方法[19]等。利用條形碼區(qū)域垂直投影的特性確定條形碼位置，當(dāng)圖像背景出現(xiàn)過(guò)多平行線或平行圖案時(shí)識(shí)別效果會(huì)受到影響，抗干擾能力弱；結(jié)合條形碼的邊緣特征與形狀特征[20-21]，定位條形碼運(yùn)算量小，識(shí)別率較高，是一類較為經(jīng)典的定位方法，但是結(jié)果仍然易受背景的文字與圖案輪廓的干擾，導(dǎo)致定位不準(zhǔn)確；在此基礎(chǔ)上利用條形碼區(qū)域的邊緣密集、邊緣長(zhǎng)度相似、邊緣斜率相同等特點(diǎn)[22]，按照邊緣線的長(zhǎng)度值與傾角將條形碼區(qū)域與背景文字進(jìn)行區(qū)分，在保證實(shí)時(shí)性的前提下，提高了識(shí)別準(zhǔn)確率。

上述方法通常會(huì)組合使用，能夠解決部分復(fù)雜環(huán)境中條碼的識(shí)別問(wèn)題。但從實(shí)際應(yīng)用效果看，條形碼區(qū)域的定位常受到光照、對(duì)焦、背景復(fù)雜等因素的影響，如圖1 所示：（a）光照不均；（b）光照弱，使條形碼區(qū)域昏暗與背景難以區(qū)分；（c）鏡頭對(duì)焦不準(zhǔn)，導(dǎo)致條形碼條紋邊界不清晰；（d）圖像背景復(fù)雜，如大量文字、復(fù)雜圖案等影響條形碼位置識(shí)別。

Fig.1 Barcode image under complicated environment圖1 復(fù)雜環(huán)境下條形碼圖像

除上述問(wèn)題外，在實(shí)際應(yīng)用過(guò)程中還要綜合考慮定位方法的復(fù)雜度，對(duì)CPU 和內(nèi)存等系統(tǒng)資源占用，在各類嵌入式平臺(tái)上的通用性等問(wèn)題。

針對(duì)現(xiàn)有影像式條碼掃描設(shè)備存在的上述問(wèn)題，提出了一種基于邊緣擴(kuò)張（edge-based expansion，EBE）條形碼定位方法，可以有效適應(yīng)復(fù)雜光照環(huán)境、背景區(qū)紋理復(fù)雜、鏡頭焦模糊等復(fù)雜應(yīng)用場(chǎng)景，通過(guò)應(yīng)用實(shí)驗(yàn)證明，該方法能優(yōu)化原條形碼識(shí)別系統(tǒng)的識(shí)別耗時(shí)，且識(shí)別率高，具有良好的魯棒性。

1 方法描述

1.1 方法流程

提出方法總體流程如圖2 所示：（a）首先拍攝采集含有條形碼的圖像并進(jìn)行灰度化處理；（b）邊緣檢測(cè)生成邊緣圖像并二值化；（c）利用條形碼區(qū)域邊緣線密集的特性，對(duì)圖像中的邊緣進(jìn)行區(qū)域擴(kuò)張?zhí)幚恚唬╠）形態(tài)學(xué)濾波使密集的邊緣線成為連通區(qū)域，并將擴(kuò)展區(qū)域作為一個(gè)整體；（e）判別條形碼區(qū)域并矯正傾斜度，最終在圖像中定位條形碼區(qū)域（f）。

Fig.2 Barcode locating process圖2 條形碼定位過(guò)程

1.2 邊緣區(qū)域擴(kuò)張

光照不均勻使圖像中同性質(zhì)區(qū)域被錯(cuò)誤分割，一些邊緣信息無(wú)法被正確提取。通過(guò)二值化與邊緣檢測(cè)可以有效去除由于光照不均對(duì)條形碼位置識(shí)別過(guò)程的影響。

常見(jiàn)的邊緣檢測(cè)算子有Roberts 算子、Sobel 算子、Laplacian 算子等。其中Sobel 邊緣檢測(cè)算子具有運(yùn)算簡(jiǎn)單，抗噪能力良好的優(yōu)點(diǎn)。Sobel 邊緣檢測(cè)采用垂直與水平兩個(gè)方向的模板，能檢測(cè)出這兩方向上的邊緣，但是如果遇到傾斜的圖像邊緣，可能會(huì)出現(xiàn)偏差。使用改進(jìn)的Sobel 算子[23]，在水平方向與垂直方向的基礎(chǔ)上添加傾斜45°與135°兩個(gè)方向的邊緣檢測(cè)。

設(shè)原始含條形碼的圖像經(jīng)過(guò)灰度化處理后，其灰度圖像為I(x,y)。邊緣檢測(cè)方法如下：

式中，Dx、Dy、D45°、D135°分別為水平、垂直、45°、135°方向上的梯度算子與灰度圖I(x,y)卷積的結(jié)果；Isobel(x,y)為灰度圖像的邊緣圖像。

使用大津法[24]對(duì)邊緣圖像Isobel(x,y)進(jìn)行二值分割：

其中，T為圖像自適應(yīng)二值化的閾值；S(x,y)為經(jīng)過(guò)大律法二值化處理后的邊緣圖像，效果如圖2（b）所示。

現(xiàn)實(shí)生活中的條形碼圖像普遍會(huì)受到圖像背景、周邊文字的干擾，邊緣輪廓無(wú)法正確標(biāo)識(shí)條碼區(qū)域。提出的基于邊緣擴(kuò)張方法能對(duì)邊緣密集區(qū)域進(jìn)行填充，形成連通區(qū)域，同時(shí)對(duì)孤立的邊緣線條進(jìn)行濾除，計(jì)算步驟如下：

（1）遍歷二值化后的邊緣圖像，若存在Isobel(p,q)≠0 時(shí)，按下式求得圖像中像素點(diǎn)鄰域內(nèi)的像素均值：

式中，p、q為有限正整數(shù)；C(p,q)表示以像素點(diǎn)(p,q)為中心的3×3 鄰域內(nèi)像素點(diǎn)的像素均值，(i,j)表示該鄰域內(nèi)的像素點(diǎn)坐標(biāo)。

（2）對(duì)邊緣區(qū)域周圍按下式進(jìn)行擴(kuò)展：

式中，A″表示經(jīng)過(guò)邊緣擴(kuò)張后的圖像像素矩陣。效果如圖2（c）所示。

（3）對(duì)A″采用中值濾波，得到A′見(jiàn)式（9）：

其中，q，p∈W，W為中值濾波的濾波窗口；對(duì)A′形態(tài)學(xué)濾波，完成像素連通的區(qū)域二次擴(kuò)張，得到擴(kuò)張后的圖像像素矩陣A：

其中，?為開(kāi)啟算子；Θ 為腐蝕運(yùn)算符；⊕為膨脹運(yùn)算符；X為結(jié)構(gòu)元素，即為具有特定形狀特征的濾波窗口。應(yīng)用區(qū)域擴(kuò)張算法后，邊緣密集的條形碼區(qū)域會(huì)形成更大的連通區(qū)域，其他孤立輪廓線條將會(huì)被濾除，效果如圖2（d）所示。

1.3 條形碼區(qū)域判別

由于條形碼區(qū)域邊緣密集度比圖案背景、周邊文字區(qū)域高，經(jīng)過(guò)區(qū)域擴(kuò)張后條形碼區(qū)域所占的像素點(diǎn)個(gè)數(shù)比文字或圖案輪廓所形成的連通區(qū)域大很多。據(jù)此特性可將條形碼區(qū)域與其他區(qū)域區(qū)分出來(lái)，步驟如下：

（1）對(duì)區(qū)域擴(kuò)張后圖像矩陣A中各個(gè)連通區(qū)域的所占像素點(diǎn)個(gè)數(shù)進(jìn)行計(jì)數(shù)，分別記為S1′,S2′,…,Sc′，其中c為有限的正整數(shù)，表示連通區(qū)域的個(gè)數(shù)。

（2）Sc′表示該連通區(qū)域內(nèi)的像素點(diǎn)個(gè)數(shù)；在區(qū)間內(nèi)按等間隔分為n份，按下式確定間隔δ以及每個(gè)間隔中心Dk：

其中，Smin′為連通區(qū)域最小值；Smax′為連通區(qū)域最大值，k=1,2,…,n。

（3）根據(jù)實(shí)驗(yàn)效果，取經(jīng)驗(yàn)值n=5，只保留連通區(qū)域像素個(gè)數(shù)大于D1的區(qū)域，記為S1,S2,…,Sm,其中m為有限正整數(shù)，且m

（4）分別計(jì)算步驟（3）得到條形碼區(qū)域的位置信息。根據(jù)非零像素點(diǎn)區(qū)域起始坐標(biāo)確定條形碼所在位置，完成定位，效果如圖2（e）所示。

以帶有復(fù)雜背景的圖2（a）為例，經(jīng)過(guò)邊緣擴(kuò)張和判別后，背景干擾被有效濾除。

一維灰度投影圖[19]可以清楚地反映濾波效果，如圖3 所示，x軸為該圖像水平或垂直方向的像素列/行，y軸坐標(biāo)為該列/行所有像素灰度值之和。

文獻(xiàn)[22]方法是一種新型條形碼實(shí)時(shí)定位方法，圖3（a）為應(yīng)用其方法得到的水平投影圖，圖3（b）為其垂直投影圖，可以看出投影曲線波動(dòng)頻繁，并且在非條形碼區(qū)域存在背景干擾，這將影響條形碼定位的準(zhǔn)確率。圖3（c）、圖3（d）分別為本文EBE方法水平投影圖和垂直投影圖。可以看出，本文方法投影曲線集中在一個(gè)區(qū)域，并且波動(dòng)比較平緩，無(wú)驟增或驟減，可有效濾除背景干擾，明顯區(qū)分出條形碼區(qū)域。

Fig.3 Comparison of projection graph results圖3 投影圖結(jié)果對(duì)比

1.4 條形碼區(qū)域校正

條形碼需要按照一定方向進(jìn)行解析才能被識(shí)別，因此需要對(duì)傾斜的條形碼進(jìn)行水平校正。利用條形碼區(qū)域中存在大量平行的直線的特點(diǎn)，采用抗噪性較好的Radon 變換對(duì)直線進(jìn)行檢測(cè)，確定條形碼的傾斜角度以便校正。

采用Radon 變換時(shí)，若圖像中含有直線，則沿著此直線所有灰度值累加值最大，而其他非直線方向累加值較小，以此檢測(cè)直線位置，將原圖像轉(zhuǎn)為Radon 平面計(jì)算式如下：

其中，θ表示直線傾斜的角度，I(x,y)表示灰度圖像。

對(duì)于傾斜的圖像，Radon 變換可以檢測(cè)圖像中的直線的傾角已達(dá)到校正的目的。選擇Radon 變換空間亮度最高的點(diǎn)即為圖像的峰值點(diǎn)(s,θ)，其中θ表示原傾斜圖像的傾斜直線的傾斜角，按照此角度對(duì)圖像進(jìn)行校正。

圖4 為條形碼經(jīng)Radon 變換后的三維視圖，選擇積分最大值點(diǎn)對(duì)應(yīng)的θ角度值對(duì)傾斜條形碼進(jìn)行校正。實(shí)驗(yàn)結(jié)果顯示，0°到180°的傾斜均可以水平校正，校正效果如圖5 所示。

Fig.4 Barcode Radon transform 3D view圖4 條形碼Radon 變換三維視圖

Fig.5 Barcode horizontal corrections with Radon transform圖5 Radon 變換對(duì)條形碼水平校正

2 實(shí)驗(yàn)與應(yīng)用效果

從定位準(zhǔn)確率和解碼平均耗時(shí)兩方面開(kāi)展對(duì)比實(shí)驗(yàn)，驗(yàn)證提出方法的性能。

2.1 定位準(zhǔn)確率實(shí)驗(yàn)

實(shí)驗(yàn)使用了條形碼公開(kāi)數(shù)據(jù)集ArTe-Lab[22]與WWU Menster[25]以及自建條形碼數(shù)據(jù)集驗(yàn)證定位方法的準(zhǔn)確性。三個(gè)數(shù)據(jù)集均包含背景復(fù)雜、光照環(huán)境惡劣、對(duì)焦不準(zhǔn)的場(chǎng)景采樣。其中ArTe-Lab 數(shù)據(jù)庫(kù)分為自動(dòng)對(duì)焦（記作ArTe-Lab-AF）與未自動(dòng)對(duì)焦（記作ArTe-Lab-NF）的兩類條形碼圖像各215 張。WWU Menster 數(shù)據(jù)庫(kù)是由N95 手機(jī)拍攝的EAN、UPC-A 制式的條形碼圖像，共計(jì)1 055 張，本文選用其中的675 張進(jìn)行實(shí)驗(yàn)。此外，自建數(shù)據(jù)庫(kù)是采集自日常生活中不同拍攝環(huán)境564 張條形碼圖像，用于驗(yàn)證本文方法在實(shí)際生活場(chǎng)景中的條形碼區(qū)域定位能力。

文獻(xiàn)[22]是通過(guò)條形碼圖像的邊緣快速定位條形碼區(qū)域，文獻(xiàn)[25]是基于有監(jiān)督機(jī)器學(xué)習(xí)的條形碼區(qū)域檢測(cè)方法。以上兩種方法均使用ArTe-Lab 與WWU Menster 數(shù)據(jù)集驗(yàn)證其方法準(zhǔn)確性，因此本文通過(guò)計(jì)算機(jī)仿真實(shí)現(xiàn)上述兩種方法并與本文EBE 方法進(jìn)行對(duì)比，結(jié)果如表1 所示。

Table 1 Comparison of results among different barcode localization algorithms表1 不同條形碼區(qū)域定位方法對(duì)比

在ArTe-Lab-AF組對(duì)比中，EBE準(zhǔn)確率為95.35%，比邊緣快速定位法提高6.05 個(gè)百分點(diǎn)，較機(jī)器學(xué)習(xí)方法提高13.96 個(gè)百分點(diǎn)；在ArTe-Lab-NF 組對(duì)比中，由于圖像拍攝時(shí)沒(méi)有自動(dòng)對(duì)焦，導(dǎo)致部分條碼圖像模糊不清，EBE 準(zhǔn)確率為91.63%，比文獻(xiàn)[22]高34.89 個(gè)百分點(diǎn)，較文獻(xiàn)[25]方法提高21.87 個(gè)百分點(diǎn)，表明EBE方法識(shí)別對(duì)焦不清晰的條碼效果更好；在使用WWU Menster 數(shù)據(jù)對(duì)比中，EBE 方法識(shí)別率為97.77%，優(yōu)于機(jī)器學(xué)習(xí)法的89.62%，略好于邊緣快速定位法的96.29%；在自建數(shù)據(jù)庫(kù)對(duì)比實(shí)驗(yàn)中，EBE 方法識(shí)別率比文獻(xiàn)[22]高3.55 個(gè)百分點(diǎn)，比文獻(xiàn)[25]高5.86 個(gè)百分點(diǎn)。綜上所述，三種方法對(duì)日常生活場(chǎng)景中條碼識(shí)別率都較高，而EBE 方法更好。針對(duì)未自動(dòng)對(duì)焦條形碼圖像，EBE 方法具有良好的識(shí)別效果。

針對(duì)各種復(fù)雜應(yīng)用場(chǎng)景的干擾，應(yīng)用EBE 方法獲取條形碼定位坐標(biāo)，在原圖畫出虛框線，效果如圖6所示。

Fig.6 Locating results of barcode under complex conditions圖6 復(fù)雜條件下條形碼定位效果

2.2 實(shí)驗(yàn)結(jié)果分析

文獻(xiàn)[22]利用條形碼線條密集、傾斜角度相近的特點(diǎn)定位條形碼，在處理過(guò)程中難免有邊緣線缺失的情況，從而導(dǎo)致定位不準(zhǔn)確。文獻(xiàn)[25]通過(guò)結(jié)合有監(jiān)督機(jī)器學(xué)習(xí)與二維Hough 變換檢測(cè)條形碼直線區(qū)域，但在機(jī)器學(xué)習(xí)處理過(guò)程中需要手動(dòng)設(shè)置特征與規(guī)則，抗干擾能力較差容易導(dǎo)致定位不準(zhǔn)確，且通過(guò)Hough 檢測(cè)條形碼計(jì)算量較大，耗時(shí)較長(zhǎng)。本文EBE方法將圖像中條形碼區(qū)域看作一個(gè)整體進(jìn)行提取，利用條形碼的黑白條紋邊緣線密集特點(diǎn)，將該區(qū)域擴(kuò)張成為一個(gè)整體連通區(qū)域，保證了條形碼區(qū)域的完整性，不易丟失數(shù)據(jù)，因而有更好的定位準(zhǔn)確率，尤其在對(duì)焦不清的場(chǎng)景中效果更為明顯。

分析本文EBE 定位失效的實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)以下兩類情況導(dǎo)致識(shí)別錯(cuò)誤或識(shí)別不全的問(wèn)題：（1）拍攝距離太近，條形碼占據(jù)全部畫面，導(dǎo)致條紋間隔過(guò)大；（2）拍攝圖像過(guò)于模糊，人眼也無(wú)法區(qū)別。此兩種問(wèn)題都比較極端，只能通過(guò)重新拍照解決。

2.3 應(yīng)用測(cè)試

在智能手機(jī)系統(tǒng)上開(kāi)展條形碼圖像從拍攝到完成信息解讀的解碼時(shí)間測(cè)試，以評(píng)估提出EBE 方法的實(shí)際應(yīng)用效果。

系統(tǒng)測(cè)試環(huán)境為高通MSM8909 CPU（四核ARM Cortex A7），最高主頻1.1 GHz，運(yùn)行內(nèi)存為2 GB，Android5.1 系統(tǒng)，500 萬(wàn)像素?cái)z像頭。設(shè)置條碼圖像拍攝分辨率為640×480 像素。

在原系統(tǒng)條碼識(shí)別程序中加入EBE 方法選項(xiàng)開(kāi)關(guān)，對(duì)比采用EBE 方法前后的條形碼圖像解碼時(shí)間。采集10 組條形碼圖像數(shù)據(jù)，每組數(shù)據(jù)為一張條形碼解析50 次后用時(shí)的均值，在原系統(tǒng)條碼識(shí)別程序中加入EBE 方法選項(xiàng)開(kāi)關(guān)，對(duì)比采用EBE 方法前后的條形碼圖像解碼時(shí)間。具體情況如圖7 所示。

Fig.7 Average parsing time of barcode圖7 條形碼解析平均時(shí)間

原條形碼10 組數(shù)據(jù)的平均解碼時(shí)間為149 ms；使用EBE 方法后，解碼器可以快速定位圖像中的條形碼區(qū)域，平均解碼時(shí)間降為110 ms，總體解碼時(shí)間平均減少26.1%，解碼速度顯著提升。

3 結(jié)束語(yǔ)

本文提出的基于邊緣區(qū)域擴(kuò)張的條形碼處理和判別的定位方法，適用于基于影像的嵌入式條碼識(shí)別系統(tǒng)。實(shí)驗(yàn)和應(yīng)用結(jié)果表明，該方法較好地解決了存在光照、對(duì)焦、背景等干擾的復(fù)雜環(huán)境下條形碼定位問(wèn)題，具有良好定位準(zhǔn)確率、識(shí)別速度和使用成本優(yōu)勢(shì)。可應(yīng)用于復(fù)雜的拍照?qǐng)鼍埃軡M足日常生活與工作生產(chǎn)的需求，為條形碼識(shí)別設(shè)備的設(shè)計(jì)、優(yōu)化和研發(fā)提供了參考依據(jù)。