基于數(shù)字圖像處理的物流分揀方法及系統(tǒng)*

王 敏，王 康，莊志豪，盧裕貴，孫 碩

(南京信息工程大學(xué) 電子與信息工程學(xué)院，江蘇 南京210044)

0 引言

近幾年，快遞公司普遍使用電子面單，為快遞面單的統(tǒng)一做出了重要貢獻(xiàn)，可以極大促進(jìn)物流分揀的自動(dòng)化程度。基于數(shù)字圖像處理的物流分揀主要是對(duì)快遞面單的地址進(jìn)行識(shí)別進(jìn)而分揀分流至下一站點(diǎn)，可以降低人力成本，提高自動(dòng)分揀效率[1-2]。

字符識(shí)別主要采用光學(xué)字符識(shí)別技術(shù)，其中數(shù)字識(shí)別常用的方式包括采用基于筆畫特征以及多特征聯(lián)合等[3-4]的方法，而漢字識(shí)別部分主要采用神經(jīng)網(wǎng)絡(luò)[5]。LeCun 及其同事于1989年發(fā)表了卷積神經(jīng)網(wǎng)絡(luò)的研究成果[6]，經(jīng)過三十多年的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)不斷增大，網(wǎng)絡(luò)層數(shù)不斷加深，處理能力不斷增強(qiáng)。但在字符快速識(shí)別領(lǐng)域，模板匹配法因識(shí)別算法簡(jiǎn)單、在圖像變化較小的情況下識(shí)別率高，仍占據(jù)一席之地。

在機(jī)器視覺的背景下，并響應(yīng)建設(shè)“ 智慧+ 共享物流” 的需要，本文基于數(shù)字圖像處理技術(shù)，提出了一種物流快速按址分揀方法，包括快遞面單分割、快遞面單地址區(qū)域定位以及地址字符識(shí)別三部分。并設(shè)計(jì)了實(shí)現(xiàn)系統(tǒng)，由固定機(jī)位的CCD 工業(yè)相機(jī)采集包裹圖像傳輸?shù)接?jì)算機(jī)進(jìn)行識(shí)別，將識(shí)別到的地址信息傳輸?shù)椒謷C(jī)器，從而提高分揀效率。

1 基于數(shù)字圖像處理的物流分揀方法

本方法主要包括快遞面單預(yù)處理、地址信息區(qū)域定位和地址字符識(shí)別等環(huán)節(jié)，流程如圖1 所示。

圖1 算法流程圖

1.1 圖像預(yù)處理

為了減小數(shù)據(jù)量以加快字符識(shí)別速度，需要將原圖像進(jìn)行灰度化預(yù)處理。本文對(duì)采集到的RGB彩色包裹圖像進(jìn)行加權(quán)平均灰度化，得到人眼視覺感受較好的灰度圖像，如圖2 所示。其中灰度化計(jì)算公式為：

圖2 灰度化結(jié)果

1.2 面單分割

模糊C 均值聚類算法(Fuzzy C - Means，F(xiàn)CM ) 是一種根據(jù)隸屬度劃分的聚類算法。其基本原理是將圖像的所有像素劃分為不同的類，使得同一類的像素之間的相似程度最高，不同類之間的相似程度最低。相比較普通C 均值算法對(duì)應(yīng)圖像數(shù)據(jù)的硬性劃分，F(xiàn)CM 采用的是基于隸屬度函數(shù)的柔性模糊劃分[7-8]。模糊C 是一個(gè)不斷迭代計(jì)算隸屬度uij和簇中心cj的過程，直到目標(biāo)函數(shù)(式(3)) 達(dá)到最優(yōu)。

其中，m 是聚類的簇?cái)?shù)；i，j 是類標(biāo)號(hào)；uij表示樣本xi屬于j 類的隸屬度。xi表示第i個(gè)樣本，x 是具有d 維特征的一個(gè)樣本。cj是j 簇的中心，||*|| 是歐幾里得距離。單個(gè)樣本xj對(duì)于每個(gè)簇的隸屬度之和為1，即：

利用模糊C 均值算法將該灰度圖像的每一個(gè)像素點(diǎn)按照最大隸屬度劃分為n個(gè)類，圖3 所示為n 分別為2 、3 、4 時(shí)的處理效果，可以看出n 越大，類別就越多，效果更好，但相應(yīng)的算法運(yùn)行時(shí)間也越長(zhǎng)，在一定程度上會(huì)降低算法效率。比較上述結(jié)果，同時(shí)考慮實(shí)際情況，當(dāng)n =3 時(shí)圖像處理結(jié)果較為理想，同時(shí)也比較符合語義，即將灰度化圖像分別分為包裹背景顏色、快遞面單底色和快遞面單字跡顏色三個(gè)部分[9]。由于快遞面單底色和快遞面單字跡顏色截然相反，且快遞面單字跡邊框與快遞面單邊框極為靠近，因此無論包裹背景顏色與快遞面單底色相近還是與快遞面單字跡顏色相近，包裹背景顏色、快遞面單底色和快遞面單字跡顏色三者中至少有其一會(huì)與其他部分有明顯區(qū)分，以此可以準(zhǔn)確將快遞面單分割出來。

圖3 不同參數(shù)下的FCM 檢測(cè)分割效果

1.3 邊緣檢測(cè)和直線檢測(cè)

相對(duì)于其他邊緣檢測(cè)算子，Canny 算子的抗噪聲性能和檢測(cè)弱邊緣的效果更好[10]，因此本文使用Canny 算子進(jìn)行邊緣檢測(cè)，得到快遞面單的邊緣信息，如圖4(a) 所示。

霍夫變換將圖像直角坐標(biāo)空間轉(zhuǎn)換到參數(shù)空間實(shí)現(xiàn)對(duì)不同形狀的邊緣進(jìn)行檢測(cè)[11-12]。以檢測(cè)直線為例，設(shè)原圖像為f(x，y)，在其x-y 空間坐標(biāo)上，其中一個(gè)點(diǎn)的坐標(biāo)為(x0，y0)，經(jīng)過點(diǎn)(x0，y0) 的直線為：

其中，k 為直線的斜率，b 為截距。

過點(diǎn)(x0，y0) 的直線有無數(shù)條，對(duì)應(yīng)有不同的斜率k 和截距b，將上式變換可得：

上式中，將x0和y0看成參數(shù)，b 和k 視為變量。這就完成了從坐標(biāo)空間到參數(shù)空間的變換，即坐標(biāo)空間內(nèi)的一個(gè)點(diǎn)對(duì)應(yīng)于參數(shù)空間的一條直線。對(duì)于坐標(biāo)空間中所有經(jīng)過直線y=kx+b 的點(diǎn)(xi，yi)，其對(duì)應(yīng)到參數(shù)空間就是所有經(jīng)過點(diǎn)(k，b) 的直線。

對(duì)邊緣檢測(cè)圖像進(jìn)行Hough 變換運(yùn)算，檢測(cè)出圖像中的直線。由于快遞面單中的線段較多，且直線中各個(gè)信息區(qū)域的邊框線段較為明顯，同時(shí)該類直線角度都處于0°和90°附近，故遍歷所有角度為-15°～15°以及75°～105°之間的直線，尋找出其中最長(zhǎng)的線段，即可得到快遞面單的邊框，從而可以將快遞面單單獨(dú)切割出來進(jìn)行處理，如圖4(b) 所示。

圖4 邊緣和直線檢測(cè)結(jié)果

1.4 直線檢測(cè)和旋轉(zhuǎn)切割

通過Hough 變換檢測(cè)直線進(jìn)行切割后得到的圖像可能存在一定的傾斜，需要對(duì)圖片進(jìn)行一定的角度校正。通過Hough 變換得到直線的角度信息，對(duì)角度進(jìn)行補(bǔ)償，并通過雙三次插值法完成圖像旋轉(zhuǎn)，如圖5 所示。

圖5 區(qū)域分割旋轉(zhuǎn)以及校正圖

1.5 地址信息區(qū)域定位和字符分割

再次對(duì)旋轉(zhuǎn)修正后的圖像進(jìn)行Hough 變換，可以得到五條直線，該圖像被切割成五個(gè)部分，如圖6所示，只需要獲取直線的位置就可以定位到感興趣的收件地址區(qū)域。

圖6 地址區(qū)域定位

如圖7 所示，通過投影法可以準(zhǔn)確定位到地址區(qū)域，并將單個(gè)地址字符分別分割出來，方便后續(xù)進(jìn)行識(shí)別。

圖7 地址豎直投影及字符單獨(dú)分割圖

1.6 地址信息識(shí)別

在地址信息識(shí)別中，分揀中心只需要識(shí)別出下一級(jí)地區(qū)的地址信息即可，同時(shí)電子面單的印刷字體一般較為標(biāo)準(zhǔn)，故在有限個(gè)地區(qū)中，可以采用模板匹配算法對(duì)地址信息進(jìn)行識(shí)別[13-14]。具體步驟是： 將分割好的地址字符和準(zhǔn)備好的模板進(jìn)行歸一化處理，對(duì)于每個(gè)待識(shí)別字符，遍歷所有的標(biāo)準(zhǔn)庫，并將重合度最高的標(biāo)準(zhǔn)庫字符作為該輸入待識(shí)別字符的識(shí)別結(jié)果。圖8 為標(biāo)準(zhǔn)庫中的部分字符。字符歸一化處理后可能會(huì)出現(xiàn)模板字跡大小與面單地址字跡大小不一致的問題，進(jìn)而影響后續(xù)匹配識(shí)別的結(jié)果。分別對(duì)模板和面單地址字跡通過膨脹和腐蝕進(jìn)行形態(tài)學(xué)處理，如圖9 所示，可以看出，膨脹后模板字跡圖與面單地址字跡圖像差距較小，故本文采用對(duì)模板字跡進(jìn)行膨脹處理，最后采用模板匹配中的距離匹配識(shí)別算法對(duì)地址信息進(jìn)行識(shí)別。

圖8 標(biāo)準(zhǔn)庫部分字符

圖9 字跡處理結(jié)果

距離匹配識(shí)別是通過計(jì)算待識(shí)別樣本的標(biāo)準(zhǔn)樣本之間的距離來實(shí)現(xiàn)匹配的[15-16]。兩幅圖像的距離計(jì)算方法為： 對(duì)于待識(shí)別樣本中的每一個(gè)白色像素點(diǎn)，在標(biāo)準(zhǔn)樣本中找到與對(duì)應(yīng)位置距離最近的白色像素點(diǎn)，計(jì)算兩者的距離，遍歷整幅圖像后，得到所有距離的平均值即兩幅圖像之間的距離。設(shè)待識(shí)別樣本為f (x，y)，標(biāo)準(zhǔn)模板樣本為g (x，y)，fd(x，y) 為待識(shí)別樣本的距離變換矩陣，gd(x，y) 為標(biāo)準(zhǔn)樣本的距離變換矩陣。其中通過遍歷整幅圖像得到每個(gè)位置與其最近的白色像素點(diǎn)的距離的值構(gòu)成該圖像的距離變換矩陣，距離變換矩陣與原圖像二維矩陣大小相同。兩幅圖像的距離D 越小說明其相似度越高。f 與g 的距離可用下式計(jì)算：

其中，Nf為f (x，y) 中前景點(diǎn)的數(shù)目，Ng為g (x，y) 中前景點(diǎn)的數(shù)目，I×J 為圖像的大小。

2 系統(tǒng)實(shí)現(xiàn)

2.1 硬件系統(tǒng)

工業(yè)相機(jī)是物流分揀中的一個(gè)重要部分，如同人眼，承擔(dān)原始數(shù)據(jù)采集的重要任務(wù)，并將拍照獲取的圖像轉(zhuǎn)換為計(jì)算機(jī)可以處理的數(shù)字信號(hào)。

合適的光源是物流分揀系統(tǒng)提高可靠性和穩(wěn)定性的重要因素之一。在物流自動(dòng)分揀系統(tǒng)中，光源通過一定的角度進(jìn)行照射，同時(shí)保持合適的光照強(qiáng)度，最理想的情況是成像可以明顯區(qū)分快遞面單和包裹以及背景，方便后續(xù)處理MATLAB 中快遞面單的分割。LED 燈是常用且方便更換及安裝的燈源，同時(shí)具有發(fā)熱量低、性能穩(wěn)定、功率消耗小、有效使用時(shí)長(zhǎng)較長(zhǎng)的特點(diǎn)。

本文采用CCD 工業(yè)相機(jī)對(duì)包裹圖像進(jìn)行采集，實(shí)際結(jié)構(gòu)及連接如圖10 所示。

圖10 硬件系統(tǒng)結(jié)構(gòu)

采集到的圖像為彩色圖像，光源為環(huán)形LDE燈，可減少過度曝光和環(huán)境偏暗對(duì)圖像采集的影響。技術(shù)參數(shù)如下：

像素：300 萬像素彩色；

分辨率：2048×153612 fps ；

鏡頭：6～12 mm 無畸變鏡頭；

支架： 萬向調(diào)節(jié)支架；

光源： 環(huán)形LED 。

2.2 軟件功能實(shí)現(xiàn)

本物流分揀系統(tǒng)軟件部分采用MATLAB R2017a 實(shí)現(xiàn)，軟件流程如圖11 所示。

圖11 軟件流程圖

軟件運(yùn)行可視化結(jié)果和時(shí)效測(cè)試如圖12、圖13 所示。可以看出，在MATLAB 中使用計(jì)數(shù)測(cè)時(shí)，經(jīng)過多次測(cè)時(shí)，從圖像輸入到處理結(jié)果顯示，總時(shí)長(zhǎng)均為350 ms 左右，速度較快，較為符合實(shí)際運(yùn)用場(chǎng)景。

圖12 軟件顯示結(jié)果

圖13 軟件時(shí)效測(cè)試結(jié)果

3 結(jié)論

本文針對(duì)快遞分揀提出了一種基于數(shù)字圖像處理技術(shù)的物流快速按址分揀方法，設(shè)計(jì)了實(shí)現(xiàn)系統(tǒng)，通過快遞面單分割、快遞面單地址區(qū)域定位以及地址字符識(shí)別等環(huán)節(jié)將快遞面單上的地址自動(dòng)識(shí)別出來，實(shí)驗(yàn)結(jié)果表明，該方法具有良好的識(shí)別效果和時(shí)效性。