基于特征匹配的集裝箱識別與定位技術研究

陳 寧， 王 勝， 黃正文

(集美大學機械與能源工程學院，福建 廈門 361021)

基于特征匹配的集裝箱識別與定位技術研究

陳 寧， 王 勝， 黃正文

(集美大學機械與能源工程學院，福建 廈門 361021)

集裝箱識別與定位是實現港口自動化的關鍵技術之一。模板匹配是一種較常用的圖像識別方法，但傳統的模板匹配算法僅基于像素的灰度信息進行對比匹配，當外部環境稍有變化時，算法的魯棒性會大幅下降，且存在匹配效率不高，適應性不強等問題。提出基于目標顏色模板預定位與變步長圖像塊匹配分割相結合的算法，將具有形狀不變性的特征向量作為集裝箱實時識別與定位的重要依據，實驗結果顯示該識別方法能有效提高圖像分割效率，同時對目標平移、旋轉、尺度變化具有適應性。

港口自動化；模板匹配；圖像識別；塊匹配分割法；形狀不變性

當今港口集裝箱裝卸作業迫切需要從傳統的人工操作向無人化、自動化、智能化方向發展，利用機器視覺、人工智能等最新研究成果升級傳統的集裝箱裝卸機械已經勢在必行。相對于傳統的人工操作，基于視覺的智能系統能夠克服人的主觀因素和生理極限的不利影響，提高作業的安全系數和效率，并解放勞動力。因此，基于視覺的智能裝卸機械(最終發展目標是智能裝卸機器人)具有重要的研究意義和應用價值。基于視覺的集裝箱準確識別與定位是其最基本，且十分重要的研究內容，也是完成后續如集裝箱跟蹤、堆垛、轉運工作的基礎。

在集裝箱吊放作業中對其進行識別定位屬于

實時運動目標檢測、識別與定位的研究領域。而這一領域是機器視覺研究中的難點，也是智能視覺系統的關鍵。目前常用的目標檢測算法主要有背景減法[1]、幀間差分法[2]、光流法[3]以及基于統計學習的檢測算法[4]等。目標識別有傳統的模板匹配法[5]、特征點匹配法[6]、神經網絡識別算法[7]和基于支持向量機(support vector machine, SVM)的識別算法[8]等。針對集裝箱的識別(非針對集裝箱在道口通關時對諸如箱號等附屬信息的識別，而是指對集裝箱本身的識別)研究較少，其中張森和傅圣雪[9]研究了基于模板匹配的集裝箱識別與定位，但結果不穩定，對集裝箱尺度變化的適應性較差。陳丹[10]采用了基于監督學習的SVM分類法識別集裝箱，但所選特征較多，算法復雜、實時性不夠。考慮到傳統算法雖簡單高效，但魯棒性不好，智能算法復雜且實時性不佳的問題，本文提出了基于目標顏色模板預定位，變步長圖像塊匹配分割算法與形狀特征精定位相結合的方式來實現對集裝箱的實時識別與定位，在集裝箱發生平移、旋轉、尺度變化以及存在環境干擾情況下都取得了較好的實驗效果。算法流程如圖1所示，其中顏色模板預定位、圖像分割和集裝箱特征提取是本文研究的主要內容。

圖1 算法流程圖

1 基于顏色模板匹配的集裝箱預定位

1.1 色調、飽和度、亮度顏色模型轉換

由于色調、飽和度、亮度(hue，saturation，value，HSV)顏色空間相對于RGB空間來說，對光線、亮度和陰影等外部環境的變化具有更低的敏感度，能夠有效增強算法的魯棒性。可用下列公式將圖像序列從RGB顏色空間轉換到HSV空間：

則，色調分量H為

飽和度分量S為

亮度分量V為

1.2 顏色模板預定位

將顏色空間從RGB轉換到HSV后，選取一小塊，如60×60 P2(P2，像素面積)，作為顏色模板。以模板的HSV直方圖作為匹配特征，在圖像中搜索檢測與模板匹配度最高的區域作為集裝箱識別的預定位區域。圖2中帶坐標的紅色小矩形框是紅、綠兩種顏色模板在圖像中的預定位區域，表明該顏色模板能夠找到集裝箱的大致位置，為后續圖像分割提供初始基準區域。

圖2 顏色模板預定位結果

2 變步長圖像塊匹配分割

傳統的基于灰度閾值的圖像分割算法只考慮圖像的灰度(亮度)信息，當存在外部環境干擾(光照強度變化，陰影等)時圖像分割效率低且自適應性不強。鑒于集裝箱這一特定目標具有相對單一的色彩，且與背景存在較大差異。本文優先考慮選擇基于顏色信息的圖像分割方法，提出了一種基于HSV模板的變步長圖像塊匹配快速分割算法(圖 3)。不同于普通的塊匹配，其能根據待分割區域大小來自適應調整步長和匹配模板的尺寸。

圖3 變步長圖像塊匹配分割算法示意圖

選擇目標大小不同的5個塊，分別是16×16、8×8、4×4、2×2和1×1(單位P2)作為模板圖像。計算模板所對應的HSV直方圖，分別用H0、H1、H2、H3和H4來表示。設目標分割閾值范圍為[Tmin, Tmax]，算法原理及計算步驟如下：

(1) 根據前面所得到的顏色模板預定位信息，取與顏色模板相匹配的區域中心點作為起始點，以其為中心預定義一個16×16的像素區域作為0塊。計算此區域的HSV直方圖B0，若Tmin≤|B0–H0|≤Tmax，則轉至下一步。否則，重新預定義8×8像素區域作為0塊，依此類推(除非待匹配目標區域過小，一般來說第(1)步是滿足的，能夠轉至下一步)。

(2) 取與0塊相鄰的另外4個塊作為1塊(為了方便表述，以右邊塊為例進行說明)，計算右邊 1塊 (16×16 P2)的HSV直方圖B11，若Tmin≤|B11–H0|≤Tmax，則轉至第(3)步，否則轉至第(4)步。

(3) 取與此1塊相鄰的另外3個塊作為2塊(以其右邊塊為例)，計算右邊2塊(16×16 P2)的HSV直方圖B21，若Tmin≤|B21–H0|≤Tmax，則以此為規律，繼續向外搜索匹配，否則轉至第(4)步。

(4) 將此16×16塊分為4個8×8的子塊(以其中一個子塊為例進行說明)，計算此子塊的HSV直方圖B11(8)，若Tmin≤|B11(8)–H1|≤Tmax，則以此為規律，繼續向外搜索匹配，否則轉至第(5)步。

(5) 將此8×8塊分為4個4×4的子塊(以其中1個子塊為例)，計算其子塊的HSV直方圖B11(4)，若Tmin≤|B11(4)–H2|≤Tmax，則以此為規律，繼續向外搜索匹配，否則轉至第(6)步。

(6) 將此4×4塊分為4個2×2的子塊(以其中1個子塊為例)，計算其子塊的HSV直方圖B11(2)，若Tmin≤|B11(2)–H3|≤Tmax，則以此為規律，繼續向外搜索匹配，否則轉至第(7)步。

(7) 將此2×2塊分為4個1×1的子塊(以其中1個子塊為例)，計算其子塊的HSV直方圖B11(1)，若Tmin≤|B11(1)–H4|≤Tmax，則以此為規律，繼續向外搜索匹配，否則轉至第(8)步。

(8) 基于 HSV模板的變步長圖像塊匹配分割完成，程序結束。

執行程序運行結果如圖4所示；表1為3種方法的分割效率比較表。

圖4 3種算法分割效果比較

表1 3種方法的分割效率比較(ms)

根據表 1中 3種算法的分割效果可知，全局Otsu閾值分割算法由于采用逐步迭代法尋找最優閾值，導致耗時較長，并且這種基于像素灰度的分割方法無法達到預期的分割效果。基于顏色閾值的分割方法充分利用色彩信息，尋找RGB 3個顏色閾值，雖然能夠較好地將目標從背景中分割出來，但其對外界環境的變化比較敏感(如 c3中陰影對其影響很大)。而基于HSV模板的變步長塊匹配分割算法由于使用了 HSV模板，抗背景干擾能力更強；并且采用預定位與變步長的塊搜索匹配法能大幅減少搜索匹配區域，縮短處理時間。

3 基于形狀特征的集裝箱精確定位

在集裝箱圖像分割完成之后，正常情況下所提取到的目標是一個近似的矩形區域。集裝箱精確定位的主要難點是存在平移、旋轉和尺度變化而引起集裝箱位姿的不確定性以及記憶環境光照、噪聲等的干擾，并要求算法具有良好的魯棒性和實時性。為了實現這一目標，本文提出了一種基于形狀不變性特征的度量識別算法，根據前期實驗結果，從中提取如下5種候選特征：

(1) 延長因子(elongation factor，EF)：是指最大Feret直徑與垂直于該Feret直徑上線段的平均長度的比值。Feret直徑是一種常用的粒徑表示方法，最大Feret直徑是指粒子周邊最遠兩點間的距離。

(2) 海伍德圓度因子(Heywood circularity factor，HCF)：是指粒子周長和與粒子面積相等的圓的周長之比，反映了粒子形狀與圓的接近程度。粒子形狀越接近圓，海伍德圓度因子越接近1。

(3) 一階Hu矩(first order Hu moment, FHM)

(4) 二階Hu矩(second order Hu moment, SHM)

(5) 三階Hu矩(third order Hu moment, THM)

對于離散圖像函數 I( x ,y)的p和q階矩可近似表示為

通常，希望提取到的目標特征具有平移、旋轉和尺度不變性。而形狀的中心矩具有平移不變性，其定義為

這樣就可以得到前面3個不變矩特征。

以圓形、三角形和任意形狀目標為研究對象，分別提取以上5種特征在目標不同狀態下的特征值來確定其在平移、旋轉和尺度變化情況下是否具有不變性及形狀的可區分性。統計結果如表2~4所示。

表2 圓形目標在不同狀態下提取到的5種特征

表3 三角形目標在不同狀態下提取到的5種特征

表4 任意形狀目標在不同狀態下提取到的5種特征

實驗結果表明，本文所選5種形狀特征在同種形狀目標發生平移、旋轉、尺度變化時仍然具有良好的不變性，在不同形狀目標下具有明顯差異性，因此可以將其歸為基于形狀的目標識別算法中。

另外，考慮到所需識別的集裝箱在正常情況下經圖像處理后形狀接近矩形。因此可以提取其長和寬，并將其長寬比值(length-w idth ratio，LWR)作為集裝箱目標識別和判斷箱型(20英尺或40英尺)的一個輔助特征，以提高系統識別的準確性和定位精度。用實際的集裝箱模型圖像經處理后提取的6種不變性特征統計結果如表5所示。

表5 集裝箱模型(矩形)在不同狀態下提取到的6種特征

結果表明所提取集裝箱的6種特征在目標發生平移、旋轉、尺度變化或三者兼有的情況下都能保持良好的不變性，可以作為集裝箱識別與定位的可靠依據。

4 實驗分析及結束語

為了擴大不同形狀目標在數值上的差異，提高識別判斷的準確率，可將5種不變性特征組合成一

個一維向量T=[EF,HCF,FHM,SHM,THM]，并根據各個特征對不同形狀區分能力的不同，可以定義一組合適的權值 λ=[0.25,0.10,0.30,0.25,0.05]T，計算S=T×λ結果如表6所示。

計算結果表明，不同形狀得到的S值具有明顯差異。為了準確提取集裝箱(矩形)目標，可以給 S設定一個合理的臨界區間閾值，實驗證明取[Smin,Smax]=[0.8850, 0.9950]比較合適。并且融合測量集裝箱長寬比(LWR)作為判斷的輔助特征，以進一步提高識別的準確性。最終對集裝箱模型的識別定位結果如圖5所示。

表6 不同形狀的S值對比

圖5 集裝箱在不同位姿及環境干擾下的識別定位結果

文獻[10]研究了2種基于視覺的集裝箱識別方法：①基于組合特征，選取集裝箱的幾何特征(包括主軸率、緊密度、圓方差、周長面積比等)、顏色特征、紋理特征、頂點特征共 45個特征作為組合特征對集裝箱進行識別。②采用SVM的識別方式，將45個特征構成特征向量作為SVM的輸入，通過對樣本學習訓練后對集裝箱進行識別。

本文對250張圖像共400個集裝箱的識別結果與文獻[9]、[10]做了統計對比，如表7所示。

結果表明，傳統的模板匹配法耗時較長，識別率不高，特別在目標形狀、尺度發生變化時識別困難。組合特征法和 SVM法選擇特征過多，特征提取耗時較長，實時性不佳。其中 SVM法還需要大量樣本進行訓練，耗時更長，識別效果取決于目標特征和訓練參數的選擇。其優點是對任意角度的集裝箱通過訓練后都可能取得較好的

識別效果。本文提出的顏色模板預定位和基于HSV模板的變步長圖像塊匹配分割算法以及基于特征集的集裝箱匹配識別方法在處理效率上具有較大優勢，整體實時性最好，適合工程應用。基于6種形狀特征的集裝箱識別與精確定位還具有較好的魯棒性和可靠性，雖然對視角有一定要求(正上或斜上方視角最佳)，但也符合港口機械集裝箱自動化裝卸的實際應用背景(因為集裝箱裝卸機械，如岸吊、輪胎吊、軌道吊都主要是完成對集裝箱豎直方向的搬運，操作時的視角為正上或斜上視角，集裝箱的全視角識別沒有必要且難以實現工程應用)。

表7 識別結果統計表

集裝箱識別與定位是實現港口集裝箱自動化裝卸的關鍵技術之一。本文的研究是基于視覺的集裝箱識別、定位與抓取技術的一部分。雖然具有一定的啟示意義，但還存在一定的局限性，未來還需要更緊密結合港口的實際環境對集裝箱識別與定位做更深入的研究。另外，如何通過獲取的集裝箱視覺定位信息實時引導集裝箱的裝卸作業也是今后研究的重點與難點。

[1] 劉 娣, 高美鳳. 基于背景差分的核密度估計前景檢測方法[J]. 計算機工程與應用, 2013, 49(6): 170-174.

[2] 嚴金果, 徐蔚鴻. 基于新的幀間差分運動目標檢測算法[J]. 計算機工程與設計, 2013, 34(12): 4331-4335.

[3] 袁國武, 陳志強, 龔 健, 等. 一種結合光流法與三幀差分法的運動目標檢測算法[J]. 小型微型計算機系統, 2013, 34(3): 668-671.

[4] 楊 濤, 李 靜, 潘 泉, 等. 基于場景模型與統計學習的魯棒行人檢測算法[J]. 自動化學報, 2010, 36(4): 499-508.

[5] 田 娟, 鄭郁正. 模板匹配技術在圖像識別中的應用[J]. 傳感器與微系統, 2008, 27(1): 112-114, 117.

[6] 馮亦東, 孫 躍. 基于SURF特征提取和FLANN搜索的圖像匹配算法[J]. 圖學學報, 2015, 36(4): 650-654.

[7] 龐春江, 高婉青. 基于模糊混沌神經網絡的人臉識別算法[J]. 計算機應用, 2008, 28(6): 1549-1551, 1558.

[8] Cumani S, Laface P. Analysis of large-scale SVM training algorithms for language and speaker recognition [J]. IEEE Transaction on Audio, Speech, and Language Processing, 2012, 20(5): 1585-1596.

[9] 張 森. 傅圣雪. 基于模板匹配的集裝箱實時識別與定位[J]. 信息科技, 2007, 20: 193-194.

[10] 陳 丹. 集裝箱圖像識別與定位系統研究與實現[D].成都: 西南交通大學, 2013.

Container Recognition and Location Technology Based on Feature M atching

Chen Ning, Wang Sheng, Huang Zhengwen

(College of Mechanical and Energy Engineering, Jimei University, Xiamen Fujian 361021, China)

Container recognition and location is one of the key technologies to realize port automation. Template matching is one of the basic and frequently used image recognition methods. Traditional template matching algorithm only based on gray information of pixels to compare and match objects. When external environment changes slightly, the robustness of the algorithm is greatly reduced. Moreover, there are some problems, such as low matching efficiency and adaptability, etc. So, an algorithm was presented which combined w ith color template pre-position and image segmentation based variable step size block matching. The feature vector w ith shape invariance was extracted, which is an important basis of the container real-time recognition and location. The result shows that this recognition method not only improved image segmentation efficiency, but has great adaptability for target translation, rotation and scale change.

port automation; template matching; image recognition; block matching segmentation algorithm; shape invariance

TP 391.41

10.11996/JG.j.2095-302X.2016040530

A

2095-302X(2016)04-0530-07

2015-11-25；定稿日期：2016-03-26

福建省科技廳資助省屬高校專項(JK2 0 1 4 0 2 4)；福建省自然科學基金項目(2 0 1 6 J 0 1 7 5 5)

陳 寧(1972–)，男，河南洛陽人，副教授，博士。主要研究方向為機器視覺、工程機器人。E-mai l：cn1972@jum.edu.cn