一種視覺導引AGV叉車傾斜畸變自標定方法

張 悅，樓佩煌，錢曉明，武 星

（南京航空航天大學 機電學院，江蘇 南京 211100）

1 引言

隨著工廠自動化程度不斷提高，自動導引叉車應用越來越廣泛，采用的導引方式包括激光，磁帶，視覺等，其中視覺導引以其低成本、高可靠性受到廣泛研究與應用[1]。視覺導引一般是由視覺系統通過識別環境中鋪設特殊標識線和符號作為預定義路徑，并測量AGV相對導引路徑的位置偏差和角度偏差完成既定路徑導引任務[2]。

在計算機視覺系統中，主要有單目視覺相機和雙目相機。兩種方式均廣泛應用于導引、測距以及障礙物檢測。單目的結構簡單，它避免了可視化數據混合，并且可以輕松實現實時監控。我們可以通過攝像頭獲得目標的位置和特征。單目保證不同坐標系中的位置關系一致[3-5]。Gang Chen等人提出了一種整合卡爾曼的方法對視覺傳感器濾波，通過單目立體視覺系統校準實現完整的線性成像，測量叉車與托盤距離[6]。

Jittima Varagul基于視覺，結合神經網絡的方式進行障礙物檢測[7]。俄勒岡理工學院通過車本身攝像頭避障，通過安裝在天花板上的攝像頭確定位置[8]。視覺測量系統中，因為攝像頭安裝方式不同，圖像傾斜畸變是一個不可忽視的問題[9]。國內外對于傾斜畸變進行了多年研究，并提出了多種方法，汪貴平等提出了根據特征平行線進行畸變校正，該方法提取視野圖像中包含的多條特征直線，利用直線對應關系得到畸變參數,并以這些參數反演迭代實現對透視畸變的校正[10]。楊麒等提出了基于直線投影特征的鏡頭畸變校正算法，根據直線三點投影關系，用遺傳算法得到最優解[11]。以上兩種方法均動態求解攝像機內外參數，無法避免因為計算量復雜而帶來的實時性問題。

為提高測量精度及實時性，喻俊等人采用靜態標定攝像機內參數，動態標定外參數的系統標定方法，該方法主要針對攝像頭垂直安放，先用張定有算法靜態標定出攝像機內參數，然后在運動狀態對圖像進行動態標定[12]。

本文重點解決攝像頭傾斜安裝畸變問題，提出了一種基于透視原理，采用固定寬度色帶路徑，改進Hong變換運算求解邊界，得到透視點，進行實時、多場景自動傾斜標定的方法。它不僅可以精確測量路徑信息，車體到托盤及標志點距離，而且可以動態標定，根據場景進行自我標定的特點，同時具有運算簡單，可靠性高，有利于嵌入式應用。

圖1 視野范圍水平線以上

圖2 視野范圍水平線以下

圖3 攝像機透視原理立體模型

2 視覺導引系統建模

2.1 視覺導引系統模型

本文應用視覺導引模型如圖1、圖2和圖3所示，自動導引叉車用舵輪驅動和轉向，萬向輪提高舵輪轉向的平穩性，輔助輪在貨叉取貨時保持車體方向的穩定性。本文所用CCD攝像機視角范圍在85度左右，當攝像機傾角介于46.5度上下范圍時，產生圖1、圖2兩種視覺導引模型。對于圖1模型，視野范圍在水平線以上，即理論上，攝像頭可拍攝到地面無窮遠，由透視原理，無窮遠處所有直線匯聚到一點，即為透視點。此時透視點在圖像坐標系下坐標為P（U0,V0）。對于圖2b模型，視野范圍在水平線以下，透視點不在攝像機廣角范圍內，但由攝像頭成像對應關系，依然可以計算出虛擬透視點在圖像坐標系下坐標為P（U0,V0）。

與垂直安裝方式相比，攝像頭視野范圍較大，測量反饋信息較多，但也面臨著傾斜畸變，光源復雜，路徑及標志信息提取困難等諸多問題。本文提出的視覺模型及預期效果如圖4所示，圖5是路徑在攝像機坐標系下的圖像模型，圖4是二維地面坐標系圖像，在對圖像進行傾斜畸變校正處理后，以期在視野范圍內，能實現實時標定并精準反映出色帶寬度，車體色帶傾斜角度，車體標志點距離，車體托盤距離等。

圖4 原始圖像

2.2 徑向畸變校正

為提高識別精度，同時提高識別準確率和識別速率，本文首先在靜止狀態下對攝像頭進行畸變校正。鏡頭的非線性畸變有徑向畸變、離心畸變和薄棱鏡畸變等。光學鏡頭徑向曲率的變化是引起徑向變形的主要原因。在大多數情況下后兩者的畸變可以忽略不計。

視覺各坐標系關系如圖6所示，Oc為攝像機坐標系，Oi為圖像像素坐標系，Ow為世界坐標系，Od為實際圖像物理坐標系，Ou為理想物理坐標系。

圖5 校正后圖像

圖6 視覺各坐標系關系圖

攝像機內參數矩陣

帶入式（1），理想圖象坐標系與世界坐標系關系

其中s是縮放因子，R是旋轉矩陣，t為平移矩陣。采用張定有標定法將圖7進行標定，結果如圖8所示。

圖7 圖像畸變示意圖

圖8 畸變校正示意圖

2.3 圖形預處理

叉車采用單目CCD攝像機采集圖像，圖像格式為YCbCr格式，為提高運算效率，本文只提取Cb分量，即提取藍色分量部分。處理器用Ti公司的DM642，導引路徑為藍色色帶，提取圖像藍色分量部分，用3X3線性中值濾波器進行濾波處理，處理結果如圖9所示。

圖9 預處理圖像

2.4 邊緣檢測

邊緣檢測會受到周圍環境的影響，尤其是光照情況的改變。張穎提出一種基于光照色彩模型的自適應圖像照度動態分區方法，采用了分區域模型，本文將光照處理與路徑提取結合起來。

傳統的Sobel算子主要用于邊緣檢測，分別為橫向及縱向模板。模板與圖像進行卷積運算，得到梯度近似值。何春華等提出了權值的自適應算法，以此來增強圖像的抗噪能力[13],沈德海等增加了斜向兩個模板，進行四個方向的提取[14],本文主要對于縱向邊界進行提取，在橫縱模板進行運算的基礎上，加大縱向模板權重，減少甚至避免由于光照影響或周圍環境造成的非期望被提取直線。

水平橫向模板

水平縱向模板

圖像的每一個像素的梯度大小：

而后可用如下公式估算梯度方向大小。

本文通過G和P作為邊界選取條件，設定P為1，G優選為15，處理結果如圖10所示，圖像中幾乎無干擾和錯誤信息被提取。

圖10 改進Sobel提取

2.5 邊界線提取

在圖象XY坐標系下，過點(x,y)的直線的方程為：

其中：p為斜率；q為截距

由此可知，在參數空間里面相交于同一個點的所有直線在圖像空間里面都有共線的點與之對應，這就是點-線的對偶性。

Hough變換根據點-線的對偶性把直線檢測問題轉化為參數求解。

將式（7）進行極坐標方程轉換，如式（8）

霍爾夫變換通過建立參數（λ，θ）的二維數組累加器，改變滿足式（8）參數方程的目標點對應參數累加器數值，按累加器數值降序列出預定義數量的目標直線參數，完成直線檢測。

霍爾夫變換極值角度關系曲線如圖11所示，共線點的參數方程交于一點，并在圖中由白色方塊標注，其在圖像中直線對應關系如圖12所示，圖12展示了改進霍爾夫變換的直線檢測結果。

圖12 改進霍爾夫直線檢測結果

2.6 傾斜標定

改進Hough變化得到了兩條及以上的直線，所有直線在無窮遠出必相交于一點，兩側垂直直線除外如圖12所示。求得所有直線交點P（U0，V0），即為圖像在地面上的透視點。兩條直線與圖象上底邊的交點，即起始出發點記為A（U1，V1）,B（U2，V2），圖像中路徑寬度像素count_L=V2-V1。

圖13 透視原理平面模型

圖14 透視原理側平面模型

由于攝像機特性，傾斜安裝時，單位角度像素數為線寬與攝像機視角之比，即單位角度內圖像橫向或縱向的像素數目相同。

基于透視點標定原理圖像行坐標為u，列坐標為v。所有直線在無窮遠處交于透視點，即其在地面坐標系上有相同的縱坐標，由此：

其中：xw-地面坐標系x坐標；

yw-地面坐標系y坐標；

w-圖像像素寬度；

h圖像像素長度；

Wroad-色帶真實寬度；

Count_l-圖像中色帶最大寬度像素數；

L-攝像機安裝高度。

3 實驗結果分析

3.1 垂直路徑標定結果

對于平面標定完成以后，將標定后參數應用于圖像，為了更直觀的展現標定結果，本文用插補計算方法，按照計算所得畸變參數，對地面二位場景進行校正還原，得到圖像如圖16所示。圖15是原始單一藍色分量提取圖像，圖16是標定完成后的藍色單一分量圖像，對于圖像的中下窗口部分，垂直路徑信息被準確清晰地反映出來。

圖15 原始圖像

圖16 標定后的圖像

3.2 距離測試標定結果

當前檢測叉車到托盤距離的方法一般采用光學或聲學傳感器等，測量的成本較高，測量的精度也未能達到預期效果。本文采用視覺進行距離測量，測量誤差兩米范圍內在1mm以內，角度誤差1度以內。圖17是測量前結果，圖18反映了視野中任意兩點距離測量結果。

圖19 是圖像選擇了10組10個等距標志點進行兩兩測距的誤差統計，x軸表示每一組所選距離，y軸表示每組平均誤差。由圖可知，在本文標定范圍內，測量誤差在2mm以內，圖20是圖像選擇了10組10個兩兩之間等角度斜線與色帶的角度誤差統計，x軸表示每一組所選角度，y軸表示每組平均誤差。由圖可知，在本文標定范圍內，測量誤差在1度以內。

3.3 魯棒性分析

在相同地面高度與攝像機傾斜角度的情況下，選取不同的試驗場景，包括多條色帶場景，光照干擾場景，傾斜色帶場景，混合色帶場景等多種情況，計算平面透視點縱坐標偏差不超過5%，這種情況對于最終標定結果幾乎沒有影響，圖21是多條色帶原始圖像，圖22是經校正后的結果。

3.4 實時性分析

自動搬運車控制系統要求有較高的實時性，本文采用DM642高速處理器，間隔掃描方式，每10次數據處理完成指示燈閃爍一次，通過記錄特定時間內指示燈閃爍次數來計算處理速度，表1是自動搬運車不同速度下所需最小平均處理時間，衡量標準是AGV不脫離路徑并能順利識別工位點，停車精度在10mm以下，最終處理頻率在12Hz，完全達到導引要求。

圖19 等距誤差統計

圖20 傾斜誤差統計

表1 不同速度所需最小處理頻率

4 結論

本文提出了一種可根據導引色帶進行動態標定的方法，該方法對采集圖像濾波處理后，采用增大縱向模板權值的Sobel算子提取邊界，改進霍夫變換查找邊線方程，計算圖像地面坐標系下的透視交點，進行傾斜畸變校正。從實驗結果分析，可以看出本文提出的方法測量精度高，可精確感知車體托盤距離，控制系統魯棒性、實時性較好，對提高單目視覺自動導引叉車視覺導引精度，以及叉車對接托盤過程中實時測距具有實用價值。

圖21 多色帶原始圖像

圖22 校正處理圖像