基于嵌入式視覺導航的AGV控制系統

方雪清，黃曉婷，鄭燦塔，余漣漪，石挺星，陳偉杰，蔡任，張宏海

（1.華南農業大學數學與信息學院，廣州 510642；2.華南農業大學電子工程學院，廣州 510642；3.華南農業大學工程學院，廣州 510642）

0 引言

AGV（Automatic Guided Vehicle），即自動導引小車，是一種無人操控的自動化物料搬運設備，主要應用于車間、碼頭、倉庫和機場等場所的物流環節中[1]，具有應用靈活、安全可靠及智能化程度高等諸多優點。但傳統的AGV主要利用電磁軌道或者光學裝置進行導引[2]，存在著制造成本高、易受環境因素影響、不利于更改擴建等不足之處。因此，設計一款穩定性高、維護方便、適應性強的AGV是十分必要的。隨著計算機視覺技術的發展，AGV的視覺導引技術也正在快速發展,其主要思路是利用圖像處理技術獲取小車前方的道路信息，進而指導小車自動沿規劃的路徑行走[3-4]。AGV的視覺軟件系統一般搭載在ARM處理器上，ARM是目前公認的業界領先的嵌入式RISC（精簡指令集計算機）微處理器，具有體系結構可擴展，功耗低，成本低和支持實時多任務等特點[5]。

自2002年王榮本等[6]出一種基于視覺導航的自動導向車輛JLUIV—3型AGV以來，國內涌現出大量有關嵌入式視覺AGV方面的研究。在視覺處理方面，李進等[7]在提取出道路二值圖后，通過追蹤路徑兩邊的邊緣點獲取信息，降低了計算代價，且圖像處理過程中抗干擾能力提高；周傳宏等[8]借助二維碼技術來實現AGV的快速定位，其成本低，讀取速度較快。在運動控制方面，史晨紅等[9]深入分析了兩輪差分驅動的AGV運動平臺和AGV運動過程中的多狀態，提出一種基于軌道控制的運動控制器；鄭新錢等[10]采用FPGA作為控制核心，在模塊間設計獨立電路結構，實現了并行操作，節省了邏輯資源并提高了運算速度。但市場上基于嵌入式視覺導航的AGV存在著精準度不夠高的問題，即控制系統不能十分準確地獲取路徑信息，為此，我們根據當前標準化生產的工廠環境設置光照條件并以不同顏色的路徑圍繞控制系統對于路徑判斷的準確率進行了實驗并通過結果的對比來獲取較顏色的路徑。

綜合考慮硬件設備的運算能力、性能、成本以及實用性等方面，本文設計了一款嵌入式視覺導航AGV控制系統，該嵌入式控制系統以ARM作為處理器，以Linux作為操作系統。嵌入式Linux系統是整個AGV控制系統的核心，它主要任務是處理由攝像頭獲取的路徑信息，并將獲取的信息轉化成字符信號傳遞給單片機進而控制小車轉向、調節速度、路徑的采集規劃以及避障等。隨著人工成本的不斷上升，以及市場上對于AGV的智能化、人性化、低成本化的需求日益增大，基于嵌入式開發的視覺AGV將具有更加寬廣的應用前景。

1 系統總體設計

1.1 總體設計思路

為實現基于ARM的嵌入式視覺導航AGV控制系統，本文提出總體設計思路如圖1所示。系統的大致工作流程分為以下幾點：

（1）整個系統都需要在電源支持的基礎上工作運行，電源需要連接ARM Cortex-A9開發板、51單片機以及PWM驅動電路，為它們提供電力支持；

（2）通過人機交互系統給AGV下達任務指令；

（3）攝像頭采集路徑圖像，然后由ARM處理器運行AGV圖像處理應用程序進行路徑識別；

（4）圖像處理完成后得到道路信息，把經處理過的信息傳輸至51單片機從而控制PWM驅動電路，驅動AGV電機完成路徑跟蹤任務。

圖1 控制系統流程圖總體設計

1.2 運動控制系統

為滿足嵌入式系統對圖像處理的高速率要求，本文采用Exynos4412作為主芯片，該芯片是由三星開發設計的適用于多媒體設備的一款CPU，采用了ARMCortex-A9內核，ARMV7指令集，64/32位內部總線結構，32/32KB的數據/指令一級緩存，512KB的二級緩存，每秒運算2億條指令集，可以輕松快速地處理AGV的道路圖像[11]。其內部資源包括237個GPIO，4個串口，4個PWM，3個24位總線控制器，以及USB傳輸等本課題所需要的資源。

1.3 視覺處理系統

視覺處理系統的工作流程如下：

（1）調用預裝攝像頭進行采集圖像的工作，并把采集好的路徑圖像存入緩沖區；

（2）ARM控制處理器取出緩沖區內的圖像，進行圖像處理工作，圖像處理包括圖像預處理和道路檢測兩個部分；

（3）圖像處理完成后，提取道路的軌跡信息，然后在對應坐標系內確定該時刻AGV的前行方向，進行機器決策；

（4）將道路決策結果傳入控制器，產生一個脈寬調制信號，驅動小車的工作運行。

2 AGV運動控制系統

2.1 嵌入式系統的搭建

本系統需要搭建基于ARM平臺的交叉工具鏈，目標平臺名為arm-linux-gnu。通過編寫一個簡單的hel?lo.c源程序測試建立的交叉編譯工具鏈是否能夠正常工作，執行“arm-linux-gcc-o hello hello.c”命令進行編譯，編譯后生成名為hello的可執行文件，通過file命令“file hello”可以查看文件的類型。當提示文件屬于ARM平臺時，則測試通過，交叉編譯工具鏈構建完成。系統上電后先是啟動引導加載程序bootloader，然后啟動內核，最后掛載根文件系統[12]。

Linux操作系統本身對嵌入式AGV系統來說規模太大，占用太多內存，對整個AGV系統的運行速度和效率有所影響[13]。為了提高執行速度和系統的可靠性，本課題對Linux內核進行裁剪，使很多方面都能夠得到簡化，以削減代碼和系統空間。確定了內核的基本功能后，就要為AGV小車特定的外部設備編寫設備驅動程序代碼。上層應用程序是無法直接操作底層硬件的，需要有特定的API接口。而設備驅動程序正好為上層應用提供了這樣的一種接口，通過調用接口函數，從而實現操作底層硬件的目的。本系統設備驅動程序的編譯與Linux內核編譯是相互獨立的，將設備驅動程序編譯成*.ko模塊，再通過相應命令把模塊加載進內核。

圖2 運動控制系統的設計

2.2 OpenCV的移植

通過cmake工具產生makefile文件，執行make命令對OpenCV庫進行交叉編譯，從而實現OpenCV庫到ARM上面的移植。圖像處理算法由OpenCV+Qt圖形庫實現，由于OpenCV庫對于V4L2支持并不完善，設計的程序中一旦涉及到攝像頭的調用工作或者是調用OpenCV的內置函數顯示圖像，程序就會直接崩潰[14]。為了解決這個問題，本系統重新編寫了一個攝像頭的設備驅動程序以替代OpenCV庫中內置的攝像頭驅動程序[15]，另外通過Qt圖形界面來顯示攝像頭所捕獲到視頻信息[16]，對采集到的數據進行實時處理分析并讓小車做出相應動作。

2.3 驅動小車

小車轉彎裝置采用步進電機+連桿，通過控制步進電機旋轉帶動連桿運動，實現小車的轉彎[17]。攝像頭實時拍攝地面路徑信息，然后通過USB接口將所采集的視頻圖像傳輸到嵌入式Linux系統中；微處理器Exy?nos4412會將圖像進行處理，從中提取路徑信息，再根據控制算法產生控制信號傳給51單片機，再通過PWM輸出接口控制小車轉向，使得小車跟蹤路徑行走[18]。

3 AGV視覺處理系統

3.1 圖像預處理

綜在圖像采集的過程中，由于拍攝角度，小車晃動以及光照條件等的影響，所獲取的圖像與真實圖像之間會存在一定的誤差和失真，因此需要對獲取的圖像進行預處理。圖像預處理是數字圖像處理的過程中非常重要的步驟，其目的主要是是改善圖像質量，抑制噪聲，增強有用信息[19]。圖像預處理的常用方法有圖像濾波、圖像銳化、圖像復原和邊緣檢測等。

本文中的圖像預處理用到了濾波操作，以及顏色空間的轉換?？紤]到拍攝到的圖像中的噪聲主要是一些輕微噪聲點，基本服從正態分布，而高斯濾波對于抑制服從正太分布的噪聲非常有效，所以將高斯濾波用于采集的原圖的減噪過程。另外，原圖是基于RGB顏色空間的，并且由于道路圖像的背景較為明亮，若是直接將其轉換為灰度圖，將不利于道路分割。不同于RGB顏色空間，HSV顏色空間是基于人的視覺心理學提出來的，不同顏色之間有較為獨立的特性[20]。在本例中，將經過濾波處理的原圖進行顏色空間轉換，并單獨提取其S（飽和度）通道，可以較好地凸顯出單一顏色的道路。處理效果如圖3所示。

3.2 道路檢測

圖3 圖像預處理

道路檢測階段分為圖像二值化和道路邊緣檢測兩部分。本文采用Otsu算法（大津法或最大類間方差法）來進行圖像二值化，該算法能自動尋找出利于圖像分割的最佳閾值，是一般圖像二值化的常用方法。如圖4左圖所示，圖像二值化之后，圖像中的道路和背景被非常清楚地區分開來，道路呈現白色，背景則為黑色。獲得了明晰的道路輪廓之后，開始進行道路邊緣檢測。邊緣檢測主要用于檢測圖像中物體的某種不連續性或突變性，其經典的算法有Sobel算子，Laplace算子，和Canny算子等[21]。本文選擇使用Canny算子進行道路邊緣檢測，在進行邊緣檢測前，本文已經對圖像進行了濾波（高斯濾波），增強（圖像二值化），使得圖像中有用信息與無用信息的亮度梯度非常的明顯，此時使用Canny邊緣檢測，將會非常簡單順利跟蹤到道路的邊緣。

圖4 道路檢測

3.3 機器決策

（1）道路擬合直線

道路邊緣檢測后，得到道路的兩條邊緣線，此時可以利用霍夫直線檢測，在道路邊緣圖中檢測出直線，進而進行道路擬合直線的提取。通過多次實驗，發現通過霍夫直線檢測計算擬合直線的方法準確率非常低，受到圖片質量好壞的影響較大。因此本文將提出另外一種較為簡便的求取道路擬合直線的算法，其主要的思路如下：①將道路邊緣圖像予以橫向平均劃分成若干個區域，通過遍歷每個區域內特定的單行像素，并且記錄該行像素與兩條邊緣的交點坐標，取兩個交點坐標的中點像素坐標作為該區域的道路軌跡點；②遍歷所有區域后，把所有區域中得到的道路軌跡點坐標存入點集；③用最小二乘法對點集進行直線擬合，得到道路邊緣圖的擬合直線，并把擬合直線作為道路的軌跡路線。處理效果如圖5所示。

應用此算法的原因在于：

①算法的效率較高。由于整張圖片只需劃分成若干區域，而每個區域只需要遍歷某一行像素即可確定該區域的軌跡點，因此，大大減少了計算的頻度，提高了效率。

②算法的準確率較高。由于尋找軌跡點的區域是均勻分布于整張圖片，因此尋找到的軌跡點也是均勻分布于整條道路中間，也就是說軌跡點的線性擬合基本代表了道路的軌跡。

圖5 提取道路擬合直線

（2）道路邊緣檢測

由于攝像頭居于小車前方的正中間，而車身是直的，可以用采集的圖像的正中間的一列作為基準線，表示小車當前的相對位置。若道路擬合直線與基準線高度重合，則認為當前偏轉角度為零。圖6展示了道路偏左或偏右的情況：

圖6 計算偏差角度

另外，考慮小車偏離道路中心的情況（即圖像最下方的道路并不處于圖像的正中間），此時可以根據實際情況來進行道路居中矯正。

計算出擬合直線與基準線之間的偏差角度后，將該角度信息傳輸給下位機。主控制器得到角度信息后，輸出一定頻率的PWM波，驅動轉向步進電機轉相應的角度，調整小車運行軌跡，進而控制小車追蹤引導路徑。

4 系統聯調與結果分析

4.1 實驗設計

本文中道路圖像處理程序的開發環境為Visual Stu?dio 2015，采用OpenCV 2.4.9視覺處理庫，然后再將源碼移植至Linux平臺。硬件設施主要有基于ARM Cortex-A9內核迅為4412開發板，攝像頭為USB攝像頭。軟硬件各部分準備就緒后，即可進行系統聯調測試。

為了盡可能地模擬具體的工業運作場景，本文在室內利用單色材料構建成環形跑道，為小車提供指引。小車在行駛過程中的運行狀態包括直行，彎道轉彎，以及到達目的地。測試時考慮到不同的光照強度條件影響，以及采用了不同顏色的單色材料導引線，對小車進行了多次試驗。其中，所選地面為工業運作場景中常見的灰色水泥地面，反光性較弱；所選光源為生產生活中常用的白光，波長為1200nm，所選路徑的顏色分別為黃色、綠色和紅色。道路分割的部分實驗效果如圖7所示。

4.2 結果分析

實驗中所選的光照強度梯度從流明度250，750，到1200（單位為lx），并在相同光照強度下分別對黃色、綠色以及紅色道路進行了道路提取，圖像分辨率為640x480。表1展示了實驗過程中的數據：

表1 不同光照強度及道路顏色下實驗對照表

圖7 不同光照強度及道路顏色下分割效果圖

對原圖進行處理得到的道路二值圖能基本保持道路的形狀。上表中，原圖道路像素點統計個數在Pho?toshop工具下計算，取同顏色道路不同光照下多幅圖像計算結果的平均值；誤判率（錯檢，漏檢）的計算公式為，其中P0表示原圖道路像素點個數，P1表示二值圖道路像素點個數。以上試驗結果初步表明：該視覺處理系統中，在圖像經過預處理的基礎上，使用Otsu算法對道路進行分割，對黃、綠、紅單顏色道路的處理效果之間相差不大；對于黃色道路，流明度越高，分割效果越好；而對于綠、紅色道路，流明度太高或太低分割效果都不太理想，只有在恰當的范圍內，才使得背景與前景出現明顯區別。同時，擬合直線的提取是直接以道路二值圖為參照的，若二值圖中存在噪聲或道路分割不理想，會直接對擬合直線提取的效果產生影響。

5 結語

在車間環境下實現對路徑信息的正確獲取是AGV控制系統設計的關鍵。本課題通過試驗設計的方法驗證了該嵌入式視覺導航AGV控制系統的可行性，并得出以下結論：

（1）通過對比試驗設計的方法，分析了不同光照強度、不同顏色路徑對AGV控制系統在道路提取誤判率方面的影響，發現了道路提取誤判率與光照強度、路徑顏色均有較為顯著的關系。

（2）通過探索性分析發現，在白光環境下，當光照強度發生變化時，相對于獲取紅色與綠色的路徑，AGV控制系統在獲取黃色的路徑時更容易受光照強度變化的影響，但在適當的光照強度——流明度為1200lx時，AGV控制系統對于黃色路徑的誤判率僅為1.87%，低于其他兩種路徑。若進一步細究，可發現，作為光的三原色（紅綠藍）當中的綠色和紅色在白光（接近自然光）光照強度變化時，不太容易受到影響，但對控制系統造成的誤判率整體偏高，而作為非光的三原色的黃色對控制系統造成的誤判率只要控制好適當的光照強度即可將誤判率降到很低的水平。

基于嵌入式視覺導航AGV控制系統本身擁有強大的潛力，其精準率一直以來都是人們關注的重點以及物料搬運系統穩定運行的關鍵，本研究將能夠為相關行業提供技術支持。

參考文獻：

[1]WU Xing，LOU Pei-huang，YU Jun，et al.Intersection Recognition and Guide-path Selection for a Vision-based AGV in a Bidirectional Flow Network［J］.International Journal of Advanced Robotic Systems，2014，11:1-17.

[2]孫青.基于嵌入式控制系統的自動導引小車設計與實現[D].南京理工大學,2010.

[3]Francesco Biral，Mauro Da Lio，Roberto Lot.An Intelligent Curve Warning System for Powered Two Wheel Vehicles［J］.European Transport Research

[4]Tangruamsub S，Tsuboyama M，Kawewong A，et al.Mobile Robot Vision-based Navigation Using Self-organizing and Incremental Neural Networks［C］.In Proceedings of International Conference on Nearal Networks，Atlanta，2009:3094-3101.

[5]江俊輝.基于ARM的嵌入式系統硬件設計[J].微計算機信息,2005（10）:120-122.

[6]王榮本,儲江偉,馮炎,游峰,紀壽文.一種視覺導航的實用型AGV設計[J].機械工程學報,2002（11）:135-138.

[7]李進,陳無畏,李碧春,王檀彬.自動導引車視覺導航的路徑識別和跟蹤控制[J].農業機械學報,2008（02）:20-24.

[8]周傳宏,柳新昌,齊飛.二維碼技術在AGV定位中的應用研究[J].工業控制計算機,2017,30（01）:49-51.

[9]史晨紅,左敦穩,張國家.基于軌跡控制的AGV運動控制器設計研究[J].機械設計與制造工程,2014,43（02）:7-12.

[10]鄭新錢,王輔明,馬華,林云,張偉.基于FPGA的視覺導航小車設計與實現[J].廈門大學學報（自然科學版）,2012,51（03）:331-335.

[11]羅三定,馮準.基于嵌入式的AGV視覺導航系統設計[J].信息技術,2008,32（12）:100-102.

[12]陳賾.ARM嵌入式技術原理與應用[M].北京:北京航空航天大學出版社，2011:118.

[13]徐杭.嵌入式Linux在AGV控制系統的設計[J].計算機工程與應用，2003:209-211.

[14]鄒意然,王永威,趙龍.嵌入式系統中USB攝像頭的圖像采集[J].微計算機信息,2010,26（35）:24-25+28.

[15]劉春成.基于嵌入式Linux的USB攝像頭驅動開發[J].計算機工程與設計,2007,（08）:1885-1888.

[16]陳志發,王苑增.嵌入式Qt實戰教程[M].北京:電子工業出版社，2015:34.

[17]楚榮珍,周向寧,張鵬.嵌入式步進電機控制系統的設計與實現[J].微計算機信息,2007（02）:53-54+84.

[18]李紅巖.基于ARM的嵌入式PWM直流電動機控制系統[J].工礦自動化,2007,（06）:116-118.

[19]黃艷軍.基于FPGA的數字圖像預處理算法研究[D].南京理工大學,2009.

[20]馬玲,張曉輝.HSV顏色空間的飽和度與明度關系模型[J].計算機輔助設計與圖形學學報,2014,26（08）:1272-1278.

[21]高朝陽,張太發,曲亞男.圖像邊緣檢測研究進展[J].科技導報,2010,28（20）:112-117.