基于雙目視覺的智能送餐機器人系統設計

裴漢華，秦會斌

(杭州電子科技大學 新型電子器件與應用研究所，浙江 杭州 310018)

0 引言

隨著老齡化問題不斷加劇，社會對于服務型機器人的需求進一步增加，在我國餐飲業中，顧客點餐和送餐等服務是最繁雜的工作[1]。餐飲業勞動力的成本越來越高。再加上社會老齡化的問題日益加劇，傳統的以人為勞動力的運營方式已經遠遠不能滿足社會的需求，同時面對全球的經濟壓力，如何縮減成本也是各行各業都在考慮的問題。

送餐機器人的導航方式的設計直接決定送餐的效率，常用的方案有以下幾種：(1)使用反射式紅外光電管[2]；(2)使用激 光掃 描[3]；(3)使用磁導引傳感器[4]；(4)使 用GPS導航[5]。使用反射式紅外光電管，信號處理的速度較快，電路結構也比較簡單，但是感知前方道路的距離有限，容易受外界環境的干擾，精度低；使用激光掃描來導航，對環境無明顯要求，通過反光帶更改路線，但是成本太高；磁導引傳感器通過鋪設磁帶更改路線，柔性較好，但一般磁導航傳感器只能檢測磁條上方100 Gauss以下的微弱磁場，容易受到周圍金屬物質的干擾，檢測的結果容易產生偏差；使用GPS導航，環境的影響較小，穩定性和精度都很高，只是成本太高。除了以上的幾種導航方式外，視覺導航的應用也很廣泛。視覺識別導航通過采用CCD攝像機構建視覺導引系統，是實現智能導航的最佳方式之一，也是項具有潛力的實用技術[6]。使用CCD的最大優勢在于能夠準確地判斷出機器人前方較長的一段距離上路面的走向，可以給機器人的控制提供更多的信息，能夠很好地彌補上述導航方案的缺陷。

本文采用雙目視覺系統來為智能送餐機器人提供路徑規劃，與傳統的路徑規劃相比成本較低，并且能夠實時地采集和存儲圖像信息，方便以后的分析。系統中使用的立體匹配算法，能夠減小信息獲取處理過程中的計算量，緩解微處理器處理數據的壓力，使得整個系統具有處理速度快、穩定性好、準確度高等特點。

1 智能送餐機器人整體結構

系統在工作時，首先，圖像采集模塊通過左右兩個CCD攝像機來采集路徑上的圖像信息，同時利用視頻解碼器將模擬圖像轉換為數字圖像。然后對處理得到的數字圖像進行預處理，包括特征提取、模式識別、匹配等步驟，其中最重要的環節就是三維重建。雙目視覺技術是實現三維重建的常用方法，一套完整的雙目視覺系統包含攝像機標定、雙目校正、立體匹配、三維重建等過程[7]。三維重建后可以獲取目標在世界坐標系下的具體坐標，從而為智能機器人建立運動模型提供必要的參數信息。機器人的寄存器中存儲有室內環境的坐標信息，將獲取的路徑坐標信息與室內環境坐標信息對比，分析數據差值得出結果，機器人將結果信息發送給主控模塊，由主控模塊控制機器人的各種運動。系統整體方案如圖1所示。

圖1 系統整體方案設計

2 系統硬件設計

基于上述原理，實現智能送餐機器人的自主識徑，其基本模塊組成如圖2所示。

電源模塊：電源模塊的功能為為系統的其他模塊提供所需的電源。兩個12 V串聯的蓄電池構成外接電源，通過LM2596電壓調節器，將24 V的電壓分別轉換成5 V。

圖2 系統框圖

(1)信號采集模塊：通過CCD攝像機獲取道路的圖像信息，并經過信息處理得到道路的相關參數。

(2)電機驅動模塊：從微處理器的I/O端口輸出的電流無法直接驅動電機，因此需要另外加一個驅動模塊。通過MC33886來控制驅動電機兩端的電壓能夠靈活地實現機器人的加減速運行。

(3)舵機驅動模塊：利用PWM波來控制舵機輸出轉角。

3 系統軟件設計

3.1 整體方案設計

通過CCD攝像機采集到的圖像信息，經過攝像機標定、雙目校正、立體匹配、三維重建等過程，得到路徑的坐標信息，將信息處理過后交給主控模塊，從而控制機器人的運動。

3.2 雙目立體視覺系統

雙目立體視覺系統以人的眼睛為出發點，用兩個攝像頭代替人的雙眼，以此來還原人類通過眼睛識別目標的過程。一個完整的雙目立體視覺系統主要包括以下幾部分：雙目視覺系統標定、圖像獲取、雙目校正、立體匹配和三維重建[10]。

3.2.1 雙目視覺系統標定

攝像機參數分為內、外參數，雙目視覺系統標定就是求取攝像機內外參數的過程。

因為成像儀幾何中心和光軸間存在誤差，在獲取攝像頭的內部參數時，需要引入兩個參數cx與cy。另一方面，考慮到成像儀是矩形，而非理想的正方形，因此設x、y方向的焦距分別為fx和fy。三維的空間坐標使用x、y、z來表示，q里的 x與y表示二維投影空間，w用于限制任意兩個點的交比不變化。利用投影變換，把世界坐標下的Q點映射進投影平面q中，如式(1)所示。

求取攝像頭的外部參數，要考慮雙目視覺系統中左右兩個攝像頭的相對位置關系，主要由平移向量T和旋轉矩陣R共同表征。T和R就是要求的攝像頭的外部參數，其關系如式(2)和式(3)所示。

其中，Rl和Rr分別表示的是左右攝像頭的旋轉矩陣，Tl和Tr則分別代表左右攝像頭的平移向量。

3.2.2 雙目校正

雙目標定之后，為了使兩個圖像完全行對準，將上述的標定結果通過Bouguet算法得到旋轉矩陣和平移向量來進行雙目校正。該方法是為了使攝像頭獲取的左右兩幅圖像中的任意一幅的重投影次數最小，也就是為了使觀測的面積最大化。根據雙目標定的結果得到的各參數將二維的點重投影到三維坐標里，重投影矩陣M如式(4)所示。

其中(ax，ay)為主點在左側攝像機拍攝圖像里的坐標是主點在右側攝像機拍攝圖像的x坐標，Tx是雙目間距，f是攝像機的焦距。經過雙目校正后，可以很好地校正兩幅圖像中的桶形畸變，使得兩幅圖像實現行對準。

3.2.3 立體匹配

在整個系統中，立體匹配是最為重要的一個環節。其原理是通過尋找校正后兩幅圖像間的對應點，然后計算該點的視覺差，以此來獲取三維信息。

立體匹配要考慮選擇匹配基元、選擇匹配準則等諸多問題，其中最重要的是確定立體匹配算法[11]。目前，主流的立體匹配算法主要指的是SGBM(Semi-Global Block Matching)算法。

SGBM算法的流程如下：首先選取所有圖像中每個像素點的 disparity，將其組成一個 disparity map，然后，設置一個全局的能量函數，使其與disparity map相關，計算這個能量函數得到的最小值，得出的結果就是對應的disparity的最優解。能量函數的表達式如式(5)所示：

其中，D表示的是上面提到的disparity map。E(D)表示的是disparity map對應的能量函數。p和q都指的是圖像中的某個像素，Np指的是像素p相鄰像素點，P1和P2指的是懲罰系數。C(p，Dp)指的是當前的像素點的disparity是Dp時，該像素點的cost。當函數條件為真，I函數返回1，為假則返回0。考慮到在二維圖像中獲得最優解的復雜性，可以將問題分解為多個一維問題。考慮下面的函數：

其中，R指的是指向當前的像素p的某一個方向，Lr(p，d)指沿著當前方向，目前像素的p的disparity取值為d時，其最小的cost值。因為Lr(p，d)會隨著像素移動而不斷增長，所以為了防止數值溢出，當前像素的cost值需要減去前面像素取不同的disparity時最小的cost值。然后將不同方向上的所有cost值相加，選擇累加的cost值最小的disparity作為像素最終的disparity。

通過對每個對象進行上述操作后，得到了整個圖像的disparity map。具體的公式如式(7)所示：

3.2.4 三維重建

三維重建指的是將從不同角度拍攝的獨幅圖像恢復物體在空間里的坐標[12]。三維重建的原理如圖3所示，其中，p為世界坐標系下物體上某一點，P1、P2為攝像機 C1、C2所成圖像平面上的投影，O1、O2為 C1、C2的光心，點 p正好位于 O1P1和O2P2的連線上，即兩直線的交點，所以點p的三維空間位置唯一確定。

圖3 三維重建原理模型

正常情況下，若雙目攝像機C1和C2已經標定，其各自的投影矩陣為M1、M2，點p在世界坐標下的坐標為t=[X，Y，Z，1]T，P1、P2在圖像坐標系下的坐標分別為[u1，v1，1]T、[u2，v2，1]T，可得：

聯立式(10)和式(11)可求出(X，Y，Z)的值。

4 實驗結果分析

由于智能送餐機器人是在室內工作，考慮到室內的面積，因此實驗只模擬了30 m長，5 m寬的范圍內機器人的運行軌跡，同時和實際的運行軌跡進行對比。實驗結果如圖4所示。從圖中可以看出，仿真軌跡和機器人的實際軌跡大致相符。

圖4 軌跡擬合結果

為了更好地驗證送餐機器人系統的穩定性，對上述數據進行進一步處理。取不同的X值時，計算對應的Y方向上模擬路徑與實際路徑的差值，得出的誤差曲線如圖5所示。

圖5 測距誤差曲線

圖中的曲線表明，模擬路徑與實際路徑的差值，即：Y1-Y2的值主要集中在±0.2的范圍內，其最大誤差(Y1-Y2)max≈0.32 m，整體的平均誤差，基本能夠滿足智能送餐的要求。