基于虛擬現實的拖拉機雙目視覺導航試驗

翟志強，朱忠祥，杜岳峰，李 臻，毛恩榮

?

基于虛擬現實的拖拉機雙目視覺導航試驗

翟志強，朱忠祥※，杜岳峰，李 臻，毛恩榮

（中國農業大學現代農業裝備優化設計北京市重點實驗室，北京 100083）

針對農機導航系統的傳統田間試驗方式受作物生長狀態的約束性較強，錯過適當的作物生長時期將直接導致開發周期延長、成本增加等問題，該文提出了一種基于虛擬現實技術的拖拉機雙目視覺導航試驗方法。該方法以拖拉機為作業機械，苗期棉花為目標作物，在虛擬現實環境下建立田間作物行場景的三維幾何模型，用于模擬田間試驗場景；建立虛擬現實環境下的拖拉機物理引擎，根據實車參數及試驗場景信息快速、準確地解算拖拉機的動力學參數，并且根據解算所得的狀態參數在虛擬試驗場景中實時渲染拖拉機的位姿狀態；設計路徑跟蹤控制器，以經過雙目視覺方法識別的田間路徑為目標路徑，根據拖拉機當前行駛路徑與目標路徑的相對位置關系解算并控制拖拉機前輪轉向角度。以某型拖拉機參數為實車參數，采用大小行距方式布置5行曲線形態的苗期棉花作物行場景開展虛擬導航試驗。拖拉機以不大于2 m/s的車速跟蹤作物行時，平均位置偏差的絕對值不大于0.072 m、位置偏差的標準差不大于0.141 m；平均航向偏差的絕對值不大于2.622°、航向偏差的標準差不大于4.462°。結果表明：該文設計的拖拉機虛擬試驗系統能夠在虛擬現實環境下,模擬田間作物行環境開展基于雙目視覺的導航試驗，可為導航控制系統的測試及改進提供理論依據和試驗數據。

虛擬現實；拖拉機；導航；雙目視覺；場景建模；路徑跟蹤；導航試驗

0 引 言

農機自動導航技術是在種植面積有限的條件下提高作物產量的有效途徑[1]。視覺傳感器能夠獲取豐富的環境信息，使得機器視覺導航的靈活性和適應能力較衛星導航系統更強。按照圖像處理方式的不同，機器視覺導航方式可以分為單目視覺導航和雙目視覺導航。雙目視覺導航系統能夠獲取景物的空間信息[2]，對于作物和雜草具有相對高程差異的環境具有較好的適應性[3-5]。為提高復雜環境下的視覺導航精度，研究人員在導航線識別方法[6-11]和路徑跟蹤控制方法[12-16]的設計方面開展了深入研究。田間試驗是農機導航系統開發過程中的必要環節。目前農機導航系統的開發需要根據田間試驗結果進行反復的設計、制造和測試工作。農機導航系統的田間試驗對季節的依賴性較強，受地域、氣候和作物生長狀態等因素的影響較大。因此農機導航系統的傳統開發方式同樣受到季節的約束，錯過作物適當的生長時期將直接導致開發周期延長和成本增加。虛擬現實技術能夠在產品生產之前獲得多方面鑒定，為改進設計、提高開發效率、降低成本提供便利[17]。虛擬現實技術在農機領域的應用主要集中于農機產品設計與制造方面，在農機產品虛擬試驗方面也有成功應用的實例[18-23]，但在農機導航系統的試驗研究方面未見明確報道。商業化視景仿真工具為配置虛擬試驗場景提供了方便。如何在三維（three dimensional，3D）虛擬試驗場景中模擬農機導航系統的物理屬性和工作過程是虛擬試驗研究的重點。

綜上所述，運用虛擬現實技術在3D虛擬環境下開展農機導航系統的試驗研究，是提高開發效率、節省開發成本的新途徑。為此，本文以拖拉機為作業機械、苗期棉花為目標作物、雙目視覺導航為導航方式，提出一種基于虛擬現實技術的拖拉機導航試驗方法[24]：以3ds Max和Multigen-Creator（Creator）為建模工具，Vega Prime（VP）為視景仿真工具，建立虛擬試驗場景模型；建立包含車輛動力學模型的拖拉機物理引擎，用以實時解算和模擬拖拉機的位姿狀態；設計路徑跟蹤控制器，根據拖拉機當前路徑和目標路徑的相對位置關系，解算并控制前輪轉向角度；開展作物行跟蹤控制虛擬試驗，測試雙目視覺導航系統的性能。

1 虛擬試驗場景建模

建立虛擬試驗場景模型，模擬實際田間試驗環境。以3ds Max和Creator為建模工具，模型數據格式為VP軟件支持的OpenFlight（FLT）格式。虛擬試驗場景由拖拉機、作物行和路面組成，建模過程為：1）建立拖拉機模型，僅考慮拖拉機的外觀特征、忽略其內部結構。2）建立包含雜草干擾的棉花作物行模型。根據苗期棉花的形態特點，分別建立葉片模型、葉柄模型和主莖模型，形成棉花單體模型。運用棉田中具有代表性幾何特點的麥草和酢漿三葉草模擬田間雜草干擾特征，并建立對應的幾何模型。根據機械化條播或點播棉花作物行的形態特點，按照一定的行距和株距在虛擬試驗場景中放置棉花，并且在指定的平面區域內隨機布置雜草模型模擬雜草干擾，由此形成作物行模型。3）建立路面模型。路面模型由外觀特征和路面不平度信息組成。其中，路面外觀特征通過田間路面圖像的紋理貼圖表達。路面不平度信息根據田間路面高程變化的均值數據，運用3ds Max的分形工具創建。

根據表1中的試驗參數建立虛擬試驗場景模型。根據拖拉機輪距、棉花栽培農藝[25]、配套機具尺寸[26]信息和有限的相機視野，采用大小行距種植模式布置5條曲線形態的連續棉花作物行。拖拉機路徑跟蹤方式為對行跟蹤，車輪橫跨1條作物行，車輪相鄰側的作物行間距為大行距1.2 m，最外側作物行間距為標準行距0.76 m。棉花平均高度和雜草平均高度根據田間實測統計數據設定。在VP軟件中：配置投影模式，根據1款平行雙目相機（Bumblebee 2, BB2-08S2-38）設置基線距離、焦距和視場角參數，用于模擬該相機的成像效果；配置視點位姿，模擬圖像采集系統中相機與車身、地面的相對位姿狀態。

表1 試驗場景統計數據

虛擬試驗場景模型在VP環境下的渲染效果如圖1所示。拖拉機初始對齊位于中央的1條作物行，路徑跟蹤過程中以該條作物行為目標路徑，如圖1a所示。曲線作物行中添加了雜草特征，能夠近似模擬實際田間作物行中的雜草噪聲，如圖1b所示。根據表1中參數配置視點位姿后，設定圖像采集規格為640 pixel×480 pixel的RGB圖像，所得左、右眼圖像分別如圖1c、圖1d所示，能夠近似模擬具有較高雜草密度的棉花作物行，并用于識別導航線。

圖1 虛擬試驗場景

2 物理引擎建模

2.1 整車數學建模

建立整車模型，模擬拖拉機的動力學狀態。本文研究的拖拉機為前輪轉向、后輪驅動和制動的結構，并且沒有懸架系統；在拖拉機導航試驗研究中，車速通常較低。拖拉機整車建模時作出以下簡化：將拖拉機的車身簡化為剛體；忽略搖擺軸，將拖拉機與車輪簡化為剛性連接；前輪轉向角度符合阿克曼轉向幾何理論。由此將拖拉機簡化為11自由度的車輛動力學模型，如圖2所示。具體包括車身3個軸向移動自由度（X,Y,Z），m；車身3個繞軸轉動自由度（,,），rad；4個車輪滾動自由度θ，rad，=1, 2, 3, 4，依次表示左前、右前、左后和右后車輪；1個前輪轉向自由度，其中左、右前輪的轉向角度分別為1、2，rad。

注：Ob-XbYbZb為車身坐標系，m；Og-XgYgZg為地面坐標系，m；Owi-XwiYwiZwi(i=1, 2, 3, 4)為車輪坐標系，m；ψ1、ψ2分別為左前輪與右前輪的轉向角度，rad；θi為車輪滾動角度，rad；p, q, r分別為車身繞軸轉動自由度；a, b分別為質心距前軸中心、后軸的距離，m；bf, br分別為前輪、后輪輪距，m。下同。

根據歐拉運動學方程計算拖拉機所受外力對質心的慣性矩矢量為，

聯立式（1）~（2）可得在X、Y、Z軸的慣性力矩分量（M,M,M）關于拖拉機角速度的微分方程為

式中1、2、3分別為中間變量，kg·m2。

對拖拉機整車進行受力分析，建立拖拉機的力學方程。某時刻拖拉機的運動狀態和受力情況如圖3所示。輪胎受到地面的垂向作用力為F(=1, 2, 3, 4)，方向穿過輪心垂直地面并指向上方，N。

注：vt為拖拉機的行駛速度，m·s-1；vtx和vty分別為vt在Ob-XbYb中的縱向、側向速度分量，m·s-1；ωtz為拖拉機的橫擺角速度，rad·s-1；Fwxi、Fwyi(i=1, 2, 3, 4)分別為輪胎受到的縱向力和側向力，N；vwi為輪胎的行駛速度，m·s-1；vbwxi、vbwyi分別為vwi在Ob-XbYb中的縱向和側向速度分量，m·s-1；αwi為輪胎側偏角，rad；ψ1、ψ2分別為左前輪與右前輪的轉向角度，rad。

拖拉機自動導航行駛時，車速通常較低，空氣阻力較小可以忽略。建立拖拉機整車的力學方程如式（4）~（5）所示。

式中為拖拉機的整車質量，kg；為重力加速度，m/s2；h為拖拉機的質心高度，m；T為輪胎所受的滾動阻力矩，N·m；3=4=0。

2.2 輪胎數學建模

建立拖拉機的輪胎模型，模擬輪胎的地面力學特性。輪胎難以通過統一的模型描述其非線性特性[27]，典型的輪胎模型有魔術公式模型[28]、UniTire模型[29]和Dugoff模型[30]等。為提高仿真實時性，降低輪胎參數獲取的難度，采用Dugoff第1類模型近似模擬輪胎的地面力學特性。輪胎坐標系和受力情況如圖4所示。輪胎坐標系的原點O為輪胎平面和地平面的交線與輪胎旋轉軸線在地平面上投影線的交點。X軸為輪胎平面與地平面的交線，正方向指向輪胎前進方向。Y軸通過O，正方向指向輪胎平面左側。Z軸通過O且垂直于地平面，正方向指向上方。

根據Dugoff第1類輪胎模型，忽略輪胎的外傾角和回正力矩，車輪未抱死時的輪胎縱向力F和側向力F為

式中C、C分別為輪胎縱向剛度、側向剛度，N/rad；s為輪胎的縱向滑動率；α為輪胎的側偏角，rad。

()為關于輪胎動態參數的函數，用于描述輪胎的非線性特性，可表示為

式中輪胎動態參數表示()的邊界條件，決定輪胎縱向力和側向力的計算形式。的具體計算方法為

注：Ot-XtYtZt為輪胎坐標系，m；Fwx、Fwy、Fwz分別為輪胎縱向力、側向力和垂向力，N；Mwx、Mwy、Mwz分別為外傾力矩、滾動力矩和回正力矩，N·m；γw為輪胎的外傾角，rad；αw為輪胎側偏角，rad；ωw為輪胎的滾動角速度，rad·s-1。

式中F為輪胎的垂向地面反力，N；為路面附著系數，近似計算如下[30]，

式中r為輪胎的有效半徑，m；μ為路面峰值附著系數；ω為車輪滾動角速度，rad/s；A為速度影響因子，在正常車速范圍內，通常為正值，當滑移速度在很小的范圍內時，隨滑移速度增大而增大，即A為負值[31-32]，文中A取值為0.015。

輪胎縱向滑動率s近似計算為，

式中v為輪心在X軸的縱向速度分量，m/s；ω為車輪滾動角速度，rad/s。

輪胎的有效半徑r根據輪胎未變形時的半徑r和靜態半徑r計算得到[32]，

忽略慣性阻力矩和空氣升力的作用，可近似得到輪胎側偏角為

式中α為輪胎的側偏角，rad；v、v依次為的輪心在O-XYZ中的縱向、側向速度分量，m/s；為輪胎的轉向角度，rad。

假設車輪質量分布均勻，根據動量矩定理對輪心求合力矩，得到車輪的動力學方程為

式中J為車輪的轉動慣量，kg·m2；ω為輪胎的轉速，rad/s；T為驅動轉矩，N·m；T為制動轉矩，N·m；F為輪胎縱向驅動力，N；T為滾動阻力矩，N·m。

由于拖拉機為后驅后制結構，當=1, 2時，T=T=0。滾動阻力距T近似由下式計算，

式中為滾動阻力系數；F為輪胎的垂向地面反力，N。

將輪胎的垂向模型簡化為剛度阻尼系統，根據輪胎的變形量近似計算垂向地面反力F如式（15）所示。

式中Δz為輪胎的垂向變形量，m；k為輪胎垂向剛度，N/m；C為輪胎垂向阻尼，N·s/m；為拖拉機軸距，=+，m。

Δz可近似由下式計算

式中z1、z2、z3、z4為左前、右前、左后、右后輪胎對應的路面不平度，m；z為拖拉機質心的垂向位移，m。

2.3 路面解算數學建模

建立路面解算模型，用于在VP虛擬試驗場景中根據路面信息計算輪胎對應的路面不平度激勵。路面解算模型基于VP軟件中的地面爬行運動（vpGroundClamp）模塊和三腳架（tripod）碰撞檢測模塊構建，通過檢測試驗場景中田間路面的起伏變化近似計算拖拉機各個輪胎對應的路面不平度激勵。運用vpGroundClamp模塊實現輪胎跟隨路面運動，通過Tripod模塊修正輪胎的位置，使得輪胎保持附著在地面上方。路面不平度解算模型如圖5所示。

運用3條線段、、進行碰撞檢測，通過3個碰撞點組成三角平面Δ，根據檢測到的Δ平面中心法向量的位姿狀態（,1,2）近似計算路面不平度。根據三角幾何關系計算拖拉機輪胎對應的路面不平度（z1,z2,z3,z4），具體計算方法如下，

注：A為拖拉機前軸中心；M、N、B、C分別為拖拉機左前、右前、左后、右后車輪的輪心；AD、MN和BC的長度分別對應于拖拉機的軸距、前輪輪距和后輪輪距，m；K為ΔABC平面的中心；KH為K的高度值，m；β1、β2分別為ΔABC平面的側傾角和俯仰角，rad；AG、MP、NQ、BE、CF分別為拖拉機前軸、左前輪、右前輪、左后輪和右后輪對應的路面不平度，m。

3 路徑跟蹤控制方法

3.1 導航路徑獲取

基于雙目視覺方法識別作物行中心線，并提取導航目標路徑。綜合運用文獻[4-5]中的方法識別作物行中心線，具體過程為：1）運用改進的超綠特征法得到灰度圖像；2）采用最小核值相似算子提取植物角點特征；3）以灰度值Rank變換的結果為匹配基元檢測角點的視差，并計算角點的3D坐標；4）根據高程、寬度閾值提取作物行特征點；5）運用頻數直方圖法，通過統計作物行特征點在寬度方向的分布規律，將作物行特征點按行分類；6）運用基于隨機抽樣一致的主成分分析法擬合作物行中心線。由圖1a所示，拖拉機對中間作物行（即位于圖像中間區域的作物行）進行路徑跟蹤，設定該條作物行中心線作為目標導航路徑。

構建航位偏差計算模型，根據拖拉機的當前行駛路徑和目標路徑參數計算拖拉機與目標路徑之間的位置偏差d和航向偏差φ（圖6）。拖拉機的當前行駛路徑與路徑坐標系O-XY中的X軸重合，初始狀態時原點O位于拖拉機的質心。

φ和d的具體計算公式為

注：Op-XpYp為路徑坐標系，m；θp為目標路徑與當前路徑之間的初始航向偏差，(°)；dp為目標路徑與當前路徑之間的初始橫向偏差，m；dt為拖拉機質心到目標路徑的初始距離，即初始位置偏差，m。

式中θ為拖拉機當前路徑的航向角，(°)；當拖拉機位于目標路徑右側時，d為正值，反之為負；當拖拉機的航向偏向目標路徑右側時，φ為正值，反之為負；k為目標路徑的斜率；b為目標路徑的截距。

x,y為拖拉機當前路徑上某一點在O-XY中的坐標，可表示為

式中為拖拉機的行駛時間，s。

3.2 前輪轉向角計算

構建拖拉機前輪轉向角計算模型，根據拖拉機與目標路徑之間的位置偏差與航向偏差計算前輪轉向角度。基于純追蹤方法[34]建立前輪轉向角計算模型，如圖7所示。圓弧PO為拖拉機到達目標位置所需駛過的路徑。為圓弧PO對應的曲率，定義拖拉機沿逆時針行駛時對應的為正值，反之為負。R為圓弧PO對應的半徑，R==IO=1/，m。L為前視距離，m。

根據圖7中的幾何關系，可推出

根據式（20）和阿克曼轉向幾何原理，拖拉機的前軸轉向角ψ可由下式求解

注：O、、分別為拖拉機的質心、速度瞬心和前軸中心；ψ、ψ分別為前軸中心、質心的轉向角，(°)；v、v分別為前軸中心和質心的行駛速度，m·s-1；為v方向與的交點；為目標位置點；為O到目標路徑的垂足；、分別為點在坐標軸上的投影點；平行于v方向；為與IO的交點，⊥IO；圓弧PO為拖拉機到達目標位置所需駛過的路徑，為圓弧PO對應的曲率；R為圓弧PO對應的半徑，m；L=PO為前視距離，m。

Note:O,,are the centroid, instantaneous velocity center and center of front axle;ψis steering angle of center of front axle, rad;ψis the steering angle of centroid of tractor, (°);vis the velocity of center of front axle, m·s-1;vis the velocity of centroid of tractor, m/s;vis the intersection ofvand;is the position of target;is the foot point fromOto the target path;,are projections fromto the axes;is parallel to the direction ofv;is the intersection ofandIO,⊥IO;is the curvature of the arcPO;Ris the radius of the arcPO, m;Lis the look ahead distance,L=PO, m.

圖7 前輪轉向角計算模型

Fig.7 Computation model of steering angle of front wheel

由式（21），根據阿克曼轉向原理計算拖拉機到達目標位置所需的左、右前輪的轉向角度1、2為

基于純追蹤方法的拖拉機前輪轉向角計算模型中，輸入變量為航向偏差φ、位置偏差d和前視距離L，輸出變量為左、右前輪轉向角1和2。φ和d由拖拉機當前運動狀態和目標路徑參數決定。L用于模擬駕駛員的操縱經驗，其取值影響路徑跟蹤效果。運用誤差性能指標評價方法[35]確定L的最佳取值。

1）設定時間乘以絕對誤差的積分（integral time absolute error，ITAE）為性能指標。

式中ITAE為跟蹤誤差的ITAE指標計算結果，ITAE值越小表明路徑跟蹤效果越好；為仿真時間內的跟蹤誤差計算次數；為跟蹤誤差計算結果的序號，=1,2,3,…,；t為對應的仿真時間，s；e用于衡量跟蹤誤差，e=|φ+d|。

2）按照由大到小的距離分辨率搜索最優前視距離。設定拖拉機的行駛速度為1 m/s，初始橫向偏差d為0.5 m，初始航向偏差θ為5°，仿真時間為35 s。以1 m為距離分辨率，統計L=1, 2, 3, 4, 5, 6 m時對應ITAE值，記錄ITAE值最小時對應的前視距離為初始值L。在L附近±1 m的范圍內，以0.1 m為距離分辨率，進一步統計不同前視距離對應的ITAE值，ITAE值最小時對應的前視距離為最優值L。

根據上述方法，統計不同前視距離對應的ITAE值，在距離分辨率為0.1 m時，最優前視距離L為2.5 m。

3.2 前輪轉向角控制方法

基于經典的增量式比例-積分-微分（proportion，integral，derivative，PID）算法控制轉向執行器。轉向執行器模型依據課題組前期研究成果[36]構建，本文不作贅述。增量式PID算法的控制規律為

式中Δ()為轉向角增量控制信號；k、k、k分別為比例系數、積分系數和微分系數；()、(-1)、(-2)分別為、-1、-2采樣時刻的轉向角誤差，即目標轉向角與實際轉向角的差值，(°)；為采樣周期，s，為采樣序號。化PID控制器參數，以實現較好的路徑跟蹤效果。在PID參數的優化方法中，遺傳算法（genetic algorithm，GA）作為一種全局優化算法，具有較好的尋優性，在未給定初始參數的條件下仍能搜索到適當的參數；不需要制定復雜的優化規則，操作便捷。運用GA優化PID控制器的參數，設定種群數量為30；交叉概率為0.9；變異概率為0.01；迭代次數為100；控制器參數的取值范圍均為[0，200]。以轉向角跟蹤偏差的ITAE值為優化指標，ITAE值最小時對應的參數為優化后的控制器參數。經過GA優化后得到的PID控制器參數為，k=2.113 0，k=7.069 8，k=0.368 4。運用優化后的PID控制器參數控制目標轉向角為5°的階躍響應時，上升時間約為1.357 s，超調量約為6.78%，穩態偏差約為0.000 5°。跟蹤幅值為5°、周期為5 s的正弦目標轉向角信號時，最大偏差為0.955°，平均偏差為0.029°，標準差為0.644°。試驗結果表明，經過GA優化所得的PID控制器參數適當，能夠使控制器實現較好的跟蹤性能。

4 試驗與結果分析

根據本文提出的虛擬導航試驗方法，在Visual Studio 2008環境下運用C++語言開發軟件系統。軟件系統為多線程結構，如圖8所示。視景渲染線程基于VP三維虛擬仿真模塊二次開發，用于實時渲染試驗場景和拖拉機的運動姿態；圖像處理線程通過采集試驗場景中的棉花作物行信息，識別導航路徑；物理引擎線程集成了物理引擎模塊和路徑跟蹤控制器模塊，用于模擬拖拉機的動力學狀態，并且控制拖拉機跟蹤導航路徑。

以表2中某型號的拖拉機參數為實車參數，圖1中的作物行場景為試驗環境，在計算機上進行仿真試驗。計算機的處理器型號為Inter(R) Core(TM) i5-4440 @ 3.10 GHz，內存為4 GB，操作系統為64位的Windows 8.1。開展作物行跟蹤虛擬試驗，測試虛擬導航試驗系統的性能。

圖8 拖拉機虛擬導航試驗系統結構

表2 拖拉機參數

注： T,T分別為前輪、后輪輪胎型號； r(=1, 2, 3, 4)輪胎靜態半徑，m；C輪胎縱向剛度，N·rad-1；C輪胎側向剛度，N·rad-1；k為輪胎垂向剛度，N·m-1；C輪胎垂向阻尼，N·s·m-1; h為質心高，m； I,I,I分別為拖拉機俯仰轉動慣量、橫擺轉動慣量、側傾轉動慣量，kg·m2；I為拖拉機慣性積，kg·m2。

Note:TandTare types of the front tire of back tire, respectively;r(=1, 2, 3, 4) is the statics radius of wheel, m;Cis the lateral stiffness of tire, N·rad-1;Cis the longitude stiffness of tire, N·rad-1;kis the vertical stiffness of tire, N·m-1;Cis the vertical damping of tire, N·s·m-1; his the height of the centroid tractor, m;I,I,Iare camber, roll and aligning moment of inertia, respectively, kg·m2;Iis the product of inertia of the tractor, kg·m2.

虛擬試驗場景如圖1所示。虛擬試驗中某時刻的作物行場景在虛擬現實系統中的投影顯示效果如圖9所示。棉田場景由5條近似平行的作物行組成，作物行的平均長度約60 m，-45 m至-60 m的距離區間內具有隨機分布的雜草特征。拖拉機的初始位置和航向與位于圖像中部的作物行（圖像左起第3條作物行）對齊；在視覺導航試驗中，拖拉機以該條位于圖像中部的作物行作為目標作物行進行跟蹤。

圖9 拖拉機虛擬導航試驗現場圖

根據拖拉機兩側車輪運動軌跡的輪廓范圍（1.67 m）和車輪相鄰側的作物行間距（1.2 m），確定允許的拖拉機質心橫向位移的最大值為0.365 m。設置拖拉機啟動1 s后開始跟蹤作物行，啟動后第46 s時停止跟蹤，啟動后第48 s時制動；拖拉機啟動速度為0.3 m/s，跟蹤作物行時的縱向車速為1 m/s，仿真結束時車速為0.2 m/s。

拖拉機跟蹤作物行的虛擬試驗結果，即跟蹤軌跡、左前輪轉向角、位置偏差和航向偏差，如圖10所示。

圖10 作物行跟蹤虛擬試驗結果

由圖10a、圖10b可見，拖拉機在跟蹤曲線作物行時：通過調整前輪轉向角度使得質心沿著目標作物行運動，質心運動軌跡近似與目標作物行的中心線重合；輪心運動軌跡的輪廓線與相鄰作物行具有一定間距，表明車輪未碾軋到棉花作物。由圖10c、圖10d可知，航位偏差變化均勻，無較大幅度的突變，表明拖拉機對曲線作物行的跟蹤效果較好。統計拖拉機跟蹤曲線作物行的過程中航位偏差的試驗數據：位置偏差的最大幅值為0.319 m，小于最大允許的偏差值（0.365 m），表明經視覺識別的導航路徑始終位于目標作物行，未發生跨行現象；位置偏差的平均值為-0.069 m、標準差為0.132 m；航向偏差的最大幅值為9.980°、平均值為2.267°、標準差為4.227°。

考察拖拉機縱向車速（以下簡稱車速）對作物行跟蹤效果的影響。分別以0.5、1.5、 2、 2.5和3 m/s的車速在與圖9相同的虛擬環境下進行作物行跟蹤試驗。統計各車速下拖拉機跟蹤作物行的左前輪轉向角度、位置偏差和航向偏差試驗結果如表3所示。試驗結果表明：1）拖拉機平均在-45 m的縱向坐標處開始跟蹤路徑，平均在-82 m的縱向坐標處停止路徑跟蹤。2）由于在簡化拖拉機的車輛動力學模型時未考慮輪胎回正作用，并且PID控制器參數值固定，因此當車速較高時路徑跟蹤效果下降。3）在2 m/s的車速范圍內拖拉機的質心運動軌跡較平穩、近似沿著目標作物行中心線；當車速大于2.5 m/s時，拖拉機在跟蹤過程中車輪碾軋到相鄰作物行，并且質心的運動軌跡相對目標作物行出現明顯波動。

對于本文的路徑跟蹤控制器，在2 m/s的車速范圍內拖拉機對作物行的跟蹤效果較好，航位偏差較小且前輪轉向角的幅值較小：位置偏差的最大幅值不大于0.347 m、平均值的絕對值不大于0.072 m、標準差不大于0.141 m；航向偏差的最大幅值不大于11.570°、平均值的絕對值不大于2.622°、標準差不大于4.462°；左前輪轉向角的最大幅值不大于18.991°、平均值的絕對值不大于0.331°、標準差不大于5.274°。當車速大于2m/s時前輪轉向角的幅值明顯增大且轉向頻繁，造成前輪輪胎側滑，拖拉機在行駛中左右擺動，機身振動幅度較大，作物行跟蹤效果較差。

表3 不同車速下作物行跟蹤結果統計

注：MA表示最大幅值；MV表示平均值；STD表示標準差。

Note: MA is the maximum amplitude; MV is the mean value; STD is the standard deviation

上述試驗結果表明，本文提出的拖拉機虛擬導航試驗方法能夠在虛擬現實環境下模擬田間作物行場景并開展基于雙目視覺的拖拉機導航試驗，為導航控制系統的測試及改進提供理論依據及試驗數據。

5 結 論

本文基于虛擬現實技術，提出了一種拖拉機虛擬導航試驗方法。以苗期棉田作物行試驗場景，雙目視覺為導航定位方式，開展作物行跟蹤虛擬試驗，試驗結果表明：

設計的拖拉機虛擬導航試驗系統能夠在虛擬現實環境下，通過可視化仿真的方式有效模擬田間作物行環境開展基于雙目視覺的拖拉機導航試驗，試驗過程便捷、成本較低，避開了傳統試驗方式對作物生長周期的依賴以和試驗過程中易對作物造成破壞的風險；試驗結果符合物理規律，能夠為導航控制系統的測試、改進提供理論依據和試驗數據。

設計的路徑跟蹤控制系統在拖拉機車速不大于2 m/s時的作物行跟蹤精度較高，但前輪轉向較頻繁，今后的研究中需要考慮輪胎回正作用，并且根據車速調整PID控制器的參數。

由于現有試驗條件有限，在設計拖拉機虛擬導航試驗系統時對拖拉機的車輛動力學模型、傳感器和液壓系統等進行了簡化，并且未進行實車對比試驗。在今后的研究工作中需要完善虛擬試驗系統并開展實車對比試驗，以進一步驗證虛擬試驗系統的有效性。

[1] 胡靜濤，高雷，白曉平，等. 農業機械自動導航技術研究進展[J]. 農業工程學報，2015，31(10)：1－10. Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles[J]. Trans-actions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 1－10. (in Chinese with English abstract)

[2] 翟志強，杜岳峰，朱忠祥，等. 基于Rank變換的農田場景三維重建方法[J]. 農業工程學報，2015，31(20)：157－164. Zhai Zhiqiang, Du Yuefeng, Zhu Zhongxiang, et al. Three- dimensional reconstruction method of farmlandscene based on Rank transformation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 157－164. (in Chinese with English abstract)

[3] Kise M, Zhang Q, Rovira-Más F. A stereovision-based crop row detection method for tractor-automated guidance[J]. Biosystems Engineering, 2005, 90(4): 357－367.

[4] 翟志強，朱忠祥，杜岳峰，等. 基于Census變換的雙目視覺作物行識別方法[J]. 農業工程學報，2016，32(11)：205－213.Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Method for detecting crop rows based on binocularvision with Census transformation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(11): 205－213. (in Chinese with English abstract)

[5] Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Multi- crop-row detection algorithm based on binocular vision[J]. Biosystems Engineering, 2016, 150: 89－103.

[6] Han S, Zhang Q, Ni B, et al. A guidance directrix approach to vision-based vehicle guidance systems[J]. Computers and Electronics in Agriculture, 2004, 43(3): 179－195.

[7] Zhu Zhongxiang, He Yan, Zhai Zhiqiang, et al. Research on cotton row detection algorithm based on binocular vision[C]// Proceedings of 4th International Conference on Applied Mechanics, Materials and Manufacturing, Shenzhen, China, 2014：1222－1227.

[8] Takagaki A, Masuda R, Iida M, et al. Image processing for ridge/furrow discrimination for autonomous agricultural vehicles navigation[J]. IFAC Proceedings Volumes, 2013, 46(18): 47－51.

[9] Guerrero J M, Guijarro M, Montalvo M, et al. Automatic expert system based on images for accuracy crop row detection in maize fields[J]. Expert Systems with Applic-ations, 2013, 40(2): 656－664.

[10] ?strand B, Baerveldt A J. A vision based row-following system for agricultural field machinery[J]. Mechatronics, 2005, 15(2): 251－269.

[11] Jiang Guoquan, Wang Zhiheng, Liu Hongmin. Automatic detection of crop rows based on multi-ROIs[J]. Expert Sy-stems with Applications, 2015, 42(5): 2429－2441.

[12] Zhang Q, Qiu H, Qiu H. A dynamic path search algorithm for tractor automatic navigation[J]. Transactions of the ASAE, 2004, 47(2): 639－646.

[13] Zhu Zhongxiang, Chen Jun, Yoshida T, et al. Path tracking control of autonomous agricultural mobile robots[J]. Journal of Zhejiang University Science A, 2007, 8(10): 1596－1603.

[14] 呂安濤，宋正河，毛恩榮. 拖拉機自動轉向最優控制方法的研究[J]. 農業工程學報，2006，22(8)：116－119. Lü Antao, Song Zhenghe, Mao Enrong. Optimized control method for tractor automatic steering[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2006, 22(8): 116－119. (in Chinese with English abstract)

[15] 孟慶寬，仇瑞承，張漫，等. 基于改進粒子群優化模糊控制的農業車輛導航系統[J]. 農業機械學報，2015，46(3)：29－36. Meng Qingkuan, Qiu Ruicheng, Zhang Man, et al. Navig-ation system of agricultural vehicle based on fuzzy logic con-troller with improved particle swarm optimization algori-thm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3): 29－36. (in Chinese with English abstract)

[16] 李逃昌，胡靜濤，高雷. 基于級聯式控制策略的農業機械魯棒自適應路徑跟蹤控制[J]. 機器人，2014，36(2)：241－249. Li Taochang, Hu Jingtao, Gao Lei. Robust adaptive path tracking control of agricultural machines based on cascaded control strategy[J]. Robot, 2014, 36(2): 241－249. (in Chinese with English abstract)

[17] 王凱湛，馬瑞峻. 虛擬現實技術及其在農業機械設計上的應用[J]. 系統仿真學報，2006，18(增刊2)：500－503. Wang Kaizhan, Ma Ruijun. Virtual reality technology and its application in agricultural machinery design[J]. Journal of System Simulation, 2006,18(Supp. 2): 500－503. (in Chinese with English abstract)

[18] Karkee M, Steward B L, Kelkar A G, et al. Modeling and real-time simulation architectures for virtual prototyping of off-road vehicles[J]. Virtual Reality, 2011, 15(1): 83－96.

[19] Inoue S, Ojika T, Harayama M, et al. Cooperated operation of plural hand-robots for automatic harvest system[J]. Mathem-atics and Computers in Simulation, 1996, 41(3): 357－365.

[20] Melemez K, Gironimo G D, Esposito G, et al. Concept design in virtual reality of a forestry trailer using a QFD-TRIZ based approach[J]. Turkish Journal of Agriculture and Forestry, 2013, 37(6): 789－801.

[21] 臧宇，朱忠祥，宋正河，等. 農業裝備虛擬試驗系統平臺的建立[J]. 農業機械學報，2010，41(9)：70－74. Zang Yu, Zhu Zhongxiang, Song Zhenghe, et al. Establishment of virtual experiment system platform for agricultural equipment[J]. Transactions of the Chinese Society for Agricultural Ma-chinery, 2010, 41(9): 70－74. (in Chinese with English abstract)

[22] 苑嚴偉，張小超，吳才聰，等. 農業機械虛擬試驗交互控制系統[J]. 農業機械學報，2011，42(8)：149－153. Yuan Yanwei, Zhang Xiaochao, Wu Caicong, et al. Inter-action control system of agricultural machinery virtual test[J]. Transactions of the Chinese Society for Agricultural Ma-chinery, 2011, 42(8): 149－153. (in Chinese with English abstract)

[23] 羅陸鋒，鄒湘軍，程堂燦，等. 采摘機器人視覺定位及行為控制的硬件在環虛擬試驗系統設計[J]. 農業工程學報，2017，33(4)：39－46. Luo Lufeng, Zou Xiangjun, Cheng Tangcan, et al. Design of virtual test system based on hardware-in-loop for picking robot vision localization and behavior control[J]. Transac-tions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(4): 39－46. (in Chinese with English abstract)

[24] 翟志強. 基于虛擬現實的拖拉機雙目視覺導航試驗方法研究[D]. 北京：中國農業大學，2017.

Zhai Zhiqiang. A Test Method of Binocular Vision-based Guidance for Tractor Based on Virtual Reality[D]. Beijing: China agricultural university, 2017. (in Chinese with English abstract)

[25] 徐新霞. 行距配置對機采棉花產量形成及采收品質的影響[D]. 烏魯木齊：新疆農業大學，2015.

Xu Xinxia. Effect of Row Spacing Pattern on Machine-harvested Cotton Yield Formation and Harvest Quality[D]. Urumqi: Xinjiang agricultural university, 2015. (in Chinese with English abstract)

[26] 劉剛. 棉田定向彌霧機的研制與試驗[D]. 泰安：山東農業大學，2015.

Liu Gang. Development and Experiment of Cotton Fields Directional Mist Sprayer[D]. Tai’an: Shandong agricultural university, 2015. (in Chinese with English abstract)

[27] 王和毅，谷正氣. 汽車輪胎模型研究現狀及其發展分析[J]. 橡膠工業，2005，52(1)：58－63.

[28] Pacejka H B, Bakker E. The magic formula tyre model[J]. Vehicle System Dynamics, 1992, 21(Supp. 1): 1－18.

[29] 郭孔輝. UniTire統一輪胎模型[J]. 機械工程學報，2016，52(12)：90－99. Guo Konghui. Unitire: Unified tire model[J]. Journal of Mechanical Engineering, 2016, 52(12): 90－99. (in Chinese with English abstract)

[30] Dugoff H P, Fancher P S, Segel L. An analysis of tire traction properties and their influence on vehicle dynamic perfor-mance[R]. SAE Technical Paper, 1970.

[31] 郭孔輝. 用于汽車制動、驅動與轉向運動模擬的輪胎力學統一模型[J]. 汽車技術，1992(1)：14－21.

[32] 郭孔輝，劉蘊博，揚陽. 輪胎試驗技術的開發研究及其在汽車性能研究中的應用前景[J]. 汽車工程，1990(1)：1－9. Guo Konghui, Liu Yunbo, Yang Yang. A developing study on experimental technique of tire with prospective applic-ation for vehicle performance[J]. Automotive Engineering, 1990(1): 1－9. (in Chinese with English abstract)

[33] Rajamani R，王國業，江發潮. 車輛動力學及控制[M]. 北京：機械工業出版社，2011.

[34] Coulter R C. Implementation of the pure pursuit path tracking algorithm[R]. Carnegie-Mellon UNIV Pittsburgh PA Robo-tics INST, 1992.

[35] 張智剛，羅錫文，趙祚喜，等. 基于Kalman濾波和純追蹤模型的農業機械導航控制[J].農業機械學報，2009，40(增刊1)：6－12. Zhang Zhigang, Luo Xiwen, Zhao Zuoxi, et al. Trajectory tracking control method based on Kalman filter and pure pursuit model for agricultural vehicle[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(Supp. 1): 6－12. (in Chinese with English abstract)

[36] 盛晴. 基于電液比例控制的農業機械轉向系統性能研究[D]. 北京：中國農業大學，2016.

Sheng Qing. Study on the Performance of Agricultural Machinery Steering System Based on Electro-hydraulic Proportional Control[D]. Beijing: China agricultural university, 2016.(in Chinese with English abstract)

翟志強，朱忠祥，杜岳峰，李 臻，毛恩榮.基于虛擬現實的拖拉機雙目視覺導航試驗[J]. 農業工程學報，2017，33(23)：56－65. doi：10.11975/j.issn.1002-6819.2017.23.008 http://www.tcsae.org

Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, Li Zhen, Mao Enrong.Test of binocular vision-based guidance for tractor based on virtual reality [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 56－65. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.23.008 http://www.tcsae.org

Test of binocular vision-based guidance for tractor based on virtual reality

Zhai Zhiqiang, Zhu Zhongxiang※, Du Yuefeng, Li Zhen, Mao Enrong

(100083,)

Machine vision-based guidance of agricultural machinery operates flexibly in complex field. The classical test methods for agricultural guidance systems are based on real field test. There are many problems for the classical test methods, such as high test cost, strong dependence on crop growing period, long test period, and being easy to damage crops. To solve those problems, a novel test method based on virtual reality for binocular vision based guidance system was presented. A virtual system was built with this method. The virtual test system is composed of the modules of test scene, physics engine of tractor, and control of path tracking. The test scene module consists of crop rows, road and four-wheel tractor, which provides image data for pathway detection and road roughness for the tractor. Models of the test scene were created with 3ds Max and Multigen-Creator as modeling tools and with Vege Prime as visual simulation tool. The physics engine of tractor was used to simulate the dynamics of tractor accurately and quickly according to the real tractor parameters and the information of the test scene. The position and attitude of the tractor were solved and rendered in Vega Prime. A simplified model was used to solve the dynamics of the tractor, including the vehicle model, tire model, and road solution model. To reduce the computational cost, the vehicle model was simplified to a model of 11 degrees of freedom, which are 6 degrees of freedom for the attitude of tractor body, 4 degrees of freedom for wheel rolling, and 1 degree of freedom for front wheel steering. The tire model was built based on the model of Dugoff-I to obtain the parameters of tire easily. The road model was built based on the modules of vpGroundClamp and tripod for collision detection, which solves the road roughness of each wheel. The control of path tracking consists of pathway determination, computation of turning angle of front wheel, and control of turning angle of front wheel. A reported and validated crop row detection method based on binocular vision was used to detect centerlines of crop rows. The initial alignment of tractor is located in the middle of the crop rows. Thus the centerline of that middle crop row would be the pathway during the path tracking. A computational model of the front wheel angle was built based on the pure pursuit method. The control of front wheel angle was designed based on the classical increment proportion-integral-derivative (PID) algorithm. Parameters of the PID controller were optimized with the genetic algorithm. Results of tracking a sinusoidal signal with the time of 5 s and 5° amplitude show that the control system responses quickly and overshoot is small. The software of the virtual test system was developed based on the C++ language in Visual Studio 2008. A tractor with the systems of front steering, rear driving and rear braking was used as the operation machine, the cotton at seedling stage was used as the target crop, and the crop row field was taken as the test scene. Virtual tests of tracking the curved crop rows at the tractor speed of 0.5, 1, 1.5, 2, 2.5, and 3 m/s were conducted. Results show that, the virtual test system simulates the crop field and tractor well in the virtual reality environment and can conduct the tests of tractor guidance based on binocular vision. The proposed method could provide theoretical basis and experimental data for the experiment and improvement of the guidance system. Results of path tracking are satisfying for the tractor speed within 2 m/s, and the amplitude, absolute average value and standard deviation of the position deviation are less than 0.347, 0.072, and 0.141 m, respectively; the amplitude, absolute average value and standard deviation of the direction deviation are less than 11.570°, 2.622°, and 4.462°, respectively.

virtual reality; tractors; navigation; binocular vision; scene modeling; path tracking; guidance test

10.11975/j.issn.1002-6819.2017.23.008

TP391.41

A

1002-6819(2017)-23-0056-10

2017-08-16

2017-11-25

國家重點研發計劃項目（2017YFD0700403）；國家863計劃項目（2013AA102307）

翟志強，男，內蒙古赤峰人，博士生，主要從事機器視覺、虛擬現實技術在農機導航領域的應用研究。Email：srtkyxz@cau.edu.cn

朱忠祥，男，浙江臺州人，副教授，博士生導師，主要從事農業機械的設計、仿真，以及自動控制研究。Email：zhuzhonxiang@cau.edu.cn