基于VR的農田環(huán)境監(jiān)測機器人研制

趙 靜,閆春雨,曹佃龍,姚 杰,賈 鵬,蘭玉彬

(山東理工大學 a.農業(yè)工程與食品科學學院;b.國際精準農業(yè)航空應用技術研究中心,山東 淄博 255000)

0 引言

農田環(huán)境信息的及時采集與分析,是實施精準施肥、精準灌溉等農田管理決策的重要依據。針對農田管理所需的多種環(huán)境氣象信息(風向、風速、溫度、濕度、光照強度、二氧化碳濃度、土壤及作物生長狀況等),如何高效地對各項環(huán)境參數(shù)進行監(jiān)測,是保證農作物健康生長的前提。目前,農田環(huán)境監(jiān)測存在地形復雜多樣、需監(jiān)測農田面積大、數(shù)據量大和設置的監(jiān)測點多等問題。因此,利用設置固定監(jiān)測點監(jiān)測農田信息是國內眾多學者研究的熱點。張騰飛等[1]設計了一種基于ZigBee技術的農作物環(huán)境信息采集系統(tǒng),設置固定監(jiān)測點,通過采用ZigBee無線通信技術采集光照、土壤溫濕度、空氣溫濕度等信息,經過網關傳輸?shù)缴衔粰C進行數(shù)據的處理。王箏等[2]在溫室大棚中部署多個不同傳感器節(jié)點,使用LoRa無線技術匯聚后發(fā)送給服務器,然后傳給控制端進行控制,抗干擾能力強、功耗低、可遠距離傳輸。張光玉等[3]設計了以物聯(lián)網為基礎采集環(huán)境信息的系統(tǒng),在監(jiān)測區(qū)域設置多個傳感器節(jié)點,相鄰節(jié)點組成簇,每個簇的簇首節(jié)點將簇中采集的所有數(shù)據經過數(shù)據融合、壓縮等方式發(fā)送給匯聚節(jié)點;然后,再通過互聯(lián)網和衛(wèi)星,將數(shù)據最終發(fā)送給任務管理節(jié)點進行管理。以上基于物聯(lián)網和設施農業(yè)的當環(huán)境信息采集,基本上都是通過搭建多處監(jiān)測點來監(jiān)測農田環(huán)境信息,投入成本較高,且監(jiān)測點固定不可變,監(jiān)測設備不可移動。

虛擬現(xiàn)實技術是新生代的信息交互技術,近年來不斷發(fā)展和完善,迅速在各個領域和行業(yè)都得到了廣泛應用,能夠增強人們對視覺的良好體驗。薛彩龍研究了基于VR技術的井下可視化監(jiān)測系統(tǒng),構建多個傳感器組成的不同監(jiān)測分站,將采集到的速度、壓力等數(shù)據展現(xiàn)在已經完成三維建模的煤礦井下排水系統(tǒng)及其結構分布圖中[4]。魏焱設計了基于VR的變電站智能巡檢場景,對變電站進行精細化三維建模,利用虛擬現(xiàn)實技術,將各種數(shù)據信息以三維建模為載體進行了綜合展現(xiàn)[5]。邵欣欣等設計了基于虛擬現(xiàn)實和物聯(lián)網的水環(huán)境檢測系統(tǒng),采用MQTTQ協(xié)議棧和線程池等技術, 根據傳感器采集到的水量和水質及污染物等信息,在虛擬現(xiàn)實環(huán)境中實時展示水環(huán)境的現(xiàn)狀,并通過傳感器對實時獲取的數(shù)據和實際水量調度方案進行一致性監(jiān)測[6]。

針對地面定點監(jiān)測存在無法更換監(jiān)測區(qū)域、監(jiān)測設備不可移動和數(shù)據顯示形式單一等不足等問題,設計了一種基于VR技術的農田環(huán)境監(jiān)測機器人。該機器人將VR技術與農業(yè)結合,一方面能夠促進我國農業(yè)的發(fā)展和擴大VR技術的應用領域,另一方面可以實現(xiàn)實時監(jiān)測多項農田數(shù)據。該機器人能夠將所獲取的農田環(huán)境信息經過可視化處理,傳輸至辦公室中的虛擬控制室,利用機器人采集傳輸?shù)霓r田環(huán)境影像獲得沉浸式體驗,為精準農業(yè)和無人農場的實施提供了一條新的思路,具有一定的參考價值。

1 總體方案設計

動態(tài)監(jiān)測農田環(huán)境信息具有自由選擇監(jiān)測地點、機動性良好和自主監(jiān)測等優(yōu)點,能夠快速高效地分析采集的數(shù)據,為農田進行精準施肥、施水、除蟲、除草提供數(shù)據?；赩R的監(jiān)測機器人主要由行走機構、硬件控制系統(tǒng)及VR可視化系統(tǒng)組成,如圖1所示。行走機構設計包含底盤設計與電機選型,硬件控制設計包含控制模塊設計、數(shù)據采集模塊設計、數(shù)據與控制指令傳輸模塊設計,VR可視化環(huán)境設計包含PC端三維虛擬環(huán)境建模、視頻流傳輸設計、服務器設計等。通過VR設備能夠在自主搭建的三維虛擬控制室看到可視化處理后的數(shù)據及機器人攝像頭捕捉的實時畫面,動態(tài)還原了農田環(huán)境,使用戶獲得沉浸式體驗,利用VR手柄還可遠程控制機器人行走。

圖1 總體方案設計Fig.1 Overall design

2 關鍵模塊設計

2.1 行走機構設計

行走機構設計包含了底盤及驅動設計,因不同的農作物農藝要求各異,故依據主要大田作物的農藝參數(shù),確定了具有一定適應性和通用性的車體外形尺寸,能夠滿足多種類型傳感器的搭載,同時避免作業(yè)時損傷農作物。利用Maya軟件按照1:1比例對機器人底盤進行建模,底盤模型如圖2所示。

圖2 Maya軟件建模的底盤Fig.2 Maya Softw are modeling chassis

履帶式行走機構具有支撐面積大、對地壓強小、抓地能力強及牽引附著性好等優(yōu)點[7]。為了更好地適應田間復雜地形,機器人采用金屬履帶式底盤。底盤采用浮動結構,具有減震、地面仿形功能。兩側金屬履帶分別由兩個無刷電機獨立驅動,履帶差速轉向。底盤采用金屬材料制作,增大底盤的質量以降低整車重心,可減少機器人行走時振動對傳感器的影響。機器人底盤如圖3所示。使用12V30W的直流電機驅動,配備12V30000mA的鋰電池供電。

圖3 機器人底盤Fig.3 Robot chassis

2.2 硬件控制系統(tǒng)設計

基于VR的無人農場環(huán)境監(jiān)測機器人的硬件控制系統(tǒng)包含數(shù)據采集模塊、控制模塊及數(shù)據與控制通信傳輸3個模塊。農田環(huán)境信息數(shù)據與圖像視頻信息通過數(shù)據模塊進行采集,數(shù)據傳輸模塊進行數(shù)據和控制指令的傳輸,控制模塊對機器人的行走進行控制。

2.2.1 控制模塊

采用預置64位Linux系統(tǒng)的樹莓派3B(Paspberry Pi 3B)(以下簡稱樹莓派)作為機器人主控中心。樹莓派是一個只有信用卡大小的、用來學習計算機編程教育的卡片式電腦,內置40個獨立的GPIO引腳,可外接各類傳感器模塊,讀取并傳送傳感器獲得的數(shù)據。樹莓派及接口介紹如圖4所示。

1.DSI顯示接口 2.LED系統(tǒng)指示燈 3.四核1.4GHz 64位ARMA53處理器 4.40pin GPIO接口 5.4xUSB 2.0接口 6.以太網接口 7.音頻輸出端口 8.攝像頭接口 9.HDMI接口 10.電源接口圖4 樹莓派及接口介紹Fig.4 Raspberry pie and interface introduction

機器人行進控制系統(tǒng)采用Arduino 開發(fā)板作為主控模塊,可同時輸出多個PWM(脈沖寬度調制)方波給電機驅動以實現(xiàn)調速,使機器人的行走便于控制。Arduino開發(fā)板的USB串口接口與樹莓派連接,實時接收樹莓派發(fā)送的串口數(shù)據,通過Arduino開發(fā)板中的程序對控制數(shù)據進行判斷,從而輸出高低電平信號控制電機工作。

2.2.2 數(shù)據采集模塊

所采集的數(shù)據分為兩部分:一部分是由樹莓派控制的機器人相機所拍攝的行進方向視頻數(shù)據及兩側作物的RGB圖像數(shù)據;另一部分是由Arduino開發(fā)板控制的多種傳感器所采集的農田環(huán)境數(shù)據。Arduino開發(fā)板連接的傳感器有GPS模塊、SHT11溫濕度傳感器、MG811二氧化碳濃度傳感器及GY-302光照強度傳感器等,與Arduino開發(fā)板通過串口、I2C等多種通信方式連接。

2.2.3 數(shù)據與控制通信傳輸

5G通信技術不僅繼承了2G、3G、4G無線通信技術本身的優(yōu)點,而且具有更高的傳輸速度、更強的兼容性和更好的安全性[8]。使用5G通信技術能夠使數(shù)據傳輸更加快速、安全,但目前5G通信技術還未完全進入商用階段。本機器人采用4G通信技術與TCP Socket通信協(xié)議進行數(shù)據和控制指令的傳輸。搭載樹莓派的機器人與安裝UE4軟件的本地電腦分別為客戶端1和客戶端2,云端服務器為服務器端。具體傳輸過程為:客戶端1中的樹莓派通過TCP Socket協(xié)議將采集匯總后的數(shù)據包發(fā)給云端服務器,并接收控制機器人行走的控制命令;客戶端2通過TCP Socket協(xié)議接收服務器上的數(shù)據包,并發(fā)送控制機器人的控制命令。傳輸控制系統(tǒng)示意如圖5所示。

圖5 傳輸控制系統(tǒng)示意圖Fig.5 Schematic diagram of transmission control system

3 VR可視化系統(tǒng)開發(fā)

3.1 PC端開發(fā)環(huán)境配置

PC端硬件配置:Intel Xeon E5-1650 v4 @3.60GHz處理器、內存為32G,顯卡為英偉達GTX 1070Ti、8G顯存。HTC Vive VR套件如圖6所示。軟件平臺為:64位Windows 7旗艦版操作系統(tǒng)、UE4軟件、Steam VR插件、Open VR 應用程序編程接口。通過UE4軟件的Web Brower插件對服務器的信息進行訪問,使用Virtual desktop軟件對訪問回來的數(shù)據進行可視化處理,VR效果便可真實地顯示在VR眼鏡中。

圖6 HTC Vive VR套件Fig.6 HTC Vive VR suite

3.2 服務器搭建

服務器采用騰訊云計算標準Web型服務器,基于云硬盤的云服器可以即時修改硬件配置及擴容磁盤。服務器帶寬采用3Mbps/s的帶寬來傳輸和接收數(shù)據流,達到了數(shù)據傳輸控制的基本需求,可以自由切換Windows與Linux系統(tǒng),支持綁定各種網絡環(huán)境,便于樹莓派或本地電腦對服務器端的數(shù)據傳輸。樹莓派為客戶端1,本地電腦端為客戶端2,客戶端1和客戶端2都是通過TCP Socket協(xié)議來實現(xiàn)與服務器端相互交流和數(shù)據傳輸。服務器與客戶端的Socket通信模型如圖7所示。

3.3 視頻流傳輸系統(tǒng)

視頻流傳輸系統(tǒng)主要包括800萬像素的高清攝像頭、樹莓派開發(fā)板、TCP Socket通信協(xié)議和基于OpenCV的計算機視覺庫。OpenCV是一個開源的計算機視覺庫,利用OpenCV能夠實現(xiàn)視頻圖像的捕獲。攝像頭將獲取的圖像傳輸給樹莓派,樹莓派對圖像進行壓縮處理上傳到服務器,服務器通過使用Python語言按照預設的分辨率和幀數(shù)進行打包編碼;客戶端2使用TCP Socket通信協(xié)議對服務器進行訪問,最終顯示在虛擬控制室的屏幕中。此外,樹莓派可獲取服務器傳回來的控制指令,控制機器人的行進與云臺相機的轉動。圖8為視頻流傳輸系統(tǒng)。

3.4 VR系統(tǒng)模塊開發(fā)

使用Maya軟件進行虛擬控制室的建模,包括田間作物、地塊模型及顯示屏幕等。將模型導入UE4軟件,進行貼圖和渲染等操作完成VR視覺效果場景搭建。VR場景效果通過VR眼鏡進行展示,三維虛擬控制室效果如圖9所示。數(shù)據可視化是一種運用圖像處理技術與計算機圖形學,把數(shù)據轉換為圖像或圖形顯示在屏幕上并進行交互處理的技術[9]。數(shù)據可視化技術提供了很多種形式的數(shù)據表示方法,如將數(shù)據以不同顏色、不同形狀的圖表、圖形動態(tài)顯示,再如動態(tài)變化的條形圖、風力風速圖、陰天雨天動態(tài)圖等,實現(xiàn)人與數(shù)據直接進行交互,有助于農場決策者更全面直觀的觀察和分析。使用虛幻引擎中的藍圖可視化腳本系統(tǒng)與C++語言進行編程,便可將從服務器獲得的數(shù)據進行可視化處理,顯示在三維虛擬控制室的屏幕中。同時,VR手柄控制機器人行走也是通過藍圖可視化腳本系統(tǒng)與C++語言編程完成,包含手柄控制程序、自動尋路及方向控制程序、接口通信程序等。Ureal Engine 4手柄部分控制程序如圖10所示。

圖10 Ureal Engine 4手柄部分控制程序Fig.10 Ureal Engine 4 Handle Part Control Program

UE4虛擬控制室—運動控制器組件加載源代碼:

void ABP_MotionController_C_pf563933975::PostLoadSubobjects(FObjectInstancingGraph*OuterInstanceGraph)

{ Super::PostLoadSubobjects(OuterInstanceGraph);

if(bpv__Scene__pf)

{bpv__Scene__pf->CreationMethod = EComponentCreationMethod::Native;}

……

if(bpv__SteamVRChaperone__pf)

{bpv__SteamVRChaperone__pf->CreationMethod = EComponentCreationMethod::Native;}}

4 機器人性能測試

機器人軟硬件系統(tǒng)集成搭建完成后,實物如圖11所示。

圖11 機器人實物模型Fig.11 Robot physical model

機器人的測試地點位于山東理工大學圖書館南側,具體測試內容為機器人直線行走、停車、轉向等遠程控制的實時性和靈敏性,采集的環(huán)境數(shù)據回傳的實時性及視頻回傳的流暢性。行進過程中,遠程控制機器人在20個不同的位置進行20次數(shù)據采集,并實時回傳各項環(huán)境監(jiān)測數(shù)據。

機器人采集的數(shù)據均可實時回傳至控制室后臺數(shù)據庫,在控制室顯示屏上可實時顯示采集的各項環(huán)境數(shù)據,數(shù)據及視頻實時傳輸流暢沒有卡頓。試驗測試的每條取樣信息包括所采集各項環(huán)境時間、經緯度、監(jiān)測數(shù)據種類及具體數(shù)據。采集的各項環(huán)境信息數(shù)據如表1所示。

表1 數(shù)據采集結果Table 1 Data acquisition results

測試結果表明:機器人視頻畫面?zhèn)鬏斄鲿?可以實時遠程控制其前進、后退、加速、減速等命令,在控制室電腦顯示屏上實時可視化顯示機器人采集到的環(huán)境數(shù)據及視頻,可視化數(shù)據顯示結果如圖12所示。

5 結論

農田環(huán)境監(jiān)測機器人將虛擬現(xiàn)實、三維建模、實時通訊、智能傳感與圖形顯示等多種技術集成應用,能夠遠程實時監(jiān)測、實時控制及虛擬體驗,實現(xiàn)在線回傳多種農田環(huán)境信息及作物影像,完成對農田環(huán)境信息的高效采集。采用4G通信技術與TCP Socket通信協(xié)議能夠進行數(shù)據和控制指令的傳輸,利用VR虛擬現(xiàn)實技術對采集到的數(shù)據信息進行可視化的顯示及存儲。