基于深度學習的種植園巡檢機器人的研究

譚慶吉

(黑龍江農墾科技職業學院，黑龍江 哈爾濱 150431)

1 研究主要內容

基于深度學習的種植園巡檢機器人主要研究內容如圖1所示。

圖1 本研究課題的主要研究內容

從圖1可以看出，巡檢機器人主要研究內容包括4個模塊：輪式移動機器人底盤設計模塊、各種傳感器模塊、各種傳感器數據處理模塊和各種數據可視化模塊。具體研究內容如下：

(1)輪式移動機器人底盤設計。設計內容涉及機器人行走輪子的設計與驅動、機器人行走驅動模塊設計。使用4個直流電機來設計機器人的行走機構。輪式移動機器人底盤的驅動模塊使用基于STM32主控板來控制機器人的電機，實現對機器人的行走控制。

(2)傳感器模塊。傳感器模塊涉及環境數據的采集與處理，包括：測距的二維激光雷達、視頻和圖像采集模塊、遠程通信模塊和GPS定位模塊。該研究內容的主要任務是開發輪式移動機器人上搭載的各種傳感器模塊的數據采集與傳輸軟件包，用于將傳感器采集到的數據發送給上層軟件和程序庫。

(3)機器人地圖構建。該模塊的研究內容是種植園區內機器人移動地圖構建。利用機器人平臺上搭載的激光雷達傳感器和圖像與視頻傳感器實時構建種植園的機器人移動地圖。利用深度攝像頭采集場景的彩色圖像信息和深度信息，重構種植園的三維空間，用于機器人路徑規劃和定位。

(4)機器人路徑規劃與定位。機器人路徑規劃與定位是基于我們已經建立的種植園三維空間地圖，為了實現某一目標而對機器人在種植園的行走進行路徑規劃，而這一任務離不開機器人的實時精確定位，利用卷積神經網絡框架從深度圖像數據中提取環境的特征信息，用于機器人定位。在機器人路徑規劃中，利用強化學習框架來實現機器人在種植園內有目的地移動，進而完成預定的任務。

(5)機器人避障。探測器人行走過程中，如何設計避開前面障礙物。擬利用裝載在機器人平臺上的激光雷達傳感器探測機器人行走前方是否有障礙物，如果有障礙物，設計機器人避開障礙物的行走路線。

(6)植物生長監測。利用植物生長傳感器監測種植園內植物的生長狀態，包括植物的高度、植物的水分、花的開放情況、土壤參數、植物的病蟲害情況。

(7)數據傳輸。將機器人上搭載的傳感器感知數據通過無線發送模塊發送到服務器或者上位機。該模塊涉及可靠數據傳輸與接收，視頻和圖像等大量數據傳輸，實時機器人控制數據傳輸。

(8)數據可視化。將機器人傳感器采集的數據在服務器或者上位機上以圖形化方式顯示出來。該研究內容涉及種植園地圖構建與顯示、種植園三維模型建立、種植園路徑規劃顯示等。

2 解決的技術難點和問題

2.1 機器人傳感器實時數據采集與傳輸問題

機器人平臺上搭載的傳感器數據是用來實時檢測種植園內各種參數，并將采集到的數據實時傳輸到指定的上位機或者服務器。由于機器人平臺上搭載了多個傳感器，比如激光雷達、超聲波傳感器、紅外傳感器、語音采集模塊、圖像和視頻采集模塊、電機編碼器等。由于機器人平臺的限制，不可能在機器人平臺上安裝處理能力強大的CPU模塊，因此，如何在計算資源有限的條件下實現上面所有傳感器的實時數據采集和傳輸就是一個關鍵的問題。因為，機器人在行走過程中，傳感器模塊需要實時采集機器人周邊的環境信息，用于導航與避障。由于機器人計算能力的限制，通常情況各種傳感器數據采集與傳輸的延遲，從而使得機器人的決策滯后，這將導致機器人行走決策的錯誤，將無法實現正確的路徑規劃和定位。因此，該項目的1個關鍵問題是設計1套高效的機器人傳感器數據實時采集與傳輸策略，為種植園三維地圖構建和機器人定位提供可靠的環境數據。

2.2 種植園三維地圖構建問題

種植園三維地圖是機器人在園內行走的基礎。該問題的核心是利用機器人平臺上搭載的激光雷達傳感器和深度攝像頭實時建立種植園的三維地圖，在三維地圖中標注種植園內植物的顏色和三維幾何信息，用于機器人的空間定位。在種植園三維地圖構建過程中，需要解決的問題是：不同空間坐標系的轉換、空間三維點云數據濾波、地圖可視化。

2.3 機器人路徑規劃和精確定位問題

由于在種植園內無法使用GPS定位系統，因此，種植園內的機器人無法使用GPS系統實現汽車定位和路徑規劃。種植園內的機器人只能基于已經建立的三維空間地圖，實現園內機器人路徑規劃并利用圖像匹配的方法實現機器人精確定位。

3 創新點

(1)融合激光雷達采集的點云數據和深度攝像頭采集實現實時構造種植園的三維空間地圖；

(2)利用深度卷積神經網絡和強化學習框架實現機器人在種植園內的行走路徑規劃和精確定位；

(3)針對種植園的特定環境，設計種植園智能監測移動機器人用于實現種植園無人或者遠程檢測。

4 結論

結合深度學習框架和強化學習理論，研究并設計種植園巡檢機器人系統。通過在巡檢機器人上安裝多種環境信息采集傳感器來獲取機器人所在的種植園的環境信息，機器人利用傳感器所獲得的環境信息，實現機器人自身的巡檢路徑規劃，機器人同時能有效避開行徑前方的障礙物。同時，巡檢機器人能夠利用傳感器模塊采集種植園內植物的生長參數，機器人采集的生長參數信息通過物聯網平臺遠程發送到云服務器。