基于深度神經網絡的無人機路徑決策的研究

周思達，邱 爽，唐嘉寧，郭 川

(電氣信息工程學院，云南 昆明 650000)

1 引言

隨著無人機技術進入民用市場，無人機被廣泛應用于軍用和民用領域，在地貌探索，搜索救援，應急監測等方面發揮著日益重要的作用。

環境感知是無人機自主導航的關鍵，為了安全穩定的執行飛行任務，無人機在運動過程中必須實時對周圍障礙物做出反應。近幾年，國內外的專家學者已對無人機的自主導航飛行開展的大量研究，這些研究可分為兩個方面：一方面是無人機在運動的過程中實時檢測周圍環境，探測周圍障礙物從而實現避障；另一方面是利用路徑規劃算法在已知環境障礙物的情況下規劃路徑[1，2]。

基于路徑圖、人工勢場、單元分解的規劃算法[2]是在已知環境障礙物的情況下的三種飛行航跡規劃方法。其中基于路徑圖的方法是要根據一些給定的方法把可以通行的沒有障礙物的路徑轉變為一條條有向線段的合集，然后再在這些合集里尋找更符合的路徑。對于人工勢場法，要假設吸引力和排斥力，吸引力引導無人機靠近目標，排斥力阻止無人機靠近障礙物。對于單元分解的規劃算法，要將飛行空間劃分成大小相同的單元格，再用適合的算法搜索單元格，最后選出符合飛行的單元格序列。然而這三種航跡規劃方法必須一定要在已知環境障礙物的情況下進行。

對于無人機實時的飛行探索，主要是依靠各類探測傳感器及交互應答協議對障礙物進行避障處理，傳感器主要包括光電、電磁等常用的傳感器。對于長期技術研究階段則采用光電、激光和雷達技術來實現。如2016年，Barry領導的團隊就利用立體激光掃描器來感知周圍環境，從而實現了每小時30英里的高速避障飛行[3]。因而，飛行探索傳感器的靈敏度和精確度將直接決定飛行任務的成敗。

但不管是依靠哪種路徑規劃的算法，在山野小路，湖泊叢林這樣復雜多變的非結構化環境以及較為封閉的室內場所中往往會因為信息量巨大而導致無人機的飛行判斷出現錯誤[4]。因此，無人機在這樣的環境中識別路徑并進行路徑決策更具挑戰性。

最近幾年，深度學習已成為各種計算機視覺任務的強大工具，它的優勢之一在于它的通用性：從海量的信息中直接提取特征而不需要算法設計師進行特征的選擇和設計。將深度學習應用到無人機的自主導航上，讓其直接從海量的環境信息中提取特征，從而為無人機的自主導航探索提供更為充分的依據。

文獻[5]利用深度學習從輸入圖像中提取每個像素的特征向量，利用支持向量機在線進行自監督學習，通過訓練后的分類器進行道路/非道路分類。為無人機沿著道路避障飛行提供了一定的參考。

Laddha等[6]利用GPS和慣性測量單元對道路上可飛行路徑進行自動標注，利用卷積神經網絡來進行訓練完成路徑識別。但預處理手段極其復雜，無人機飛行性能往往由復雜的計算和大量的訓練數據決定。蘇黎世大學Scaramuzza等[7]首次將路徑導航轉化為神經網絡的分類問題，根據識別到的路徑位置來判斷無人機的位置方向，研究者通過頭戴三個不同方向的攝像頭，在山野，湖泊，荒原各種不同的環境中行走，組成了數據集IDSIA.利用神經網絡判斷所處環境中路徑的位置，判斷無人機實時的飛行方向，從而完成無人機的自主飛行。這種方法是深度學習在無人機航跡規劃上的一次較為成功的嘗試，識別成功率甚至能接近90%。

以往的無人機航跡規劃方面的研究主要集中在傳統的路徑規劃算法上，基于深度學習的無人機路徑識別還較為少見，對于復雜環境下無人機的飛行探索，使用深度學習的方法利用端對端的的神經網絡能直接對無人機的飛行路徑進行識別，從而控制無人機的飛行。和傳統的方法相比較，基于深度學習的方法具有魯棒性高，適用范圍廣的特點。但由于現實環境多種多樣，如在森林或是城市飛行時，參考物和特征(線、面、體)極不明確，環境是顯著非結構化的，在這樣的環境中，無人機的判斷能力會顯著下降，從而大大降低無人機飛行的安全性和穩定性。

本文搭建了一個深度殘差網絡模型，首先將相機獲取的普通彩色RGB圖作為輸入，通過訓練學習，得到能預測無人機三種飛行方向(左/中/右)的訓練模型，再利用小覓深度攝像頭D1000-IR-120采集不同建筑環境內的深度圖片，利用神經網絡遷移學習的原理，將包含深度信息的數據進行訓練學習，大大提高了在各種不同環境下的飛行準確率。由于數據集包含了大量室外非結構化的環境，也包含了室內結構化的建筑場景，擴展了無人機路徑識別飛行的適用范圍，與傳統卷積神經網絡單單使用RGB圖進行訓練的方法相比，本文提出的方法提高了無人機飛行探索的安全性和穩定性。

2 基于深度殘差網絡的航跡決策方法

AlexNet、VGG、GoogLeNet等網絡模型的出現將神經網絡的發展帶入了幾十層的階段，研究人員發現層數越深的網絡泛化能力會越強[8]。但網絡層數越來越深又會因為梯度彌散和梯度爆炸現象造成網絡難以訓練。2015年，微軟亞洲研究院何凱明等人發表了基于Skip Connection 的深度殘差網絡(Residual Neural Network，簡稱ResNet)算法[9]，其原理是在l輸入和輸出之間添加一條直接連接的Skip Connection可以讓神經網絡具有回退的能力，通過這種方式可以選擇是否經過這層卷積層還是跳過卷積層選擇Skip Connection，亦或是結合卷積層和Skip Connection的輸出。

2.1 深度殘差網絡特點分析

本文采用殘差結構的網絡來解決網絡退化的問題。假設將模塊的的輸入設為X，將在卷積層的映射設為F(X)，模塊的輸出為H(X)，因此模塊的輸出則可以表示為H(X)=F(X)+X。殘差網絡的越層連接將輸入的信息跨越中間層傳輸到了后層，這樣就保證了信息的完整性。殘差結構有兩層，輸入X通過殘差映射后輸入到下一層，表達式如下

yl=F(xl，{Wl})+h(xl)

xl+1=f(yl)

(1)

其中，F(x)為殘差函數，xl和xl+1分別為第l個殘差單元的輸入與輸出，恒等映射的表達式為h(xl)=xl，ReLU激活函數為f(x)。從上式可推出從淺層l到深層L的學習特征為

(2)

那么反向傳播的梯度通過鏈式法則就可以求出

(3)

其中，?loss/?xl是損失函數到L層的梯度，括號中的前一項表示梯度經過了Wi層，1表示無損信息能夠通過越層連接，所以即使殘差的梯度較小，+1也能確保梯度不會消失。

2.2 RGB數據集的采集方法

本文利用的部分RGB數據是蘇黎世大學Scaramuzza教授的研究組發布的IDSIA數據集。數據集是由頭戴三個攝像頭的徒步者沿著室外不同環境的路徑迅速行走而采集。頭戴的三個攝像頭平行排列，中間的攝像頭指向正前方，左邊和右邊的攝像頭分別朝向道路兩邊。IDSIA數據集就由三個攝像頭采集的圖像序列組成。三個攝像頭采集的數據就分成了三組標簽，沿著道路左邊邊緣的數據由靠左的相機采集，則標簽定位左轉。中間攝像頭采集的數據標簽為直行，右邊攝像頭采集的數據標簽為左轉。

圖1 F-RSENET網絡架構

2.3 深度殘差神經網絡的結構

文章采用了深度殘差神經網絡來對圖像進行分類處理，其主要架構基于resnet-18[10].為了提高網絡訓練的收斂速度，將每個殘差塊后批處理化的過程取消。于是其具體結構如圖1所示。首先，將IDSIA數據集中的RGB圖像裁剪成320×180大小的圖片作為網絡的輸入。其中，網絡的殘差模塊一共有四個，每一個殘差模塊包含兩個基礎塊，每個基礎塊實現兩個卷積層，因此卷積層的數量是4×2×2=16。這樣再加上初始的卷積層和最后的全連接層，一共是18層的網絡。其中第一個卷積核是7×7外，其余卷積核的大小都是3×3.部分層采用了步長為2的下采樣，其余步長則都為1。池化層都采用平均池化的方法，最后輸出三類結果，表示的是左轉，直行，右轉三個無人機飛行方向的概率。

3 深度圖的制作及應用

3.1 深度圖的原理

采用普通RGB彩色圖進行訓練，在道路邊緣模糊或是周邊較為空曠的場景下，網絡的誤判概率很高。這是由于RGB圖在某些場景受環境光照和陰影的影響比較大，從而導致圖像紋理信息不明顯，網絡無法通過圖像特征將其區分開造成的[11]。如圖2表示的就是網絡判斷錯誤的RGB圖。基于這一事實，本文考慮到若是能獲取到圖像的深度信息，這一問題就迎刃而解了。

圖2 誤判的某些RGB圖

傳統的機器視覺是現實的三維環境投影成二維圖像，再建立圖像信息與環境特征的數學模型。RGB彩色圖就是通過這一方法獲得的，因而損失了深度等信息。與之相反，深度圖像與環境光照和陰影沒有關系，深度圖像的每一個像素點都能夠清楚的表達環境的表面幾何形狀。與RGB彩色圖相比，深度圖像處理對環境的幾何形狀和物理特征都沒有任何限制，它能直接利用環境中的三維信息，從而能大大簡化對三維環境的識別和定位問題[12]。

本文采用雙目立體視覺理論來獲取深度圖，雙目立體視覺理論的基礎是人類對視覺系統的研究，通過對雙目立體圖像的處理，獲取場景的三維信息。在雙目立體視覺系統中，深度信息是分兩步進行獲得的：首先，在雙目立體圖像之間建立點與點之間的關系，求出對應點的視差圖像，然后再根據對應點的視差計算出相應像素點的深度[13]。

作為基于視覺識別的3D傳感器，本文采用了小覓雙目攝像頭作為深度信息的采集工具。雙目攝像頭對同一場景環境下的圖像進行拍攝，運用立體匹配算法獲取視差圖，視差圖表示了空間物體在水平方向上左視圖與右視圖的像素差值。那么，可通過公式推導出深度z與視差的關系為

(4)

其中，b為雙目相機的基準線，f為相機的焦距(相機的焦距一般有fx和fy，但因為視差只在x方向，所以直接取fx即可)，d的單位是像素pixel，XR和XT的單位是毫米。

3.2 深度圖像數據集的采集與制作

本文采用的深度圖片數據集的采集方法和IDSIA數據集的采集方法類似，由于沒有三對雙目攝像頭，數據集的采集分為三個步驟依次完成。首先將雙目攝像頭指向正前方，與徒步者視角一致，沿著道路迅速行走并保持攝像頭盡量穩定。然后將雙目攝像頭朝左偏移固定的角度，沿著同樣的道路行走。最后，將雙目攝像頭朝右偏移固定角度，沿著道路迅速行走。這樣，就用同一組雙目攝像機采集了三組不同的圖像序列。再經過雙目視覺理論的處理之后，就得到了三組包含深度信息的深度圖。其中指向正前方采集的圖像標簽為直行，朝左偏移的雙目攝像頭采集的圖像標簽為右轉，朝右偏移的雙目攝像頭采集的圖像標簽則為左轉。下圖3是為進行可視化將采集到的深度圖轉換成偽彩色圖的效果。

圖3 深度圖像分類標簽

4 實驗結果與分析

4.1 數據集處理

本文實驗一共采用了兩個數據集，首先采用的是室外數據集IDSIA對網絡進行訓練，IDSIA數據集包含多種多樣的室外道路類型，不管是寬闊的森林平原還是狹窄的山谷小路。拍攝的環境有雨天，陰天甚至下雪。其次本文也采用了自己利用雙目攝像頭采集與制作的深度圖像數據集，該數據集同樣包含三組標簽(左轉，右轉和直行)，采集的數據集主要是校園室內，走廊等無人機能自由飛行的一些場景。這樣無人機的室內室外環境都有所涉及，大大增強了網絡預測的泛化能力。本文也采用了多種經典方法對數據集進行擴充增強，如隨機翻轉和旋轉等。本文使用的軟件平臺為深度學習框架tensorflow2.0．

4.2 實驗結果與分析

表1是無人機在IDSIA數據集和深度圖像數據集下卷積神經網絡CNN和本文采用的深度殘差網絡F-resnet的飛行識別準確率。從表中可以看出，使用深度殘差網絡模型要比普通網絡模型的效果要好，傳統卷積網絡隨著層數加深，學習效率反倒會變得很低，而殘差網絡內部殘差塊使用的跳躍連接的方式，大大緩解了普通卷積網絡隨著深度增加出現的梯度消失的問題，從而提升無人機的識別準確率。另外，相較于只利用RGB圖訓練或是只利用深度圖像這種單一圖像進行訓練的方法，使用包含有深度信息的深度圖片進行遷移學習能讓無人機的判斷準確度有所提升。可以看出的是，在道路邊緣比較模糊，場景的環境較為空曠且光線過暗或過明時，普通RGB圖的紋理特征和顏色特征很不明顯，神經網絡很難提取到特征信息。因此很難判斷出準確的路徑位置。如下圖的某些場景。而深度圖像的優勢在于它的每個像素點都反映了場景中的物體到搭載在無人機上攝像頭的實際距離。也就是說，神經網絡獲取到的圖片實際上是包含了深度距離信息的矩陣，從而有效提高了路徑位置的判斷準確率。

表1 無人機在IDSIA數據集和深度圖像數據集下CNN和F-resnet飛行識別準確率

5 總結

本文提出了一種深度殘差學習模型F-RESNET，使無人機能在室內室外的某一路徑飛行時對飛行方向具有一定的判斷能力。使用殘差網絡構建模型，利用越層連接的原理實現了對更深層次網絡的訓練，不僅提升網絡的識別準確率，也提高了網絡的收斂速度。其次，再利用RGB圖獲取顏色信息和紋理信息的同時，使用雙目立體視覺理論獲取了深度圖像數據集，給網絡訓練增加了距離信息。最后的實驗也表明，本文提出的網絡模型提高了普通卷積模型的識別準確率，在無人機自主航跡規劃方面具有一定的實際應用價值。