基于移動起降平臺的無人機定點降落混合模式探究

史欣茹 龍澤宇 鄒哲之 劉亦博 周 航

中國民航大學中歐航空工程師學院 天津 300300

一、概述

(一)研究背景

無人機是利用無線電控制技術和機載自動化控制裝置操縱的無人飛行器。近年來,無人機在長時監控、航空拍攝、電力巡檢、城市交通監控、災難現場搜救等任務中展現出了優秀的應用性能,其中無人機對可移動目標的追蹤定位問題一直是無人機技術研究的熱點。此技術在現實生活中有廣闊的應用空間和技術需求。例如,用于城市反恐中對犯罪車輛的跟蹤、通過無人機對風電葉片進行巡檢[1]。

同時,無人機追蹤定位技術始終存在技術局限,比如在復雜環境中進行人員搜捕時,或在對可移動目標進行追蹤巡航時,無人機只能追蹤帶有特定明顯特征的物體,無法追蹤沒有標識的目標。由于無人機載荷小、續航能力弱,飛行高度有限,其應用場景與使用范圍也具有局限性,難以完成遠距離載重任務,在結冰等極端天氣環境下的飛行高度與續航能力更大幅降低[2]。

無人載具的出現和應用,為解決無人機續航力短問題提出了新的思路:利用小型無人載具搭載無人機抵近目標,再在起降平臺上完成起飛,可有效彌補無人機續航缺陷,拓寬應用場景。在無人機與移動載具相結合方面,人們曾做出許多嘗試,該技術更多是用在軍事和城市治安上。例如,美研究人員構想未來軍事上將依靠空中/地面自主無人裝備,在無需士兵干預的情況下執行任務[3];無人機與熱成像動作捕捉技術相結合,可自動識別追蹤目標,善于發現隱蔽目標[4];中國防務公司發布的“空頭戰術機器狗”,利用機器狗攜帶武器,再由無人機運送,戰術上具備很高的潛力。

而在風電行業領域,無人機多用于風電巡檢,主要是對葉片的檢測。隨著風電生產管理向精細化發展,對風機組核心部件的運行維護水平提出了越來越高的要求。傳統的集電線路巡視都是靠人工步行或開車沿著線路路徑進行檢查,費人費力費時,而利用無人機巡檢結合移動載具,可提前規劃飛行路徑,且避免地形地勢影響,大幅提高工作效率。因此,在無人機結合移動起降平臺背景下,研究一種在室外實現精確、魯棒的垂直降落系統十分必要。

(二)國內外研究現狀

無人機定點降落技術應用面廣,吸引大批國內外學者及研究團隊對其進行研究,在無人機視覺識別下降理論和實踐方面都取得了很多成果。

2019年,Miller等[5]針對下降過程中無人機數據精度的不準確性提出了計算機視覺——光流法,之后SANI等[6]基于單目相機與卡爾曼濾波開發了一種無人機精確降落新方法,通過PID反饋不斷調節無人機位置。同年,Palafox等[7]通過搭載機載處理器對圖像信息進行實時處理,避免了離線處理的傳輸延時。Respall等[8]提出了一種檢測與跟蹤相結合的高效檢測框架,利用視覺目標跟蹤算法持續跟蹤目標位置,具有更高效率。

國內關于無人機在可移動平臺上的自主降落技術研究起步時間晚于國外,但在近幾年也同樣取得了一些突破。

2009年清華大學Zeng Fucen[9]等,通過采用模板匹配算法進行檢測識別,自適應閾值分割算法來提升算法精確度。2012年韓利華[10]提出將視覺與慣性導航融合的方法,2016年國防科學技術大學金紹港[11]提出利用ROI區域選擇法及CMT目標跟蹤算法進行圖像檢測,縮小圖像遍歷像素。2018年學者Feng Yi等[12]在文章中模擬預測控制方法應用于無人機降落問題,使用了仿真環境進行模擬驗證,效果良好。

綜上可知,無論國外還是國內在無人機基于可移動平臺的自主降落技術上已有大量研究。然而在室外復雜環境中,如何確保圖像定位識別準確性,避免不同時段光線強弱、風力、相似標志等環境因素的干擾,在著陸過程中對無人機進行穩定控制,同時做到盡可能提高圖像處理速度,縮短響應時間,仍有待進一步研究。

本文研究無人機在可移動平臺上實現由遠及近的自主降落的一種混合模式。首先應用可移動載具與無人機的位置信息交互進行粗定位,再利用對機器狗的目標識別進行精準定位,最后利用二維碼作為關鍵參照物,通過無人機視覺精準降落方法與技術,完成無人機的自主精準降落。

二、基于移動起降平臺的無人機定點降落混合模式概述

為了使得無人機在野外能夠自主完成移動平臺上的起降,我們提出基于移動起降平臺的無人機定點降落混合模式。由衛星導航粗定位、目標識別、二維碼精準降落三部分組成。

(一)衛星導航粗定位

由于無人機攜帶的視覺設備可觀察范圍受限,因此在遠程導引階段,即在視覺設備因為距離問題而無法捕獲標識信息時,采用衛星導航等方式將無人機引導到機械狗附近。基站通過預定算法對無人機進行運動控制,使機械狗處于視覺設備可觀察范圍之內。

(二)YOLOv5識別完成對機械狗的跟蹤

無人機攜帶的視覺傳感器對機械狗所在區域掃描拍攝,經過圖像的預處理后,由所配置的YOLOv5程序進行識別,判斷機械狗的準確位置,在程序評分較高的條件下生成無人機和機械狗之間的相對位置和相對運動關系。基站根據相對位置和運動關系生成導引指令,遞交給無人機的飛行控制系統使其以合適的方位和速度靠近機器狗。

(三)二維碼引導的精準降落

在二維碼進入相機視野范圍內后,利用P4P等圖像處理技術,對二維碼圖像進行采集,邊緣處理,將處理后的二維碼信息反饋給無人機飛行控制系統,并完成分別以機械狗、云臺相機和無人機為參考系的坐標轉換,得到無人機與平臺的相對位置,控制無人機迅速且準確地達到期望狀態,如此不斷進行反饋,使無人機沿著以機械狗為參考系的指定線路抵近,到達二維碼正上方進行降落,最后在到達安全高度后關閉電機,完成降落。

由上述可得無人機降落基本流程如圖1所示,在后續三個章節中將詳細論述三個過程采用的具體方法。

圖1 無人機由遠及近的基本降落流程圖

三、衛星導航信息交互

無人機在飛行過程中,其狀態要實時反饋,為了精準和及時對無人機發出指令,我們要獲取無人機的飛行位置。目前無人機多采用GPS方法定位,因為GPS的精確度不足以支持無人機進行精準操作,且準確度易受到復雜天氣影響,故在定位時往往采用GPS+的模式。

全球衛星定位系統(GPS)的應用是基于衛星發射信號給定位端,當定位端同時收到4顆以上的衛星信號后,再根據相關的定位算法算出其當前所處位置的三維坐標、速度和時間等,如圖2所示。

圖2 衛星導航原理示意圖

無人機在向可移動平臺(機器狗)移動過程中,我們要實時定位無人機與機器狗的位置。地面控制站先對無人機進行數據采集、數字變換、圖像處理、隨后存入地面控制站計算機,建立數字地圖庫,再將建立的無人機電子模型傳遞到用戶端,用戶端根據需求對無人機發出調整指令。最后,由無人機的飛行控制伺服系統根據指令完成對無人機姿態和方位的調整,由此獲得無人機的實時位置。

在對無人機和機器狗利用GPS進行粗定位后,我們獲得兩者的大致位置,隨后使無人機移動至機器狗附近,如圖3所示。

圖3 衛星導航粗定位流程圖

圖4 機器狗識別框架

四、目標識別方法

在完成衛星導航粗定位后,無人機需對目標平臺進行進一步精確定位。考慮到YOLO在模型快速部署上占據極大優勢且在靈活性與速度上也強于其他目標檢測模型,NVIDIA平臺在運行深度學習方面擁有成熟的技術。本部分首先介紹YOLOv5[13]對特定目標識別的基本原理,再結合Unitree機器狗以及NVIDIA的Jetson Nano/Tx2芯片,使無人機能完成對機器狗的識別。

(一)YOLOv5目標識別

YOLO算法是目前深度學習中的一種目標檢測算法,這個算法由Redmon等[14]提出,通過一個網絡實現了目標檢測的分類以及定位,現在YOLO算法在目標檢測中得到了廣泛的應用,YOLOv5于2020年推出,具有體積小、速度快和精度高的優點,并且完全可以在具有成熟生態的PyTorch中實現。因此我們選取YOLOv5目標檢測算法對Unitree機器狗數據集進行檢測與識別。

(二)機器狗推理模型

該模型如圖所示分為兩個部分:訓練階段和測試階段。在訓練階段,將訓練集輸入模型進行訓練。在測試階段,模型完成對輸入圖像的機器狗檢測。該模型對Unitree機器狗預測得分進行處理,然后將預測的機器狗得分繪制在輸出圖像上。

(三)數據集以及訓練權重

構建一個機器狗數據集。目前研究中沒有公開、通用的Unitree機器狗數據集,因此我們在Google等搜索引擎以及自主拍攝收集了約一千三百張Unitree機器狗照片,為了避免數據的重復和錯誤,我們從不同的角度、距離以及姿態選取機器狗照片。隨后建立樣本庫,為獲取的圖像標記類別。在此數據集中,利用標記工具Labelimg對圖片中的Unitree機器狗進行了標記:首先從數據集圖片中利用矩形框框選出相應的目標;Labelimg自動將標記后的標簽儲存為TXT格式的文件;最后將標簽完成的數據集按照一定比例劃分為訓練集和測試集。

對本文YOLOv5s算法模型進行訓練,訓練后的Precision、Recall和mAP如圖5所示。

圖5 訓練結果

在前20epochs,機器狗的訓練模型的Precision、Recall和mAP上升都比較快,在訓練100epochs后已經達到一定的精度,在訓練200epochs后已經接近最優值,達到可以作用于無人機上對機器狗進行檢測的效果。

(四)作用在無人機上的方法

在基站的工作臺內配置YOLOv5環境,導入在上一階段中已經訓練好的機器狗權重文件,通過無人機搭載的視覺傳感器,將捕捉后經過預處理的機器狗圖像傳輸到基站。由基站上所搭載的Jetson Nano/Tx2芯片對傳輸回來的圖像進行分析,根據分析結果所得的分數判斷目標是否為目標機器狗。當所得分數較低時,基站傳達指令要求無人機重新進行衛星定位校準目標。所得分數較高時,基站向無人機傳達指令執行降落流程。

五、二維碼識別降落

通過基于YOLOv5的目標識別方法,無人機逼近目標附近并懸停至移動平臺(機器狗)正上方,此時利用二維碼識別技術,進行最終降落。本文的二維碼采用的是廣泛應用于增強現實標記的ArUco碼,如圖6所示。

圖6 典型ArUco碼

圖7 組合二維碼及排列式二維碼

此標記碼本質上是編有漢明碼的黑白格子圖,由于漢明碼有獨特的數據編碼方法,可以利用奇偶校驗位的概念很好地檢測編碼數據的有效性,同時也能保證二維碼檢測的可靠性。為了進一步提高二維碼檢測的效率與范圍,本文給出兩種可行的二維碼組合方式。

通過二維碼識別的流程如下:當無人機識別到機器狗搭載的二維碼時,先要對輸入視頻的圖像進行預處理。使用一次金字塔濾波濾除圖像噪聲。隨后無人機利用P4P算法識別檢測二維碼,可識別圖像上所有特征點的坐標值,完成檢測后輸出檢測匹配二維碼的四個角點坐標值。利用四個角點的數據能夠解算相機的內參矩陣R、T。再通過內參矩陣把機器狗的位置坐標轉化到大地坐標系。在大地坐標系中,無人機飛行速度與飛行距離成正比,將得到的位姿數帶入PID算法,從而能實現跟蹤并且與機器狗相對靜止的目標。當無人機能夠穩定保持在機器狗正上方時,無人機會以人工所設定的頻率自動下降一定高度,隨后再通過PID算法調整與無人機的位置,以此為循環。直至無人機到達人工所標定的機器狗高度后,無人機自動關機,整個降落流程結束。

結語

本文針對基于移動起降平臺的無人機定點降落問題,提出由遠及近的混合降落模式,由GPS衛星導航系統實現無人機與起降平臺(即機器狗)的粗定位,再利用YOLOv5目標識別算法,使無人機識別并逼近目標平臺,最后利用P4P等圖像檢測技術,完成基于二維碼圖像識別的精準降落過程,從而解決無人機靠近平臺與無人機在指定點位精準降落兩部分難題,為無人機在風電場復雜環境中的定點降落提供可行思路與理論支撐。