基于旋翼飛行器的雙目視覺定位實驗設計

張玲 熊智 劉建業 張苗

摘要為了打破傳統的“灌輸-驗證式”教學模式，滿足自動化專業的實驗與實踐教學要求，結合旋翼無人機的運動特性，本文設計了基于旋翼飛行器的雙目視覺定位綜合實驗。首先，基于雙目視覺里程計原理建立了雙目視覺里程計誤差模型，開發了基于雙目視覺里程計的三維構圖技術。在此基礎上，通過大疆公司的旋翼無人機平臺，搭載雙目相機，采集旋翼無人機的運動位姿信息，并利用Ubuntu系統中的ROS環境解算獲得旋翼無人機的位姿結果。該實驗融合了導航定位、傳感器檢測等多門理論課程知識，采用“思考-創新式”教學方式，具有良好的開放性和廣泛的應用性，有利于檢驗和激發學生對所學專業知識靈活運用的工程實踐和創新能力。

關鍵詞 旋翼飛行器 雙目視覺 導航定位

中圖分類號：V249.1文獻標識碼：ADOI：10.16400/j.cnki.kjdk.2021.28.018

Experimental Design of Binocular Vision Positioning Based on Rotorcraft

ZHANG Ling[1][2]， XIONG Zhi[1]， LIU Jianye[1]， ZHANG Miao[1]

（[1]CollegeofAutomationEngineering，NanjingUniversityofAeronauticsandAstronautics，Nanjing，Jiangsu211106；

[2]CenterofFacultyDevelopmentandTeachingEvaluation/InstituteofHigherEducation，NanjingUniversityof AeronauticsandAstronautics，Nanjing，Jiangsu211106）

AbstractIn order to break the traditional "indoctrination verification" teaching mode and meet the experimental and practical teachingrequirementsofautomationspecialty，combinedwiththemotioncharacteristicsofrotorcraft，thispaperdesignsabinocular visionpositioning comprehensiveexperiment based on rotorcraft. Firstly， basedon the principle of binocularvision odometer，the errormodelofbinocularvisionodometerisestablished，andthe3Dcompositiontechnologybasedonbinocularvisionodometeris developed. On this basis， through Dajiang company’s rotor UAV platform， equipped with binocular camera， the motion pose informationoftherotorUAViscollected，andtheposeresultsoftherotorUAVareobtainedbyusingtheROSenvironmentinthe Ubuntu system. The experiment integrates the knowledge of navigation and positioning， sensor detection and other theoretical courses， adopts the "thinking innovation" teaching method，has good openness andwideapplication， and is conduciveto test and stimulatestudents’engineeringpracticeandinnovationabilityofflexibleuseofprofessionalknowledge.

Keywordsrotorcraft； binocular vision； navigation and positioning

隨著現代化社會的發展，各類行業對智能感知也提出了越來越迫切的需求，民用無人機得到了較大的發展，以大疆科技為代表的企業以代表了國際無人機行業的最高水平。視覺傳感器成本的降低和機載運算單元實時處理能力的提升，在室內、建筑群等北斗衛星信號無法正常接收的應用環境中，以視覺里程計為代表的視覺導航技術逐漸發揮出其在載體位姿估計中的優勢，近年來成為國內外無人機、無人車等行業的研究熱點。

因此，針對自動化專業導航方向的學科研究背景，擬開展基于旋翼無人機“智能感知導航”混合式教學的研究與實踐，開發基于雙目視覺相機的多旋翼飛行器定位實驗平臺，設計了基于雙目視覺里程計的定位綜合實驗內容，綜合了“定位與導航”“測試信號處理”等相關專業基礎課程知識，鼓勵學生全方位、多維度的掌握和運用學習的專業知識，有利于引導學生積極主動的思考與創新，最終培養具有航空航天和國防特色的專業人才。

1雙目視覺里程計基本原理

目前在視覺里程計中廣泛使用的圖像處理方法主要有兩種：直接法，以圖像的像素灰度變化為依據來進行運動估計，雖然計算速度快，但由于環境干擾，精度不高；特征點法，標記圖像中灰度變化明顯的點為特征點，以不同圖像中同一特征點之間的關系進行運動估計，具有較強的魯棒性。使用成熟的張友正標定算法對雙目ZED相機進行內參矩陣標定，圖3選取了標定實驗所采集圖像中的其中一幀，識別標定板中的角點并利用投影關系構造約束方程，解算出相機的內參矩陣。

使用張友正標定工具箱對圖像進行角點提取后，建立立體模型。

2雙目視覺里程計誤差模型

3實驗平臺系統設計與硬件構成

試驗所用小型飛行器為大疆（DJI）公司生產的經緯600 PRO（簡稱M600）六旋翼飛行器，六旋翼實驗平臺采用V型機架結構，飛控計算機分為上下兩層，綜合利用機載導航傳感器實現精準的飛行器姿態控制；選用妙算處理板，完成飛行動作。

雙目相機固連于飛行器前向支架，機載計算機位于小型飛行器的上部，機載計算機與雙目相機間通過USB接口連接，通過接口將雙目相機獲取的數據傳入到機載計算機中，機載處理器使用圖像信息進行位姿估計及三維建圖。地面測控站用于監視飛行實驗平臺的實時飛行狀態，實現無人旋翼飛行器自動飛行控制，也作為異常情況下的人工干預系統。

實驗為讀取并解算雙目相機的模型參數和安裝誤差，在地面測控站上構建了基于Ubuntu和ROS的實驗環境，同時進行旋翼飛行器、傳感器與定位數據和雙目相機圖像采集的工作。通過飛行、圖像等實驗數據的采集，檢驗學生掌握視覺定位、慣性/視覺導航原理和ROS操作的學習情況，從實踐環節加強對學生硬件架構、軟件編程、實踐操作等能力的鍛煉。

4實驗與結果分析

基于上述構建的基于雙目視覺的旋翼無人機實驗平臺，可安排學生在實驗環境（比如操場等）下采集旋翼無人機的位姿數據，并與差分GPS結果進行分析。旋翼無人機機載傳感器的輸出信息按照“北東地”坐標系輸出信息，定義原點為起始時刻左像機光心，X軸為左光心指向右光心，Z軸為左光軸反方向，Y軸為垂直于XZ平面向下構建的光軸。

分別對東向和北向進行分析，計算解得東向誤差為0.8834米，北向誤差為1.4489米，綜合誤差為1.697米。其估計誤差分布如圖4、圖5所示。

誤差曲線

通過誤差對比和繪制曲線，檢驗學生對雙目視覺圖像采集處理與定位算法的掌握與完成情況。

5結語

本文設計了基于雙目視覺的旋翼無人機實驗平臺和定位綜合實驗?；陔p目視覺里程計原理建立了雙目視覺里程計誤差模型，開發了基于雙目視覺里程計的三維構圖技術。在此基礎上，通過大疆公司的旋翼無人機平臺，搭載雙目相機，采集旋翼無人機的運動位姿信息，并利用Ubuntu系統中的ROS環境解算獲得旋翼無人機的位姿結果。實驗結果對比表明，本文研究的方法、搭建的平臺，可以有效獲得載體的運動位姿信息，具有良好的可操作性和實際使用價值?；陔p目視覺的旋翼無人機定位綜合實驗作為控制學科導航方向課程類、綜合性設計實驗，充分結合了傳感器與檢測技術、現代導航原理等專業理論知識和實驗實踐類課程，有效促進并檢驗學生掌握專業知識，拓展實踐與創新思維的能力。

基金項目：南京航空航天大學教育科學與改革專項課題“2020JYKX-13”

參考文獻

[1]權美香，樸松昊，李國.視覺SLAM綜述[J].智能系統學報，2016，11（06）：768-776.

[2]劉浩敏，章國鋒，鮑虎軍.基于單目視覺的同時定位與地圖構建方法綜述[J].計算機輔助設計與圖形學學報，2016，28（06）：855-868.

[3]翁一楨.基于視覺里程計與慣導融合技術的四旋翼位姿估計[D].浙江大學，2018.

[4]郝寧.基于視覺慣性組合的運動與結構估計系統設計與實現[D].哈爾濱工業大學，2018.

[5]羅桂娥.雙目立體視覺深度感知與三維重建若干問題研究[D].中南大學，2012.

[6]施陳博.快速圖像配準和高精度立體匹配算法研究[D].清華大學， 2011.

[7]李一博.微小型飛行器視覺感知與自主導航關鍵技術研究[D].南京航空航天大學，2019.

[8]王云舒.特殊視覺應用環境下微小型飛行器視覺/慣性組合導航關鍵技術[D].南京航空航天大學，2018.

[9]張誠.基于視覺和慣性信息融合的語義SLAM研究[D].長春理工大學，2020.