基于多旋翼飛行器的視頻傳輸系統(tǒng)的設(shè)計(jì)

揚(yáng)州蘇水科技有限公司 沈 逸

揚(yáng)州大學(xué)信息工程學(xué)院 李忍忍 張正華

基于多旋翼飛行器的視頻傳輸系統(tǒng)的設(shè)計(jì)

揚(yáng)州蘇水科技有限公司 沈 逸

揚(yáng)州大學(xué)信息工程學(xué)院 李忍忍 張正華

針對(duì)小型飛行器巡檢的任務(wù)重和實(shí)時(shí)性差的問題，介紹了以多旋翼無人飛行器為載體的視頻傳輸系統(tǒng)的結(jié)構(gòu)。綜合利用傳感器技術(shù)、圖像處理技術(shù)和無線通信技術(shù)，設(shè)計(jì)了一個(gè)可以越過復(fù)雜的地理環(huán)境，及時(shí)將飛行工況送達(dá)上位機(jī)的視頻傳輸系統(tǒng)，提高了電力線路巡檢效率。實(shí)驗(yàn)證明，該系統(tǒng)可以實(shí)現(xiàn)小型多旋翼飛行器的視頻傳輸和遠(yuǎn)程姿態(tài)控制功能，能夠保障電力系統(tǒng)安全穩(wěn)定運(yùn)行。

無人飛行器；視頻傳輸；圖像處理；電力檢測(cè)

0　引言

隨著微機(jī)控制技術(shù)的快速發(fā)展，微型多旋翼飛行器也逐漸得到了廣泛關(guān)注，由于其具有多旋翼飛行器具有姿態(tài)控制能力好、續(xù)航時(shí)間長(zhǎng)、抗電磁干擾能力強(qiáng)等優(yōu)點(diǎn)，因此在軍事和民用領(lǐng)域都有著廣闊的應(yīng)用前景，目前，我國(guó)已有利用無人機(jī)進(jìn)行電力巡線的先例[1]。但是在將視頻傳回的過程中，由于干擾的因素眾多，存在實(shí)時(shí)性差和圖像質(zhì)量不高的問題。

針對(duì)以上問題，本文設(shè)計(jì)了一種基于多旋翼飛行器的視頻傳輸系統(tǒng)。利用視頻回傳方式實(shí)時(shí)監(jiān)測(cè)環(huán)境狀況，可以調(diào)整微型多旋翼飛行器的飛行姿態(tài)[2]。該系統(tǒng)以實(shí)時(shí)性為優(yōu)先考慮要素，以清晰度為重點(diǎn)，在惡劣信號(hào)環(huán)境中允許損失一定的幀數(shù)。本設(shè)計(jì)還充分利用航拍影像的圖像處理與識(shí)別技術(shù)，以完成對(duì)輸電線路故障的快速智能診斷任務(wù)。

1　多旋翼飛行器的運(yùn)動(dòng)原理及建模

多旋翼飛行器結(jié)構(gòu)簡(jiǎn)單、控制方便，它通過多個(gè)旋翼的正反槳以及不同的轉(zhuǎn)向與轉(zhuǎn)速，形成一個(gè)由多個(gè)與機(jī)體垂直的升力和多個(gè)反扭力合成的動(dòng)力面，通過改變這些力的大小與方向，動(dòng)力面便具有全角度的牽引機(jī)體的能力[3]。多旋翼飛行器的硬件主要包括飛控（飛行控制器）、電調(diào)（無感無刷電子調(diào)速器）、電源模塊和視頻傳輸模塊。

為了保證飛行狀態(tài)的穩(wěn)定，在正常的飛行工作中，多旋翼飛行器自動(dòng)提取傳感器數(shù)據(jù)，并計(jì)算出實(shí)時(shí)的姿態(tài)與位置數(shù)據(jù)。多旋翼飛行器飛行控制的方法主要包括姿態(tài)算法和控制算法。利用姿態(tài)算法將上一時(shí)刻的飛控狀態(tài)與傳感器輸出進(jìn)行結(jié)合，可計(jì)算出當(dāng)前時(shí)刻的狀態(tài)。將采集的數(shù)據(jù)通過歐拉角算法和卡爾曼濾波器進(jìn)行數(shù)據(jù)融合并對(duì)姿態(tài)做積分，接著通過數(shù)據(jù)轉(zhuǎn)換矩陣得出實(shí)時(shí)的無人飛行器姿態(tài)與角度。飛行器控制器的MCU利用上一步計(jì)算得到的實(shí)時(shí)姿態(tài)與角度，與控制器的期望的姿態(tài)與角度做對(duì)比，得出差值即偏差角。最后，根據(jù)PID控制算法，將輸出三個(gè)方向上的修正量分別映射到電機(jī)輸出。

將各個(gè)傳感器的數(shù)據(jù)提取后，需要通過姿態(tài)算法的計(jì)算，才能得出實(shí)際的角度值。本設(shè)計(jì)利用歐拉角算法進(jìn)行姿態(tài)計(jì)算，其中，歐拉角由旋翼的3次連續(xù)轉(zhuǎn)動(dòng)形成，假設(shè)地理坐標(biāo)系是固定的，而機(jī)體坐標(biāo)系是實(shí)時(shí)變化的。可以通過對(duì)地理坐標(biāo)系的三次轉(zhuǎn)變得到任意位置的機(jī)體坐標(biāo)系，即：圍繞Z軸正方向旋轉(zhuǎn)的ψ角為航向角；圍繞Y軸正方向旋轉(zhuǎn)的θ角為俯仰角；圍繞X軸正方向旋轉(zhuǎn)的φ角為滾轉(zhuǎn)角[4]。按照以上定義，從大地坐標(biāo)系轉(zhuǎn)到卡爾丹系的轉(zhuǎn)換矩陣如下：

控制算法需要使用姿態(tài)算法的結(jié)果，即當(dāng)前姿態(tài)角度來修正多旋翼飛行器的誤差。控制算法的職責(zé)是在盡可能短的時(shí)間內(nèi)，將姿態(tài)誤差減少到可以接受的誤差范圍內(nèi)，使多旋翼飛行器向期望的姿態(tài)靠近。

2　系統(tǒng)設(shè)計(jì)

本系統(tǒng)在設(shè)計(jì)時(shí)綜合考慮系統(tǒng)結(jié)構(gòu)、設(shè)備選擇及響應(yīng)能力等方面，軟件設(shè)計(jì)采用模塊化、分層隔離的設(shè)計(jì)思想，保證系統(tǒng)能夠可靠、連續(xù)地運(yùn)行[5]。整個(gè)系統(tǒng)主要由720P高清攝像機(jī)、前端圖像采集器、平板計(jì)算機(jī)、網(wǎng)橋和路由器組成,包括影像的采集、處理、存儲(chǔ)和傳輸四個(gè)過程。本設(shè)計(jì)采用了一個(gè)720p高清攝像機(jī)進(jìn)行視頻捕捉，圖像通過前端圖像采集器的USB高速接口輸送給處理端，處理端將數(shù)據(jù)通過網(wǎng)橋和路由器轉(zhuǎn)發(fā)傳回地面站進(jìn)行分析，從而對(duì)電力線路進(jìn)行分析和判斷，做到遠(yuǎn)程診斷，整個(gè)系統(tǒng)的硬件結(jié)構(gòu)如圖1所示。

為了把高清視頻流才能快速而又準(zhǔn)確無誤地傳回地面站，采集后需要在平板計(jì)算機(jī)內(nèi)二次編碼成視頻流。數(shù)據(jù)匯聚時(shí)，由于計(jì)算機(jī)平板具備USB接口、藍(lán)牙無線接口和無線網(wǎng)卡，可以快速而高效地采集已有數(shù)據(jù)，并通過互聯(lián)網(wǎng)實(shí)時(shí)傳輸。

2.1網(wǎng)絡(luò)傳輸部分設(shè)計(jì)

網(wǎng)絡(luò)傳輸系統(tǒng)主要作用是將處理器融合后的圖像數(shù)據(jù)實(shí)時(shí)傳輸?shù)降孛嬲荆瑸榕袛嗵峁┰假Y料，實(shí)現(xiàn)巡檢作業(yè)及快速反應(yīng)。地面站與飛行器之間的通信采用WiFi無線技術(shù),本設(shè)計(jì)選用的WiFi模塊是TendaW541U V2.0，核心芯片為Ralink 2070，最大傳輸速率為54Mbit/s，兼容IEEE 802.11g/b兩種網(wǎng)絡(luò)標(biāo)準(zhǔn)，支持WPA/WPA-PSK等多種安全機(jī)制[6]。

圖1　系統(tǒng)的硬件結(jié)構(gòu)圖

2.1.1Linux嵌入式系統(tǒng)板設(shè)計(jì)

首先需要初始化Linux嵌入式系統(tǒng)。在命令行輸入初始化指令后退出root賬戶，創(chuàng)建交叉編譯資源文件夾Mkdir openwrt，鍵入命令Cd openwrt，下載Linux嵌入式系統(tǒng)源碼svn co svn∶//svn.openwrt. org/openwrt/trunk/。然后切換到所在目錄Cd trunk，更新軟件包并進(jìn)入定制界面make menuconfig添加基本界面、mjpg以及攝像頭驅(qū)動(dòng)等，最后使用命令執(zhí)行編譯操作。將編譯完成的固件寫入Linux嵌入式系統(tǒng)板當(dāng)中，重啟即完成初始化配置。

完成Linux嵌入式系統(tǒng)的初始化后，還要配置嵌入式圖像采集軟件。在瀏覽器地址欄輸入http∶//192.168.1.1∶8080/?action=stream，可以看到攝像頭抓取的視頻。這個(gè)視頻的幀數(shù)很低，表現(xiàn)為小型攝像機(jī)反應(yīng)遲鈍，所以需修改/etc/config/mjpg-streamer里面的fps參數(shù)。首先修改防火墻，使它接受來自8080端口的外網(wǎng)請(qǐng)求。然后添加下面配置文件到 /etc/config/firewall.

config rule

option src wan

option prototcp

option dest_port8080

option target ACCEPT

配置完成后重啟防火墻并配置用戶名和密碼，重新啟動(dòng)mjpgstreamer后配置即可生效。

2.1.2去噪設(shè)計(jì)

由于電力巡線任務(wù)所處的環(huán)境十分復(fù)雜，整個(gè)網(wǎng)絡(luò)傳輸受電磁環(huán)境、地理環(huán)境和網(wǎng)絡(luò)信號(hào)等因素的影響很大，為了傳輸?shù)募皶r(shí)和準(zhǔn)確，本設(shè)計(jì)采用Mavlink機(jī)器人協(xié)議完成飛行器與地面站系統(tǒng)之間的通訊，并使用軟件算法對(duì)疊加在模擬信號(hào)上的噪聲進(jìn)行抑制。

視頻碼流需經(jīng)過壓縮編碼后再送到以太網(wǎng)上傳輸，達(dá)到減輕網(wǎng)絡(luò)負(fù)荷和減小電磁干擾的目的。視頻傳輸模塊選用DM368做為主控芯片，通過專用視頻接口接收前端采集的視頻數(shù)據(jù)，壓縮后的視頻流通過網(wǎng)絡(luò)接口傳輸[7]。由于無線通信設(shè)備和小型攝像機(jī)一起搭載在多旋翼飛行器上，為了在移動(dòng)的狀態(tài)下工作，無線通信時(shí)采用跳頻技術(shù)。跳頻技術(shù)是一種利用載波跳變實(shí)現(xiàn)頻譜展寬的擴(kuò)頻技術(shù)，它可以有效的避開干擾，跳頻示波器演示如圖2所示。

圖2　跳頻示波器演示圖

2.1.3網(wǎng)絡(luò)帶寬的計(jì)算

網(wǎng)絡(luò)帶寬的需求與分辨率和幀率兩個(gè)因素有關(guān)。通常視頻監(jiān)控系統(tǒng)要求在幀率為25幀/s、 分辨率為1280×720（即720P）時(shí)，碼流大小為1M-2M。基于本設(shè)計(jì)對(duì)圖像的實(shí)時(shí)性、流暢性的要求，視頻編碼器編碼采用H.264的方式進(jìn)行編碼，根據(jù)智能算法，圖像所需網(wǎng)絡(luò)帶寬為2M[8]。

2.2地面站系統(tǒng)設(shè)計(jì)

地面站是整個(gè)視頻監(jiān)控系統(tǒng)的核心，實(shí)現(xiàn)視頻圖像資源的匯聚，并對(duì)視頻圖像資源進(jìn)行統(tǒng)一管理和調(diào)度。地面站終端實(shí)時(shí)顯示現(xiàn)場(chǎng)圖像，在巡檢模式中還應(yīng)處理圖像，并將圖像信息存入歷史數(shù)據(jù)庫(kù)[9]。

2.2.1界面設(shè)計(jì)

巡檢模式下，地面終端發(fā)送指令，無人機(jī)按照指定的巡航路線監(jiān)控電力線，將采集的影像傳輸?shù)降孛娼K端并進(jìn)行處理，得出最終的結(jié)論。根據(jù)系統(tǒng)設(shè)計(jì)需求，用c#編寫了一個(gè)支持流媒體接收的低資源占用的客戶端，用于接收并記錄檢測(cè)視頻，界面如圖3所示。

圖3　流媒體接收界面示意圖

本文設(shè)計(jì)的多旋翼飛行器飛行控制系統(tǒng)中的與飛行器地面站上位機(jī)通信的通信協(xié)議是Mavlink協(xié)議。使用源碼中自帶的基于python平臺(tái)的Mavlink Generator 即可很方便地生成相關(guān)頭文件。Mavlink是使用xml文件來描述協(xié)議中定義的參數(shù)的，所以生成頭文件之前，需要編寫xml 文件。本設(shè)計(jì)直接使用common.xml 進(jìn)行生成，生成好后得到一個(gè)完整的Mavlink協(xié)議包，里面包括所有Mavlink支持的消息格式和類型定義，上位機(jī)操作界面如圖4所示。

圖4　上位機(jī)操作界面

2.2.2圖像處理部分設(shè)計(jì)

當(dāng)巡檢系統(tǒng)的工作環(huán)境比較惡劣（如大霧，光線條件較差）時(shí)，可以利用圖像增強(qiáng)增加影像的可視性[10-12]。本設(shè)計(jì)引入圖論方法及圖形處理方法，使圖像處理更加精確，便于能夠在各種惡劣環(huán)境下進(jìn)行電力系統(tǒng)的安全測(cè)試。本文通過算法分離飛行器傳回的圖像中的電力線相關(guān)圖像部分，并加亮顯示，便于準(zhǔn)確的診斷電力線的損傷情況。本設(shè)計(jì)采集圖像后通過霍夫變換，將所拍到的圖像轉(zhuǎn)換為灰度圖像，如圖5所示。然后使用OpenCV，通過軟件計(jì)算識(shí)別出目標(biāo)電力線，去除無意義的圖像，幫助巡線人員分析大量的電力線數(shù)據(jù)，圖6為識(shí)別電力線的演示DEMO。后期配合變電站等工作數(shù)據(jù)，工作人員就可以進(jìn)一步分析電力線的工作狀態(tài)。

圖5　灰度圖像

圖6　電力線演示DEMO

2.2.3地面站的帶寬計(jì)算

地面站的帶寬需求取決于訪問前端設(shè)備的路數(shù)，前文已計(jì)算每路視頻所需帶寬約為2M，客戶端所需的帶寬為2M×N(N為同時(shí)要預(yù)覽的并發(fā)視頻路數(shù))，即為地面站的占用帶寬。通常情況下，為了保證視頻的流暢性，實(shí)際占用帶寬應(yīng)低于地面站接入網(wǎng)絡(luò)帶寬的50%[13-14]。

圖7　系統(tǒng)性能測(cè)試

3　實(shí)驗(yàn)驗(yàn)證

當(dāng)多旋翼飛行器的硬件與程序都構(gòu)建好后，需要調(diào)整參數(shù)。主要包括傳感器的標(biāo)定與校準(zhǔn)、PID的自動(dòng)調(diào)整、手動(dòng)遙控設(shè)備的校準(zhǔn)、加速度計(jì)校準(zhǔn)和羅盤校準(zhǔn)。在5-6級(jí)風(fēng)平原20℃的條件下，自主飛行與人工操控飛行相比平均節(jié)省20%以上的電力，飛行演示平臺(tái)如圖7所示。

經(jīng)過測(cè)試，理想狀態(tài)下使用14.8v 8800mah動(dòng)力電池并在具有良好散熱條件測(cè)試10分鐘，結(jié)果如下：

起飛時(shí)單電機(jī)拉力：460g；

起飛時(shí)單電機(jī)的力效率：8.36g/W；

最大功率時(shí)單電機(jī)的拉力：1360g；

最大功率時(shí)單電機(jī)的力效率：5.81(g/W)。

4　結(jié)束語(yǔ)

本文在多旋翼飛行器的硬件基礎(chǔ)上，設(shè)計(jì)出一套視頻傳輸系統(tǒng)，可以監(jiān)控電力線路的運(yùn)行狀況。飛行器能夠在室外惡劣的天氣下穩(wěn)定運(yùn)行，并能將拍攝到的圖像信息及時(shí)傳回地面站。該系統(tǒng)成本低、可擴(kuò)充性能強(qiáng)，能夠?qū)崿F(xiàn)對(duì)電力線路運(yùn)行狀況的巡視，有著十分廣闊的應(yīng)用前景。

[1]王磊.基于視頻監(jiān)控的智慧農(nóng)業(yè)系統(tǒng)設(shè)計(jì)[J].信息技術(shù),2015(12): 198-200.

[2]翁松偉,賴斯聰,陳海雄,等.基于小型四旋翼無人機(jī)的道路交通巡檢系統(tǒng)[J].電子設(shè)計(jì)工程,2016,24(3):78-81.

[3]趙曉麗,陳慧,宋占偉.微型四旋翼飛行器的嵌入式視頻監(jiān)控終端[J].吉林大學(xué)學(xué)報(bào),2016,34(1):122-126.

[4]楊珂,王鵬.小型化高清視頻壓縮傳輸系統(tǒng)設(shè)計(jì)[J].電子科技,2016,29(9):118-121.

[5]李文超.X750四旋翼飛行器建模與飛行控制研究[D].南京:南京理工大學(xué),2014.

[6]周勇君,李鶴.基于MATLAB 的飛行器仿真平臺(tái)非線性PID控制策略研究[J].電子測(cè)試,2016(9):36-37.

[7]MEJAS L,CORREA J F.COLIBRI:A vision-guided UAV for surveillance and visual inspection[C].2007 IEEE International Conference on Robotics and Automation,New York:IEEE,2007.

[8]陳海,何開鋒,錢煒祺.基于非線性L1自適應(yīng)動(dòng)態(tài)逆的飛行器姿態(tài)角控制[J].控制理論與應(yīng)用,2016,33(8):1-8.

[9]KOHNO S,UCHIYAMA K.Design of robust controller of fixed-wing UAV for transition flight[C]//2014 International Conference on Unmanned Aircraft Systems.Orlando:IEEE,2014:1111-1116.

[10]林旭梅,王嬋.四旋翼飛行器的自適應(yīng)魯棒滑膜控制器設(shè)計(jì)[J].儀器儀表學(xué)報(bào),2015(7):7-14.

[11]EHASANA,MOHAMMADA.Attitude Control using an extended classifier system algorithm for offline auto-tuning of a PID controller[C]//IEEE RSI/ISM International Conference on Robotics and Mechatronics,2014:930-935.

[12]李運(yùn)堂,賈宇寧,王鵬峰,等.基于多傳感器的四旋翼飛行器硬件系統(tǒng)設(shè)計(jì)[J].傳感器與微系統(tǒng),2015(02):119-121,142.

[13]MONTAMBAULT S,BEAUDRY J,TOUSSAINT K,et al.On the application of VTOL UAVs to the inspection of power utility assets[C].2010 1st International Conference on Applied Robotics for the Power Industry,New York:IEEE,2010.

[14]黃宵寧,張真良.直升機(jī)巡檢航拍圖像中絕緣子圖像的提取算法[J].電網(wǎng)技術(shù),2010,34(1):194-197.

The Design of Video Transmission System Based on Multiple Rotor Aircraft

SHEN Yi1，LI Ren-ren2，ZHANG Zheng-hua2
（1.Yangzhou Sushui Technology Co.Ltd，Yangzhou Jiangsu 225000，China；2.School of Information Engineering，Yangzhou University，Yangzhou Jiangsu 225000，China）

In view of the problem that it’s heavy patrol tasks and it’s real-time performance is poor for rotor aircraft,this paper introduces the structure of video transmission system which is carried by multiple rotor unmanned aerial vehicles.This paper designs a video transmission system that can across the complex geographical environment，flight conditions and submit it to the PC in a timely manner by using sensor technology，image processing technology and wireless communication technology.Experiments show that this system have function of video transmission and controlling attitude and it can ensure power system to run safely and stably.

unmanned aerial vehicles；video transmission；image processing； power detection

江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金（前瞻性聯(lián)合研究）項(xiàng)目（BY2013063-10）；揚(yáng)州市2012年產(chǎn)學(xué)研合作專項(xiàng)（2012038-8）。