基于無人機全景影像優化河道巡查方法的研究及應用

孟慶燁,王立權,李鐵男,郭微微,楊阿龍

(1.黑龍江大學水利電力學院,哈爾濱 150080;2.黑龍江省水利科學研究院,哈爾濱 150080)

0 引 言

河道巡查的任務是確保工程主體及附屬設施完好、區域整潔,查看隱患情況、維護進度、是否出現違建工程等,以保證水利工程主體及附屬設施的正常運行,防止出現損毀水利工程的行為,并監測管控河湖水域岸線,利用建設項目和特定活動及時排查工程安全隱患及其邊坡、庫岸、管理設施等可能存在的隱患、缺陷、損毀或損壞情況等。

現階段巡河調查中,人工徒步依然是主要的工作方式,不僅需要耗費大量的人力和物力,而且實際的巡查效率不高,易造成問題區域調查的遺漏。對于一些流域面積較大的河段,如果單純依靠河湖長或各級巡河人員,不僅影響河道巡查質量,而且無法實現河道巡查的任務全覆蓋。近年來,隨著無人機技術的快速發展,其遙感操作靈活性、安全性、穩定性使其應用在多個領域。其搭載傳感器獲得的影像數據分辨率高、時效快、不受云層影響[1],對大流域范圍與長河段勘測巡查工作具有很好的實用性,在部分地區無人機巡檢也成為巡河工作不可或缺的技術手段。不足之處是無人機的工作時長受限于其動力系統,以目前使用率較高的大疆精靈4a為例,理想條件下30min每架次,但實際工作時長在15～20min,以往無人機傳統的拍攝取樣方式影像資料獲取有限,不能對問題區域進行充分巡查,難以完成工作需求[2]。

鑒于上述背景,文章提出一種改進無人機巡查方法。通過借助全景圖技術,優化數據獲取方式,全景圖可以提供更加完整的環境信息,可以更好地捕捉勘察環境的細節,精準巡查違法建筑物等,滿足對河湖水域岸線的巡查任務。無人機具有快速傳輸、機動靈活和成本低廉等優勢,為河道巡查提供技術支撐,有效提升巡查任務的效率,做到問題不遺漏,確保巡查工作任務的全覆蓋。本研究旨在提升河道巡查檢測和識別效率,在河湖“清四亂”和妨礙河道行洪的突出問題排查整治工作基礎上,做到“查”與“改”同步進行,為推動河湖長“四亂”清理工作提供了保障。

1 無人機全景影像

全景圖是基于計算機視覺與虛擬現實中一種重要的場景表示方法,通過計算機對空間周圍環境連續采集的影像縫合渲染而建立的數字模型。全景影像作為虛擬現實技術表現的一種,其在空間固定點位連續采集不同視野的圖像,包含超出正常視野的圖像,使用者控制角度與拉進圖像距離獲取周圍不同視角的信息,展示和記錄所在點上全空間的特征信息,最大程度在終端上模擬了空間場景,實現對巡查點位的多方位漫游預覽[3]。自全景圖問世,其制作一直處于高成本制作行列,隨著民用無人機應用的普及與PTgui與Photshop等全景制作平臺的出現,無人機全景影像的制作成本與時間成本也在不斷降低,無人機全景圖開始被廣泛應用到眾多領域,三維模型可以傳送至網絡平臺,在多種終端進行觀看。將無人機全景技術融入到河道巡查工作中,結合無人機低空遙感靈活,機動性強[4],所獲取的全景圖像信息具有精度高,預覽視野廣等特點,所拍攝制作的全景圖能更好的保證巡查地點的特征信息完整展現。

2 基于無人機全景影像結合網絡平臺巡查方法

2.1 無人機部署及任務拍攝

在巡查的區域內,以河道為中心在河道兩側部署懸停點。懸停點設置參考無人機的地物分辨能力[5],即無人機的地面采樣距離(Ground Sampling Distance,GSD)。結合無人機航測規范對其航高進行確定無人機圖像的地面采樣間隔大小與無人機航高h、傳感器像元尺寸α和鏡頭焦距f之間的關系為

h=f×GSD/α

(1)

在相同地面采樣間隔下,無人機航高越高,所獲得的影像數據越多,但其地物分辨力越低,無人機合理部署決定了巡查效率與全景圖質量。待無人機到達指定地點后,以懸停點為中心進行任務拍攝。將相機參數設置為快門優先,通過降低曝光,保留圖像更多細節,為內業制作留下充分的空間。懸停無人機云臺水平設置旋轉取景拍攝8～10幅樣張,保持相鄰樣張30%以上的重合度;使云臺相機下調俯角至45°旋轉一周獲取6～8幅樣張,保證40%重合度,后垂直拍攝正射圖像1～3張。在圖像獲取過程中保證相鄰測光點一致,全景圖像源數據獲取完成。

2.2 內業制作

2.2.1 源圖像預處理

圖像預處理通過Adobe Lightroom對拍攝樣張進行統一校調。Adobe Lightroom是Adobe公司旗下基于像素圖象的編輯器,具有修正圖像畸變、鏡頭校正、曝光調節等功能。相較于Photoshop,Lightroom具有強大的圖像批量處理能力,能快速的進行圖像收集與整理。對于在懸停點進行不同角度的圖形獲取,造成相機傳感器進光量不同,導致拼接圖像的亮部與灰部存在巨大差異,影響了成像效果。通過Lightroom對圖像的預處理,對樣張曝光和色差的統一調節,啟用配置文件的修正,以控制多樣源圖像縫合處的色差與畸變,降低對全景圖生成的影響。

2.2.2 圖像拼接處理與補天網絡發布。

全景圖拼接工作可采用PTGui軟件處理,相較于Photoshop、Lightroom等軟件PTGui全景圖合成速度更快,對于全景圖合成錯位等問題,通過修正控制點即可對全景圖進行糾偏,其通過為全景制作工具提供可視化界面來實現對圖像的拼接,從而高效率的制作出高質量全景圖象。其工作流程為;將Lightroom輸出素材圖像批量導入PTGui,對圖像的重疊區域自動運行控制點匹配,通過圖像生成質量對控制點進行修正,以達到提高圖像精度為目的進而對全景圖輸出。

網絡上傳全景影像是基于720yun平臺完成的,720yun平臺是可視化全景內容創作與分享的平臺,以網頁鏈接進行分享,可以適應多種終端設備包括手機、電腦等終端瀏覽展示,最大程度的體現了全景圖的豐富的交互性與驗證性的特點,將其作為網絡發布平臺。現階段無人機航攝所攜帶云臺仰角最高40°,不能拍攝完整天空信息,致使全景圖合成缺少天空數據,在網絡發布前應先對全景影像進行補天工作。其流程如下:

1)將全景圖導入Photoshop,框選天空缺失部分。

2)選擇全景圖已拍攝天空對天空缺失部分進行識別補全,進行輸出全景影像。

3)上傳全景影像至720yun平臺,以河道巡查區域為底圖制作電子沙盤,巡查點與所在電子沙盤的位置進行鏈接工作,完成網絡發布。

4)創建全景圖平臺分享鏈接,實現在各種終端上對巡查河道區域進行問題跟蹤復核流程。

2.3 巡測方案與流程

具體參數如下執行無人機飛行作業前,應滿足當地法律法規與無人機航攝安全作業基本操作,其作業流程如下:

1)航線上報,由取得無人機相應飛行資格的駕駛員申請,確定作業區域范圍對精靈4a進行航線規劃設置,參照公式(1)計算作業航高。

2)飛前檢測,檢測無人機螺旋槳是否無損緊密卡牢固,測試電機電調正常運轉,并確定飛機圖傳模塊與地面圖傳數據保持上下行通信鏈路的暢通;旋轉機身進行地磁校正,即搜星工作達到7顆及以上時,飛前檢測工作完成。

3)任務執行,駕駛員將篩選后的地理信息點制作任務點由地面端上傳至無人機,無人機起飛開始執行命令,無人機在航線拍照取樣實時同步到地面端。在高空記錄問題區域收集的收集工作,傳輸至電腦端進行全景圖制作。

4)無人機返航,記錄無人機飛行POS數據(三維坐標及姿態)與影像數據。講影像傳輸至工作站。并記錄執行任務時段的氣溫等氣象條件,填寫飛行記錄表。

3 無人機全景影像應用案例

某松花江河段位于黑龍江境內,河道兩岸均有提防,巡查堤防長約2km距城區30km,該河段巡河工作以人力巡河與無人機傳統巡河為主。本次全景影像優化河道巡查選用相同無人機大疆精靈4a,其性能參數滿足本次巡查需求。大疆精靈4A主要參數,見表1。

表1 大疆精靈4A主要參數

選取該堤防作為巡查對象,周圍存在高壓線與橋梁等高聳建筑物,參照上式(1)設置相對航高為45m,該河段狀況復雜彎曲非直線,在該河段左右兩岸基礎上選取5該航點航點,作為全景圖拍攝點。在空曠平坦處放置無人機并執行起飛命令,待升高至45m后向航點行進,到達航點處懸穩定停后開始拍攝。回收無人機數據采集完成,航測作業共歷時7min,參照傳統無人機巡河方案節省電池消耗35%,巡查耗時縮短50%,共計獲取125張具有地理信息位置JPG影像,建立5幅全景圖模型并上傳至720yun平臺實現網絡上傳,傳輸至巡查人員做到及時發現與整改,確保不漏任何問題及隱患。

4 結 語

針對目前大流域長河段,巡查難度大,效率不高的問題,充分考慮了“清四亂”的工作難點,通過優化無人機影像獲取方式,開展無人機全景影像河道巡查方法探索,結合實地現場巡查,得到結論如下:

1)全景圖所提供的超視野的圖像,可以完整的提供環境信息,保留巡查區域的細節,提供巡查信息點位,代替傳統拍照方式對河道巡查工作具有良好的適用性。

2)借助無人機進行全景圖拍照取樣,發揮了無人機快速、高效的特點以全景圖的形式代替了無人機巡查時長時間盤旋,解決續航不足的問題,有限的無人機巡查時間,有效的提高了巡查效率。

3)全景圖補天工作,以Photoshop內容識別方式進行補天,想對于通過上傳網絡發布,使復核人員在各種終端上快速的對全景圖的預覽,其結果更加直觀,提高了復核速度,做到查與改并行的巡查要求。