基于無人機VR全景的水域岸線監(jiān)管數(shù)字孿生系統(tǒng)研究

張鐘海 管林杰

摘要：目前，人工巡查、自動監(jiān)測站、無人機、衛(wèi)星遙感等監(jiān)測手段已廣泛應用于河湖岸線監(jiān)管業(yè)務，但這些成果數(shù)據(jù)的展示與管理仍存在展示形式單一、不能反映岸線真實場景、無法掌控岸線全局等問題。為提升監(jiān)測數(shù)據(jù)管理能力，提出了一種數(shù)字孿生系統(tǒng)，通過無人機獲取河道及其岸線的全景圖及全景視頻，并結合VR技術，實現(xiàn)水域岸線監(jiān)管，提供VR全景下的岸線綜合展示、實時監(jiān)測、遠程控制、模擬仿真等功能，并實現(xiàn)室內(nèi)無人機視角下的水域岸線虛擬巡查，有效解決真實場景大范圍、廣視角下的監(jiān)管難題。研究成果可應用于河湖長制巡河、岸線監(jiān)管等水利業(yè)務中。

關鍵詞：水域; 岸線監(jiān)管; 無人機; 全景VR; 數(shù)字孿生

中圖法分類號：P237 文獻標志碼：A DOI：10.15974/j.cnki.slsdkb.2022.01.019

文章編號：1006 - 0081（2022）01 - 0102 - 05

0 引 言

水域岸線是指河流（湖泊）兩側（周邊）水路邊界一定范圍內(nèi)的帶狀區(qū)域，具有行洪調(diào)蓄、維護河流健康和土地利用等屬性[1]。在河長制建設中，中國明確提出了要加強河湖水域岸線的管理保護，加強岸線監(jiān)管、建立河湖日常監(jiān)管巡查制度等工作要求[2]。岸線監(jiān)管存在點多、面廣、工作量大的特點，是一項復雜的系統(tǒng)工程[3]。當前，除了傳統(tǒng)的人工巡查、自動監(jiān)測站外，衛(wèi)星遙感[4]、無人機[5]等監(jiān)測手段也越來越普及，這些措施大大提高了岸線監(jiān)測效率。但目前對這些監(jiān)測數(shù)據(jù)的管理仍停留在地圖展示及圖表管理階段，且存在展示形式單一、不能反映岸線真實場景、無法掌控岸線全局等缺點。在應用系統(tǒng)中克服這些缺陷具有重要的現(xiàn)實意義。當前，數(shù)字孿生作為解決虛實之間雙向映射、動態(tài)交互、實時連接的新技術，備受社會各界的廣泛關注[6]，因此，本文提出通過無人機采集岸線的全景圖及全景視頻，并結合VR技術，構建了水域岸線監(jiān)管的數(shù)字孿生系統(tǒng)。該系統(tǒng)提供岸線全景VR場景下的涉水要素疊加展示、交互查詢、實時監(jiān)測、遠程控制、模擬仿真等功能，能夠?qū)崿F(xiàn)河湖水域岸線的數(shù)字孿生管理，滿足水行政管理部門水域岸線監(jiān)管需求[7]。

1 系統(tǒng)總體設計

1.1 設計思路

首先使用無人機搭載的高清攝像機或全景視頻攝影機沿著河湖岸線進行航拍，再經(jīng)過勻光調(diào)色、圖形拼接等操作后，制作完成河湖水域岸線的無人機全景場景[8]。通過Web端的全景組件，實現(xiàn)無人機全景圖及全景視頻的瀏覽與管理，并在這些河湖水域岸線場景下，疊加河湖岸線數(shù)據(jù)、涉水工程分布、前端感知設備分布、涉水問題分布等空間信息，同時結合VR眼鏡或頭盔，在無人機VR全景下，進行各涉水要素的基本信息、實時信息、告警信息等的查詢、展示、地圖互操作，以及對數(shù)字孿生體的遠程控制、模擬仿真等功能，實現(xiàn)河湖水域岸線的數(shù)字孿生管理，可應用于河湖長制巡河、岸線監(jiān)管等水利業(yè)務中。

1.2 總體架構設計

系統(tǒng)的總體架構從邏輯上可分為6層，從下至上依次為物聯(lián)感知層、基礎設施層、數(shù)據(jù)資源層、業(yè)務應用層、展示層、用戶層，如圖1所示。

（1） 物聯(lián)感知層。運用物聯(lián)網(wǎng)技術，通過接入河湖水域岸線關聯(lián)的雨量站、水位站、流量計、水質(zhì)站、視頻監(jiān)測站等感知設備，實現(xiàn)水雨情實時監(jiān)測、水質(zhì)實時監(jiān)測、視頻實時監(jiān)控。同時，利用無人機搭載高清攝像機或全景視頻攝影機，獲取岸線的全景圖及全景視頻，為上層服務提供基礎數(shù)據(jù)資源。

（2） 基礎設施層。為系統(tǒng)提供網(wǎng)絡及硬件環(huán)境支撐，主要包括互聯(lián)網(wǎng)、4G網(wǎng)絡、自建專網(wǎng)等通信鏈路，以及顯示器、服務器、存儲設備、網(wǎng)絡設備（路由器、交換機等）、安全設備（防火墻、安全審計等）等硬件設備。

（3） 數(shù)據(jù)資源層。為系統(tǒng)提供數(shù)據(jù)存儲及管理服務，包括無人機全景數(shù)據(jù)、基礎地理數(shù)據(jù)、業(yè)務數(shù)據(jù)、實時數(shù)據(jù)和告警數(shù)據(jù)等。其中，無人機全景數(shù)據(jù)包括無人機全景圖和全景視頻，主要由無人機搭載的攝像頭獲取;基礎地理數(shù)據(jù)包括岸線、涉水工程、前端感知設備、涉水問題等內(nèi)容;業(yè)務數(shù)據(jù)指涉水工程、涉水問題等基本信息和詳情信息，如問題的描述、處置過程、結果等;實時數(shù)據(jù)由前端的感知設備采集，當設備的監(jiān)測值超過預設的告警閾值時，系統(tǒng)將產(chǎn)生告警信息。

（4） 業(yè)務應用層。提供系統(tǒng)的主要業(yè)務應用，通過無人機全景場景，結合VR和數(shù)字孿生技術，實現(xiàn)全景VR場景管理、岸線綜合展示、實時監(jiān)測、軌跡地圖聯(lián)動、遠程控制、模擬仿真等功能。

（5） 展示層。通過Web端瀏覽器向用戶展示系統(tǒng)的各項功能，同時可結合VR眼鏡或頭盔等設備，實現(xiàn)岸線虛擬場景中的數(shù)據(jù)瀏覽與查詢。

（6） 用戶層。系統(tǒng)主要面向涉水管理部門進行日常岸線監(jiān)管，指揮決策人員進行全局概覽以把控河湖岸線總體情況，并可供外部體驗人員進行VR體驗參觀。

2 無人機全景

2.1 無人機全景圖采集

無人機航拍前，需要對飛行器進行調(diào)試，確認飛機是否能正常起飛、電池和備用電池電量情況、拍攝地點天氣是否良好以及地形地貌情況、是否存在禁飛（如國家軍事區(qū)、機場周圍、變電站信號干擾）等安全因素[9]。

無人機起飛拍攝后，飛行高度盡量維持在50～120 m，也可視拍攝地情況而定，以拍攝畫質(zhì)清晰為宜。全景圖拍攝時，一般要求：① 在水平方向上，攝像頭依次旋轉(zhuǎn)45°角連續(xù)拍攝8張照片，并保障相鄰2張照片有25%的重合角度;② 使攝像頭向下45°，依據(jù)水平方向的拍攝方法，再拍攝一圈8張照片;③ 使攝像頭再向下25°拍攝一圈4張照片;④ 攝像頭豎直向下拍攝1張照片。在拍攝過程中，需保持無人機定點懸停，即無人機位置不變，只旋轉(zhuǎn)無人機上的攝像頭拍攝角度。

若無人機上搭載的是包含上下兩個全景攝像頭的全景視頻攝影機，則可用于采集現(xiàn)場 360°全景視頻，能保證視場的全方位覆蓋，并能夠?qū)崟r將上下兩個攝影機的圖像進行無縫連接，形成完整的球形影像。

2.2 無人機全景場景制作

在獲取到無人機的全景圖后，需要用ptgui，Autopano Pro，hugin，Panorama Studio等軟件進行全景場景制作，該過程可概括為勻光調(diào)色、圖形拼接、全景補天等步驟[10]。

（1） 勻光調(diào)色。為了讓采集到的影像盡可能接近現(xiàn)實，更符合人眼觀賞需求，需要對拍攝的圖片進行預處理操作，包括對圖片亮度、飽和度、對比度等參數(shù)的調(diào)整[11]。

（2） 圖形拼接。利用拼接軟件，可將每個拍攝點下的全景照片自動拼接成全景圖像，然后通過人工瀏覽全景圖進行檢查，對存在拼接裂縫處進行手動調(diào)整。

（3） 全景補天。普通的無人機攝像機沒有控制攝像頭仰角拍攝天空的部分，在拼接后的全景圖中天空會缺失一半，因此需要對全景圖的天空進行填補，填補的素材宜與拍攝地的天空相差不大，在拍攝地拍攝天空最佳。

3 系統(tǒng)功能

系統(tǒng)采用B/S架構，設計并實現(xiàn)了全景VR場景管理、岸線綜合展示、實時監(jiān)測、軌跡地圖聯(lián)動、遠程控制、模擬仿真等功能。系統(tǒng)采用的技術框架如圖2所示，后端開發(fā)采用Springboot，MyBatis框架，前端開發(fā)采用Vue.js，地圖組件使用Openlayer，全景VR組件使用Krpano[12]，模擬仿真使用Three.js，數(shù)據(jù)庫采用Mysql，GIS平臺采用Geoserver。

3.1 全景VR場景管理

全景VR場景管理可提供對場景基本信息的新增、修改、查詢與刪除等操作，場景基本信息包括采集時間、單位、聯(lián)系人、關聯(lián)河流的名稱、巡查長度和歷時等內(nèi)容。同時，可通過Krpano實現(xiàn)對全景場景的展示與操作，包括一般模式和VR模式。其中，一般模式如圖3（a）所示，提供360°全景圖的上移、下移、左移、右移、放大、縮小、場景切換等操作;VR模式如圖3（b）所示，支持通過VR眼鏡或頭盔，讓用戶體驗無人機視角下的虛擬巡河。

3.2 岸線綜合展示

岸線綜合展示支持在全景VR場景中集成了如表1所示的各類河湖岸線相關數(shù)據(jù)，包括基礎數(shù)據(jù)、涉水工程、前端感知設備、涉水問題等信息，提供涉河點、線、面要素在全景VR場景中的疊加展示，以及點擊查詢要素的基本信息等功能。

為快速在全景VR場景中定位到涉水工程、前端感知設備、涉水問題、測站告警等要素的分布信息，系統(tǒng)還提供列表快速定位、鷹眼圖快速定位等功能。

（1） 列表快速定位。將岸線相關數(shù)據(jù)按類別進行篩選，以表格形式展示每個類別的要素列表，通過點擊表格中的要素，可快速定位場景中的具體位置。

（2） 鷹眼圖快速定位。在全景VR場景中疊加鷹眼地圖，通過地圖展示各要素的空間分布，點擊地圖上的要素，可快速定位場景中的具體位置。

3.3 實時監(jiān)測

全景VR場景中集成的前端感知設備，除了可展示前端感知設備的基本信息外，還可對測站實時采集的數(shù)據(jù)進行管理，包括實時監(jiān)測信息和監(jiān)測告警信息，如圖4所示。

（1） 實時監(jiān)測信息。提供對各類前端感知設備實時數(shù)據(jù)和歷史數(shù)據(jù)的展示、查詢等功能。其中，雨量、水位、流量、水質(zhì)等測站實時監(jiān)測值以圖表形式展示，可查詢每個監(jiān)測指標的歷史變化趨勢，并提供圖表統(tǒng)計、結果導出等功能;而視頻站則可提供實時視頻查看，以及歷史視頻回放、視頻截圖等功能。

（2） 監(jiān)測告警信息。系統(tǒng)可根據(jù)每個測站預設的告警閾值，在超過該值時，自動提醒系統(tǒng)用戶。

3.4 軌跡地圖聯(lián)動

軌跡地圖聯(lián)動利用GIS技術實現(xiàn)在二維地圖上實現(xiàn)無人機視頻與巡河軌跡展示的精準聯(lián)動，如圖5所示，它以左右屏幕分別展示地圖和無人機巡查視頻畫面，地圖可展示當前視頻所在的地理位置，且兩者間可實現(xiàn)相互聯(lián)動效果。

（1） 軌跡交互。左側在地圖上展示軌跡的播放動畫，用戶可在軌跡上通過點擊獲取當前點擊處的視頻畫面，也可通過拖動軌跡上的無人機圖標，實現(xiàn)視頻的跟蹤播放，視頻進度會根據(jù)地圖軌跡聯(lián)動。

（2） 視頻交互。右側展現(xiàn)無人機巡河視頻，用戶可播放、暫停、放大及下載當前視頻，可查看視頻時長、類型、播放時間、進度等信息。同時，用戶可以通過點擊或拖動視頻進度條，來控制視頻播放與左側軌跡的實時聯(lián)動，可直觀地了解當前巡河視頻幀所在的地理位置。

3.5 遠程控制

遠程控制是通過VPN專線，對物聯(lián)網(wǎng)設備進行遠程操控，實現(xiàn)對水域岸線數(shù)字孿生體的反向控制，形成數(shù)字孿生的物聯(lián)感知操控能力。系統(tǒng)的遠程控制主要包括對遠程視頻云臺的操控和水閘遠程控制。

（1） 遠程視頻云臺操控。云臺是一種可用于支持攝像機實現(xiàn)水平和垂直方向運動的工作臺，通過視頻基礎軟件平臺，可在全景VR場景中實現(xiàn)遠程視頻的上移、下移、左移、右移、攝像頭變焦等操控。

（2） 水閘遠程控制。通過閘站PLC可對水閘的閘門開度進行遠程控制，從而實現(xiàn)對水閘啟閉機的有效調(diào)度。

3.6 仿真模擬

仿真模擬推演能力是數(shù)字孿生技術的核心能力，它通過孿生體建模、事態(tài)擬合，可對特定事件進行評估、計算、推演。系統(tǒng)借助Three.js圖形庫加載三維水閘模型，并融合到Krpano組件中，可在全景VR場景中實現(xiàn)對水閘的模擬仿真，如模擬水閘的啟閉、開度等狀態(tài)及過程，如圖6所示。

4 結 語

本研究以無人機采集的岸線全景圖及全景視頻為基礎數(shù)據(jù)，結合VR技術，在系統(tǒng)中實現(xiàn)全景VR場景的展示，構建水域岸線數(shù)字孿生場景;同時，在場景中疊加河湖岸線、涉水工程、前端感知設備、涉水問題等空間數(shù)據(jù)，向用戶提供各要素基本信息、實時信息、告警信息的查詢、展示、地圖互操作以及對數(shù)字孿生體的遠程控制、模擬仿真等功能，實現(xiàn)河湖水域岸線的數(shù)字孿生管理。本研究在河湖長制巡河、岸線監(jiān)管等水利業(yè)務中，能有效解決大范圍、廣視角下的監(jiān)管難題，滿足岸線全景虛擬巡查、全局掌控的需求。

參考文獻：

[1] 張瑞美， 陳獻， 張獻鋒， 等. 我國河湖水域岸線管理現(xiàn)狀及現(xiàn)行法規(guī)分析——河湖水域岸線管理的法律制度建設研究之一[J]. 水利發(fā)展研究，2013，13（2）：28-31.

[2] 郭寶麗. 關于全面推行河長制的意見[J] .內(nèi)蒙古水利， 2017（1）： 3-4.

[3] 金晶， 孫昱昌， 王志林， 等. 河湖岸線監(jiān)測管理系統(tǒng)設計與實現(xiàn)[J]. 江蘇水利， 2020（5）： 59-63.

[4] 崔倩， 陳德清. 遙感技術支撐河湖監(jiān)管典型案例分析[J]. 水利信息化， 2020（2）： 9-13.

[5] 金晶， 龐亞威， 溫旋， 等. 無人機遙感技術在河湖岸線監(jiān)管中的應用研究[J]. 科技創(chuàng)新與應用， 2020（14）：175-176.

[6] 陶飛， 張賀， 戚慶林， 等. 數(shù)字孿生十問：分析與思考[J]. 計算機集成制造系統(tǒng)， 2020， 26（1）： 1-17.

[7] 蔣亞東， 石焱文. 數(shù)字孿生技術在水利工程運行管理中的應用[J]. 科技通報， 2019， 35（11）： 5-9.

[8] 余建軍， 徐攻博， 郭望成， 等. 天地一體全景影像快速獲取與應用技術[J]. 測繪通報， 2017（7）： 103-107.

[9] 陳靜. 基于無人機的室外全景漫游地圖設計與實現(xiàn)[J]. 物聯(lián)網(wǎng)技術， 2019，9（1）： 103-104， 107.

[10] 李韻. 淺談航拍攝影中全景圖片拍攝與制作[J]. 長江叢刊， 2017（19）： 138-139.

[11] 張玲，付克蘭，任華，等. 基于全景圖的校園虛擬漫游系統(tǒng)設計[J]. 電子技術與軟件工程，2016（2）：98-99.

[12] 杭永沖， 洪祎晨. 基于krpano的校園全景VR漫游系統(tǒng)的設計與實現(xiàn)[J]. 現(xiàn)代計算機（專業(yè)版）， 2017（25）： 57-61.

（編輯：高小雲(yún)）

Research on a digital twin system for shoreline supervision based

on drone panoramic VR

ZHANG Zhonghai1，2， GUAN Linjie1，2

（1. Changjiang Survey， Planning， Design and Research Co.， Ltd.， Wuhan 430010， China; 2. Changjiang Spatial Information Technology Company， Wuhan 430010， China）

Abstract： At present， monitoring methods such as manual inspections， automatic monitoring stations， unmanned aerial vehicles and satellite remote sensing have been widely used in the supervision of river and lake shorelines. However， there are still some problems in display and management of these achievements' data， such as the single display form， inability to reflect the real scene of the shoreline， and inability to control the overall situation of the shoreline. In order to improve the monitoring data management capabilities， a digital twin system is proposed. Drones are used to obtain panoramic images and panoramic videos of river and its shoreline， and VR technology is combined to build this system for waters shoreline supervision. This system provides functions such as comprehensive shoreline display， real-time monitoring， remote control， and simulation in the panoramic VR scene， and can realize the virtual inspection of the waters shoreline from the indoor drone's perspective. It can effectively solve the supervision problems in a wide range of real scenes and a wide angle of view. The results can be applied in water conservancy businesses such as tour check and shoreline supervision of rivers and lakes in implement of river chief system.

Key words： waters; shoreline supervision; drone; panoramic VR; digital twin system