基于綜合視景的直升機近地引導技術

齊小謙, 吳云章, 關珍博, 周興, 谷金波

(1.中國電子科技集團公司第五十四研究所, 石家莊 050081; 2.陸軍航空兵研究所, 北京 101121; 3.河北省智能化信息感知與處理重點實驗室, 石家莊 050081)

直升機等旋翼飛行器需要全天時、全天候在超低空貼地等復雜環境下執行低空突防、隱蔽突襲等多樣化機動飛行任務,面臨著飛行高度低、地形地勢多變、起降條件惡劣、視覺能見度不良等多種安全隱患。受復雜環境干擾和直升機自身結構特征影響,飛行員目視感知能力通常會受到嚴重限制。現有機載對地探測和輔助引導能力有限,致使飛行員無法快速有效了解外部環境,在惡劣視覺和復雜環境下難以對直升機飛行路徑上的危險目標和障礙物進行有效的識別和規避[1],給直升機的飛行安全帶來諸多不確定性因素,對生存安全提出了重大挑戰。

美國國防部發布的航空安全技術報告顯示,在直升機飛行安全事故中,因環境感知引發的事故占到26%。近年來,中國多種型號直升機都曾因環境感知問題,發生過撞山、撞高壓線等事故。低能見度和復雜地形環境條件下,直升機飛行員迫切需要獲得有效、全面、實時的艙外場景感知能力。為提高直升機低空活動安全性,支持在惡劣天氣條件、威脅區域進行地形跟蹤飛行,研究為飛行員連續、精確提供可視化近地引導指示的技術具有重要意義。

綜合視景(combined vision,CV)是一種先進的飛行場景復合型、虛擬化顯示技術,已成為避障和近地引導應用的一個重要方向。該技術能夠根據飛行器當前位置進行圖形處理與圖像生成,渲染合成三維地形或影像,并將機載成像傳感器(紅外/可見光/微光傳感器、激光成像雷達等)實時獲取的外部景象進一步融合,在多功能顯示器上呈現可靠的飛行環境視覺信息。機載成像傳感器可以不受限于明暗和能見度的影響獲取機外環境的實時圖像,兩者融合不僅增強了視景的精確性,達到在復雜地形、夜間、惡劣天氣和煙塵環境中的高逼真觀察能力,同時為視景中障礙物數據、引導符號生成提供可靠補充。特別是在近地階段,通過近距離地形障礙等威脅和遠距離地形沖突識別[2],提供清晰且易于理解的圖像輸出與可靠的飛行指示信息,增強了飛行員的情景感知能力。

在綜合視景技術應用領域,國外目前在研究的主流降級視覺環境(degraded visual environment,DVE)系統,通常基于毫米波/激光雷達、前視紅外傳感器等信源,在頭盔顯示器(helmet-mounted displays,HMD)和多功能顯示器(multiple functional displays,MFD)中增加地形障礙物和飛行航路融合顯示,從而構建出完整的三維可視化避障與引導數據。以美國陸軍、德國國防部等為代表的國外機構已多次開展DVE演示驗證,經過近二十多年發展,部分成熟技術已從實驗室走向產品。2006年,美軍研制的直升機著陸增強系統通過在地形圖中疊加符號的方式,在著陸過程中表達出地形和障礙物特征,但在直升機進入低能見度環境后,不能有效顯示潛在的地形或障礙物危險信息。2009年,美國空軍研究實驗室開展針對三維輔助著陸系統的研究工作,構建了在降級視覺環境下的著陸解決方案,從而為飛行員提供著陸過程中的環境感知能力。2013年,霍尼韋爾公司設計的試驗機安裝了毫米波雷達及SmartView系統,通過地形生成、紅外成像分析與雷達圖像融合,能讓飛行員看到未在數據庫中存儲的障礙物形狀。美國內華達山脈公司設計了一套直升機自主著陸系統,支持直升機在退化視覺環境下完成起飛和著陸等操作[3]。2019年,德國聯邦國防軍裝備、信息技術和現役支援辦公室通過在H145(bk117d-2)直升機上集成DVE系統和試飛評估,證實了DVE的避障與盲降輔助功能有效提升了對艙外環境的感知能力[4]。國內綜合視景技術和對直升機近地引導避障相關的研究相對起步較晚,西安電子科技大學對綜合視景顯示仿真進行了深入研究,獲得了仿真程度較高的座艙綜合顯示畫面。2010年,上海飛機設計研究院在綜合視景方面開展了相關研究工作,將綜合視景技術與空中隧道技術結合,提高了飛行員的情境認知能力。四川大學基于機載的視頻圖像數據,開展了綜合視景系統的原型設計工作。2012年,西北工業大學研究團隊基于傳感器和數據監測技術、信息融合技術和三維建模與紋理映射技術,設計了綜合視景樣機平臺,提高了駕駛員在低能見度情況下的態勢感知能力。航空工業集團等研發的綜合視景原型系統,能夠為直升機在霧霾等降級視覺條件下提供輔助著陸視景信息,但是多為單色圖像輸出,輔助引導顯示仍以傳統二維符號為主,缺少適合近地飛行引導的三維彩色增強現實應用。2019年,北京航空航天大學開展了直升機周邊障礙物檢測與地形提示告警技術研究,初步具備一定的合成視景導航能力,但未結合近地飛行場景進行機載實裝應用。

綜合來看,現有綜合視景技術存在一定不足,仍屬于較新的研究領域。國內相關工作主要集中在虛擬仿真環境下的綜合視景顯示技術,實際性能有待驗證。基于光電、激光雷達等傳感器飛行環境綜合展示在單一功能、性能、總體設計方面仍需進行迭代優化,增強現實顯示及三維保形符號輸出需盡早開展工程化應用設計和功效驗證。

為提升直升機在降級視覺環境下的綜合感知能力,現從直升機飛行安全技術保障能力視角,對綜合視景系統的內涵與專業領域知識進行深入分析。以綜合視景中飛行環境綜合展示為基礎,通過對地形數據庫和紅外/可見光/微光傳感器、激光雷達等多源航電數據進行綜合處理,完成異源圖像融合、識別、場景融合和引導計算,輸出增強的現實場景,直觀展示前向綜合態勢;在飛行過程中能夠對周邊威脅地形和障礙物信息進行智能監測和及時告警,增強直升機的威脅感知能力;在近地階段和著陸過程中,引入三維彩色增強現實顯示技術,為直升機提供航跡規劃提示和飛行狀態可視化功能,實現有效的飛行引導,對保障飛行安全和提升直升機復雜環境生存力具有重要意義。通過在某民用直升機訓練教學課題中進行試飛驗證,證明所提方法可有效降低直升機飛行員操作負荷,輔助飛行員快速決策,大幅提升直升機飛行安全保障水平。

1 總體架構設計

針對直升機飛行員在復雜地形及惡劣視覺環境下提升外部威脅感知與安全駕駛能力需求,以內置綜合視景數據庫為基礎,使用載機的多源探測圖像、姿態數據與地景數據進行匹配生成三維地理環境。通過預置三維基礎數據、模型數據,結合載機位置、飛行航線進行實時計算,完成地形障礙物告警提示與近地可視化引導符號輸出。

總體技術架構采用標準的基礎支撐、中間件、數據資源、應用軟件四層架構,如圖1所示,支持高度綜合化,便于擴展。

圖1 綜合視景近地引導技術總體架構Fig.1 The overall framework of ground proximity guidance technique based on combined vision

基礎支撐層包括高性能服務器、通用操作系統、圖形數據庫,是存儲計算、通信服務的執行單元。采用通用標準LINUX等操作系統,支持跨平臺應用。

中間件層提供典型視覺智能應用系統中涉及的3種類型中間件:一是圖形庫和引擎,支持圖像實時渲染;二是異構平臺程序框架和通用并行運算平臺,使編寫的程序能夠運行于多種類型處理器;三是計算機視覺庫,涵蓋了常用的圖像處理、計算機視覺和機器學習相關方法。

數據資源層提供豐富的數字地圖庫和地圖處理工具,支持形成機載格式的任務區數字地圖(即綜合視景數據庫),部署到機載高性能計算平臺上使用。

應用軟件層實現綜合視景融合與可視化引導等核心應用功能,包括地景地形顯示、起降場顯示、地形提示與告警、多源圖像預處理、綜合視景融合、障礙物顯示及告警、引導指示計算、視景圖像顯示、可視化近地引導等功能單元。

2 主要功能設計

綜合視景近地引導技術設計實現主要包括飛行環境綜合展示、危險地形及障礙告警、可視化近地引導等關鍵技術,通過各項技術的有機結合、一體聯動,從視景仿真、危險告警、飛行控制等方面為直升機提供連續、精確的飛行引導和安全著陸輔助。

(1)飛行環境綜合展示。機載三維引擎加載綜合視景數據庫和直升機飛行航線,預讀直升機當前坐標所在固定范圍的周圍地形數據并存入內存,提供載機當前所處環境直觀的綜合視景展示,復現艙外場景。這種直觀的場景來源于地形數據庫中的圖像與多源傳感器信息的疊加與融合,包括載機狀態數據(高度、指示空速、地面速度、真空速、垂直速度等)、載機紅外/可見光/微光傳感器探測圖像、防撞雷達與激光雷達探測圖像及數據、機場/著陸區提示與飛行管道等飛行指引信息。

(2)危險地形及障礙告警。以綜合視景和深度學習的障礙物識別為基礎,以地形數據庫和雷達數據為來源,根據載機的離地高度、速度等進行危險接近告警提示。在所有飛行階段顯示并突出標繪對飛行安全存在威脅的地形和障礙[5],具體內容包括地形(山脈、湖泊、河流、鐵路、公路)、地面障礙物(橋梁、電力線、電力塔、移動信號塔、建筑)等內容。

(3)可視化近地引導。主要功能包括目標引導位置的生成、提示,以及飛行通道的標記。根據航路規劃生成配套引導提示符號,將相關符號在綜合視景中疊加顯示,在綜合顯示設備輸出最終可視化圖像,直觀地將飛行通道和引導信息提供給飛行員,作為其操縱直升機的目標指示,在近地階段提供有效的飛行引導,輔助規避威脅并安全著陸[6]。

以上3項技術緊密關聯、互為補充,飛行環境綜合展示是基于綜合視景實現直升機近地引導的基礎,在降級視覺環境和近地盲降階段提供輔助飛行決策。危險地形及障礙告警技術能夠根據直升機當前位置實時檢測周邊環境威脅,為飛行環境綜合展示提供視覺告警數據支撐。可視化近地引導技術為飛行環境綜合展示提供預期航跡,并根據危險地形及障礙告警檢測結果進行引導避讓提示。通過3項技術的有機結合,從視景仿真、危險告警、飛行控制等方面為直升機提供連續、精確的飛行引導和安全著陸輔助。

2.1 飛行環境綜合展示

將全球的地形數據(區域可選)存入系統,建立完善的地形數據庫。利用機載三維引擎加載綜合視景數據庫、地形和地面各種物體模型,設置場景大氣光照等氣象環境,規劃基礎視角和機場/起降場的位置關系。場景加載后,自動搭配對應的模型和材質貼圖等數據,使用配套的場景腳本來驅動場景輸出,在腳本中對預設的點位置進行機場標記建模和更新渲染。

在飛行過程中根據直升機位置姿態數據及機身朝向信息,對紅外/可見光/微光傳感器、激光雷達等多源傳感器數據進行圖像配準,對預置綜合視景數據庫進行匹配加載與渲染,完成駕駛員視角的前方三維圖像生成,信息流程如圖2所示。

圖2 飛行環境綜合展示信息流程Fig.2 The comprehensive display information process of flight environment

地景地形顯示模塊通過加載綜合視景數據庫生成三維地形網格,地形材質用顏色表示直升機與地形的實時相對高度差;計算預置顯示范圍內(如20 km×20 km)所有地形高度與載機的高度差,將地形疊加安全等級顏色進行威脅標識顯示。在地形視景渲染過程中,使用OpenGL著色器語言所設計頂點著色器和片元著色器,在頂點著色器中計算視角與地形頂點的海拔高度差,在片元著色器中根據高度差使用預設的顏色值進行插值來著色[7]。對于超出視野范圍的視景信息從內存中移除,保證三維引擎渲染能夠以有限資源呈現盡量多的豐富細節。

利用直升機位置的三維數據與地形數據庫中提取出的航線前方地形、障礙物地理數據進行對照,實時計算前方視景中最高點與直升機當前位置的高度差值ΔH,并且與允許安全飛行高度差范圍做比較,來綜合判定潛在的相撞危險。根據當前面臨的安全等級,在片元著色器中根據高度差使用預設的顏色值進行插值來著色,使用如表1所示的配色方案對不同安全區域進行配色顯示。在綜合視景畫面生成過程中,通過定期計算載機與機場、起降場之間的空間距離,并根據機場與視點位置關系來控制機場、起降場高精度模型與標識是否顯示。

表1 安全等級配色方案Table 1 The color scheme of safety level

對于距離超過設定距離(如3 km)范圍時,使用機場輪廓線狀模型與機場燈光影像圖進行顯示。

當距離進入設定距離區間內時,動態加載機場、起降場高精度模型,并根據地景數據庫中預置的跑道信息,采用藍綠色實線顯示跑道輪廓線[8],采用藍綠色虛線顯示跑道長度輪廓線延長線,采用綠色虛線標識機場著陸引導燈等目標。

2.2 危險地形及障礙告警

在飛行過程中,融合機載大氣數據系統、導航系統、高度表等設備提供的各項參數,計算直升機最新位置三維數據、飛行速度、航向。通過設置飛行過程警戒提示包線,對地形及障礙物完成實時檢測、告警判斷及告警提示,使得飛行人員能夠精準感知地形地貌特征,信息流程如圖3所示。

圖3 危險地形及障礙告警顯示信息流程Fig.3 The information flow of dangerous terrain and obstacle warning display

根據直升機飛行狀態,選擇不同警戒包線判斷視覺告警狀態,在危險接近時進行充分的提前預警。

對于直升機在保持一定的無線電高度之上飛行時,選用120 s和60 s警戒包線來判斷當前告警狀態。以最新前向速度計算前方120 s航時距離、左右方向60 s航時距離范圍內地形、障礙物高度差,觸發120 s航時閾值應提供注意級提示,觸發60 s航時閾值應提供告警級提示。

當直升機處于下降狀態并且下降速率超過允許安全值時,選用60 s和30 s警戒包線來判斷當前告警狀態。若60 s航時包線內地形、障礙物均低于載機高度,無告警信號輸出;若60 s航時包線內存在等于或高于直升機高度的障礙物,但30 s航時包線內不存在,應輸出對應視覺(琥珀色信息)提示信號[9],若存在等于或高于直升機高度的地形,應顯示琥珀色區域標識;若30 s航時包線內存在等于或高于直升機高度的障礙物時,應輸出對應視覺(紅色信息)告警信號,若存在等于或高于直升機高度的地形,著重顯示紅色區域標識。

當直升機進入進近著陸階段,選用40 s和20 s航時警戒包線來判斷當前告警狀態。距離障礙物、威脅地形約40 s航時,定義為達到注意級別提示,應顯示琥珀色障礙物輪廓線;距離障礙物、威脅地形約20 s航時,定義為達到告警級提示,應顯示紅色障礙物輪廓線并持續閃爍。

2.3 可視化近地引導

可視化近地引導是基于安全飛行通道和飛行引導符號相結合的方式,在近地、著陸過程中呈現規避地形威脅和障礙物的組合符號和數字顯示,并驅動視景仿真,保障引導載機向近地目標位置安全飛行,信息流程如圖4所示。

圖4 可視化近地引導信息流程Fig.4 The information flow of ground proximity guidance

2.3.1 安全飛行管道

在加載目標位置飛行航線基礎上,根據飛行任務、最大航程、最小航段、地形、障礙物、威脅區等一系列約束條件,規劃直升機前方一定距離內(如5 km)預期航跡,生成安全飛行通道顯示的避障輔助信息。安全飛行管道是以避障航路為中心線,由跟隨航路變化的左右限定框組成,在綜合視景中進行顯示。

加載飛行航線信息作為虛擬中心線,不直接在綜合視景中顯示,為安全飛行管狀通道計算和飛行引導指令解算提供基礎依據。

根據載機狀態的數據參數,計算安全飛行管狀通道中的虛擬航路點,同時從目標位置到載機處繪制紅色連接線當作分段距離引導線。

根據各虛擬航路點及該處的航跡弧度,以虛擬航路點為中心計算垂直于航路的矩形平面端點坐標,形成左限定框和右限定框。依次連接左限定框和右限定框中的所有端點,將限定框各端點坐標轉換為屏幕坐標,得到本航段二維安全飛行通道形狀,給予飛行員直觀的航跡提示。

2.3.2 飛行引導符號

飛行引導符號設計是進行近地飛行場景中的安全駕駛引導符號集生成、分布和表示,基于最小轉向速度、飛行速度、運行高度等自身動力學性能約束[10],動態計算沿預期航跡飛行的時間周期內分段路徑,并生成配套的安全操作引導指示位置,以符號集來指示引導飛行員安全駕駛。

根據載機位置姿態,計算沿安全通道飛行的各項關鍵點,按照時間次序標識沿安全飛行通道飛行10 s后的預期位置,轉換為屏幕坐標進行疊加顯示,在飛過之后清除上次顯示通道信息。

在飛行過程中,根據當前飛行姿態,計算載機當前應飛航向、應飛高度、應飛速度等諸元信息。將已計算生成的應飛航向、高度、速度等轉換為飛行符號,使用深綠色線狀符號顯示,在飛過之后清除上次顯示信息。

通過視景信息對比,輔助飛行員確認駕駛直升機的飛行航跡與引導符號的位置關系,在誤差區間內可輔助判定為直升機實飛航跡與規劃通道的重合,實現可視化航跡跟蹤與安全飛行引導。

3 飛行試驗應用

在某民用直升機飛行教學訓練過程中,為保證全天候條件下安全駕駛引導,結合飛行計劃和本場周邊環境,選取高度差有明顯變化并且滿足最高巡航速度20 min以內場景范圍,針對典型飛行剖面如圖5所示,在起飛、下降、進近等階段,對障礙告警與近地引導等技術進行了功能整合與有效性驗證。主要試驗過程如下。

(1)加載目標區域5 m高程精度數字高程模型(digital elevation model,DEM)數據、1 m像素數字正射影像圖(digital orthophoto map,DOM)數據、矢量地圖和等高線等圖層信息,構建基礎地圖庫,范圍是30 km×30 km。提取50 m以上障礙物數據,生成建筑、橋梁、高壓線塔、電線桿、煙囪等立體模型。

(2)直升機起飛后,選擇儀表導航信號、飛行員頭盔朝向和全球定位系統(global positioning system,GPS)位置信號作為數據源,實時計算飛行員導航視場范圍,在多功能顯示器上輸出飛行員視角前方區域的三維視景,為飛行員提供了清晰的艙外地形地貌。

(3)飛行過程中,不斷獲取最新飛行姿態數據,調用地景地形顯示、綜合視景融合模塊調整場景范圍并更新顯示安全區域配色。基于已提取的50 m以上障礙物數據和直升機離地高度、速度等,判斷地形及障礙物與直升機的實時位置關系,適時檢測告警包線的觸發情況,如圖6所示。

(4)下降飛行時,根據直升機當前地速和航向,觸發預計前向60 s航時、左右30 s航時距離范圍警戒包線檢測,在當前視景中提取等于或高于直升機高度的地形區間,對產生的威脅地形疊加紅色區域突出顯示,并以疊加黃色區域突出顯示告警地形,如圖7所示。每一次下降飛行時,將重復執行本次地形告警處理過程。

圖7 綜合視景地形告警顯示Fig.7 The display of comprehensive visual terrain warning

(5)通過機載雷達探測到實時障礙物后,提取、生成高壓線塔等目標,進行分類信息、使用位置預先生成并存入障礙物列表。分類信息包括物體類型、相對高度、方向、反射面積,不包括物體的輪廓外形,因此在渲染中采取固定外形、動態標高的形式展示障礙物。所謂固定外形是每一種障礙物都采取預先建模的方式處理,通過擠壓或者拉伸X、Y、Z方向使之適應測量數據。探測到的地表障礙物使用位置信息是相對直升機而言的,需要根據地形特征將障礙物嵌合進去,并使用大地坐標、地形高度替換障礙物坐標、海拔高度,得到新的位置信息并將障礙物標記在該位置,防止懸浮、陷入地下等不良視覺情況。

(6)根據當前直升機地速,計算預計40 s和20 s航時的距離,分別記作L20和L40。首先,遍歷障礙物列表,對于每一個障礙物計算其與直升機的距離,記作Ld;若Ld>L40,障礙物從場景內存移除,并卸載它占用的資源;若Ld>L20且Ld

圖8 障礙物告警視景顯示Fig.8 The display of obstacle warning

(7)近地著陸飛行時,結合當前飛行速度、高度、航向,動態生成了前方10 s航時安全通道指示,如圖9所示,疊加顯示應飛速度、高度、航向指示符號等信息,輸出了易于理解的外部地形環境感知、威脅信息提示。通過重復執行本次步驟,安全飛行通道與引導符號可隨飛行過程變化,進行引導信息多維圖形化生成,更新綜合視景,實現清晰的飛行駕駛操作指示。

圖9 近地飛行可視化引導視景顯示Fig.9 The display of the visual ground proximity guidance

以上應用過程表明,提出的技術方法能夠實現基于載機位置、姿態的多源圖像匹配,為飛行員呈現前向視角下的綜合視景[11],并產生相應的地形障礙告警顯示,讓飛行員可視化感知地形等與載機的相對水平位置、垂直位置以及隨載機相對高度差的變化,有效縮小飛行過程中航跡偏差,減輕飛行員操作負擔。

4 結論

綜合視景是融合了多種先進技術的航空電子解決方案,已成為避障和近地導引解決方案的一個重要載體。能夠提升飛行員在復雜環境中的情景感知與信息交互能力,輔助飛行員快速準確決策,為直升機低空飛行訓練提供安全保障,滿足多種飛行過程應用。

通過深化研究直升機綜合視景近地引導的基本原理與使用場景,介紹了一體化高分數據與直升機多源航電數據深度融合的設計思路,規劃了飛行環境綜合展示、危險地形及障礙告警顯示、近地引導信息提示等關鍵功能,系統性設計了總體技術架構、信息處理流程。結合直升機飛行教學訓練典型應用場景,全方位地展示了直升機綜合視景近地引導技術的特點。

研究成果表明,在應用高分地理信息庫基礎上,借助先進的圖像融合以及地形視景渲染等技術,利用機載導航數據和飛行航線,能夠提供高精度、易感知的視景圖像以及地形和障礙物告警。通過典型試驗,證明了所設計方法合理可行且具有時效性、精確性和穩定性。后續仍需深入研究直升機近地避障的全方位應用需求場景[12],深化與機載綜合航電信息融合處理,支持更多高精度引導視景數據輸出,大幅提升威脅目標檢測和復雜環境下綜合態勢感知能力,并推廣到多種應用場景,例如復雜山區、密集城鎮環境緊急著陸引導,為飛行員安全訓練水平提升奠定基礎。