作戰(zhàn)飛機智能座艙研究

殷春霞，陳曉剛

(航空工業(yè)第一飛機設計研究院，陜西 西安 710089)

飛機座艙是飛行員執(zhí)行飛行任務時的主要活動場所[1-2],依靠飛機系統(tǒng)獲取各類飛行信息，通過座艙內(nèi)的各類控制器操縱和控制飛機。在高度緊張的情況下,飛行員往往只是把直觀知覺到的顯示信息作為認知判斷和操作的基礎。為了改善飛行員在復雜情境中對自身狀態(tài)、飛機狀況和周邊事態(tài)的充分了解和整體把握，增強飛行員的情境意識能力，有效的信息顯示方式和控制方式是關鍵。因此，航空領域掀起了智能座艙的研究熱潮。

智能座艙技術就是采用有效組織管理信息的手段，向機組人員提供可參考的策略，高效地實現(xiàn)人機交互，將駕駛員從煩瑣的常規(guī)任務中解脫出來，降低機組人員工作負荷，克服人為的判斷失誤、決策不當和時機延誤等方面的問題，提高機組人員態(tài)勢感知、規(guī)劃和決策的自動化和智能化程度，提高生存概率和作戰(zhàn)效能。

智能座艙的典型特點如下。

① 在適當?shù)臅r間以正確的方式提供正確的信息；顯示最少的數(shù)據(jù)，獲得最多的信息。

② 運用視覺、觸覺、聽覺等多種技術實現(xiàn)機組人員與各系統(tǒng)交互，減輕飛行員的信息感知和操作負擔。

闡述了作戰(zhàn)飛機座艙的發(fā)展歷程，針對當前座艙人機交互存在的主要問題，提出適應未來立體作戰(zhàn)的智能座艙需求。闡述了智能座艙內(nèi)涵以及急需研究的4個關鍵技術：支持沉浸感知的超寬屏四維大態(tài)勢顯示技術、支持武器即插即用的人機交互界面技術、減輕機組操作負擔的多通道人機控制技術和順應未來機組習慣的“APP+”人機交互界面技術。最后，展望了智能座艙的研究方法。

1 作戰(zhàn)飛機座艙發(fā)展

目前，飛機座艙的演進大致經(jīng)歷了3個階段。

(1)“駕駛艙1.0”階段。

20世紀70年代以前沿著從簡單到復雜的道路發(fā)展，座艙內(nèi)的各類儀表和開關不斷增多，且漸趨飽和，如圖1所示。“駕駛艙1.0”傳統(tǒng)座艙特點：使用種類繁多的“表”和“操作開關”向飛行機組傳達和交互信息，即由系統(tǒng)(表)提供原始數(shù)據(jù)給飛行機組，然后由飛行機組整合數(shù)據(jù)變成機組可用的關于飛機、環(huán)境和任務等有關的信息，機組人員腦力工作負荷很大。

圖1 “表、開關”座艙

(2)“駕駛艙2.0”階段。

70年代末期開始，隨著航空電子技術的不斷發(fā)展，座艙開始由復雜趨向簡明，90年代玻璃座艙達到全盛時期，如圖2所示。“駕駛艙2.0”玻璃化座艙特點：使用多功能顯示器和綜合化控制組件，使機組獲得信息融合后的綜合信息，在一定程度上降低了飛行機組的工作負荷。

圖2 “玻璃化”座艙

傳統(tǒng)座艙顯控存在的主要問題有5個。

① 飛行員需花費大量時間和認知資源來關聯(lián)不同顯示器的各種信息，信息感知、評估、決策環(huán)節(jié)花費時間長，無法滿足當前和未來的復雜空戰(zhàn)需求；

② 機組需要煩瑣的思維轉(zhuǎn)換才能將顯示的態(tài)勢信息轉(zhuǎn)換成真實的戰(zhàn)場態(tài)勢，延遲了決策時間，可能錯失有利戰(zhàn)機；

③ 武器攻擊畫面種類繁多，飛行員武器攻擊時思維切換負擔重，飛行員心理壓力大，難以滿足未來掛載多型武器復雜空戰(zhàn)時的從容應戰(zhàn)需求；

④ 人機控制通道單一，聲控精度不高，飛行員指尖操作負擔重，難以滿足未來飛行員在復雜對抗環(huán)境下舒適性作戰(zhàn)需求；

⑤ 未來飛行員是使用智能手機長大的，傳統(tǒng)的人機界面設計風格難以滿足其個性化需求。

早在1990年，美國提出了“大圖像”智能座艙概念[3-4]，大圖像技術的主導思想表現(xiàn)在兩個方面：① 采用大尺寸顯示器顯示全局戰(zhàn)場態(tài)勢，增強飛行對戰(zhàn)場態(tài)勢的情景感知；② 采用多種控制手段，如握桿操縱控制、觸敏控制、聲音控制等。

2011年，泰雷茲航展上展示了全景概念座艙，如圖3所示。

圖3 2011年泰雷茲航展全景概念座艙

2017年，美國陸軍協(xié)會博覽會展示了貝爾V280原型機全景駕駛艙，如圖4所示。

圖4 2017年V280原型機全景駕駛艙

(3)“駕駛艙3.0”智能座艙的概念階段。

“駕駛艙3.0”智能座艙特點歸納如下：以機組為中心，以智能界面為特征，優(yōu)先考慮態(tài)勢感知，并做到任何特定瞬間的信息都能夠被飛行員所接受，支持武器即插即用，支持多通道控制，具有類似于人的推理能力[5]，能對外界環(huán)境做出反應，縮短機組思考時間，引導機組安全操縱和正確對抗，減輕機組工作負荷，輔助機組完成任務。

2 智能座艙

2.1 未來復雜作戰(zhàn)環(huán)境

未來空戰(zhàn)環(huán)境的復雜性使得飛行員瞬間會接收到大量的作戰(zhàn)數(shù)據(jù)，而飛行員必須快速完成對戰(zhàn)場態(tài)勢以及任務系統(tǒng)的判斷。飛行員受限于生理、智力以及心理極限，難以在短時間內(nèi)完成對“爆炸”信息[6]的正確理解和判斷。

因此，未來智能座艙應成為機組人員的“智能助手”，能夠不斷地啟發(fā)和引導機組人員，座艙顯示清晰可辨、所見即所得，交互風格順應未來飛行員的使用習慣，將飛行員時間和精力聚焦于任務本身，支撐安全、高效地完成飛行和作戰(zhàn)任務。

2.2 智能座艙內(nèi)涵

“智能”座艙內(nèi)涵為：以機組為中心，優(yōu)先考慮態(tài)勢感知，并做到任何特定瞬間的信息均能夠被飛行員所接受，支持武器即插即用，支持多通道控制，具有類似于人的思維推理能力，能對外界環(huán)境做出反應，必要時輔助飛行員決策，縮短機組思考時間，引導機組安全操縱和正確對抗，減輕機組工作負荷，輔助機組完成任務，從而將自身的角色轉(zhuǎn)變?yōu)椤爸悄芨瘪{駛”，實現(xiàn)人機關系的質(zhì)的飛躍[1]。

① 依托聲控、觸控等多樣控制形式，減少硬開關數(shù)量，支撐大尺寸顯示器布置，無縫沉浸呈現(xiàn)全景態(tài)勢、飛機狀態(tài)、防御攻擊等信息，飛行員無需逐個系統(tǒng)定位信息，信息獲知效率高。

② 依托DAS傳感器以及后端圖像融合和拼接，借助全景顯示技術，機組透視近距4Π空域態(tài)勢，輔助晝夜起降、低空突防、受油和防撞，沉浸感知來襲導彈和激光威脅，支撐飛行安全及對來襲威脅的敏捷對抗。

③ 依托“3D+4Π空間”立體告警，增強機組對來襲導彈、敵輻射體等高實時威脅的反應速度，增強機組對飛機關鍵故障的快速確認，提高飛機生存機率。

④ 依托態(tài)勢融合、航路規(guī)劃[7]、電子戰(zhàn)規(guī)劃[8]、攻擊占位規(guī)劃[9]等后端智能算法，過濾、關聯(lián)和統(tǒng)一復雜作戰(zhàn)環(huán)境下的“爆炸”數(shù)據(jù)，建立一致的戰(zhàn)場態(tài)勢，聚焦顯示機組當前關注的任務信息，飛行、態(tài)勢、防御對抗、武器攻擊等顯示信息所見即所得，輔助機組防御、對抗和攻擊決策，高負荷作戰(zhàn)環(huán)境下機組人員的腦力負擔輕，支撐我方作戰(zhàn)環(huán)路快速收斂。

⑤ 依托武器“即插即用”顯示技術，武器攻擊和引導人機界面統(tǒng)一。一方面，機組學習武器人機界面的成本低，武器攻擊時機組思維切換負擔輕，支撐任務軍官高效聚焦戰(zhàn)場任務本身；另一方面，無需重新設計和開發(fā)針對新增武器的人機界面，支撐新增武器快速形成戰(zhàn)斗力。

⑥ 依托“大數(shù)據(jù)”挖掘技術，從各類任務場景大數(shù)據(jù)中挖掘任務執(zhí)行過程中決策操作的順序和時機，自適應作戰(zhàn)任務，當飛行員決策和操作失誤時及時提示和告警，進行智能補救。

⑦ 依托電子飛行包技術，減少座艙紙質(zhì)手冊和文件，信息查詢和故障排查效率高，座艙簡潔舒適，支撐“輕裝上陣”高品質(zhì)飛行。

⑧ 依托“APP+”顯示機制，順應未來飛行員使用“智能手機”和“平板”APP的個性化需求，機組人員憑身份調(diào)顯個人風格的人機畫面，支撐機組舒適性應戰(zhàn)。

2.3 急需解決的關鍵技術

為滿足未來復雜空戰(zhàn)的座艙人機交互需求，急需研究智能座艙的4個關鍵技術：支持沉浸感知的超寬屏四維大態(tài)勢顯示技術、支持武器即插即用的人機交互界面技術、減輕機組操作負擔的多通道人機控制技術和順應未來機組習慣的“APP+”人機交互界面技術。使得面向未來的作戰(zhàn)飛機座艙以機組為中心，能夠真正成為機組人員的“智能助手”，減輕機組人員在復雜空戰(zhàn)時的生理、智力和心理負擔輕，引導機組人員從容決策和對抗。

(1)支持沉浸感知的四維大態(tài)勢顯示技術。

在敵我戰(zhàn)場環(huán)境中，只有我方快速收斂作戰(zhàn)環(huán)路才能贏戰(zhàn)，而對戰(zhàn)場態(tài)勢的迅速精準感知是快速收斂作戰(zhàn)環(huán)路的關鍵起始點。

戰(zhàn)場態(tài)勢[10]通常是戰(zhàn)場空間中兵力部署、戰(zhàn)場環(huán)境的當前狀態(tài)和其發(fā)展變化趨勢的總稱。

真實的戰(zhàn)場態(tài)勢存在于四維空間中，但用以表示戰(zhàn)場的傳統(tǒng)態(tài)勢圖卻是二維顯示的。二維態(tài)勢是將四維場景的高度維坐標信息和隨時間的態(tài)勢趨勢去除，然后將所有目標映射在地面上的投影作為目標的坐標進行顯示，需要機組依據(jù)數(shù)據(jù)表格提供的目標類型、高度信息和未來趨勢，結(jié)合主觀思維，將標繪有不同類型目標的二維平面態(tài)勢圖，思考后通過對照表格信息轉(zhuǎn)換成四維的實際態(tài)勢。二維態(tài)勢的抽象表達增加了機組人員大腦的思考和轉(zhuǎn)換過程，視點和視角的固定使機組人員無法從多種角度觀察和理解戰(zhàn)場環(huán)境，從而限制了對戰(zhàn)場環(huán)境的感知能力[11]，而戰(zhàn)場決策指揮又建立在正確的態(tài)勢評估基礎之上，導致殺傷鏈環(huán)路過長，難以應對未來復雜的空戰(zhàn)需求。

相較于二維的態(tài)勢顯示，四維態(tài)勢顯示技術更能夠啟發(fā)和引導機組在未來密集威脅和復雜作戰(zhàn)環(huán)境中快速精準感知戰(zhàn)場態(tài)勢和其他飛行作戰(zhàn)信息，支撐安全、高效完成作戰(zhàn)任務。因此，四維態(tài)勢顯示技術能夠更加適應未來戰(zhàn)場的立體作戰(zhàn)方式，代表著今后態(tài)勢顯示技術的發(fā)展方向。

(2)支持武器即插即用的人機交互界面技術。

即插即用(Plug and Play，PnP)[12-13]原本是一項用于自動處理PC機硬件設備安裝的工業(yè)標準，由Intel 和Microsoft 聯(lián)合制定。即插即用的提出使得硬件設備的安裝極大簡化，系統(tǒng)的PnP管理器可以自動檢測到設備的接入，并自動為其分配所需資源。通用串行總線USB設備正是基于PnP 的思想而得到廣泛的應用[14]。

工業(yè)領域中即插即用體系的特點和功能，正能適應未來新一代飛機機載武器管理的需要。

武器管理系統(tǒng)的即插即用技術，是指在應用層面的即插即用，要求系統(tǒng)能夠自動識別接入的導彈武器，自動建立與用戶在應用級別上的聯(lián)系，使接入的導彈武器能夠?qū)崟r地從武器管理系統(tǒng)獲取所需要的信息支持服務，飛行員在作戰(zhàn)時只需根據(jù)目標情況確認武器管理系統(tǒng)的輔助決策結(jié)果發(fā)出相應的導彈控制指令，武器管理系統(tǒng)便自動執(zhí)行作戰(zhàn)流程編程，輔助飛行員控制導彈武器的使用。美軍正在全面推行“通用武器接口”(UAI)標準[15]，極大地提高了不同型號機載武器在飛機上的系統(tǒng)集成效率，如GBU-38 JDAM與F-15E飛機進行系統(tǒng)集成時，通過配置核心數(shù)據(jù)文件，僅用幾天時間即完成飛機作戰(zhàn)飛行軟件的開發(fā)與更新，使軍機集成新型機載武器并形成戰(zhàn)斗力的時間周期和成本均縮短85%以上。基于武器即插即用技術在實現(xiàn)作戰(zhàn)任務的實時性、靈活性和精確性，目前美國空軍擬在MQ-1C無人機、F-35戰(zhàn)斗機、B-2、B-52轟炸機平臺上全面推廣和應用武器即插即用技術[14]。

國內(nèi)軍用航空領域也掀起了對武器即插即用技術的研究熱潮，但目前處于起步階段。

目前面臨一型武器一型攻擊畫面的窘境，研究通用的武器攻擊人機交互界面設計技術，當戰(zhàn)機掛載種類繁多的武器時，減輕飛行員空戰(zhàn)時的思維轉(zhuǎn)換負擔，引導任務軍官高效聚焦戰(zhàn)場任務；通用的武器攻擊人機交互界面設計技術支撐新增武器的即插即用，即無需重新研制新增武器的人機界面，縮短新型武器形成戰(zhàn)斗力的周期。因此，支持武器即插即用的人機交互界面技術是智能座艙的代表特征。

(3)多通道人機控制技術。

聲控典型的機載應用，國外有F-35、F16、歐洲“臺風”等戰(zhàn)機，國內(nèi)有J20、J15D和J16D。但在機載環(huán)境下，飛行員口音和模糊音的聲控精度仍不能滿足飛行作戰(zhàn)使用要求。目前，國內(nèi)外航空業(yè)正在尋求機載環(huán)境下自適應語音差異的高精度聲控方法。

手勢交互和眼控交互[16-17]目前仍沒有機載型號應用，其自然[18]、簡潔和便捷的人機交互特征引發(fā)了航空領域的研究熱潮。

機載座艙采用聲音控制、觸摸控制、手勢控制[19-20]、眼控[21-22]和按鍵控制等多維度控制，提高飛行員實施控制的自由度和舒適性。

(4)順應未來機組習慣的“APP+”人機交互界面技術。

智能手機“APP設計”的本質(zhì)是“以用戶為中心的設計”[23-24]，與座艙顯控“以機組為中心的設計”理念不謀而合[1]。

未來飛行員是在智能手機和平板的伴隨下長大的，“APP”[25-26]應用充斥他們的生活。研究“APP+”人機交互機制，“智腦”記憶和學習飛行員使用人機畫面的風格和習慣，憑飛行員身份調(diào)顯“智腦”記憶的飛行員個性化人機界面，支撐未來飛行員對人機界面的個性化定制需求。因此，基于“APP+”的機載座艙顯示技術是未來智能座艙的發(fā)展趨勢。

3 結(jié)束語

智能座艙應成為機組人員的“智能助手”，能夠不斷地啟發(fā)和引導機組人員，座艙顯示清晰可辨、所見即所得，交互風格順應未來飛行員的使用習慣，將飛行員時間和精力聚焦于任務本身，支撐安全、高效地完成飛行和作戰(zhàn)任務。

通過基于超寬屏的四維戰(zhàn)場大態(tài)勢顯示技術研究、支持武器即插即用的人機交互界面技術研究、多通道先進人機控制技術研究和支持“APP+”的人機交互界面技術研究，搭建一個“人機共棲”的全景智能演示驗證座艙，以典型作戰(zhàn)環(huán)境為牽引，結(jié)合人機工效評估手段[27]，驗證智能座艙關鍵技術點在支持武器即插即用、減輕飛行員工作負荷、降低人為操作失誤、提高飛行員戰(zhàn)情態(tài)勢感知、快速收斂作戰(zhàn)環(huán)路等方面的有效性和未來可實施性，為未來智能座艙人機交互設計技術提供科學的決策依據(jù)。針對這4個關鍵技術，接下來開展的具體研究方法如下。

① 基于超寬屏的四維大態(tài)勢顯示技術研究：研究四維戰(zhàn)場態(tài)勢的組成元素[28-29]，研究戰(zhàn)場態(tài)勢顯示的沉浸感知特征，確定支撐復雜態(tài)勢清晰顯示的顯示資源指標，確定后端態(tài)勢融合的顯示指標，在此基礎上形成四維戰(zhàn)場態(tài)勢顯示的表征形式，最后通過模擬的戰(zhàn)場環(huán)境驗證超寬屏四維大態(tài)勢沉浸顯示的合理性。

② 支持武器即插即用的人機交互界面技術研究：研究美國武器即插即用的發(fā)展路線和技術特征，研究各類武器攻擊引導的共性和個性差異，在此基礎上研究基于發(fā)射管道的攻擊引導人機界面的表征形式，最后形成支持武器即插即用的人機交互界面設計方法，并通過模擬武器源驗證該方法的可行性和合理性。

③ 多通道人機控制技術研究：捕獲聲控、觸控、手勢控、眼控和硬控的特點，形成多通道控制特征矩陣，以此形成控制分工策略和控制余度策略；征集至少50人的語音，訓練聲控神經(jīng)網(wǎng)絡模型；構建手勢數(shù)據(jù)庫，研究深度圖序列的手勢分解算法；研究差異性眼動識別算法；最后形成一套完整的多通道人機控制方法，并通過模擬座艙對其進行驗證和評估。

④ 支持“APP+”的人機交互界面技術研究：前往APP研發(fā)機構(如奇虎360互聯(lián)網(wǎng)公司)調(diào)研，研究智能手機和平板APP應用的體系架構和顯示機制，構建適用于飛機座艙環(huán)境的“APP+”人機交互架構和設計方法，以典型作戰(zhàn)場景為牽引，設計和開發(fā)攻擊引導APP、戰(zhàn)場態(tài)勢APP、姿態(tài)APP、導航APP、雷達探測APP、光電探測APP、武器管理APP等，最后通過模擬座艙驗證和評估“APP+”人機交互機制在機載環(huán)境下的適用性和合理性。

⑤ 支持統(tǒng)一態(tài)勢、武器即插即用、多通道控制的輔助決策技術研究。研究構建統(tǒng)一戰(zhàn)場態(tài)勢的航跡融合[30]和圖像融合技術[31]，支持飛行員沉浸感知真實戰(zhàn)場；研究通用武器發(fā)控流程和通用的發(fā)射包線解算算法，以支持新增武器的即插即用；充分利用飛行員在座艙的歷史操作數(shù)據(jù)，研究構建多通道控制特征矩陣的智能算法，以減輕人工負擔；最后通過模擬座艙對構建的算法、模型的正確性進行驗證和評估。