軍事指控系統多通道人機交互技術

陳建華,崔東華,羅 榮,肖玉杰,王 亮

(海軍研究院,北京 100161)

1 軍事指控系統

現代戰場信息來源繁多,戰爭態勢瞬息萬變。而目前的軍事指控系統仍然停留在“以機器為中心”的階段,大多采用基于圖形用戶界面的單一人機交互模式,導致作業人員認知負荷大、交互效率低等,難以滿足信息化戰爭對人機交互提出的新要求。

為適應現代戰爭高度緊張復雜的戰場環境,未來新型指控系統應當是一個具有適應性、以決策為中心的可視化人機環境。多通道交互正是這樣一種“以人為中心”的自然高效人機交互技術。由此可知,多通道人機交互技術的研究和開發,對戰場指揮決策意義重大,其必將在下一代新型軍事指控系統中發揮巨大價值。

2 軍事指控系統與人機交互技術

隨著計算機技術的發展,人機交互技術的主要發展經歷和趨勢可以分為四個階段[1-2]。第一階段為字符界面——命令字符交互方式,通過固有命令行的形式實現計算機命令字符的輸入以及顯示,它是最原始的人機交互形式,信息內容單一、人機交互困難,具有可操作性差、交互效率低的缺點。第二階段為圖形界面——操作點擊交互方式,通過各類直接點擊圖形的手段(如采用鼠標或直接觸屏式),實現快速準確執行人機交互任務。目前最常見的形式為GUI/WIMP(Graphics User Interface/Windows Icons Menus and Pointing Device,圖形用戶界面/窗口圖標菜單定點設備),它是目前軍事指控系統采用的主要方式。第三階段為影音環境——語音激勵交互方式,如在常見的WIMP界面上,集成音頻輸入輸出設備,實現人與計算機自然交流方式。它集成了智能語音語義理解、翻譯和發音等關鍵技術,已在民用市場得到了推廣。第四階段為擬態環境——行為激勵交互方式。隨著日后可穿戴技術、圖像處理技術、全息成像技術和虛擬現實技術等的進一步發展,指揮人員可身臨其境地在模擬環境中實時與真實環境進行自由交流,態勢呈現更為逼真。

人機交互方式對軍事指揮系統至關重要,隨著電子人機交互技術的出現、發展和演變,軍事指揮系統也是應運而生、應勢而長,呈現出不同的變化和發展趨勢,以至于軍事指揮的劃代主要依據就是根據采用的人機交互方式的不同。據此可將軍事指控系統顯示交互發展和趨勢分為三個階段。第一階段基于命令行方式的指控系統階段,主要采用人機交互的字符交互方式,通過按鈕或字符的方式實現指揮人員對武器裝備的操縱。第二階段為基于圖形用戶界面的指控系統階段,大屏顯示器、立式指揮桌等設備逐漸得到裝配,實現了獨立式指控系統到集中式指控系統的轉變,也是目前應用最廣泛的軍事指控系統。隨著智能語音、虛擬顯示等第三代、第四代人機交互方式的發展,軍事指控系統也將進入第三階段:基于多通道人機界面階段。

3 多通道人機交互基礎技術

多通道交互是指具有兩個及以上輸入通道的人機交互方式,如采用“鍵盤+語音”的組合方式,這使得在指揮控制過程中允許作業人員使用更多更方便自如的交互方式。一般通過在傳統的指揮人機交互系統中疊加一種或幾種更自然的交互方式,強調“以人為中心”,使作業人員能以最本能的交流方式實施作業指令,不僅能夠大幅提高交互的自然性和高效性,還能衍生出如跨平臺協同作戰指揮等新型指控樣式。目前,國內外對多通道交互開展了較為深入的研究,并取得了一定的研究成果。

1) 肢體語言交互技術

肢體語言是人類最自然的行為,與人的認知特點相吻合,體現了“以用戶為中心”的交互理念,是適應指揮人員與指控系統間自然和諧對話的一種新的交互技術[3]。

該技術在民用領域已較為成熟,市場上也推出了多款體感交互設備。早在1999年,Pierce等人就開發了一套基于數據手套的雙手交互系統——“Voodoo Doll”,主要用于對象間的相對位置關系調整,可用于簡單的動作控制,如雙手移動與縮放對象。2010年微軟發布的Kinect體感交互設備(如圖1所示),采用具有深度傳感器攝像頭得到人體深度數據,準確識別人體全身肢體行為,然后在計算機中重建三維場景,具有識別速度快、識別精度高、識別穩定性好的特點,目前已廣泛應用于動畫制作、人體運動測試、游戲互動等領域。

圖1 Kinect體感交互設備

2013年,Leap公司發布了Leap Motion控制器(如圖2所示),它通過兩個攝像頭捕捉紅外線LED對雙手在空氣中的相對位置進行感知和測量,可對包括指尖位置、方向的運動及運動趨勢進行識別,可用于瀏覽網頁、閱讀文章、翻看照片、繪畫涂鴉等的虛擬控制,理論精度達到了0.01 mm。

圖2 Leap Motion控制器

在軍事指控系統中,雙手交互是最有可能用于拓展指揮空間的肢體語言。美國Applied Minds開發的TouchTable雙手觸摸交互系統具有雙手操作輸入以及可視化界面,解放了士兵復雜的操作,已經裝備美軍[4]。美國MERL開發的DiamondTouch平臺采用了光學觸控技術,實現了雙手交互及多人協作[5-6]。

在國內,國防科技大學等單位[7-8]從分布式認識模型出發,研制出了一種支持雙手多指觸摸的光感應觸控平臺,為指揮空間內雙手交互的設計提供依據。中科院軟件研究所也對虛擬現實環境下的雙手交互技術展開了長期研究,并在實際中得到應用[9]。

2) 顯示操控交互技術

顯示操控交互技術目前已廣泛應用于軍事武器裝備中,是影響指揮決策能力和效率的重要因素[10-11]。電子地圖就是最典型的軍事作戰應用,隨著顯示操控技術的發展,電子地圖從最原始的二維繪圖逐步向三維地圖過渡,未來的顯示操控技術將使得軍事地圖更加逼真地模擬真實戰場環境,表達的形式和內容更加豐富多樣。

文獻[12]指出未來艦艇指控系統顯示技術技術體系包括三維顯示、虛擬現實、全息現實、體感交互、電子沙盤等。目前多項關鍵技術已經得到了研究和利用。20世紀90年代,美國MIT實驗室就已經構造出了第一個3D動態全息顯示系統。后來國外進行了多次軍事應用的嘗試,如美軍的CATT、SIMNET、C4ISR等現代軍事電子沙盤,集中應用地理信息技術、虛擬現實技術、多媒體技術,實現了沙盤的智能化,為戰術演練和軍事指揮提供了更直觀可達的認知。

3) 語音技術

語音輸入可以解放作業人員的雙手,作為一種未被利用的交互通道,可以很好地與其他通道融合[13]。目前對語音識別的技術越來越成熟。國內外的公司如微軟、蘋果、科大訊飛等都推出了較為成熟的語音識別軟件,阿里巴巴、京東等電商也推出了數款內置語音助手的智能音箱。未來可見的是,隨著云計算和人工智能的發展,更為成熟的智能語音技術的門檻將越來越低,使得語音識別技術更為通用和普及,促進其在軍事指控系統中的良好應用。

4) 其他方面

在多通道人機交互系統中還可以存在其他幾種方式,但因為較前幾種而言它們的使用用途比較受限,這里只做簡單介紹。目前正在進行的研究的包括臉部表情、視覺、力覺觸覺、腦電信號等多種通道方式[3,14-18]。

4 多通道融合技術

多通道交互界面集成了傳統交互設備、自然語音理解、肢體語言輸入等多種輸入通道,能夠多維提取作業人員交互意圖,彌補單通識別準確率和交互效率等帶來的不足[19]。早在1989年,Cohen等人就證實了通過語音方式與鼠標的結合能夠避免鍵盤與鼠標之間不自然的切換過程,提高交互效率。Hauptmannn和Oviatt等人早期的研究也表明將語音、手勢等多通道融合起來交互,得到更多人的使用傾向,證明多通道人機交互充分利用人類不同的感覺通道,使得作業人員感覺更本能自然,體現了未來發展以人為本的思想[20-21]。由此可知,多通道人機交互不僅可以提升作業人員的交互舒適性和自然性,還能提高計算機準確識別作業人員指控意圖,對未來武器裝備性能的發揮將起到重要作用[22]。美國開發指揮和控制軟件陸軍未來指揮所(CPoF),是一個流動的信息和決策協作環境,可提供三維空中/地面視點和二維協同環境,通過多種方式可視化戰場,已在伊拉克和阿富汗被美軍和其聯軍使用,未來將在指控系統中展開多通道人機交互應用研究。為了促進多通道人機交互技術在軍事指控系統中的應用,國內外研究人員開展了多通道融合技術研究。

Nigay L等人提出了一種稱為“融合槽”的融合算法,將各通道交互信息融合在一起,成為多通道交互研究初期廣泛應用的方法[23]。聶巖峰等人[24]針對傳統指控系統中WIMP弊端,研究了包含手勢、筆式等自然交互方式的多通道融合,提高了指揮控制系統的交互效率和能力。廖虎雄等人[25-26]提出了一種面向指揮所的多通道交互指揮空間架構,并根據設計的原型系統進行了任務分析驗證試驗。李昌嶺等人[27]針對現有人機交互系統高效性、自然性和全面性不足的缺點,提出了一種面向戰場指揮決策的多通道交互模型,并用于飛行智能體的語音激勵和手勢控制雙通道交互驗證試驗。張國華等人[28-29]研究了能夠多點觸摸的雙手手勢與語音兩個通道的人機交互模型,并應用于C2指控系統中,滿足了指控過程中人機交互自然高效的要求以及多人協作有效性的要求。黃波等人[13]針對戰場指揮過程中的多通道整合問題,提出了一種基于元動作的多通道整合模型,采用了多種融合方式,提高了系統對多通道任務的理解和執行能力。

在多通道融合方面,目前的指控系統交互設備并不具備并行協作的基礎架構。為實現多通道交互,需要對不同通道、不同形式的交互信息進行融合研究,最重要的是對多通道整合層進行技術攻關,可針對不同通道輸出的任務進行基礎任務分解,通過任務槽將不同通道的交互整合在一起,初步構架如圖3所示。

圖3 多通道系統整合模型框圖

5 結束語

多通道交互方式大大降低了傳統單交互方式輸入單一、作業人員認知負擔等造成的失誤操作概率,因此是目前的軍事指控系統發展的亟需技術。本文對多通道交互方式的基本融合模式進行了介紹,并著重分析了各項單通道人機交互方式的研究進展,指出:肢體語言交互肢體語言是人類最自然的行為,目前市場已具有成熟的肢體語言識別設備,是最有可能用于拓展軍事指揮空間的交互方式之一;顯示操控交互技術是影響指揮決策能力和效率的重要因素,已廣泛應用于軍事武器裝備中,未來采用虛擬現實、全息現實等增強效果用于智能軍事電子沙盤可助于戰場態勢感知;語音識別也是較為成熟的技術,是軍事指控系統中一種未被利用的交互通道,可以很好地與其他通道融合。目前,國內外學者已經廣泛開展多通道人機交互技術在軍事指控系統中的應用研究,在多通道融合、多人協作等方面取得了不少進展。該技術具有廣闊的應用情景,如在艦艇指控系統中,可用于戰場態勢圖形指揮,通過多種交互手段全方位、多維度地對戰場態勢情報信息進行更為準確和精細的處理,提高戰場指揮控制效能[12,30]。此外,該技術的界面集成更類似平常所用的手機界面,增加了作業人員的樂趣,在潛艇等枯燥環境中具有較好的應用前景[31-32]。另外,該項技術軍民兩用,還可以用于普通民用電子應用,如讀書讀報、新聞視頻、家電控制等。