艦載指控系統(tǒng)多通道交互集成技術研究*

寧云暉 楊雪飛 徐建平 程 雄

(1.海軍裝備研究院 北京 100161)(2.武漢數(shù)字工程研究所 武漢 430205)

艦載指控系統(tǒng)多通道交互集成技術研究*

寧云暉1楊雪飛1徐建平1程 雄2

(1.海軍裝備研究院 北京 100161)(2.武漢數(shù)字工程研究所 武漢 430205)

人機交互友好性是影響指控系統(tǒng)作戰(zhàn)效率的一個重要因素。在分析指控系統(tǒng)人機交互的需求基礎上,提出一套適用于艦載指控系統(tǒng)的多通道人機交互框架,形成了多通道人機交互集成規(guī)范,可以提高交互的自然性和高效性。

指控系統(tǒng); 人機交互; 多通道交互

1 引言

艦艇指控系統(tǒng)是發(fā)揮艦艇平臺整體作戰(zhàn)效能的核心裝備,需要組織顯示與作戰(zhàn)過程相關的多種艦艇作戰(zhàn)資源的作戰(zhàn)狀態(tài)、戰(zhàn)場態(tài)勢,因而顯示的信息數(shù)量多,種類繁雜,實時變化快。同時指揮人員需要利用指控系統(tǒng)快速、準確地指揮、干預作戰(zhàn)過程,因此如何高效地發(fā)揮指揮員的作戰(zhàn)藝術,準確地反映指揮員的作戰(zhàn)意圖是指控系統(tǒng)研究中需要解決的重要問題[1～2]。

目前我軍使用的指揮控制系統(tǒng)多數(shù)是基于圖形用戶界面,人機交互以鍵盤、跟蹤球(或鼠標)、表頁顯示器等人機交互操作為主。這種交互方式的特征是以窗口管理系統(tǒng)為核心,使用的交互設備比較單一,難以表達和支持非空間性的抽象信息和交互。此外,在交互過程中極大的依賴于視覺和手動控制參與,對使用者的操作要求很高,難于滿足復雜多變的戰(zhàn)場條件快速下準確交互的操作需要,交互手段和方式造成了操控交互效率不高,嚴重影響了指揮決策的效率。

針對艦載指控系統(tǒng)中的人機自然交互的需求,本文基于多點觸摸、語音交互、體感交互、移動PAD等多通道人機交互技術,提出一套適用于艦載指控系統(tǒng)的多通道人機交互框架,實現(xiàn)草圖識別、語音識別、多點觸摸、手寫識別、PDA等人機交互技術的優(yōu)化、集成及其工程化應用,從而從指揮員能利用多個通道以自然、并行、協(xié)作的方式進行人機對話,提高指揮決策的自然性和高效性[3]。

2 多通道交互技術概述

2.1 多通道交互技術

在傳統(tǒng)的交互方式中,為了適應計算機的“習慣”,用戶通常使用精確而非人性化的交互設備,如鼠標、鍵盤等。當前,得益于其他各相關計算機技術如語音識別、自然語言理解、手勢識別、計算機視覺等多門技術的發(fā)展,人機交互的研究步入了一個新的領域——多通道人機交互(Multi-Modal Human-Computer Interaction)。所謂多通道交互,是指一種使用多種通道與計算機通信的人家交互方式,通道涵蓋用戶表達意圖、執(zhí)行動作或感知反饋信息的各種通信方法,如語言、手勢、頭動、唇動、觸覺、味覺等[4]。

多通道系統(tǒng)允許用戶通過多個不同的人體交互通道如語音、手勢、姿勢等與之通信,并能從中自動提取語義,識別出最終交互目的。多通道人機界面充分利用人的多個認知通道,利用語音識別、手勢輸入、視線跟蹤、感覺反饋等新交互技術,以并行、非精確方式與計算機交互,旨在提高人機交互的自然性和高效性。現(xiàn)今多通道界面的研究已經(jīng)成為人機交互領域的重要方向。多通道交互系統(tǒng)與傳統(tǒng)的圖形用戶界面交互的最大的不同之處在于,多種交互設備的同時使用來自多個交互通道的信息的融合。它的目的是在人機工程學的背景下,通過研究人在信息交流中的習慣和行為模式,綜合使用視線、語音、手勢等新的交互通道、設備和交互技術,使用戶可通過多個通道以自然、并行、協(xié)作的方式進行人機對話,融合來自不同通道的精確的和不精確的輸入以捕捉用戶的交互意圖,提高人機交互的自然性和高效性,最終達到以人為中心的交互方式。

2.2 國內(nèi)外研究現(xiàn)狀

20世紀80年代后期以來,多通道人機交互成為嶄新的研究領域,受到高度重視。北美、歐洲很多研究機構(gòu)的研究內(nèi)容涉及鍵盤、鼠標之外的語音、手勢、手寫和眼動等輸入通道,使用戶能利用多個通道以自然、并行、協(xié)作的方式進行人機會話,并且以具體系統(tǒng)為主。許多相關的研究計劃紛紛啟動。

卡內(nèi)基梅隆大學在DARPA的資助下,對語音識別、手寫識別、手勢識別、自然用戶接口等多模態(tài)人機交互技術進行了廣泛研究,開發(fā)了基于Java的多模態(tài)交互工具箱(MMI)[5]。MIT的人工智能實驗室從1996年開始了名為Intelligent Room[6]的研究項目,目的在于探索先進的人機交互和協(xié)作技術,其具體目標是建立一個智能房間,解釋和增強其中發(fā)生的活動。麻省理工學院的軟件智能體研究組在GANDALF項目中,將多模態(tài)交互與智能體結(jié)合起來,希望設計出一種擬人化的智能體,使用戶可以用語音、表情、手勢等方式與之自然交流。歐共體委員會CEC制定了一個歐洲信息技術戰(zhàn)略計劃ESPRIT[7],對人機界面進行了系統(tǒng)研究,其中包括語音識別、語音合成、聲音的空間化、筆式輸入和手寫體識別等關鍵支撐技術的研究。美國Applied Minds公司的雙手觸摸交互系統(tǒng)TouchTable提供了高級的雙手操作和可視化能力,能最大化地支持協(xié)作[8]。

近年來,國外已出現(xiàn)了一些智能多模態(tài)人機交互系統(tǒng),國內(nèi)也有單位開展智能多模人機交互的研究工作,如清華大學計算機系人機交互與媒體集成研究所正在研制的“智能教室”[9],其中的人機界面由投影顯示、語音命令、話音合成、姿態(tài)識別、人物跟蹤與識別等組成,準備通過多模態(tài)的人機接口技術實現(xiàn),此外,該計劃引入了智能環(huán)境及“無所不在的計算”的研究思路。北京交通大學信息所的基于Agent的多功能感知系統(tǒng),該項研究提出了一個基于Agent的多模人機交互框架,并且進行了兩種輸入模態(tài)聯(lián)合的實驗[10]。

綜觀目前對于多通道技術的研究,主要集中在以下幾個方面：

1) 單個通道技術的研究：如語音識別、自然語言理解、手寫識別、視線跟蹤、面部跟蹤等,這類研究著重于對某一個通道的前沿技術的研究,旨在發(fā)展單個通道的技術。

2) 多個通道的整合技術；這類研究采用多學科交叉的研究方法,通過尋求多個通道間信息的共同表示,借鑒和分析人類多通道信息處理中的數(shù)據(jù)模型,尋求計算機軟件系統(tǒng)中對映射到多個交互通道的信息的統(tǒng)一化表示。即模擬人類的方式對多個通道信息進行處理以實現(xiàn)交互。

3) 多通道系統(tǒng)的軟件架構(gòu)和系統(tǒng)模型；多通道界面的優(yōu)勢和靈活導致了許多設計問題上的復雜性,軟件結(jié)構(gòu)就是一個迫切需要解決的大問題,目前討論比較多的是智能體模型。

4) 用戶心理學、行為認知學等用戶模型的研究；多通道人機交互的研究目的就是要實現(xiàn)類似人際的盡可能自然的交互,因此對用戶的心理和行為分析將有助于多通道系統(tǒng)的模型分析和建立。

3 多通道交互集成方法

多通道交互集成要解決的關鍵問題就是如何將不同通道的輸入信息有機地整合起來,得出用戶的交互目的。人的交互意圖是由大腦控制的,利用多個效應通道如手、語言、動作等,并行協(xié)作地表達出意圖。就某一次交互來說,各個通道的輸入之間都是存在著相同目的的聯(lián)系。但是,對計算機而言,接收某個通道信息的設備不同,產(chǎn)生的信息格式也不同。要完成信息的整合,就必須將它們以一種統(tǒng)一的形式表達出來,由具體的設備信息到統(tǒng)一的格式表示,這就是多通道人機交互集成要解決的核心問題。

本文借鑒交互事件表示的分層整合模型的思想,針對多通道人機交互服務的特點和描述特性,在不同的層建立多通道人機交互消息的統(tǒng)一編碼方法及數(shù)據(jù)與接口集成規(guī)范等,從技術參考模型、數(shù)據(jù)交互規(guī)范等方面為多通道人機交互應用提供集成規(guī)范,進而實現(xiàn)多通道信息的集成。

3.1 多通道集成框架

如何在艦載指控操作中合理地利用觸摸、體感、語音等新式交互方式,實現(xiàn)多種交互通道優(yōu)化集成,提高指控操作的效率是多通道集成必須突破的問題。多通道集成框架需要集成來自不同交互通道的人機交互信息,對多種交互信息提供統(tǒng)一的管理,為上層應用提供標準的接口,從系統(tǒng)與軟件體系結(jié)構(gòu)的角度為多通道交互集成奠定基礎框架,實現(xiàn)硬件及平臺的無關性。多通道交互集成框架由三層組成：設備層、事件組織層和操作管理層,具體的處理框架如圖1所示。

圖1 多通道交互集成框架

設備層實現(xiàn)對各類輸入設備的驅(qū)動,將輸入設備的交互信息發(fā)送到事件組織層。

事件組織層接收到不同交互通道的輸入信息后,將不同類型的輸入信息按統(tǒng)一的事件格式進行組織轉(zhuǎn)換,并轉(zhuǎn)發(fā)到操作處理層進行處理。通過事件組織層,實現(xiàn)對硬件平臺的無關性。

操作管理層實時偵聽并接收事件組織層發(fā)送的事件消息,綜合考慮輸入通道、事件類型等因素,將交互事件劃分為操作對象、操作動作和操作參數(shù)信息,根據(jù)多通道集成算法,提取出包含對象、動作和屬性等信息的操作,提供給應用層。

多通道人機交互集成框架通過事件組織層和操作管理層完成多種交互通道的優(yōu)化集成,即是研究在事件組織層如何根據(jù)不同交互通道輸入事件的特點對多通道輸入的事件進行分析、標準化、形成通用交互事件,然后在操作管理層將事件組織層發(fā)送的通用事件多種交互通道信息流分解、重組和抽象的過程。

3.2 多通道交互事件規(guī)范及集成

基于交互事件的多通道集成通過對多通道的交互事件的規(guī)范表達,從而完成多通道交互整合。多通道交互事件規(guī)范根據(jù)不同交互通道輸入信息的特點,將交互事件標準化表達,形成輸入信息在系統(tǒng)中的統(tǒng)一表達方式。

對計算機而言,接收某個通道信息的設備不同,產(chǎn)生的信息格式也不同。要完成不用交互通道產(chǎn)生的交互信息的整合,就必須將它們以一種統(tǒng)一的形式表達出來,由具體的設備信息到統(tǒng)一的格式表示,即是多通道交互事件的規(guī)范表達。

基于多通道人機交互集成框架的設計,從事件組織層和操作管理層對不同通道的輸入信息進行規(guī)范性研究,將交互集成分為物理層、詞法層、語法層和應用層。由于應用層與應用密切相關,因此多通道人機交互集成規(guī)范從物理層、詞法層和語法層三個不同的層次對多種不同通道的輸入消息進行統(tǒng)一的信息整合規(guī)范。

圖2 分層模型結(jié)構(gòu)

物理層是與物理交互設備相關的,它將來自交互設備的交互信息經(jīng)過設備驅(qū)動程序轉(zhuǎn)化,形成系統(tǒng)可以處理的信息格式。不同的輸入通道所表達的信息格式是不同的。比如,鍵盤和語音交互設備輸入的信息在物理層表示是字符串,鼠標設備輸入信息在物理層表示是坐標信息和點擊信息等。物理層的規(guī)范主要研究交互設備的標準輸入信息格式。

詞法層統(tǒng)一不同通道的輸入形式。多個通道雖然處理的過程不一樣,但它們表達的內(nèi)容是一樣的。通過使用最小的數(shù)據(jù)單元—原語數(shù)據(jù),表達不同通道的輸入內(nèi)容。詞法層對物理層的交互信息進行抽象,把設備送來的信息轉(zhuǎn)化成規(guī)范的形式,便于上層的信息處理。

物理層傳遞來的原始數(shù)據(jù)都對應著設備的一個輸入事件,不同的輸入設備輸入事件也不相同。詞法層對原始數(shù)據(jù)分兩步進行規(guī)范整理,形成向下無關的最小邏輯單位。

第一步,詞法層對物理層的原始數(shù)據(jù)轉(zhuǎn)化,形成系統(tǒng)可以處理的一致格式的數(shù)據(jù),比如鍵盤和語音數(shù)據(jù)轉(zhuǎn)化為計算機內(nèi)存中的一段數(shù)字,鼠標、觸摸和體感等轉(zhuǎn)化為一系列事件。具體事件列表如表1所示。

表1 輸入事件表

續(xù)表

第二步,詞法層將事件信息進行抽象描述,形成交互語言的原語數(shù)據(jù)規(guī)范單元,將轉(zhuǎn)換后的原語數(shù)據(jù)傳遞到上層語法層。本文對常用的輸入設備和應用事件進行原語數(shù)據(jù)規(guī)范,內(nèi)容見下表。

表2 原語表

對于不同的人機交互方式,適用的原語情景也有不同,本文對詞法層原語數(shù)據(jù)規(guī)范對應的適用情景也進行了定義。例如鼠標適用于點擊、拖拽情景,不適用繪制情景等。具體適用情景如圖3。

圖3 原語適用情景規(guī)范示意圖

語法層把來自詞法層的原語信息按照人機交互的語法規(guī)范分成表示命令的原語、表示對象的原語、表示對象屬性的原語。語法層是對信息整合規(guī)則的一種描述,來自詞法層的各種信息在語法的約束下進行分類和綜合,并確定其語法意義,只有符合語法規(guī)則的信息才能進入應用層。語法層的規(guī)范主要研究各種原語組合標準與規(guī)范,用于確保原語組合的語法正確性。

語法層將原語按照命令、對象、屬性的類別進行分類,在這里我們借鑒Apple公司關于桌面系統(tǒng)人機界面的一條規(guī)則進行任務分析：“Noun-Verb”規(guī)則,即一條命令可由一個名詞和一個動詞部分構(gòu)成。例如,人們常常傾向于“新繪制一個軍標”,而不是“軍標繪制”這樣的表達方式。另外,還需對名字進行修飾,例如“新繪制一個軍方在距離10km,方位45°”。因此,我們將規(guī)則進行了修改：“Verb-Noun- Adjective”,即“操作-對象-屬性”,命名為操作三元組。

以上形式化描述中,以輸入原語為終結(jié)符。輸入原語來自于詞法層轉(zhuǎn)換的從輸入設備獲取的信息。它來自不同通道的獨立、最小、不可分割的操作。輸入原語經(jīng)過語法層組合成操作三元組后,將操作三元組傳遞至應用層,由應用層結(jié)合應用映射至具體的應用事件。

各層所處理的數(shù)據(jù)結(jié)構(gòu)在該層內(nèi)部是一致的,這樣既保證了結(jié)構(gòu)的清晰,也規(guī)范化了層與層之間的接口,屏蔽了層以下的信息差異,有利于系統(tǒng)交互通道的可擴展性。

多通道交互集成研究對標準的輸入事件進行重組和抽象,形成具體的操作事件。在多通道交互集成過程中,事件組織層根據(jù)詞法層定義的通用交互消息的原語集,將設備層發(fā)送的不同交互通道的信息按原語規(guī)范進行組織和整理,形成標準的原語事件發(fā)送到操作組織層。操作管理層偵聽并接收事件組織層發(fā)送的輸入原語,對輸入原語的通道類型、事件類型,對輸入的原語事件進行分析,依據(jù)語法層的操作三元組定義提取出對象、操作和屬性,將整合后的操作三元組傳遞至應用層,由應用層結(jié)合應用映射至具體的應用事件。

針對艦載作戰(zhàn)指揮控制系統(tǒng)的業(yè)務特點,結(jié)合人機交互設備的特點,提出了不同作戰(zhàn)業(yè)務操作下適用的交互手段組合的建議。方面作戰(zhàn)指揮時,建議采用“鍵盤+鼠標+語音”的多通道交互；作戰(zhàn)方案擬制時,建議采用“觸摸+語音”的多通道交互；文電擬制時,建議采用“鍵盤+鼠標+觸摸”的多通道交互；大屏會商設備操控時,建議采用“觸摸+體感”的多通道交互。

4 結(jié)語

多通道將是未來用戶界面的技術特征,多通道輸入信息的集成是實現(xiàn)多通道人機交互的一個關鍵技術。本文結(jié)合艦載作戰(zhàn)指揮控制系統(tǒng)的應用背景,利用鼠標、鍵盤、語音、觸摸、體感等人機交互方式,通過設計多通道集成框架,建立三層交互集成機制,定義通用交互消息原語集及操作三元組,形成多通道人機交互集成規(guī)范,并在此基礎上,針對艦載指控系統(tǒng)應用背景,給出了在不同場景采用的交互方式的建議,為艦載指控系統(tǒng)中自然高效的人機交互提供技術支撐。

[1] Peter Frantis, Jan Hodicky. Human Machine Interfance in Command and Control System[C]//IEEE International Conference on Virtual Environments,2010:38-41.

[2] 王小非.美軍指控系統(tǒng)發(fā)展及其對我海軍艦艇指控系統(tǒng)建設的啟示[J].艦船電子工程,2010,30(5):1-5.

[3] 董士海,王堅,戴國忠.人機交互與多通道用戶界面[M].北京:科學出版社,1999.

[4] 董士海,陳敏等.多通道用戶界面的模型、方法與實例[J].北京大學學報(自然科學版),2001,32(2 -3):231- 239.

[5] Eric Clayberg , Dan Rubel. Eclipse Building Commercial-Quality Plug-ins[M].北京:人民郵電出版社,2006.

[6] Coen M, et al. The future of human-computer interaction or how I learned to stop worrying and love my intelligent room[J]. IEEE Intelligent Systems, 1999, 14(2):8-10.

[7] 葉挺.基于任務分析的指揮空間多通道交互方法研究[D].長沙:國防科技大學,2009.

[8] 王鵬,黃廣連等.一種紅外多點觸摸式雙手交互技術[J]. 小型微型計算機系統(tǒng),2009,30(7):1467-1472.

[9] 谷洪亮,史元春等.智能教室支持普適計算的無線網(wǎng)絡方案的問題、挑戰(zhàn)和解決探討[J].小型微型計算機系統(tǒng),2005,26(3):367-370.

[10] S.Clemens.et.al. Component Software [M]. 2nd edition, USA: AddisonWesley, 2002.

Multimodel Interaction Integration Technique in Shipborne Command and Control System

NING Yunhui1YANG Xuefei1XU Jianping1CHENG Xiong2

(1. Navy Academy of Armament, Beijing 100161)(2. Wuhan Digital Engineering Institute, Wuhan 430205)

Friendly human-computer interaction is one of the important factors affecting the operational efficiency. In this paper,the requirements of human-computer interaction in shipborne command and control system are analyzed,and the human-computer interaction framework suitable for shipborne command and control system is proposed, multimodel interaction specification is formed, the improvements of naturealness and efficient are proved.

command and control system, human-computer interaction, multimodel interaction

E92

2016年9月11日,

2016年10月27日

寧云暉,女,工程師,研究方向：艦艇作戰(zhàn)系統(tǒng),人機工程。楊雪飛,女,工程師,研究方向：艦艇作戰(zhàn)系統(tǒng),人機工程。徐建平,男,高級工程師,研究方向：艦艇作戰(zhàn)系統(tǒng)。程雄,男,高級工程師,研究方向：人機交互。

E92

10.3969/j.issn.1672-9730.2017.03.007