增強(qiáng)現(xiàn)實(shí)技術(shù)在單兵設(shè)備中的應(yīng)用研究*

程天人 徐 騰

（上海船舶電子設(shè)備研究所 上海 201100）

1 引言

增強(qiáng)現(xiàn)實(shí)技術(shù)（Augmented Reality，AR）是將計(jì)算機(jī)生成的虛擬信息合成到用戶感知的真實(shí)世界中的一種技術(shù)，通過(guò)利用視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等人類的各種感知方式，將真實(shí)世界與虛擬世界融合起來(lái)，實(shí)現(xiàn)對(duì)真實(shí)世界的增加和強(qiáng)化，提升用戶對(duì)現(xiàn)實(shí)世界的感知［1］。真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)疊加到同一個(gè)畫(huà)面或空間同時(shí)存在，不僅展現(xiàn)了真實(shí)世界的信息，而且將虛擬的信息同時(shí)顯示出來(lái)，兩種信息相互補(bǔ)充、疊加，提供了在一般情況下，不同于人類可以感知的信息。2012年6月28日，在I/O 開(kāi)發(fā)者大會(huì)上，谷歌公司推出了穿戴式增強(qiáng)現(xiàn)實(shí)產(chǎn)品Google Glass，被《時(shí)代》雜志評(píng)為2012年最佳發(fā)明。微軟2015年展示了HoloLens 增強(qiáng)現(xiàn)實(shí)眼鏡，可以利用手勢(shì)進(jìn)行交互，戴上眼鏡后，可通過(guò)手指在空中點(diǎn)選、拖動(dòng)、拉伸來(lái)控制虛擬物體和功能菜單界面，進(jìn)一步激發(fā)了全球增強(qiáng)現(xiàn)實(shí)技術(shù)研發(fā)與應(yīng)用的新熱潮。

當(dāng)前，從城市規(guī)劃、教育科研、設(shè)計(jì)研發(fā)、維修保障到軍事訓(xùn)練、作戰(zhàn)指揮，增強(qiáng)現(xiàn)實(shí)技術(shù)均能大顯神通，展示出超強(qiáng)的發(fā)展?jié)摿ΓS著研究和應(yīng)用的日趨深入和成熟，必將對(duì)未來(lái)各領(lǐng)域應(yīng)用產(chǎn)生深遠(yuǎn)和顛覆性的影響。

2 增強(qiáng)現(xiàn)實(shí)系統(tǒng)組成

增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展與虛擬現(xiàn)實(shí)技術(shù)發(fā)展密切相關(guān)，二者又明顯不同，虛擬現(xiàn)實(shí)是模擬真實(shí)世界，用戶完全沉浸在虛擬世界中，與虛擬物體進(jìn)行交互，增強(qiáng)現(xiàn)實(shí)是在用戶感知的真實(shí)世界上，疊加虛擬場(chǎng)景，來(lái)提升用戶的感知能力，用戶與合成的場(chǎng)景進(jìn)行交互，并不改變對(duì)真實(shí)世界的各種感受［2］。增強(qiáng)現(xiàn)實(shí)是一個(gè)多學(xué)科交叉的研究領(lǐng)域，融合了包括多媒體、計(jì)算機(jī)視覺(jué)和圖形學(xué)、人機(jī)交互、圖像處理等多種技術(shù)。一個(gè)典型的AR系統(tǒng)由虛擬模型生成、虛擬場(chǎng)景渲染、跟蹤定位、虛實(shí)融合顯示、操控信息捕獲與處理等部分組成，如圖1所示。

圖1 增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)示意圖

模型、圖片、文字等虛擬場(chǎng)景元素一般由計(jì)算機(jī)生成，模型可根據(jù)場(chǎng)景應(yīng)用需求預(yù)先加載或在應(yīng)用過(guò)程中根據(jù)用戶要求實(shí)時(shí)加載［3］。

虛擬場(chǎng)景渲染主要是對(duì)虛擬場(chǎng)景進(jìn)行繪制、渲染，生成虛擬場(chǎng)景中的虛擬物體，形成虛擬場(chǎng)景。

真實(shí)場(chǎng)景通過(guò)透鏡或攝像機(jī)采集，疊加虛擬場(chǎng)景后，形成增強(qiáng)現(xiàn)實(shí)場(chǎng)景，供用戶體驗(yàn)。

跟蹤定位是通過(guò)對(duì)真實(shí)場(chǎng)景量測(cè)、計(jì)算，獲取虛擬場(chǎng)景中物體的信息，實(shí)現(xiàn)虛擬場(chǎng)景在真實(shí)場(chǎng)景中的疊加和融合顯示。

用戶需要可以通過(guò)語(yǔ)音、手勢(shì)等，由麥克風(fēng)、攝像頭、跟蹤器和計(jì)算機(jī)等設(shè)備進(jìn)行捕獲處理，生成操控指令進(jìn)行虛擬場(chǎng)景元素的加載及制作，從而實(shí)現(xiàn)對(duì)增強(qiáng)現(xiàn)實(shí)場(chǎng)景的控制。

3 增強(qiáng)現(xiàn)實(shí)系統(tǒng)主要關(guān)鍵技術(shù)

增強(qiáng)現(xiàn)實(shí)系統(tǒng)的主要任務(wù)是進(jìn)行真實(shí)世界和虛擬物體的無(wú)縫融合，需要解決真實(shí)場(chǎng)景和虛擬物體在幾何空間、色彩空間和時(shí)間維度的合成一致性問(wèn)題。根據(jù)增強(qiáng)現(xiàn)實(shí)技術(shù)的定義，實(shí)現(xiàn)一個(gè)AR 系統(tǒng)必須要具備三種關(guān)鍵技術(shù)，分別是成像顯示技術(shù)、跟蹤與定位技術(shù)、人機(jī)交互技術(shù)，其中，跟蹤與定位技術(shù)實(shí)現(xiàn)幾何空間一致性，成像顯示技術(shù)實(shí)現(xiàn)色彩空間一致性，人機(jī)交互技術(shù)實(shí)現(xiàn)時(shí)間維度一致性。

3.1 增強(qiáng)現(xiàn)實(shí)跟蹤與定位技術(shù)

跟蹤定位技術(shù)一般分兩類，一類是基于傳感器的跟蹤定位技術(shù)，這類技術(shù)無(wú)需使用復(fù)雜的算法來(lái)獲取虛擬信息呈現(xiàn)的位置，而是通過(guò)北斗、GPS、陀螺儀等各種硬件傳感器來(lái)得到位置、姿態(tài)信息；另一類是基于計(jì)算機(jī)視覺(jué)的跟蹤定位技術(shù)，該類技術(shù)無(wú)需借助傳感器等硬件設(shè)備，它通過(guò)攝像設(shè)備采集真實(shí)場(chǎng)景視頻圖像，采用圖形圖像處理技術(shù)對(duì)采集的環(huán)境信息進(jìn)行分析，獲取攝像機(jī)在真實(shí)環(huán)境中的位置、角度等信息，從而實(shí)現(xiàn)跟蹤定位［4～5］。跟蹤定位技術(shù)的主要分類如圖2。

圖2 三維場(chǎng)景跟蹤定位技術(shù)

由于兩種跟蹤定位技術(shù)在使用中各有優(yōu)勢(shì)和不足，目前單一的跟蹤技術(shù)不可能很好地解決增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)的跟蹤定位問(wèn)題。因此采用混合跟蹤的方法進(jìn)行跟蹤定位是增強(qiáng)現(xiàn)實(shí)系統(tǒng)的重點(diǎn)研究方向［6］。混合跟蹤定位技術(shù)主要是將基于視覺(jué)的跟蹤定位與基于傳感器的跟蹤定位相結(jié)合，以達(dá)到更加精確的跟蹤定位效果。

3.2 增強(qiáng)現(xiàn)實(shí)成像顯示技術(shù)

增強(qiáng)現(xiàn)實(shí)系統(tǒng)成像顯示技術(shù)主要包括傳統(tǒng)普通顯示器顯示、便攜移動(dòng)設(shè)備顯示、投影顯示設(shè)備顯示、頭盔顯示設(shè)備顯示、眼鏡顯示、裸眼3D 顯示等技術(shù)，如圖3。其中，單兵設(shè)備的頭盔顯示方式已廣泛應(yīng)用于增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，一般分為光學(xué)透視式和視頻透視式兩類，光學(xué)透視式頭盔顯示技術(shù)由加裝在眼前的光學(xué)融合器完成虛實(shí)場(chǎng)景的融合，再將融合后的場(chǎng)景呈現(xiàn)給用戶。光學(xué)透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)具有簡(jiǎn)單、分辨率高、沒(méi)有視覺(jué)偏差等優(yōu)點(diǎn)，但同時(shí)也存在著定位精度要求高、延遲匹配難、視野相對(duì)較窄等缺陷。視頻透視式頭盔顯示技術(shù)由頭盔上的攝像機(jī)獲取真實(shí)場(chǎng)景的視頻圖像，并將該視頻圖像與虛擬場(chǎng)景進(jìn)行疊加，實(shí)現(xiàn)虛實(shí)場(chǎng)景的融合呈現(xiàn)給用戶。視頻透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)具有景象合成靈活、視野較寬、跟蹤誤差小、定位精度高等優(yōu)點(diǎn)，但由于人眼的視點(diǎn)與攝像機(jī)視點(diǎn)無(wú)法重合，會(huì)導(dǎo)致用戶看到的景象與真實(shí)景象之間存在偏差［7］。

圖3 增強(qiáng)現(xiàn)實(shí)成像顯示技術(shù)

圖4 增強(qiáng)現(xiàn)實(shí)人機(jī)交互技術(shù)

3.3 增強(qiáng)現(xiàn)實(shí)人機(jī)交互技術(shù)

增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的交互方式主要有四類：傳統(tǒng)的鍵盤(pán)、鼠標(biāo)人機(jī)交互、基于便攜設(shè)備的人機(jī)交互、基于手勢(shì)的人機(jī)交互和基于語(yǔ)音的人機(jī)交互，基于手勢(shì)和語(yǔ)音的人機(jī)交互更接近于人類本身的交互方式，一般稱為自然人機(jī)交互［8～9］。

基于手勢(shì)動(dòng)作的人機(jī)交互技術(shù)通過(guò)視覺(jué)檢測(cè)實(shí)時(shí)捕獲、分析操作者動(dòng)作，實(shí)現(xiàn)對(duì)操作者意圖的識(shí)別，并自動(dòng)匹配和生成相應(yīng)的操作指令，實(shí)現(xiàn)人機(jī)交互［10］。動(dòng)作捕獲技術(shù)主要由光學(xué)捕獲和視覺(jué)捕獲技術(shù)兩部分組成，光學(xué)捕獲通過(guò)捕獲穿戴設(shè)備特定位置光點(diǎn)，并綜合多個(gè)光點(diǎn)位置信息分析出操作者所作的動(dòng)作，實(shí)現(xiàn)對(duì)操作的識(shí)別；視覺(jué)捕獲技術(shù)通過(guò)提取視頻中捕捉對(duì)象，通過(guò)特定的三維模型匹配動(dòng)作，實(shí)現(xiàn)對(duì)操作的識(shí)別。

4 增強(qiáng)現(xiàn)實(shí)技術(shù)在單兵設(shè)備中的應(yīng)用

隨著信息技術(shù)在軍事領(lǐng)域的深度應(yīng)用，以信息網(wǎng)絡(luò)為基礎(chǔ)，引入人工智能、增強(qiáng)現(xiàn)實(shí)等前沿技術(shù)，世界各國(guó)都在大力發(fā)展單兵系統(tǒng)，對(duì)系統(tǒng)的綜合效能、人機(jī)交互特別是視覺(jué)增強(qiáng)等方面進(jìn)行深入研究，從而提升單兵設(shè)備的智能感知、多任務(wù)協(xié)同和人機(jī)交互的能力。

單兵設(shè)備一般采用頭盔式裝備，其裝備方便，便于使用。在頭盔式裝備中，穿透式大視角增強(qiáng)現(xiàn)實(shí)（AR）顯示設(shè)備是主流的顯示方式。新的設(shè)備形態(tài)需要新的人機(jī)交互方式與之相適應(yīng)。

4.1 雙目戰(zhàn)術(shù)AR裝置設(shè)計(jì)技術(shù)

雙目戰(zhàn)術(shù)AR 提供了一個(gè)全新的人機(jī)交互方式［11］，具有較佳的近眼顯示效果，使用者能夠輕松、便捷地觀看顯示信息，主要功能是提供一個(gè)雙目的可視覺(jué)穿透式的近眼顯示功能，透過(guò)屏幕可以看到實(shí)際的物理世界，同時(shí)還可以在屏幕上疊加顯示一部分虛擬信息，從而達(dá)到虛擬現(xiàn)實(shí)增強(qiáng)的效果。頭盔顯示器采用隱藏式雙目戰(zhàn)術(shù)AR結(jié)構(gòu)設(shè)計(jì)。

隱藏式雙目戰(zhàn)術(shù)AR 通過(guò)增加頭盔前沿的寬度，采用阻尼滑軌，使用時(shí)可將AR眼鏡端向下輕拉便可定位于眼前，通過(guò)微調(diào)便可清晰顯示，同時(shí)可以佩戴全面罩式風(fēng)鏡。不使用時(shí)可將AR眼鏡端向上輕推，便可完全隱藏在頭盔內(nèi)部，不遮擋視線，同時(shí)不影響制式風(fēng)鏡等裝備的使用。隱藏式雙目戰(zhàn)術(shù)AR 包括盔體、盔體附件、AR 眼鏡裝置、連接裝置，如圖5所示。

圖5 隱藏式雙目戰(zhàn)術(shù)AR示意圖

圖6 眼動(dòng)追蹤目標(biāo)選擇

4.2 基于高精度輕型穩(wěn)定視覺(jué)SLAM 的頭盔定姿定位技術(shù)

單兵設(shè)備的顯示功能將融合所觀察到的實(shí)際場(chǎng)景和對(duì)場(chǎng)景中的目標(biāo)增強(qiáng)和輔助信息顯示的功能，其中虛擬對(duì)象的顯示要與真實(shí)對(duì)象的位置保持固定的空間關(guān)系，這就要求頭盔的定姿定位具有高精度、高效和持久穩(wěn)定性。同時(shí)定位與地圖構(gòu)建是增強(qiáng)現(xiàn)實(shí)設(shè)備與真實(shí)場(chǎng)景之間交互和顯示的核心支撐技術(shù)。

研究基于高精度輕型視覺(jué)SLAM 的定姿定位技術(shù)，是為單兵提供獲取周圍環(huán)境空間關(guān)系數(shù)據(jù)的技術(shù)手段，也為虛實(shí)融合顯示提供支撐，為單兵視覺(jué)提供輔助與指示。傳統(tǒng)的激光SLAM 由于需要額外的激光設(shè)備不能滿足頭盔的輕便、低功耗需求，而視覺(jué)SLAM作為是以可見(jiàn)光/微光相機(jī)為主要輸入源的SLAM 技術(shù)則成為可行的方案。該技術(shù)成本低廉，紋理、顏色信息豐富，更適合識(shí)別追蹤場(chǎng)景中的動(dòng)態(tài)變化，檢測(cè)周邊場(chǎng)景語(yǔ)義內(nèi)容，給出豐富場(chǎng)景描述信息。

通過(guò)對(duì)視覺(jué)SLAM 與多感知信息融合處理技術(shù)的研究，能夠得到更精確的單兵場(chǎng)景定位，同時(shí)實(shí)現(xiàn)單兵行動(dòng)軌跡記錄功能，為單兵提供實(shí)時(shí)周邊信息反饋，幫助其判斷當(dāng)前場(chǎng)景局勢(shì)。同時(shí)，單兵的傳感器信息匯總到指揮中心后，可利用中央處理器對(duì)所有信息進(jìn)行匯總整合，進(jìn)行全局的地圖重建，從而得到更豐富的場(chǎng)景實(shí)時(shí)情況。

4.3 基于眼動(dòng)追蹤的目標(biāo)選擇與人機(jī)交互技術(shù)

當(dāng)單兵設(shè)備協(xié)同時(shí)，多維度差異化的觀察視角與視距，復(fù)雜場(chǎng)景不同時(shí)延信息的同步融合，以及由戰(zhàn)場(chǎng)環(huán)境、偵察打擊目標(biāo)和運(yùn)動(dòng)平臺(tái)所構(gòu)成的動(dòng)態(tài)場(chǎng)景，都是影響單兵節(jié)點(diǎn)實(shí)現(xiàn)人人協(xié)同的難題。

由于單兵設(shè)備體積小，任務(wù)融合度高，為了滿足交互過(guò)程特殊性需求、最小化或無(wú)需手的參與，提升單兵使用狀態(tài)下的信息交互能力，最適合的交互方式為以眼動(dòng)交互為主的交互方案。因?yàn)橹挥醒鄄縿?dòng)作的幅度最小，而且其他人無(wú)法單獨(dú)從眼部動(dòng)作判斷動(dòng)作的意圖。

眼動(dòng)追蹤作為一種新型交互方式，在單兵頭盔中應(yīng)用可以幫助單兵進(jìn)行態(tài)勢(shì)感知和交互，它可以通過(guò)跟蹤人眼球的角度來(lái)找到人的注意力，選擇增強(qiáng)現(xiàn)實(shí)圖像的目標(biāo)［12］。基于眼動(dòng)追蹤的目標(biāo)選擇，是最快最直接的方式，眼動(dòng)追蹤技術(shù)是通過(guò)檢測(cè)眼球運(yùn)動(dòng)過(guò)程中的一些特性，來(lái)追蹤眼睛運(yùn)動(dòng)和視線的變化。眼動(dòng)追蹤測(cè)量設(shè)備又叫眼動(dòng)儀，它能測(cè)量眼動(dòng)頻率、瞳孔大小變化、平均注視駐留時(shí)間、注視點(diǎn)序列、目標(biāo)興趣區(qū)時(shí)間、眼震等參數(shù)。為此，需要重點(diǎn)突破眼動(dòng)追蹤復(fù)雜光照防干擾算法、眼動(dòng)追蹤深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法等關(guān)鍵技術(shù)。

4.4 虛實(shí)融合多坐標(biāo)轉(zhuǎn)換技術(shù)

虛實(shí)融合是增強(qiáng)現(xiàn)實(shí)技術(shù)的主要實(shí)現(xiàn)手段，虛實(shí)融合的效果直接影響著增強(qiáng)現(xiàn)實(shí)技術(shù)的真實(shí)感。虛實(shí)融合中的最重要的問(wèn)題就是多坐標(biāo)轉(zhuǎn)換問(wèn)題。

三維配準(zhǔn)與虛實(shí)映射定位融合技術(shù)是增強(qiáng)現(xiàn)實(shí)系統(tǒng)中非常重要的部分，該技術(shù)完成的主要操作是把計(jì)算機(jī)生成的虛擬物體及信息等準(zhǔn)確地疊加到真實(shí)場(chǎng)景之中。其核心是根據(jù)相機(jī)的移動(dòng)，計(jì)算相機(jī)當(dāng)前的位姿，由當(dāng)前位姿信息就能夠得到當(dāng)前虛擬物體疊加的位置，實(shí)現(xiàn)虛實(shí)融合。

在AR 系統(tǒng)中，三維配準(zhǔn)技術(shù)主要解決的問(wèn)題是怎樣準(zhǔn)確的將虛擬物體放置在真實(shí)場(chǎng)景中。要將虛擬物體準(zhǔn)確放置在真實(shí)場(chǎng)景中需要涉及相機(jī)的標(biāo)定以及兩個(gè)轉(zhuǎn)換過(guò)程。其中，相機(jī)標(biāo)定的主要目的是獲得相機(jī)的內(nèi)參，兩個(gè)轉(zhuǎn)換過(guò)程包括從世界坐標(biāo)到相機(jī)坐標(biāo)的轉(zhuǎn)換，以及從相機(jī)坐標(biāo)到成像坐標(biāo)系的轉(zhuǎn)換，要經(jīng)過(guò)這兩個(gè)過(guò)程的轉(zhuǎn)換，重點(diǎn)實(shí)現(xiàn)計(jì)算機(jī)在眼鏡屏幕上生成的目標(biāo)檢測(cè)框（虛擬物體）準(zhǔn)確地框選目標(biāo)，才能使目標(biāo)對(duì)象準(zhǔn)確的顯示在屏幕上。

5 結(jié)語(yǔ)

經(jīng)過(guò)多年的發(fā)展，增強(qiáng)現(xiàn)實(shí)相關(guān)技術(shù)取得了顯著的進(jìn)步，展示出強(qiáng)勁的發(fā)展前景。本文簡(jiǎn)要介紹了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的基本組成，分析了增強(qiáng)現(xiàn)實(shí)系統(tǒng)涉及的主要關(guān)鍵技術(shù)，提出了增強(qiáng)現(xiàn)實(shí)技術(shù)在單兵設(shè)備中的重點(diǎn)應(yīng)用研究?jī)?nèi)容，對(duì)相關(guān)研究人員系統(tǒng)地了解增強(qiáng)現(xiàn)實(shí)系統(tǒng)和技術(shù)有一定的參考意義。隨著增強(qiáng)現(xiàn)實(shí)技術(shù)的快速發(fā)展，其應(yīng)用領(lǐng)域特別是在軍事方面的應(yīng)用前景將十分廣闊。