基于全景視覺的態(tài)勢(shì)感知系統(tǒng)研究

楊柯 張長(zhǎng)江 周軍華 陳兆飛

摘要??? 本文首先介紹了態(tài)勢(shì)感知的概念和全景視覺態(tài)勢(shì)感知系統(tǒng)的組成及特點(diǎn)，概述基于全景視覺的態(tài)勢(shì)感知系統(tǒng)的應(yīng)用需求背景和在軍民用領(lǐng)域?qū)嶋H的應(yīng)用情況。接著介紹了全景視覺系統(tǒng)的技術(shù)實(shí)現(xiàn)途徑及各技術(shù)途徑的優(yōu)劣，指出實(shí)現(xiàn)全景視覺需要解決的攝像機(jī)選型技術(shù)、全景光機(jī)成像技術(shù)、全景光學(xué)及通信控制技術(shù)、全景圖像處理技術(shù)、全景圖像顯示技術(shù)等關(guān)鍵技術(shù)問題。最后詳細(xì)介紹了系統(tǒng)在陸、海、空、天的軍用領(lǐng)域及其他民用領(lǐng)域的市場(chǎng)應(yīng)用分析，并給出了本文的總結(jié)展望。

【關(guān)鍵詞】全景視覺 態(tài)勢(shì)感知 全景圖像處理及顯示 全景視覺系統(tǒng)應(yīng)用

1 引言

態(tài)勢(shì)感知是指在一定時(shí)空條件下，對(duì)環(huán)境因素的獲取、理解和對(duì)未來(lái)的預(yù)測(cè)，是Endsley在1988年提出的定義，1995年其對(duì)態(tài)勢(shì)感知理論及評(píng)價(jià)方法進(jìn)行了系統(tǒng)研究，奠定了態(tài)勢(shì)感知理論基礎(chǔ)，并將該概念首次引入到網(wǎng)絡(luò)與信息安全領(lǐng)域。

基于全景視覺的態(tài)勢(shì)感知系統(tǒng)以光電圖像監(jiān)視為手段，以全景態(tài)勢(shì)感知為目的，具有信息豐富、形象直觀、準(zhǔn)確度高和時(shí)效性強(qiáng)等特點(diǎn)，常用的圖像數(shù)據(jù)包括可見光/紅外圖像和合成孔徑雷達(dá)圖像。本文只討論基于可見光/紅外全景圖像的態(tài)勢(shì)感知系統(tǒng)。

2 需求背景

態(tài)勢(shì)感知理論的需求背景來(lái)源于航空飛行領(lǐng)域，用于支持飛行員和指揮官的快速?zèng)Q策，近幾年基于全景視覺的態(tài)勢(shì)感知系統(tǒng)逐漸成為戰(zhàn)場(chǎng)配置及作戰(zhàn)指揮的關(guān)注焦點(diǎn)之一。

在軍用領(lǐng)域，基于全景視覺的態(tài)勢(shì)感知系統(tǒng)可以為坦克裝甲車作戰(zhàn)員、飛機(jī)起降指揮員、駕駛戰(zhàn)機(jī)空戰(zhàn)的飛行員等提供更加全面的直觀、可視化的圖像信息，從而實(shí)現(xiàn)態(tài)勢(shì)感知、作戰(zhàn)防御、指揮決策，軍情處置等功能。

在民用領(lǐng)域，機(jī)器人導(dǎo)航、監(jiān)獄、核電站、民用機(jī)場(chǎng)等場(chǎng)合使用基于全景視覺的態(tài)勢(shì)感知系統(tǒng)可實(shí)現(xiàn)區(qū)域內(nèi)全方位監(jiān)控，從全局和整體的高度監(jiān)視和感知上述區(qū)域的人員、物體的狀態(tài)和變化趨勢(shì)，為相關(guān)人員快速掌控突發(fā)異常事件提供實(shí)時(shí)、直觀的全景視頻信息。

在航空航天領(lǐng)域，一幅全景圖像可以涵蓋更全面的環(huán)境信息，以期實(shí)現(xiàn)對(duì)火星、月球表面的更好探測(cè)。

3 實(shí)現(xiàn)途徑

基于全景視覺的態(tài)勢(shì)感知系統(tǒng)是采用圖像傳感器技術(shù)，將環(huán)境信息轉(zhuǎn)換為視頻信息，并在屏幕上顯示出來(lái)，實(shí)現(xiàn)與周邊環(huán)境信息交互的理論、方法和技術(shù)。根據(jù)成像原理可分為單視點(diǎn)全景成像技術(shù)和多視點(diǎn)全景成像技術(shù)。

（1）使用魚眼鏡頭、環(huán)形透鏡、反射鏡（形狀結(jié)構(gòu)可以是球面、圓錐面、拋物面、雙曲面）等光學(xué)元件擴(kuò)大相機(jī)視場(chǎng)的單視點(diǎn)全景成像方法。如圖1所示。

（2）多視點(diǎn)成像的圖像拼接方法。使用多相機(jī)拼接或單相機(jī)旋轉(zhuǎn)對(duì)不同方向的場(chǎng)景成像，再將這些不同方向的場(chǎng)景圖像拼接成全景圖像。如圖2所示。

依據(jù)全景視覺成像的構(gòu)成形式的不同，又有如下五種實(shí)現(xiàn)方式：一是單相機(jī)云臺(tái)旋轉(zhuǎn)式全景視覺系統(tǒng);二是基于魚眼鏡頭的全景視覺系統(tǒng)，該方式可獲得大視場(chǎng)的全景圖像;三是基于多相機(jī)拼接組合的全景視覺系統(tǒng);四是由一個(gè)曲面反射鏡與一臺(tái)攝像機(jī)組成的曲面反射式全景視覺系統(tǒng);五是由折反射透鏡組與攝像機(jī)組成的折反透鏡式全景視覺系統(tǒng)。五種全景視覺系統(tǒng)實(shí)物圖如圖3所示，實(shí)現(xiàn)的技術(shù)途徑優(yōu)劣對(duì)比分析表1所示。

4 關(guān)鍵技術(shù)

基于全景視覺的態(tài)勢(shì)感知系統(tǒng)是以全景攝像機(jī)選型技術(shù)、全景光機(jī)成像技術(shù)、全景光學(xué)及通信控制技術(shù)、圖像處理技術(shù)、全景圖像顯示技術(shù)等為核心的軟硬件相結(jié)合的一體化系統(tǒng)，其涉及關(guān)鍵技術(shù)如下。

4.1 攝像機(jī)選型

攝像機(jī)選型是根據(jù)系統(tǒng)技術(shù)指標(biāo)要求進(jìn)行傳感器和鏡頭參數(shù)計(jì)算選型的過(guò)程。該項(xiàng)工作對(duì)系統(tǒng)功能性能實(shí)現(xiàn)起著關(guān)鍵性作用，而采用何種器件又反過(guò)來(lái)決定了系統(tǒng)的功能性能。首先是傳感器的選擇，包括可見光和紅外傳感器。可見光傳感器有CCD、CMOS等成像器件;紅外傳感器有制冷型和非制冷型，短波、中波及長(zhǎng)波紅外器件，這些都需綜合考量。其次是鏡頭的選擇，一般定焦鏡頭使用鏡片少、結(jié)構(gòu)簡(jiǎn)單、可靠性高、設(shè)計(jì)與加工精度高，而高精度變焦鏡頭的結(jié)構(gòu)尺寸及加工難度較大，成本高，且不適合做全景成像。最終的工作全景攝像機(jī)選型需綜合考慮傳感器及鏡頭光學(xué)特性、作用距離、目標(biāo)輻射、背景輻射、大氣衰減、材料、結(jié)構(gòu)、訂貨來(lái)源、國(guó)產(chǎn)化需求、成本和系統(tǒng)的復(fù)雜性要求等因素。

4.2 全景光機(jī)成像技術(shù)

全景成像光機(jī)設(shè)計(jì)通常采用中心投影法原理，該成像方式既是普通相機(jī)的成像方式，也是人眼觀察外部世界的成像方式。魚眼鏡頭、曲面反射鏡、折反射透鏡組等就是利用全景光機(jī)設(shè)計(jì)技術(shù)實(shí)現(xiàn)的全景成像。

魚眼鏡頭具有焦距短、視場(chǎng)大的特點(diǎn)，但畸變大是該類鏡頭最大的問題。一般情況下畸變包括徑向畸變和切向畸變，其產(chǎn)生的原因在于相機(jī)光學(xué)系統(tǒng)中存在因制造產(chǎn)生的光學(xué)誤差，即目標(biāo)點(diǎn)在相機(jī)靶面上的實(shí)際投影點(diǎn)與目標(biāo)理想成像點(diǎn)位置不完全重合，須經(jīng)復(fù)雜圖像校正算法對(duì)其進(jìn)行處理。圖4是魚眼透鏡式全景視覺系統(tǒng)光機(jī)結(jié)構(gòu)原理圖。

基于曲面反射透鏡的全景視覺系統(tǒng)通過(guò)相機(jī)光軸垂直水平面的放置方式，在相機(jī)前端光學(xué)系統(tǒng)中配置相應(yīng)的曲面反射鏡，從而實(shí)現(xiàn)將入射角度較大的光線反射成入射角小的光線，經(jīng)相機(jī)光學(xué)系統(tǒng)匯集和圖像傳感器成像后實(shí)現(xiàn)增大監(jiān)視視場(chǎng)的目的。根據(jù)反射曲面不同，可以分為拋物面、橢球面、雙曲面全景視覺系統(tǒng)。圖5是反射式全景視覺系統(tǒng)光機(jī)結(jié)構(gòu)原理圖。

折反射式全景視覺系統(tǒng)通過(guò)將入射光線多次折射和反射，實(shí)現(xiàn)全景柱面圖像投影到360°環(huán)形視場(chǎng)中成像。該類系統(tǒng)大多采用由兩個(gè)反射面和兩個(gè)折射面組成的Panoramic Annular Lens環(huán)形結(jié)構(gòu)透鏡，該透鏡可將360°環(huán)形虛像實(shí)際成像于圖像傳感器上。圖6是折反透鏡式全景視覺系統(tǒng)光機(jī)結(jié)構(gòu)原理圖。

4.3 全景光學(xué)及通信控制技術(shù)

為實(shí)現(xiàn)系統(tǒng)前、后端光學(xué)及通信控制功能，便于后續(xù)目標(biāo)的檢測(cè)、跟蹤及全景視頻的拼接融合，一個(gè)穩(wěn)定可靠、利于集成、擴(kuò)展性強(qiáng)的全自動(dòng)調(diào)光及通信控制單元能完成系統(tǒng)視頻的同步采集和增強(qiáng)、減輕后續(xù)圖像處理壓力，并實(shí)現(xiàn)系統(tǒng)前后端的通訊鏈接。

4.4 圖像增強(qiáng)及融合技術(shù)

圖像增強(qiáng)及融合技術(shù)針對(duì)不同的氣象條件，如雨雪、霧霾、黑暗、沙塵、強(qiáng)光、多干擾等，同時(shí)配置不同波段圖像傳感器，如電視、紅外和紫外相機(jī)，將各波段成的不同特性的圖像，或模糊不清的圖像，進(jìn)行幾何配準(zhǔn)，然后采用圖像增強(qiáng)技術(shù)和多光譜融合算法將各圖像中所含的優(yōu)勢(shì)信息優(yōu)勢(shì)互補(bǔ)，生成新的全景視頻圖像，改善成像效果，提高系統(tǒng)探測(cè)能力。

4.5 電子穩(wěn)像技術(shù)

全景監(jiān)視攝像機(jī)通常會(huì)安裝在移動(dòng)的車輛、艦船、飛機(jī)等設(shè)備上，該類平臺(tái)一般存在較大的機(jī)械震動(dòng)有時(shí)加上外界強(qiáng)風(fēng)干擾，會(huì)造成相機(jī)抖動(dòng)，不利于系統(tǒng)成像、目標(biāo)檢測(cè)跟蹤和圖像拼接融合，而有效的電子穩(wěn)像技術(shù)可以有效地去除這些晃動(dòng)。

4.6 多目標(biāo)跟蹤技術(shù)

迄今為止，盡管目標(biāo)檢測(cè)跟蹤的研究已取得很多成果，相關(guān)技術(shù)也在實(shí)際應(yīng)用中也取得不錯(cuò)的效果，但基于全景視覺的多目標(biāo)跟蹤技術(shù)還需要解決360°視場(chǎng)下目標(biāo)實(shí)際所處的背景復(fù)雜，云層變化快、強(qiáng)光及其他干擾多，且在整個(gè)過(guò)程中即有低、小、慢又有高、大、快成像特性的目標(biāo)實(shí)時(shí)穩(wěn)定跟蹤技術(shù)難題。

4.7 全景圖像拼接技術(shù)

全景圖像視頻拼接是通過(guò)相關(guān)算法，將來(lái)自單相機(jī)移動(dòng)采集或者多相機(jī)拼接采集的多幅圖像拼接成一幅360度全景圖。圖像拼接的主要步驟包括：攝相機(jī)的標(biāo)定、傳感器圖像畸變校正、圖像的投影變換、特征點(diǎn)匹配、全景圖像拼接融合等。該過(guò)程涉及到圖像縮放、垂直旋轉(zhuǎn)、水平旋轉(zhuǎn)校正技術(shù)，不同角度圖像的坐標(biāo)轉(zhuǎn)換技術(shù)，圖像畸變校正技術(shù)，圖像投影變換技術(shù)，特征點(diǎn)匹配技術(shù)、圖像融合技術(shù)等。

4.8 全景圖像顯示技術(shù)

軟件工程技術(shù)水平直接影響系統(tǒng)工作模式配置合理程度和全景圖像的顯示效果，全景圖像顯示技術(shù)的優(yōu)劣會(huì)對(duì)系統(tǒng)整體性能發(fā)揮和使用效率產(chǎn)生重要影響，關(guān)鍵技術(shù)包括軟件工程技術(shù)、多層次全景顯示技術(shù)、人機(jī)工程學(xué)技術(shù)等。全景圖像處理顯控軟件一般要求軟件功能齊全、界面友好，全景感知圖、局部區(qū)域圖、360°環(huán)帶及雷達(dá)圖布局合理，還可視需要顯示目標(biāo)定位信息，實(shí)現(xiàn)自動(dòng)告警功能等。

5 市場(chǎng)應(yīng)用

5.1 陸軍市場(chǎng)應(yīng)用

現(xiàn)代戰(zhàn)爭(zhēng)中非對(duì)稱敵人和大規(guī)模殺傷性武器對(duì)陸軍裝甲車、坦克造成重大安全威脅，因此這些戰(zhàn)車需裝備用于戰(zhàn)車周圍環(huán)境觀測(cè)和告警的全景視覺態(tài)勢(shì)感知系統(tǒng)，該系統(tǒng)用于提前檢測(cè)戰(zhàn)車潛在威脅，包括反裝甲武器和臨時(shí)爆炸物，以適應(yīng)現(xiàn)代戰(zhàn)爭(zhēng)需求。系統(tǒng)主要功能包括全局監(jiān)視、態(tài)勢(shì)感知、進(jìn)近威脅告警、輔助戰(zhàn)車駕駛、出戰(zhàn)車前的周邊環(huán)境安全觀察等。圖7是法國(guó)泰雷茲公司最新研制的車載全景視覺感知系統(tǒng)。

5.2 海軍市場(chǎng)應(yīng)用

圖8是法國(guó)泰雷茲公司裝備到“阿基坦”號(hào)多任務(wù)型護(hù)衛(wèi)艦上的ARTEMIS全景視覺態(tài)勢(shì)感知系統(tǒng)，該系統(tǒng)采用三個(gè)640×512的紅外探測(cè)器，通過(guò)精密光機(jī)系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)每個(gè)相機(jī)覆蓋120°視場(chǎng)，三個(gè)相機(jī)圍繞桅桿均勻配置即可實(shí)現(xiàn)360°全景監(jiān)視需求。

5.3 空軍市場(chǎng)應(yīng)用

戰(zhàn)斗機(jī)或殲擊機(jī)在空中執(zhí)行任務(wù)時(shí)，由于視線受限，無(wú)法對(duì)進(jìn)近來(lái)襲的敵機(jī)或?qū)椷M(jìn)行全方位的實(shí)時(shí)可視化偵查作戰(zhàn)。圖9是美國(guó)諾格公司為美最先進(jìn)的四代戰(zhàn)機(jī)設(shè)計(jì)的EODAS全景視覺感知系統(tǒng)。系統(tǒng)通過(guò)安裝在機(jī)身6處不同的位置的圖像傳感器，采用復(fù)雜先進(jìn)的圖像處理算法，將增強(qiáng)融合后的全景圖像實(shí)時(shí)投影于飛行員頭盔顯示器上，從而為飛行員提供一個(gè)圍繞飛機(jī)機(jī)身的全景圖像。該系統(tǒng)可對(duì)飛機(jī)360°方向的進(jìn)近威脅進(jìn)行探測(cè)和預(yù)警，主要用于空戰(zhàn)。

5.4 航空航天市場(chǎng)應(yīng)用

2004年美國(guó)研制的“勇氣號(hào)”和“機(jī)遇號(hào)”火星探測(cè)機(jī)器人都配置了基于全景視覺的態(tài)勢(shì)感知系統(tǒng)，目的是為了對(duì)月球表面進(jìn)行全景成像和實(shí)現(xiàn)更好的科學(xué)探測(cè)。該類機(jī)器人配備有九臺(tái)攝像機(jī)，除了輪子下裝有成像相機(jī)外，頂部桅桿上還裝有一個(gè)全景攝像機(jī)，用于探測(cè)器的周邊環(huán)境感知。

5.5 無(wú)人機(jī)系統(tǒng)市場(chǎng)應(yīng)用

出于安全或軍事需求，需對(duì)廣域場(chǎng)景進(jìn)行實(shí)時(shí)持久監(jiān)視和態(tài)勢(shì)感知，基于全景視覺的態(tài)勢(shì)感知系統(tǒng)可滿足實(shí)時(shí)、高分辨率、大區(qū)域監(jiān)視需求，并可監(jiān)控多個(gè)感興趣區(qū)域，同時(shí)為操作員和分析員提供對(duì)跟蹤事件的及時(shí)視頻回溯能力。系統(tǒng)的核心是機(jī)載部分，由光電傳感器、圖像處理單元、高清視頻壓縮存儲(chǔ)單元、圖像增強(qiáng)及電子穩(wěn)像模塊和視頻分析軟件組成，下圖10是以色列埃爾比特系統(tǒng)公司最新研制的無(wú)人機(jī)機(jī)載全景視頻監(jiān)測(cè)系統(tǒng)。

5.6 民用機(jī)場(chǎng)市場(chǎng)應(yīng)用

目前民用機(jī)場(chǎng)的飛機(jī)起降指揮作業(yè)主要靠飛行塔臺(tái)上的空管雷達(dá)和無(wú)線電通信設(shè)備完成，面對(duì)日益復(fù)雜的空間電磁干擾和周邊日益增多的不明飛行物威脅，如鳥群、商業(yè)小無(wú)人機(jī)、激光筆照射等，需要指揮員能對(duì)機(jī)場(chǎng)周圍環(huán)境有個(gè)整體的態(tài)勢(shì)感知和威脅響應(yīng)能力。基于全景視覺的態(tài)勢(shì)感知系統(tǒng)能輔助塔臺(tái)指揮官完成機(jī)場(chǎng)態(tài)勢(shì)感知、飛行安全威脅報(bào)警、進(jìn)場(chǎng)程序控制和綜合指揮決策。如圖11所示，將多個(gè)攝像機(jī)的視頻畫面通過(guò)先進(jìn)的圖像處理算法生成高分辨率的全景圖像。

5.7 基于全景視頻的特殊監(jiān)控領(lǐng)域的市場(chǎng)應(yīng)用

有別于普通安防的事后查證，安防要求極高的特殊區(qū)域，如軍事管制區(qū)、核電站、監(jiān)獄、煉油廠等區(qū)域要求監(jiān)控設(shè)備具備全局監(jiān)視、整體感知、快速響應(yīng)、威脅識(shí)別告警的能力，目前國(guó)內(nèi)外流行的針對(duì)這些特殊區(qū)域的視頻監(jiān)控方案有基于視頻切換矩陣的視頻監(jiān)控方案、基于PC的視頻監(jiān)控方案等。但這些方案不能實(shí)現(xiàn)對(duì)整個(gè)區(qū)域的直觀全局感和方位感，僅靠畫面上疊加的字符去聯(lián)想所看畫面的實(shí)際位置，且顯示輸出的延遲一般較大、不易擴(kuò)展等。