機載SAR圖像解譯系統(tǒng)設(shè)計研究

項海兵， 吳 濤， 張玉營， 盛佳佳

(1.中國電子科技集團公司第三十八研究所， 安徽合肥 230088；2.孔徑陣列與空間探測安徽省重點實驗室， 安徽合肥 230088)

0 引言

機載合成孔徑雷達(SAR)作為一種對地觀測手段，具有全天候、全天時、探測距離遠、幅寬大、響應(yīng)快速、分辨率高等諸多優(yōu)點。目前國內(nèi)外已發(fā)展了大量的機載SAR系統(tǒng)，廣泛應(yīng)用于各個方面，如土地利用分類、地形測繪、災(zāi)害監(jiān)測、海洋油污監(jiān)測、目標檢測識別等[1-3]。針對機載SAR系統(tǒng)來說，SAR圖像處理方式包括在線處理和離線處理兩種。在線處理指飛行采集數(shù)據(jù)的同時，針對輸出的每幀圖像實時進行顯示、存儲和處理等；離線處理指飛行時僅采集數(shù)據(jù)，飛行后在地面再對圖像數(shù)據(jù)進行存儲、顯示和處理等。

SAR圖像解譯是當前機載SAR系統(tǒng)應(yīng)用的瓶頸問題，主要體現(xiàn)在以下三個方面：(1)海量SAR圖像數(shù)據(jù)的存儲管理需求。一般地，機載SAR系統(tǒng)每次飛行任務(wù)都會產(chǎn)生至少幾百個GB的回波數(shù)據(jù)和圖像數(shù)據(jù)。不同類型的數(shù)據(jù)需要分類存儲，海量的歷史數(shù)據(jù)需要有效的存儲和管理，只有通過足夠大的數(shù)據(jù)中心、合適的數(shù)據(jù)庫工具，才能有序管理數(shù)據(jù)。然而，實際應(yīng)用中SAR數(shù)據(jù)通常采用硬盤的形式保存，雜亂無序，缺乏有效的數(shù)據(jù)庫記錄，不利于圖像的深入挖掘。因此，迫切需要對SAR數(shù)據(jù)進行有效的管理。(2)SAR圖像數(shù)據(jù)的態(tài)勢顯示需求。機載SAR系統(tǒng)獲取的連續(xù)SAR圖像數(shù)據(jù)如何在地理信息系統(tǒng)中顯示、準確定位，是圖像準確判圖基礎(chǔ)。隨著SAR系統(tǒng)性能越來越高，如分辨率越來越高、圖像越來越大，在解譯端開展SAR圖像數(shù)據(jù)顯示分析的壓力也越來越大。當前的普遍問題是：(a)SAR圖像只是進行了縮略圖顯示，沒有進行全分辨率圖的解譯分析；(b)SAR圖像沒有與地理信息融合，無法判明當前SAR圖像覆蓋區(qū)域的地理環(huán)境；(c)大圖像數(shù)據(jù)的更新顯示緩慢。如今GIS技術(shù)日趨成熟，如何將SAR圖像與GIS結(jié)合，解決流暢顯示和準確定位的問題迫在眉睫。(3)SAR圖像快速解譯的需求。時效性是圖像判讀的重要指標。當前，SAR圖像信息提取的實時性還比較弱。一方面，面對海量圖像數(shù)據(jù)，人工判讀速度相對慢；另一方面由于目標的多樣性，很難找到統(tǒng)一的檢測、識別方法，計算機輔助功能弱。同時，計算資源的約束也是一個重要的影響因素。

針對以上應(yīng)用需求，本文提出了一種機載SAR圖像解譯系統(tǒng)的解決方案。系統(tǒng)采用客戶端/服務(wù)器端(C/S)架構(gòu)，客戶端完成數(shù)據(jù)顯示和用戶交互，服務(wù)器端完成數(shù)據(jù)存儲服務(wù)和圖像解譯計算服務(wù)。

1 設(shè)計方案

1.1 軟件架構(gòu)

機載SAR圖像解譯系統(tǒng)采用客戶端/服務(wù)器端(C/S)架構(gòu)。系統(tǒng)架構(gòu)如圖1所示，其組成包括數(shù)據(jù)管理軟件、數(shù)據(jù)態(tài)勢顯示軟件、圖像解譯標繪軟件三個客戶端應(yīng)用軟件，以及數(shù)據(jù)服務(wù)軟件和計算服務(wù)軟件兩個后臺服務(wù)軟件。

圖1 系統(tǒng)軟件組成和架構(gòu)圖

1) 數(shù)據(jù)服務(wù)軟件提供各種數(shù)據(jù)的存儲和分發(fā)服務(wù)；數(shù)據(jù)主要包括SAR圖像、GMTI航跡數(shù)據(jù)、目標檢測結(jié)果和用戶等業(yè)務(wù)數(shù)據(jù)和矢量電子地圖、影像地圖等基礎(chǔ)地理數(shù)據(jù)。

2) 計算服務(wù)軟件具有基于并行計算實現(xiàn)圖像解譯的核心計算功能，如圖像預(yù)處理、目標檢測與識別、變化檢測等。

3) 數(shù)據(jù)管理軟件實現(xiàn)在線或離線圖像數(shù)據(jù)、動目標數(shù)據(jù)、情報數(shù)據(jù)和地理數(shù)據(jù)的存儲、管理、備份和導入導出等；與數(shù)據(jù)服務(wù)系統(tǒng)之間采用C/S(客戶端/服務(wù)器)架構(gòu)，可部署在不同的終端，支持不同用戶協(xié)同操作。

4) 數(shù)據(jù)態(tài)勢顯示軟件實現(xiàn)圖像/動目標實時瀏覽、標繪、數(shù)據(jù)查詢等。

5) 圖像解析標繪軟件實現(xiàn)圖像/動目標實時瀏覽、人工解譯、目標檢測與識別、變化檢測等。

1.2 硬件架構(gòu)

針對存儲海量數(shù)據(jù)(SAR影像數(shù)據(jù)、航跡數(shù)據(jù)、目標數(shù)據(jù)、電子地圖數(shù)據(jù))，且需支持多用戶聯(lián)合操作、實時處理、數(shù)據(jù)共享等需求，搭建一個小型的服務(wù)器/客戶端架構(gòu)(或者擴展為分布式架構(gòu))的系統(tǒng)，如圖2所示。系統(tǒng)包括數(shù)據(jù)服務(wù)器、計算服務(wù)器以及多個用戶終端。數(shù)據(jù)服務(wù)器主要完成數(shù)據(jù)存儲管理，計算服務(wù)器主要完成涉及大數(shù)據(jù)量運算的圖像處理。用戶終端是用戶的主要操作界面，用戶提交數(shù)據(jù)請求、功能請求等，服務(wù)器端響應(yīng)請求，執(zhí)行相關(guān)操作并返回結(jié)果。

圖2 便攜式情報終端硬件架構(gòu)設(shè)計

所有的服務(wù)器與客戶端都支持靈活部署，可分布在不同的機器，亦可分布在同一機器。通過簡單配置，即可實現(xiàn)網(wǎng)絡(luò)環(huán)境下的協(xié)同工作和單機環(huán)境下的緊湊型工作。

2 關(guān)鍵技術(shù)

本系統(tǒng)的主要關(guān)鍵技術(shù)包括多源異構(gòu)海量數(shù)據(jù)管理技術(shù)、基于OSGEarth的地圖和圖像疊加顯示技術(shù)、大圖像壓縮顯示技術(shù)和基于深度學習的目標自動檢測與識別技術(shù)。

2.1 多源異構(gòu)海量數(shù)據(jù)管理技術(shù)

采用結(jié)構(gòu)化關(guān)系型空間數(shù)據(jù)庫和非結(jié)構(gòu)化的NoSQL數(shù)據(jù)庫相結(jié)合的混合空間數(shù)據(jù)存儲管理系統(tǒng)，實現(xiàn)影像數(shù)據(jù)、地理信息數(shù)據(jù)、目標數(shù)據(jù)等海量空間數(shù)據(jù)的分布式存儲管理，解決海量空間數(shù)據(jù)的存儲和快速并行訪問問題。

SAR圖像數(shù)據(jù)的單個文件較大，達到GB級規(guī)模，不適合關(guān)系型數(shù)據(jù)管理。因此，采用文件系統(tǒng)和關(guān)系型數(shù)據(jù)庫相結(jié)合的管理模式。關(guān)系型數(shù)據(jù)庫存儲影像數(shù)據(jù)的元數(shù)據(jù)信息；文件系統(tǒng)存儲實際的影像數(shù)據(jù)。在檢索影像數(shù)據(jù)時，首先在元數(shù)據(jù)庫中檢索影像的元數(shù)據(jù)，檢索到之后再根據(jù)記錄的影像文件地址，獲取影像數(shù)據(jù)。

由于矢量數(shù)據(jù)規(guī)模中等查詢復雜，因此采用基于關(guān)系數(shù)據(jù)庫的空間數(shù)據(jù)庫進行管理。空間數(shù)據(jù)庫主要采用PostgreSQL數(shù)據(jù)庫+PostGIS空間插件。

對于用作背景的柵格影像地圖采用NoSQL數(shù)據(jù)庫進行存儲管理；MongoDB數(shù)據(jù)庫是一種文檔類型數(shù)據(jù)NoSQL數(shù)據(jù)庫，具有讀寫速度快、支持較復雜結(jié)構(gòu)數(shù)據(jù)和易于擴展的特點。MongoDB 將數(shù)據(jù)存儲為一個文檔，數(shù)據(jù)結(jié)構(gòu)由鍵值(key?value)對組成。基于MongoDB數(shù)據(jù)庫創(chuàng)建的地圖影像底圖數(shù)據(jù)庫，用于存儲影像瓦片圖數(shù)據(jù)。數(shù)據(jù)庫表結(jié)構(gòu)內(nèi)容如表1所示。

表1 瓦片數(shù)據(jù)庫表結(jié)構(gòu)

2.2 基于OSGEarth的地圖和圖像疊加顯示技術(shù)

機載SAR圖像解譯系統(tǒng)中態(tài)勢顯示作為其核心顯示模塊需具有極高的性能要求，不僅需要顯示地圖底圖，還需要疊加顯示大數(shù)量的SAR圖像數(shù)據(jù)，同時支持大量的人機交互操作。為了更好的性能和用戶體驗，本文選擇采用OSGEarth作為態(tài)勢地圖的核心驅(qū)動技術(shù)，重點解決地圖和圖像的疊加顯示問題。

1) 地圖數(shù)據(jù)加載

OSGEarth是基于三維引擎OSG開發(fā)的三維數(shù)字地球引擎庫，在OSG基礎(chǔ)上實現(xiàn)了瓦片調(diào)度插件，可選的四叉樹調(diào)度插件，更多的地理數(shù)據(jù)加載插件(包括GDAL，OGR，WMS，TMS，VPB，F(xiàn)ILESYSTEM等)，再結(jié)合一套地理投影轉(zhuǎn)換插件，從而實現(xiàn)高效處理加載調(diào)度地理數(shù)據(jù)在三維地球上的顯示，實現(xiàn)三維虛擬地球。

OSGEarth使用自己的earth文件，簡單指定各種數(shù)據(jù)源，而不用關(guān)心數(shù)據(jù)如何渲染，便能顯示各種地理數(shù)據(jù)。OSGEarth加載地圖數(shù)據(jù)整體流程如圖3所示。

圖3 OSGEarth數(shù)據(jù)加載整體流程

2) 圖像數(shù)據(jù)加載

SAR圖像解析系統(tǒng)圖像數(shù)據(jù)加載通過請求圖像切片服務(wù)，實現(xiàn)對顯示的圖像進行切片和縮略圖生成，通過OSGEarth的ImageOverlay控件進行圖像顯示。圖像數(shù)據(jù)加載流程如圖4所示。

圖4 圖像數(shù)據(jù)加載處理流程

(1) 新增圖像：當主軟件客戶端需要新增圖像時，通過http協(xié)議發(fā)送注冊圖像請求至圖像切片服務(wù)軟件，服務(wù)判斷圖像是否存、返回注冊結(jié)果。在返回注冊成功后，獲取圖像縮略圖和圖像切片數(shù)據(jù)，并在地圖上顯示。

(2) 地圖刷新：當?shù)貓D顯示進行移動、比例尺變化時，通過http重新請求圖像切片數(shù)據(jù)，并刷新圖像顯示。

(3) 圖像平移：在用戶提交圖像平移處理后，根據(jù)平移的偏移量發(fā)送平移矯正請求后重新獲取圖像切片數(shù)據(jù)，并刷新圖像顯示。

2.3 基于金字塔的大圖像壓縮顯示技術(shù)

單幅SAR圖像的像素數(shù)量可能在32 768× 32 768以上，其大小至少在1 GB以上。對于如此大圖像數(shù)據(jù)的傳輸和顯示，給系統(tǒng)的穩(wěn)定、流暢運行帶來了壓力。本系統(tǒng)在這方面重點進行了突破，采用多分辨率金字塔壓縮技術(shù)，實現(xiàn)對大圖像的壓縮，并根據(jù)顯示比例，快速調(diào)用對應(yīng)級別的圖像。

在GIS中，圖像都是柵格數(shù)據(jù)，其物理存儲采用“金字塔層-波段-數(shù)據(jù)分塊”的多級索引機制進行組織，采用金字塔結(jié)構(gòu)存放多種空間分辨率的柵格數(shù)據(jù)，同一分辨率的柵格數(shù)據(jù)被組織在一個層面(Layer)內(nèi)，而不同分辨率的柵格數(shù)據(jù)具有上下的垂直組織關(guān)系；越靠近頂層，數(shù)據(jù)的分辨率越小，數(shù)據(jù)量也越小，只能反映原始數(shù)據(jù)的概貌；越靠近底層，數(shù)據(jù)的分辨率越大，數(shù)據(jù)量也越大，更能反映原始詳情。

金字塔通過檢索使用指定分辨率(取決于顯示要求)的數(shù)據(jù)，可以加快柵格數(shù)據(jù)的顯示速度[4]。利用金字塔，可在繪制整個數(shù)據(jù)時，快速顯示較低分辨率的數(shù)據(jù)副本。而隨著放大操作的進行，各個更精細的分辨率等級將逐漸得到繪制，但性能將保持不變。如果不使用金字塔等級，則必須從磁盤中讀取整個數(shù)據(jù)文件，然后將其重采樣為更小的大小。

式中，En—林木資源資產(chǎn)經(jīng)濟價值量；W—銷售總收入；C—林木資源資產(chǎn)的各項經(jīng)營成本；F—林木資源資產(chǎn)經(jīng)營期間的合理利潤。

每個柵格數(shù)據(jù)只需構(gòu)建一次金字塔，之后每次查看柵格數(shù)據(jù)時都會訪問這些金字塔。柵格數(shù)據(jù)越大，創(chuàng)建金字塔所花費的時間越長，這也意味著將來顯示會節(jié)省更多時間。

圖5為金字塔構(gòu)建模型。在構(gòu)建圖像金字塔時，由低一層圖像得到高一層圖像的過程一般是：先濾波，然后以2為步長進行采樣。根據(jù)金字塔的不同，所采取的濾波操作也不同，如采用鄰域平均可以生成均值金字塔，采用高斯低通濾波可以生成高斯金字塔等。

圖5 影像金字塔構(gòu)建模型

2.4 基于深度學習的目標自動檢測與識別技術(shù)

國內(nèi)針對SAR圖像的目標檢測與識別的研究已經(jīng)有20多年的歷史，一直是SAR圖像解譯應(yīng)用的核心任務(wù)[5-6]。近年來，隨著深度學習神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，傳統(tǒng)基于先驗知識進行目標模板匹配和機器學習的方法已經(jīng)落后，主流的研究是采用訓練樣本數(shù)據(jù)進行深度學習神經(jīng)網(wǎng)絡(luò)模型參數(shù)訓練，得到目標識別網(wǎng)絡(luò)模型，再將網(wǎng)絡(luò)模型應(yīng)用于SAR圖像的目標檢測與識別。對本系統(tǒng)來說，需要將深度學習目標檢測與識別網(wǎng)絡(luò)進行工程應(yīng)用[7]。

目前，深度學習目標檢測識別分為兩大類算法，一種是“兩階段”算法，一種是“單階段”算法。“兩階段”就是常見的基于候選區(qū)的目標檢測方法，包括RCNN系列和RPN等，比較代表性的為Faster RCNN；“單階段”是單次檢測器，代表性的有YOLO(You Only Look Once)、SSD(Single Shot Detection)等。

“兩階段”方法主要是通過區(qū)域估計產(chǎn)生大量的可能包含待檢測物體的潛在目標框，再用分類器去判斷每個目標框里是否包含有物體，以及物體所屬類別的概率或者置信度，如RCNN, Fast RCNN, Faster RCNN等，這類算法由于速度問題，始終未達到工業(yè)應(yīng)用的要求[8-9]。

“單階段”方法將物體檢測任務(wù)作為一個回歸問題來處理，使用一個神經(jīng)網(wǎng)絡(luò)，直接從一幅圖像來預(yù)測出目標框的坐標和置信度。代表性的方法就是YOLO V1，V2，V3系列以及SSD算法。YOLO V2在YOLO V1基礎(chǔ)上增加很多技巧，并增加輸出類別至9 000類。YOLO V3融合了FPN結(jié)構(gòu)，增強了小目標檢測能力。

3 功能實現(xiàn)

通過關(guān)鍵技術(shù)攻關(guān)，實現(xiàn)了機載SAR圖像解譯原型系統(tǒng)，主要包括數(shù)據(jù)管理、SAR圖像顯示、SAR圖像目標檢測識別等功能。

3.1 業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)管理

針對業(yè)務(wù)數(shù)據(jù)，采用關(guān)系型數(shù)據(jù)庫進行管理，主要包括對基本數(shù)據(jù)(用戶、項目等)、偵察數(shù)據(jù)(SAR圖像數(shù)據(jù))、處理結(jié)果數(shù)據(jù)(目標檢測數(shù)據(jù))等的存儲、查詢、管理(添加、編輯、刪除)等操作。圖6所示為數(shù)據(jù)管理軟件中查詢SAR圖像的效果圖。用戶可以利用SAR圖像的目標類型、成像模式、極化、波段、地理位置、成像時間等信息，非常便捷地查詢到所需歷史數(shù)據(jù)，并且可疊加在影像地圖上。

圖6 數(shù)據(jù)管理主界面(圖像查詢結(jié)果)

3.2 SAR圖像顯示

離線或者實時在線的SAR圖像數(shù)據(jù)都可以在地圖上進行精確的疊加顯示，如圖7所示。地圖疊加顯示可方便用戶了解SAR圖像的成像范圍、背景信息，為判圖工作提供良好的解譯環(huán)境。

圖7 SAR圖像疊加顯示

3.3 SAR圖像目標檢測識別

對離線或者實時在線的SAR圖像數(shù)據(jù)都可以進行目標檢測識別操作，返回帶有目標信息(位置、目標類型、大小、置信度等)的識別結(jié)果疊加顯示在地圖上，如圖8所示，亦可以結(jié)合背景地圖對識別結(jié)果進一步人工判讀，刪除虛警目標，提交入庫，并生成更準確的情報信息。

圖8 自動目標檢測及目標顯示

4 結(jié)束語

針對機載SAR系統(tǒng)應(yīng)用的海量SAR圖像數(shù)據(jù)的存儲管理、SAR圖像數(shù)據(jù)的態(tài)勢顯示、SAR圖像快速解譯等需求，本文提出了基于客戶端/服務(wù)器端(C/S)架構(gòu)的機載SAR圖像解譯系統(tǒng)的解決方案，并進行了原型系統(tǒng)研發(fā)，突破了海量數(shù)據(jù)的有序管理和查詢使用，有效地解決了海量SAR圖像數(shù)據(jù)的存儲管理問題；實現(xiàn)了SAR圖像數(shù)據(jù)的高精度地圖疊加顯示，為圖像解譯奠定堅實基礎(chǔ)；集成了基于深度學習的智能檢測識別功能，可實現(xiàn)SAR圖像實時快速解譯。后續(xù)，將進一步優(yōu)化系統(tǒng)性能，提高運行效率。