高分多模衛(wèi)星相機(jī)圖像高速實(shí)時(shí)判讀快視系統(tǒng)設(shè)計(jì)

尤佳 倪琳娜 王闊 董天舒 郝志雅

(1 中國(guó)空間技術(shù)研究院遙感衛(wèi)星總體部，北京 100094)(2 北京空間飛行器總體設(shè)計(jì)部，北京 100094)

在遙感相機(jī)的研制過(guò)程中，為了對(duì)相機(jī)成像質(zhì)量、整機(jī)傳遞函數(shù)以及相機(jī)圖像信噪比等作出評(píng)價(jià)，需要采用快視系統(tǒng)對(duì)相機(jī)輸出圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)顯示和大容量記錄存儲(chǔ)，并通過(guò)在線和離線數(shù)據(jù)分析來(lái)測(cè)試相機(jī)性能。作為光、機(jī)、電一體化技術(shù)高密集型產(chǎn)品的遙感相機(jī)，隨著觀察視場(chǎng)和分辨率指標(biāo)要求的不斷提高，目前大都采用高速多通道并行輸出結(jié)構(gòu)，這使得數(shù)字化后圖像數(shù)據(jù)量急劇增長(zhǎng)，從而給快視系統(tǒng)的研制帶來(lái)了極大的挑戰(zhàn)[1-2]。

針對(duì)此項(xiàng)技術(shù)，國(guó)內(nèi)外許多學(xué)者做了大量的研究工作，目前大致有以下兩種解決方案：一是基于總線接口標(biāo)準(zhǔn)外設(shè)組件互連標(biāo)準(zhǔn)(PCI)或高速串行計(jì)算機(jī)擴(kuò)展總線標(biāo)準(zhǔn)(PCIE)的數(shù)據(jù)采集卡系統(tǒng)架構(gòu)，由數(shù)據(jù)采集卡完成數(shù)據(jù)接收，通過(guò)PCI或PCIE總線傳送給計(jì)算機(jī)內(nèi)存，再由計(jì)算機(jī)自帶的集成開發(fā)環(huán)境(IDE)接口將數(shù)據(jù)寫入硬盤[3-4]；二是在方案一的基礎(chǔ)上，采用計(jì)算機(jī)集群的系統(tǒng)架構(gòu)，每臺(tái)計(jì)算機(jī)只完成某一通道的數(shù)據(jù)顯示與記錄[5]。然而，由于遙感相機(jī)數(shù)據(jù)率呈井噴式增長(zhǎng)，上述方案皆存在各式各樣的問(wèn)題。方案一雖然簡(jiǎn)單、可靠，但由于計(jì)算機(jī)系統(tǒng)的帶寬限制，無(wú)法實(shí)現(xiàn)高速數(shù)據(jù)顯示及處理。方案二系統(tǒng)結(jié)構(gòu)復(fù)雜、質(zhì)量大、不夠靈活、對(duì)環(huán)境的適應(yīng)性不好，通道之間顯示較難同步。針對(duì)上述系統(tǒng)方案的不足，本文在參考國(guó)內(nèi)外相關(guān)技術(shù)的基礎(chǔ)上，提出并構(gòu)建了基于實(shí)時(shí)接口現(xiàn)場(chǎng)可編程門陣列(FPGA)并行處理技術(shù)的快視系統(tǒng)。該系統(tǒng)可直接控制大容量串口硬盤(SATA)陣列實(shí)現(xiàn)高速海量存儲(chǔ)。預(yù)處理單元實(shí)時(shí)對(duì)高速海量圖像數(shù)據(jù)進(jìn)行縮放、輔助數(shù)據(jù)判讀和“花塊”檢測(cè)等操作，克服傳統(tǒng)快視系統(tǒng)無(wú)法高速實(shí)時(shí)處理海量圖像數(shù)據(jù)的技術(shù)瓶頸，圖像異常檢測(cè)率高達(dá)95%，可實(shí)現(xiàn)總速率高達(dá)80 Gbit/s的圖像數(shù)據(jù)實(shí)時(shí)顯示及判讀。

1 系統(tǒng)組成及工作原理

文本中數(shù)據(jù)接收存儲(chǔ)服務(wù)器接收從萬(wàn)兆網(wǎng)傳輸過(guò)來(lái)的數(shù)傳綜合處理設(shè)備的原始數(shù)據(jù)，并將數(shù)據(jù)進(jìn)行分路，一路進(jìn)行短時(shí)存儲(chǔ)，另一路通過(guò)PCIE總線傳送至硬件加速模塊中FPGA硬件加速設(shè)備進(jìn)行處理。FPGA硬件加速設(shè)備對(duì)數(shù)據(jù)進(jìn)行圖像的縮放、關(guān)鍵特性計(jì)算以及數(shù)據(jù)判讀等各種處理，并將處理之后的數(shù)據(jù)及信息傳送至圖像顯示及綜合判讀終端，其處理過(guò)程如圖1所示；圖像顯示及綜合判讀終端則對(duì)用戶感興趣的信息進(jìn)行提取、判讀和分析。

注：MTF為調(diào)制傳遞函數(shù)。圖1 FPGA硬件加速處理設(shè)備FPGA處理流程圖Fig.1 Processing diagram of hardware acceleration device

其中，F(xiàn)PGA硬件加速設(shè)備采用Altera FPGA Stratix V GX產(chǎn)品型號(hào)作為主控制器實(shí)現(xiàn)。圖2為FPGA硬件加速設(shè)備功能框圖，從圖2中可以看出每臺(tái)硬件加速設(shè)備構(gòu)建了兩個(gè)高速數(shù)據(jù)處理模塊，該處理模塊的具體功能如圖3所示，快視設(shè)備中目前所涉及的基本圖像分析算法(灰度最大值、灰度最小值、灰度均值、灰度方差、灰度直方圖、信噪比、MTF等)均在該高速數(shù)據(jù)處理模塊中實(shí)現(xiàn)。多個(gè)通道的圖像數(shù)據(jù)完全并行處理，各個(gè)通道的圖像數(shù)據(jù)處理模塊均工作在流水線狀態(tài)下，利用FPGA來(lái)構(gòu)造硬件協(xié)處理器，并行高效的完成圖像抽樣顯示、處理計(jì)算、統(tǒng)計(jì)判讀等[6-8]。

圖2 FPGA硬件加速處理設(shè)備功能框圖Fig.2 Block diagram of hardware acceleration functions

此外，F(xiàn)PGA硬件加速處理設(shè)備中還構(gòu)建了NiosII處理器，該處理器主要用于接收和解析千兆網(wǎng)絡(luò)過(guò)來(lái)的命令，并將板卡的一些相應(yīng)狀態(tài)發(fā)送至上位機(jī)。遠(yuǎn)程升級(jí)模塊主要用于對(duì)FPGA程序進(jìn)行在線修改，使得該設(shè)備可加載不同的配置文件完成相應(yīng)的任務(wù)。看門狗模塊使得該設(shè)備總是處于正常狀態(tài)。

2 系統(tǒng)軟件設(shè)計(jì)

圖像顯示及綜合判讀終端軟件主要功能是接收集群管理服務(wù)器的指令，根據(jù)指令調(diào)度管理“數(shù)據(jù)接收存儲(chǔ)服務(wù)器”、“FPGA硬件加速設(shè)備”和“多路復(fù)接設(shè)備”。圖像顯示及綜合判讀終端軟件功能模塊示意如圖4所示。軟件通過(guò)PCIE光纖卡[9]接收硬件協(xié)處理板處理后的通道圖像數(shù)據(jù)、通道圖像分析數(shù)據(jù)和硬件處理狀態(tài)，通道圖像數(shù)據(jù)按內(nèi)部協(xié)議格式解析后重組為各通道圖像數(shù)據(jù)，圖像數(shù)據(jù)送至圖像顯示進(jìn)行圖像量化值、曲線、表格、圖像等方式進(jìn)行顯示；圖像數(shù)據(jù)并行進(jìn)行傳函、信噪比等算法分析[10-11]；通道圖像分析數(shù)據(jù)按協(xié)議解析后進(jìn)行顯示和保存。根據(jù)軟件需求，軟件可對(duì)圖像判讀日志、輔助數(shù)據(jù)判讀日志、圖像分析結(jié)果日志、硬件處理器單元日志和集群管理通信日志進(jìn)行統(tǒng)一的顯示和存儲(chǔ)。軟件需要具備良好的可配置性，軟件包含通道圖像數(shù)據(jù)格式配置、輔助數(shù)據(jù)格式配置、通道圖像顯示方式配置。

圖4 圖像顯示及綜合判讀終端軟件功能模塊示意圖Fig.4 Schematic diagram of fast-view system

3 系統(tǒng)功能實(shí)現(xiàn)

3.1 集群管理服務(wù)器通訊

建立傳輸控制協(xié)議(TCP)的服務(wù)端，監(jiān)聽(tīng)集群管理服務(wù)器發(fā)起的連接：接收集群管理服務(wù)器軟件指令，向集群管理服務(wù)器上傳通道圖像判讀信息、輔助數(shù)據(jù)判讀信息、衛(wèi)星服務(wù)數(shù)據(jù)信息和工作狀態(tài)。與數(shù)據(jù)接收存儲(chǔ)服務(wù)器建立網(wǎng)絡(luò)連接，向數(shù)據(jù)接收存儲(chǔ)服務(wù)器發(fā)送指令并接收數(shù)據(jù)接收存儲(chǔ)服務(wù)器上傳的工作日志狀態(tài)。

根據(jù)網(wǎng)絡(luò)或用戶指令選擇工作模式，管理調(diào)度硬件處理控制單元和輔助數(shù)據(jù)管理單元。在網(wǎng)絡(luò)模式下，執(zhí)行集群管理服務(wù)器通訊模塊發(fā)送的指令，并根據(jù)指令產(chǎn)生對(duì)應(yīng)的控制指令發(fā)送給前端數(shù)據(jù)接收存儲(chǔ)服務(wù)器。在本地模式下，根據(jù)用戶操作并根據(jù)指令產(chǎn)生對(duì)應(yīng)的控制指令發(fā)送給前端數(shù)據(jù)接收存儲(chǔ)服務(wù)器；在網(wǎng)絡(luò)和本地模式下，對(duì)硬件處理控制單元發(fā)送指令，控制通道抽樣比例、選擇通道圖像、設(shè)置圖像分析算法配置參數(shù)(均值、最大/小值、直方圖、噪點(diǎn))。

與硬件協(xié)處理板建立網(wǎng)絡(luò)連接，并向硬件協(xié)處理板發(fā)送指令；配置管理PCIE光纖卡，接收解析硬件協(xié)處理板處理后的圖像數(shù)據(jù)、圖像分析數(shù)據(jù)、輔助數(shù)據(jù)和硬件狀態(tài)信息。

3.2 圖像數(shù)據(jù)顯示

圖像顯示方式：對(duì)通道圖像進(jìn)行抽樣、放大顯示；根據(jù)屏幕刷新率，對(duì)一次或幾次刷新周期內(nèi)接收的圖像數(shù)據(jù)，在抽樣后進(jìn)行圖像幅間的算法合并；合并刷新周期次數(shù)可選，最小為一個(gè)刷新周期，算法為平均、取最大、取最小等方式，方法可選；上述算法處理可在保留有效信息的情況下降低顯示數(shù)據(jù)率，方便人眼觀測(cè)；同時(shí)顯示各通道圖像縮略圖，用戶可選通道圖像顯示擺放方式。

軟件可實(shí)現(xiàn)對(duì)某通道圖像進(jìn)行全屏放大顯示，顯示內(nèi)容為原始圖像幅，放大情況下可不對(duì)其他圖像進(jìn)行顯示；通過(guò)鼠標(biāo)拖放選擇一個(gè)圖像區(qū)域，對(duì)該區(qū)域進(jìn)行放大顯示，放大顯示占用圖像所在區(qū)域顯示，可同時(shí)支持多路放大區(qū)域的顯示，提供快捷鍵或菜單操作取消某個(gè)放大區(qū)域或全部放大區(qū)域的放大顯示，恢復(fù)正常抽樣顯示；將圖像顯示為灰度值矩陣，將圖像以灰度值表格的形式顯示，灰度值可以為16 bit、8 bit、十進(jìn)制、十六進(jìn)制方式；可將制定的一行或多行圖像以灰度值曲線的方式進(jìn)行顯示，灰度值可量化為8 bit或16 bit，多行圖像時(shí)取平均值；提供快捷鍵，在圖像、表格和曲線顯示方式間切換。

3.3 圖像分析及花塊檢測(cè)

系統(tǒng)通過(guò)解析硬件協(xié)處理板處理的各通道圖像處理數(shù)據(jù)，對(duì)處理數(shù)據(jù)按圖像檢測(cè)算法需要配置分析。對(duì)圖像數(shù)據(jù)進(jìn)行算法處理如傳函計(jì)算、信噪比計(jì)算等。對(duì)圖像進(jìn)行異常檢測(cè)判讀。在整星測(cè)試過(guò)程中，相機(jī)在成像過(guò)程中其每幅圖像的直方圖應(yīng)該是完全一樣的，故可直接比對(duì)直方圖檢測(cè)圖像的“花塊”異常，如有差異按余弦距離計(jì)算其相似度。

1)直方圖相似度比對(duì)判讀方法

(1)計(jì)算當(dāng)前幅圖像與前一幅圖像直方圖的相似度；

(2)計(jì)算直方圖相似度比對(duì)的判讀閾值；

(3)將相似度計(jì)算結(jié)果與計(jì)算閾值比較，大于閾值圖像異常；小于閾值圖像正常。

2)直方圖相似度計(jì)算公式

(1)直方圖計(jì)算公式為

(1)

式中：n(r)表示灰度值為r的像素點(diǎn)個(gè)數(shù)，N表示一幅圖像像素點(diǎn)總數(shù)，p(r)表示一幅圖像中灰度值r出現(xiàn)的概率。

(2)直方圖相似度計(jì)算指計(jì)算圖像直方圖的相關(guān)值，計(jì)算公式為

(2)

式中：N表示像素比特位數(shù)，Pcur表示當(dāng)前幅圖像灰度值出現(xiàn)概率，Pfro表示當(dāng)前幅前一幅圖像灰度值出現(xiàn)概率。

4 測(cè)試結(jié)果

4.1 顯示性能測(cè)試

圖像顯示及綜合判讀終端界面主要功能是將各通道圖像、輔助數(shù)據(jù)、解析結(jié)果、判讀結(jié)果呈現(xiàn)出來(lái)，但CCD圖像通道多、幅面寬，無(wú)法一一顯示，為了兼顧整理瀏覽和局部細(xì)節(jié)查看兩種功能，顯示界面整體上分為兩個(gè)部分。一邊為縮略顯示區(qū)，可以將各通道圖像縮略顯示，如果通道數(shù)量太多造成各通道圖像顯示區(qū)太小，可以將各通道圖像分頁(yè)顯示，縮略顯示區(qū)的左上角有縮略顯示切換菜單。另一邊為局部細(xì)節(jié)顯示區(qū)，局部細(xì)節(jié)顯示區(qū)功能分為5個(gè)區(qū)域，分別是通道選擇區(qū)、日志信息顯示、當(dāng)前通道日志、輔助數(shù)據(jù)曲線顯示和輔助數(shù)據(jù)源碼、解析結(jié)果顯示。系統(tǒng)具有按照測(cè)試需求進(jìn)行顯示模式切換的功能，具體測(cè)試結(jié)果如圖5至圖7所示。

圖5 全縮略顯示圖Fig.5 Thumbnail display images

圖6 輔助數(shù)據(jù)曲線放大顯示圖Fig.6 Enlarged display images by auxiliary data

圖7 單通道分屏顯示圖Fig.7 Display diagram of fast-view system in two channels

4.2 圖像異常檢測(cè)測(cè)試結(jié)果

當(dāng)圖像數(shù)據(jù)為相機(jī)真實(shí)測(cè)試數(shù)據(jù)時(shí)，圖像會(huì)因?yàn)榉e分時(shí)間增益等發(fā)生變化，即使成像條件不變，也會(huì)因?yàn)橄鄼C(jī)CCD的傳感器采樣發(fā)生微小變化即相機(jī)圖像出現(xiàn)“花塊”異常(見(jiàn)圖8)。直方圖會(huì)表現(xiàn)出明顯差異，圖9是實(shí)際測(cè)試中的相機(jī)數(shù)據(jù)。

圖8 遙感相機(jī)異常圖像Fig.8 Abnormal image of sensing satellite camera

圖9 相機(jī)異常圖像的直方圖Fig.9 Histogram of abnormal camera image

圖像的直方圖已經(jīng)由圖像硬件協(xié)處理器計(jì)算完成，軟件針對(duì)直方圖進(jìn)行比對(duì)，比對(duì)算法規(guī)則如下。

(1)計(jì)算直方圖中主峰的區(qū)域，記錄主峰的左右像素值為Hright和Hleft，主峰應(yīng)包含絕大部分像素，比例記為Mmost；

(2)判斷前后兩幅圖像的主峰比例Mmost，如果有差異，則判為有“花塊”，若主峰比例相同則進(jìn)入下一步進(jìn)一步判斷；

(3)對(duì)兩幅圖像主峰內(nèi)直方圖信息進(jìn)行相似度計(jì)算，如相似度超過(guò)閾值則判為無(wú)花塊，否則認(rèn)為有花塊。

按照上述算法規(guī)則，真實(shí)遙感衛(wèi)星相機(jī)異常圖像經(jīng)過(guò)快視系統(tǒng)接收處理后輸出“花塊”檢測(cè)結(jié)果如圖10所示。

圖10 判讀出異常花塊的顯示定位結(jié)果Fig.10 Locating result of abnormal detection

實(shí)際測(cè)試結(jié)果表明：該系統(tǒng)的圖像“花塊”檢測(cè)率高達(dá)95%，目前已經(jīng)成功運(yùn)用于高分多模衛(wèi)星相機(jī)的整星測(cè)試中，在顯著提高相機(jī)數(shù)據(jù)質(zhì)量評(píng)估效率的同時(shí)也節(jié)約了測(cè)試人力的成本。

5 結(jié)束語(yǔ)

為解決遙感相機(jī)輸出通道多、數(shù)據(jù)率高和像素灰度量化位數(shù)高等問(wèn)題，本文提出了一種基于FPGA的快視系統(tǒng)架構(gòu)。系統(tǒng)充分利用FPGA的并行處理能力，首先由FPGA直接對(duì)多塊SATA硬盤進(jìn)行控制，解決了傳統(tǒng)方案中存儲(chǔ)容量與存儲(chǔ)速度不可兼得的問(wèn)題；并首次在快視系統(tǒng)中提出硬件數(shù)據(jù)預(yù)處理概念，由FPGA直接對(duì)高速海量CCD圖像數(shù)據(jù)進(jìn)行縮放、平移和數(shù)據(jù)融合等操作，克服了計(jì)算機(jī)處理高速海量圖像數(shù)據(jù)的技術(shù)瓶頸；最后采用多臺(tái)12位顯示器進(jìn)行大幅面、高灰階無(wú)縫顯示，彌補(bǔ)了以往快視系統(tǒng)只能截?cái)嗯c抽樣顯示大幅面高灰階遙感圖像的缺陷。本系統(tǒng)能對(duì)遙感相機(jī)輸出的多通道高速圖像數(shù)據(jù)進(jìn)行實(shí)時(shí)快視、記錄和事后回放，可對(duì)遙感相機(jī)的成像質(zhì)量和各種性能參數(shù)做出準(zhǔn)確的評(píng)價(jià)，給遙感相機(jī)的研制人員帶來(lái)了極大的方便。目前本系統(tǒng)已成功應(yīng)用于高分多模衛(wèi)星測(cè)試項(xiàng)目，系統(tǒng)運(yùn)行可靠，性能穩(wěn)定。實(shí)驗(yàn)測(cè)試結(jié)果顯示：該系統(tǒng)存儲(chǔ)容量可達(dá)100 TB，可對(duì)18通道CCD圖像數(shù)據(jù)進(jìn)行記錄與實(shí)時(shí)顯示，每通道CCD輸出時(shí)鐘頻率為140 MHz，像元數(shù)為8192，數(shù)據(jù)為12位量化，總速率高達(dá)80 Gbit/s。如果處理的通道數(shù)需要增加，只需增加相應(yīng)的單元即可，具有良好的擴(kuò)展性。