山東省遙感影像數(shù)據(jù)的高效歸檔與管理

文·韓娟 戚文來 張鵬

遙感影像檔案數(shù)據(jù)量大、覆蓋面寬、應(yīng)用范圍廣，是國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展不可或缺的基礎(chǔ)性、戰(zhàn)略性信息資源，其服務(wù)范圍涉及與地理信息有關(guān)的國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展的各個(gè)領(lǐng)域和各個(gè)行業(yè)。山東省國(guó)土測(cè)繪院承擔(dān)全省自然資源衛(wèi)星、航空遙感數(shù)據(jù)獲取及處理工作，同時(shí)負(fù)責(zé)全省測(cè)繪成果和檔案資料管理工作。“十三五”期間，山東省陸域范圍及近海島嶼每年獲取 1 期優(yōu)于 0.5 米分辨率遙感影像，數(shù)據(jù)源以航空影像為主，航天影像作為補(bǔ)充。隨著航空航天技術(shù)的不斷發(fā)展，遙感影像數(shù)據(jù)類型越來越多，分辨率越來越高，數(shù)據(jù)量增長(zhǎng)迅速，對(duì)遙感影像數(shù)據(jù)安全高效歸檔管理的需求也越來越大。

面對(duì)數(shù)據(jù)量大、更新頻率高、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)并存的海量多源遙感影像數(shù)據(jù)，傳統(tǒng)人工歸檔管理的方式效率低、易出錯(cuò)、耗費(fèi)人力物力，不利于數(shù)據(jù)的存檔、分發(fā)與應(yīng)用，沒有充分發(fā)揮遙感影像數(shù)據(jù)的效益[1]。為了實(shí)現(xiàn)海量多源異構(gòu)遙感影像數(shù)據(jù)的安全高效歸檔與管理，山東省國(guó)土測(cè)繪院研發(fā)了山東省遙感影像數(shù)據(jù)管理系統(tǒng)。

一、數(shù)據(jù)歸檔與管理設(shè)計(jì)

（一）總體設(shè)計(jì)思路

系統(tǒng)設(shè)計(jì)依據(jù)《信息化測(cè)繪體系建設(shè)技術(shù)大綱》和《測(cè)繪地理信息業(yè)務(wù)檔案管理規(guī)定》等國(guó)家相關(guān)規(guī)范和技術(shù)標(biāo)準(zhǔn)，充分考慮影像數(shù)據(jù)與產(chǎn)品成果歸檔管理的需求和開展其他業(yè)務(wù)的需要，在對(duì)各種航空航天遙感影像數(shù)據(jù)進(jìn)行統(tǒng)一分析設(shè)計(jì)的基礎(chǔ)上，研發(fā)山東省遙感影像數(shù)據(jù)管理系統(tǒng)，完成各類數(shù)據(jù)的建庫(kù)歸檔工作[2]。

（二）數(shù)據(jù)處理歸檔與管理流程

數(shù)據(jù)歸檔入庫(kù)前，首先由數(shù)據(jù)整合模塊對(duì)航空航天遙感影像數(shù)據(jù)產(chǎn)品成果數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化整合，根據(jù)所歸屬的數(shù)據(jù)類別，進(jìn)行元數(shù)據(jù)和輔助信息的提取。然后，根據(jù)數(shù)據(jù)類別的不同，設(shè)計(jì)不同的數(shù)據(jù)庫(kù)表格，確保能夠完整有效地提取錄入每一類數(shù)據(jù)的元數(shù)據(jù)和輔助信息。最后，在對(duì)數(shù)據(jù)格式及完整性檢查后，將符合條件的遙感影像數(shù)據(jù)進(jìn)行歸檔入庫(kù)，對(duì)信息缺失的遙感影像數(shù)據(jù)進(jìn)行標(biāo)記，方便后期對(duì)數(shù)據(jù)進(jìn)行核查。數(shù)據(jù)入庫(kù)后，根據(jù)分類，開展歸檔目錄數(shù)據(jù)創(chuàng)建、元數(shù)據(jù)注冊(cè)和數(shù)據(jù)體注入等流程，完成數(shù)據(jù)歸檔工作。歸檔數(shù)據(jù)實(shí)行在線備份存儲(chǔ)，由數(shù)據(jù)庫(kù)存儲(chǔ)和文件存儲(chǔ)兩種方式相結(jié)合，各業(yè)務(wù)系統(tǒng)通過查詢檢索接口進(jìn)行數(shù)據(jù)查詢、數(shù)據(jù)檢索和數(shù)據(jù)提取，不同的業(yè)務(wù)用戶有不同的權(quán)限。

數(shù)據(jù)歸檔與管理流程圖

（三）數(shù)據(jù)歸檔系統(tǒng)設(shè)計(jì)

數(shù)據(jù)歸檔系統(tǒng)設(shè)計(jì)的主要目標(biāo)，是實(shí)現(xiàn)航空航天遙感影像數(shù)據(jù)歸檔與產(chǎn)品成果綜合管理。整個(gè)數(shù)據(jù)歸檔系統(tǒng)包括數(shù)據(jù)歸檔子系統(tǒng)、數(shù)據(jù)檢索子系統(tǒng)、系統(tǒng)管理子系統(tǒng)、統(tǒng)計(jì)分析子系統(tǒng)、數(shù)據(jù)整合子系統(tǒng)。其中數(shù)據(jù)歸檔子系統(tǒng)細(xì)分為元數(shù)據(jù)、數(shù)據(jù)完整性檢驗(yàn)、數(shù)據(jù)歸檔、歸檔監(jiān)控四個(gè)模塊。元數(shù)據(jù)采集模塊設(shè)置影像元數(shù)據(jù)采集、產(chǎn)品屬性信息提取功能。由于數(shù)據(jù)多來源、多標(biāo)準(zhǔn)、多格式，需要進(jìn)行數(shù)據(jù)的統(tǒng)一規(guī)范存儲(chǔ)，設(shè)計(jì)采用基于建模技術(shù)的數(shù)據(jù)管理技術(shù)，實(shí)現(xiàn)多元異構(gòu)數(shù)據(jù)管理。數(shù)據(jù)完整性檢驗(yàn)?zāi)K配置檢驗(yàn)規(guī)則設(shè)置數(shù)據(jù)管理、數(shù)據(jù)自動(dòng)檢驗(yàn)、人機(jī)交互檢驗(yàn)、檢驗(yàn)報(bào)告輸出功能。數(shù)據(jù)歸檔模塊軟件設(shè)置自動(dòng)歸檔、人機(jī)交互歸檔、接口歸檔功能。歸檔監(jiān)控模塊軟件設(shè)置歸檔狀態(tài)監(jiān)控、異常數(shù)據(jù)處理、遷移狀態(tài)監(jiān)控功能。通過四大模塊有機(jī)結(jié)合，完成數(shù)據(jù)歸檔。其它子系統(tǒng)共同配合，實(shí)現(xiàn)數(shù)據(jù)的安全高效歸檔與管理。

（四）數(shù)據(jù)歸檔指標(biāo)

系統(tǒng)在萬兆光纖網(wǎng)絡(luò)環(huán)境、存儲(chǔ) IO滿足情況下，10 臺(tái)計(jì)算節(jié)點(diǎn)組成歸檔集群，具備每天 10TB 級(jí)數(shù)據(jù)歸檔時(shí)間優(yōu)于 2 小時(shí)，單節(jié)點(diǎn) 1GB 數(shù)據(jù)歸檔平均時(shí)間低于8 秒，支持包括資源三號(hào)系列衛(wèi)星、高分系列衛(wèi)星等非涉密航天衛(wèi)星遙感影像以及省內(nèi)ADS系列航攝儀、UC系列航攝儀、SWDC系列航攝儀、DMC系列航攝儀等航空遙感影像和各類成果等數(shù)據(jù)產(chǎn)品的數(shù)據(jù)歸檔、管理數(shù)據(jù)類型，數(shù)據(jù)歸檔完整性達(dá)到 100%，以插件方式支持未來后續(xù)航空航天遙感影像數(shù)據(jù)及其他成果數(shù)據(jù)。

二、數(shù)據(jù)歸檔與管理關(guān)鍵技術(shù)

（一）多元異構(gòu)數(shù)據(jù)管理

該系統(tǒng)對(duì)多來源、多標(biāo)準(zhǔn)、多格式的航空航天遙感影像數(shù)據(jù)，采用基于建模技術(shù)的數(shù)據(jù)管理技術(shù)，進(jìn)行數(shù)據(jù)的統(tǒng)一規(guī)范歸檔存儲(chǔ)。以統(tǒng)一的數(shù)據(jù)庫(kù)管理基礎(chǔ)平臺(tái)作為基礎(chǔ)，利用編目和元數(shù)據(jù)結(jié)合的方式管理資料，以空間數(shù)據(jù)集方式管理空間數(shù)據(jù)，構(gòu)建出符合各自特征的資源庫(kù)，兩者的資源編目都注冊(cè)到資源目錄管理系統(tǒng)，以支持資源信息的發(fā)布和共享。

（二）海量數(shù)據(jù)快速自動(dòng)歸檔入庫(kù)

對(duì)于海量遙感影像數(shù)據(jù)歸檔、數(shù)據(jù)統(tǒng)計(jì)等任務(wù)，現(xiàn)有的傳統(tǒng)的單機(jī)處理模式已經(jīng)無法滿足數(shù)據(jù)及時(shí)歸檔、高效統(tǒng)計(jì)的需求，新建的系統(tǒng)采用基于自主的并行計(jì)算框架進(jìn)行實(shí)現(xiàn)，系統(tǒng)的并行處理能力與性能主要受制于并行任務(wù)處理節(jié)點(diǎn)的個(gè)數(shù)、網(wǎng)絡(luò)吞吐量和盤陣 IO 的性能，并行調(diào)度框架支持并行資源調(diào)度、并行任務(wù)分配以及并行計(jì)算的執(zhí)行，基于此框架研制數(shù)據(jù)歸檔系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)歸檔、數(shù)據(jù)檢索和數(shù)據(jù)統(tǒng)計(jì)業(yè)務(wù)的多機(jī)、多進(jìn)程并行執(zhí)行。在執(zhí)行任務(wù)時(shí)，將數(shù)據(jù)歸檔、數(shù)據(jù)檢索和數(shù)據(jù)統(tǒng)計(jì)任務(wù)分解成若干個(gè)子任務(wù)，并將這些子任務(wù)分配給相應(yīng)的執(zhí)行節(jié)點(diǎn)執(zhí)行，各節(jié)點(diǎn)執(zhí)行完畢后，將執(zhí)行結(jié)果匯總返回。通過將串行的流程并行分配執(zhí)行，從而提高數(shù)據(jù)歸檔效率、加快數(shù)據(jù)查詢速度、縮短數(shù)據(jù)統(tǒng)計(jì)時(shí)間[3]。

（三）數(shù)據(jù)快速查詢檢索

系統(tǒng)將需要查詢的空間信息和元數(shù)據(jù)信息均采用分區(qū)表的方式存儲(chǔ)于數(shù)據(jù)庫(kù)中。對(duì)于包含空間信息的數(shù)據(jù)，系統(tǒng)采用空間數(shù)據(jù)集的方式進(jìn)行管理，并且通過空間數(shù)據(jù)引擎建立索引。對(duì)于元數(shù)據(jù)信息采用數(shù)據(jù)庫(kù)分區(qū)表進(jìn)行管理，并建立數(shù)據(jù)庫(kù)索引。在進(jìn)行數(shù)據(jù)檢索操作時(shí)，系統(tǒng)會(huì)基于不同的查詢條件采用不同的索引進(jìn)行檢索操作。在進(jìn)行數(shù)據(jù)查詢時(shí)，系統(tǒng)綜合運(yùn)用多線程查詢機(jī)制、分頁(yè)查詢機(jī)制、實(shí)時(shí)動(dòng)態(tài)查詢機(jī)制、索引管理機(jī)制，提高查詢效率，提升用戶體驗(yàn)[4]。

三、應(yīng)用探討

該系統(tǒng)建成后，實(shí)現(xiàn)了多源遙感影像數(shù)據(jù)歸檔、數(shù)據(jù)統(tǒng)計(jì)等業(yè)務(wù)的自動(dòng)化運(yùn)行，實(shí)現(xiàn)數(shù)據(jù)查詢、數(shù)據(jù)下載、數(shù)據(jù)分發(fā)等業(yè)務(wù)的網(wǎng)絡(luò)化運(yùn)行，實(shí)現(xiàn)數(shù)據(jù)快速處理、數(shù)據(jù)成果發(fā)布等工作流程的業(yè)務(wù)化運(yùn)行，有效整合了遙感數(shù)據(jù)資源，提高了遙感影像歸檔、管理以及服務(wù)水平，為山東省新型基礎(chǔ)測(cè)繪、地理省情監(jiān)測(cè)和應(yīng)急測(cè)繪等提供了數(shù)據(jù)保障。根據(jù)《山東省“十四五”基礎(chǔ)測(cè)繪規(guī)劃》，“十四五”期間，山東省擬開展遙感影像獲取工程和實(shí)景三維山東建設(shè)工程，擬分年度獲取1米間隔機(jī)載激光雷達(dá)點(diǎn)云數(shù)據(jù)，實(shí)現(xiàn)全省陸域覆蓋1次，并根據(jù)需要獲取全省縣級(jí)以上城市建成區(qū)約1.5萬平方千米優(yōu)于0.05米傾斜航空遙感影像，山東省遙感影像系統(tǒng)的建立將為“十四五”基礎(chǔ)測(cè)繪任務(wù)所形成的的遙感影像數(shù)據(jù)成果歸檔管理提供更加規(guī)范更加高效更加優(yōu)質(zhì)的服務(wù)。