基于云存儲的遙感數據存儲模型

員建廈

（中國電子科技集團公司第54研究所 石家莊 050081）

一、引言

遙感影像是一種具有高容量、高可靠性、獲取方便及時等特點的信息載體。在交通管理、土地規劃、軍事、資源、環境和防災等很多領域都起著不可替代的作用。利用衛星平臺，人們可以迅速得到幾天前甚至幾小時前拍攝的高分辨率遙感影像，使獲取的信息更加及時、準確。

遙感影像的數據量非常大。每天都有通過不同途徑獲取的大量遙感影像數據，并且隨著影像分辨率的提高，產生的遙感影像數據量也以幾何方式增長，達到Terabyte（TB）量級甚至Petabyte（PB）量級。隨著時間的推移，遙感應用領域的不斷擴大以及衛星技術、傳感器技術的不斷發展，遙感影像的數據量級別還將持續快速地增加。如何有效的組織、存儲、管理和發布這些海量的遙感影像數據，使遙感影像數據能夠更迅速、更準確地為應用提供服務，成為目前急需解決的問題。

二、遙感數據的特點分析

遙感（Remote Sensing）科學是在地球科學與傳統物理學、現代高科技基礎上發展起來的一門新興交叉學科。廣義上泛指從遠處探測、感知物體或事物的技術。即不接接觸物體本身，而是在遠處通過儀器（比如飛機、氣球、飛艇、衛星等載體上的傳感器）探測和接收來自目標物體的信息（如可見光、紅外、電場、磁場、電磁波等信息，經過信息的傳輸及其處理分析，識別物體的屬性及其分布等特征的技術。

高分辨率對地觀測數據是對農業、災害、資源環境、公共安全等重大問題進行宏觀決策的有力根據，是保障國家安全的基礎性和戰略性資源，通過遙感技術，可以很快得到大量所需信息，有效地為國土、農業等行業以及管部門的決策提供支持。在遙感技術給人們的生產生活帶來各種方便的同時，由于其身的數據量巨大，如何有效組織、大量存儲、快速檢索、快速瀏覽、方便使用這些遙影像數據就成為一個迫切需要解決的問題。

隨著科學技術的發展進步，日常生產生活越來越離不開信息技術。比如，出行時需要了解路線規劃、道路的流量等信息；農業部門需要了解小麥的種植面積信息；環保部門需要了解某一地區污染情況信息等等。

遙感影像數據是一種具有超高容量、可靠性強、方便及時等特點的信息載體，由于遙感影像數據的這些特點，使其在交通管理、土地規劃、軍事、資源、環境和防災等很多領域都起著不可替代的用途。利用衛星平臺，人們可以迅速得到幾天前甚至幾小時前的拍攝的高分辨率的遙感影像，使獲取的信息更加及時準確。

遙感影像的數據量非常大。每天都有通過不同途徑獲取的大量遙感影像，并且隨著分辨率的提高遙感影像的數據量也呈幾何級遞增，達到Terabyte（TB）量級甚至Petabyte（PB）量級，而且這個數字隨著時間的推移和衛星技術、傳感器技術的發展還將持續快速增加下去。

高分辨率體現在：高空間分辨率、高時間分辨率、高頻譜分辨率和高輻射分辨率。高分系統是利用光學和微波成像等技術手段，從天基、近空間、空基等平臺對地球進行觀測，獲取高分辨率數據的信息系統。高分系統對國家安全和經濟與社會持續發展均具有重大意義，可以為維護國家權益、保障我國戰略性資源和環境安全提供對地觀測信息服務，是政治、軍事、外交、公共安全和農業、災害、資源、環境等重大問題的決策依據，具有十分明顯的軍民共用性。然而，從高分辨率對地觀測數據的推廣應用情況來看，其軍用與民用需求往往各有側重，服務模式也不盡相同。因此，有必要在高分軍用系統和民用系統之間建立一個數據交換與服務系統，用來解決高分數據軍民應用的差異性問題，從而充分發揮高分數據的政治、軍事和經濟效益。

隨著海量遙感數據的廣泛應用，傳統的數據庫技術和數據管理手段已經不能滿足海遙感影像數據的性能要求。在進行海量遙感影像數據應用時，如果使用傳統的數據管理技術，必須考慮以下幾個方面：

1、影像數據容量過大，超過數據庫的處理極限；

2、遙感影像是一種自然結構的數據文件，不適合用關系數據庫這種存儲非自然結

構數據的方式來管理。

3、相對海量遙感影像而言網絡帶寬不足，影像顯示速度慢的令人難以忍受，存在I/O瓶頸；4、海量遙感影像數據的快速檢索技術；5、海量遙感影像的快速發布技術。

綜上所述，傳統的數據管理技術不能滿足海量遙感影像數據帶來的新需求。如何才能更好地存儲和管理海量遙感影像數據，實現對遙感數據的快速處理、快速檢索、快速顯示，從而在信息海洋中提取有價值的知識，進一步提高信息的利用率，已經成為目前需要解決的緊迫問題。而解決這些問題的方法就要歸結于海量遙感影像存儲管理組織結構的研究。

三、云存儲技術

3.1 云存儲技術特點

云計算是一種以數據為中心的服務密集型計算，而云存儲是云計算的底層數據支持環境，為云計算提供高可用、高可靠、運營成本低的數據存儲服務。目前，云存儲服務分為個人級應用和企業級應用。企業級的云存儲服務主要用于空間租賃、遠程數據容災和視頻監控存儲支持。云存儲服務沿用傳統的集群技術、網絡計算和分布式存儲技術，將網絡中大量低廉的計算設備進行有機集成，避免了盲目擴張濫建。

云存儲服務具有高可靠性、高通用性、高擴展性及大容量存儲等特點，因此進行云存儲服務系統的研究不僅緊跟技術發展的趨勢，而且具有較高的應用價值。系統對存儲容量的需求也日益增加，系統的數據量動輒TB級甚至PB級。同時，存儲設備（磁盤陣列）容量的增長和存儲設備成本的降低也使海量存儲客觀上成為可能，但是保存的數據量大了以后，需要處理的數據量也增大了，系統對高性能事務處理的需求也不斷提高，此時傳統的存儲方式已經成為訪問性能的“瓶頸”，對這些海量數據的存儲和高效訪問是一個迫切需要解決的問題。云存儲還具有如下的特點，超強的可擴展性、不受具體地理位置所限、基于商業組件、按照使用收費（如每G收15美分）、可跨不同應用等。

云存儲對使用者來講，不是指某一個具體的設備，而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲，并不是使用某一個存儲設備，而是使用云存儲系統帶來的數據訪問服務。云存儲的核心是應用軟件與存儲設備相結合，通過應用軟件來實現存儲設備向存儲服務的轉變[1]。

3.2 云存儲和云計算的關系

云存儲是在云計算（cloud computing）概念上延伸和發展出來的一個新的概念，因此要了解云存儲首先要了解云計算。云計算是一種基于網絡的超級計算模式，在遠程的數據中心里，成千上萬臺電腦和服務器連接成一片電腦云。因此，云計算甚至可以讓你體驗每秒萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發展趨勢。用戶通過電腦、筆記本、手機等方式接入數據中心，按自己的需求進行運算。隨著云計算概念的逐步深入，人們開始為海量信息尋找一個新的安身之處——云存儲[2]。

云存儲從出現就得到了廣泛的關注和支持。云存儲的概念與云計算類似，它是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統[3]。

云存儲的興起使得整個IT界處于一個重大的變革期，從以設備應用程序為中心轉向以信息為中心，而這一轉變還將引發一系列的變革，并影響到技術和業務模式兩個層面。云存儲的最大特點是海量、高性能、高訪問量以及低成本，而其帶來的最大變革是：提供商逐漸從銷售工具轉向根據工具的實際使用收費，也就是從賣產品轉向了賣服務。因此，可以說云存儲不是存儲而是服務。

云計算是分布式處理（D i s t r i b u t e d Computing）、并行處理（Parallel Computing）和網格計算（Grid Computing）的發展，是透過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，再交由多臺服務器所組成的龐大系統計算分析之后將處理結果回傳給用戶。云計算技術可以讓網絡服務提供者在極短時間，例如數秒之內處理數以千萬計甚至億計的信息，達到和“超級計算機”同樣強大的網絡服務。云計算系統的建設目標是將運行在PC上或單個服務器上的、獨立的、個人化的運算遷移到一個數量龐大服務器“云”中，由這個云系統來負責處理用戶的請求，并輸出結果，它是一個以數據運算和處理為核心的系統。

云存儲是在云計算概念上延伸和發展出來的一個新的概念。當云計算系統運算和處理的核心是大量數據的存儲和管理時，云計算系統中就需要配置大量的存儲設備，那么云計算系統就轉變成為一個云存儲系統，所以云存儲是一個以數據存儲和管理為核心的云計算系統。

從架構模型來看，云存儲系統比云計算系統多了一個存儲層，同時，在基礎管理也多了很多與數據管理和數據安全有關的功能。

3.3 云存儲的層次模型

與傳統的存儲設備相比，云存儲不僅僅是一個硬件，而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網、和客戶端程序等多個部分組成的復雜系統。各部分以存儲設備為核心，通過應用軟件來對外提供數據存儲和業務訪問服務。云存儲系統的結構模型由4層組成。

a）存儲層

存儲層是云存儲最基礎的部分。存儲設備可以是光纖通道存儲設備，也可以是其他的存儲設備。云存儲中的存儲設備往往數量龐大且分布在不同地域，彼此之間通過廣域網、互聯網或者光纖通道網絡連接在一起。存儲設備之上是一個統一存儲設備管理系統，可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設備的狀態監控和故障維護。

b）基礎管理層

基礎管理層是云存儲最核心的部分，也是云存儲中最難以實現的部分。基礎管理層通過集群、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備之間的協同工作，使多個存儲設備可以對外提供同一種服務，并提供更大更強更好的數據訪問性能。CDN內容分發系統、數據加密技術保證云存儲中的數據不會被未授權的用戶所訪問，同時，通過各種數據備份和容災技術措施可以保證云存儲中的數據不會丟失，保證云存儲自身的安全和穩定。

c）應用接口層

應用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業務類型，開發不同的應用服務接口，提供不同的應用服務。比如視頻監控應用平臺、網絡硬盤應用平臺、遠程數據備份應用平臺等。

d）訪問層

基于的云存儲服務系統研究任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統，享受云存儲服務。云存儲運營服務商不同，云存儲提供的訪問類型和訪問手段也不同。

四、數據存儲模型

4.1 總體框架結構

結合海量數據異構性、分布性、多樣性等特點，從系統實現角度考慮，本系統采用三層架構設計使結構更加清晰，并且易于擴展，系統總體框架結構如圖1所示。

顯示層：為用戶提供方便、易用和友好的界面，普通用戶可以通過頁面瀏覽和查詢海量數據，高級用戶也可以利用系統提供的公共API接口來擴展系統的服務能力。

業務邏輯層：并行處理海量數據，并對整個系統進行配置管理。

數據資源層：作為整個同的基礎，用于存儲和管理海量數據。

4.2 總體功能設計

從系統功能角度考慮，可以將整個分系統分為3層，如圖2所示。

第1層是數據訪問層：對于海量數據存儲，在存取數據時不會只局限對一種數據庫的操作，本層需要對各種數據庫提供的不同數據源進行屏蔽，提供數據庫訪問服務，這樣系統才能夠適應處理存儲海量數據的要求，具有較好的可擴展性和完備性，方便管理和部署。

第2層是數據處理層：數據處理層作為整個系統的核心，同時也是本系統設計開發的重點內容．它采用分布式數據庫技術、Linux集群技術等，提供了對海量數據的并行加載存儲等主要功能。該層通過對海量數據并行處理，把處理后的數據存儲到本系統的分布式數據庫中，同時還提供了保證系統能夠正常運行的管理支撐服務。

該層分為5個功能模塊：系統管理模塊、并行加載存儲模塊、并行查詢模塊、數據字典模塊、備份恢復模塊。

第3層是業務應用層．分為基于用戶GUI界面和基于算法庫API。

1）基于用戶GUI界面：用戶可以通過簡單應用的操作界面工具，進行海量數據處理存儲．

2）基于算法庫API：對于高級用戶可以編寫應用系統，調用算法庫中的API來擴展本系統，實現所需的應用功能。

4.3 硬件設備設計

系統硬件設備及網絡設計如圖3所示。

從圖3中可以看出，硬件和網絡設備由多個數據庫服務器、應用服務器組成，這些數據庫服務器可以在同一地域，也可分布在不同地域．隨著數據量的增大和應用需求的復雜變化，平臺可以很容易的擴展，而這些變動對用戶來說都是透明的，并且現有的關系型數據庫系統也可以整合到該平臺中，通過去異構化處理共同為用戶提供存儲服務，從而為用戶透明地提供存儲和管理海量數據的功能．該平臺可以安全、穩定、不間斷的為政府、企業、個人等用戶提供海量數據存儲服務，使海量數據能夠得到妥善的存儲管理，更大地發揮其研究利用價值。

五、結束語

根據遙感影像的特點，每天都有通過不同途徑獲取的大量遙感影像，并且隨著影像分辨率的提高，遙感影像應用的范圍逐漸擴大，產生的遙感影像數據量也呈幾何級遞增，而且這個數字隨著時間的推移和衛星技術、傳感器技術的不斷發展還將持續快速增加下去。如何去存儲、組織、管理和發布這些海量的遙感影像數據，使遙感影像數據能夠更好地為實際應用服務，成為一個熱點問題。采用基于云存儲的存儲模型可以很好地對海量數據進行管理，同時通過對系統功能的分層設計實現了對應用系統的數據服務。