氣象私有云環(huán)境下存儲架構設計與性能探討

顧忠順，厲愛麗

（1.西藏自治區(qū)氣象信息網絡中心，西藏拉薩，850000；2.西藏高原大氣環(huán)境科學研究所，西藏拉薩，850000）

0 引言

云計算是近年來興起的互聯(lián)網現代化技術之一[1]。云計算為氣象科研提供了一種新的資源使用和計算模式，可以為互聯(lián)網用戶提供動態(tài)、可拓展的計算資源、儲存能力的大規(guī)模分布式計算集合[2]。云計算技術支持下，各類作業(yè)儲存在資源池，應用系統(tǒng)可針對業(yè)務需求獲取計算能力、儲存及技術軟件服務，云計算平臺也結合需要動態(tài)部署、配置或取消。云計算的資源更加虛擬化，其儲存效率突出，具有較高的可擴展性，便于氣象科研工作使用。

1 云計算在氣象部門工作中應用的優(yōu)勢

云計算技術可提高IT資源利用率，簡化繁瑣管理步驟，加快IT響應[3]。目前云計算技術正處于不斷成熟發(fā)展狀態(tài)，眾多數據中心轉型都應用云計算技術。云計算、主機虛擬化可實現計算、數據高度集中，其對數據儲存、使用、管理提出更嚴格要求。因此，需設計與之匹配的云計算儲存系統(tǒng)。

結合西藏氣象部門業(yè)務需求，利用云計算技術構建私有云計算環(huán)境，為用戶提供更多計算、儲存資源，提供集中托管，滿足用戶對IT技術資源需求[4]。云計算系統(tǒng)其按需配置資源，系統(tǒng)彈性、可用服務突出，可實現資源快速布置、動態(tài)配置，并結合業(yè)務需求可靈活升級、擴充。西藏氣象私有云環(huán)境下的存儲架構設計對所需要的各項業(yè)務區(qū)域化儲存分析，了解儲存中的各項關鍵參數，比對各項數據參數指標，確定氣象私有云環(huán)境下儲存設計方案，對架構、性能評估，發(fā)現使用的云儲存架構滿足需求，可支撐西藏氣象科研工作有序開展。

2 云環(huán)境中儲存設計的關鍵

新時期云計算技術不斷成熟，越來越多的企業(yè)單位虛擬化架構承載比例上升[5]。西藏氣象部門信息化建設以云計算技術構建氣象私有云，為西藏氣象業(yè)務科研部門提供計算、儲存、網絡接入等多項服務，私有云以20多臺服務器、4套磁盤陣列、2套NAS儲存等支持，目前已提供超200臺虛擬服務器，實現準確的天氣預報，對預報信息集中處理，提供各類自動站中心站、西藏氣象一體化業(yè)務平臺等超過30個應用系統(tǒng)[6]，使資源利用率提高近51%，且其業(yè)務部署的單位為天，故障恢復時間在分鐘級別對CPU的利用率也比以前高，高出6倍以上的利用效率。

2.1 業(yè)務需求

IT架構為上層業(yè)務落實作鋪墊，傳統(tǒng)云平臺建設知識以儲存架構滿足多類型的產生的數據訪問模式及數據特征，該虛擬架構可以適應規(guī)模小，訪問壓力低的場合，可起到降低儲存平臺設計難度作用。而面對數據類型差異較大、業(yè)務系統(tǒng)讀寫模式復雜的情況，就需為不同業(yè)務匹配合理的數據類型、訪問特點，優(yōu)化儲存平臺性能及成本。

2.2 儲存設計關鍵

云計算的儲存設計需考慮儲存協(xié)議、針對不同業(yè)務數據類型優(yōu)化性能、考慮如何在多業(yè)務運行下對數據容量做好統(tǒng)籌規(guī)劃。同時，儲存設計還要考慮到不同儲存環(huán)境下，平臺的資源池化，如何更好的針對各類儲存確保平臺的高可用保護。

3 云環(huán)境下的儲存協(xié)議確定

3.1 光纖通道儲存

光纖通道儲存的性能及可靠性最為突出，其成本相對較高，目前主流帶寬為5Gbps[7]、16Gpbs[8]。采用光纖通道儲存，可用帶寬更高，延時低，且系統(tǒng)的性能有所保障。獨立的光纖通道其網絡安全性突出，設有Zoning、LUN masking[9]訪問控制。光纖通道儲存支持從儲存啟動系統(tǒng)，可實現本地服務器無需硬盤支持即可運行，但其建設成本高，對于氣象數據中的非結構化數據文件大、數量多的特點，難以滿足需求。

3.2 NAS儲存

NAS儲存和其他儲存的協(xié)議類型不同，以光纖通道為例，其采用數據塊協(xié)議，寫入到后端儲存設備的數據單位為塊，主機的磁盤的文件維護，主機視角中，儲存設備基本等同于本地磁盤。NAS的儲存設備端可維護磁盤文件，協(xié)議為共享協(xié)議，服務器和儲存設備只是簡單通訊。

常規(guī)NAS性能不如光纖通道，無法支持虛擬主機平臺全部儲存特性，故西藏氣象云計算環(huán)境不適合采用NAS部署操作系統(tǒng)。一些現代化的分布式NAS，其自身可以發(fā)揮后端磁盤帶寬，確保大容量、非結構化的數據可以實現高并發(fā)的讀寫。針對氣象數據的特點，西藏氣象數據中的非結構化數據資料，如衛(wèi)星數據、實景圖片及實景視頻資料等，可以利用一部分的NAS，對其目錄共享，有效提高虛擬機文件儲存性能，節(jié)省成本。

4 儲存平臺性能設計

4.1 影響儲存性能的幾個原因

云計算對儲存平臺性能的影響集中在儲存控制器、磁盤類型、虛擬化主機環(huán)境以及儲存產品集成度上。儲存平臺需考慮儲存產品的軟硬件配置是否合理，如控制器處理計算能力、儲存緩存多少、磁盤接口類型，IO通道帶寬、數量及主機多路徑管理等。加速盤也是一種新興儲存介質，其I/O性能遠遠超出傳統(tǒng)硬盤，可靈活應該用到虛擬環(huán)境中，提高系統(tǒng)整體性能。對于儲存陣列以及服務器自身的虛擬化基層而言，可采用開放性的儲存產品軟件接口協(xié)議，以合理的儲存產品，和對應I/O配合，卸載到儲存端，以此控制虛擬化層服務整體壓力，設置合理的虛擬環(huán)境。例如氣象私有云采取VAAI協(xié)議，利用存儲雙活技術，將虛擬機、儲存設備和主流系統(tǒng)對接，用戶無需顧慮后期儲存能力、類型，存儲資源可動態(tài)擴展。

4.2 儲存IO能力

后磁盤的使用會導致I/O遇到一定阻礙，可以在磁盤系統(tǒng)的規(guī)劃方面，注重配置好IOPS，充分分析緩存性能優(yōu)化的多種問題，規(guī)劃過程中基本不考慮緩存對儲存的影響。結合業(yè)務需要、特點，或者配合對以往的業(yè)務IO數據分析，可以得到業(yè)務系統(tǒng)大致讀寫比例，和IOPS的統(tǒng)計預設目標分析，可以得到實現所需性能的磁盤數量。

4.3 虛擬化層對性能造成的影響

伴隨新時期信息技術飛速發(fā)展，服務器向虛擬化發(fā)展已經成為趨勢，虛擬化的產品也研發(fā)出和儲存產品兼容的軟件接口協(xié)議，目前一些較為先進的儲存產品可和軟件對接，將大量儲存的I/O卸載到客戶端，降低服務虛擬化層承受的有壓力，實現對虛擬環(huán)境的優(yōu)化。虛擬環(huán)境中的儲存硬件及虛擬中間軟件的管理程序通訊并不簡單，為簡化通信過程提高通信效率，研發(fā)出VAAI接口，應用此接口可以為對應的管理程序、儲存設備規(guī)定好不同的職責，最大化發(fā)揮其各自效能，讓通信程序可以充分完成虛擬化相關工作，將儲存工作留給儲存陣列完成。

通過設置的VAAI，廠家可以對儲存硬件及應用程序、vSphere進行集成，使VAAI的一些儲存層工作可以在儲存陣列上運行，此時運行為離線狀態(tài)，可以比主機端完成此類操作更加高效。主機端則簡單的負責相關工作轉移給儲存陣列完成，主機只是負責監(jiān)控，并非占用主機資源完成操作。

5 結果分析

采取西藏氣象私有云環(huán)境內部的A、B區(qū)儲存一日的數據作為基礎分析，以儲存性能專業(yè)的分析工具支持分析，具體結果如下。

5.1 儲存訪問特性

面對不同的業(yè)務，其所需要的儲存方式也各有不同，具體的差異主要是不同的業(yè)務其I/O讀寫比例及大小各不相同，對儲存效果優(yōu)化，需要考慮到訪問特性進一步完善。對西藏氣象私有云的儲存數據分析，其中A區(qū)和B區(qū)的讀寫比例分別為53%：49%、61%；41%，A區(qū)的I/O大小4K，B區(qū)一設備裝置量128K。對于后端磁盤而言，使用磁盤必然會制約寫入的儲存訪問，故需要對儲存進行規(guī)劃分析，注重利用磁盤本身的并發(fā)性特征，將寫入的數據充分打散，分布到多個物理磁盤內，大大提高數據落盤的響應效果?？紤]到后端磁盤對儲存的影響，故在原本設計儲存基礎上，融入Pool服務，將數據在Pool的各個硬盤中充分打散，以此獲取更為理想的儲存性能。對大的I/O業(yè)務量場景分析，發(fā)現西藏氣象私有云通過虛擬機和業(yè)務數據分離設置方式，可提高整體架構性能，將虛擬機當中不同的系統(tǒng)文件都儲存到光纖通道內，以此構建業(yè)務目錄和NAS的聯(lián)系，進一步提高文件的讀寫效果，也充分控制云平臺的虛擬機性能。

5.2 儲存負載性能

對幾臺儲存展現分析，從儲存承擔IOPS方面分析，發(fā)現幾個儲存負載并不平均，A的儲存IOPS壓力較小，而B的這方面壓力相對較大。但是目前系統(tǒng)的儲存性能仍然滿足要求。絕大多數IO的響應時間基本可以控制在5秒以內，其運行響應速度滿足使用需求。伴隨虛擬機數量不斷增加，就需要注重解決儲存IOPS的壓力不平均問題，避免部分儲存受到過多的壓力，導致響應時間較長，影響系統(tǒng)整體使用效果，而另一部分的儲存性能處于閑置狀態(tài)，未充分利用。

6 結束語

伴隨氣象私有云平臺儲存設計及應用，文章從的性能影響因素、IO能力計算及虛擬化層的方向分析，評估儲存實際運行狀態(tài)，在平臺訪問、IO負載方面展開分析，發(fā)現目前西藏氣象私有云平臺構建的架構相對合理，不同類型儲存經過配置優(yōu)化之后可以互相補充不足，滿足不同類型氣象科研及業(yè)務的需要，經過實際運行分析發(fā)現各項指標良好。未來發(fā)展中，將融入跟蹤技術，結合存儲虛擬化技術，調整高速雙活存儲和海量大數據存儲之間的關系，加強信息系統(tǒng)安全建設，優(yōu)化西藏氣象私有云存儲架構，提升管理職能，進一步滿足業(yè)務系統(tǒng)發(fā)展需求，將更多元化的儲存及管理平臺深入研究，將更智能化的技術融入到西藏氣象科研及業(yè)務工作中。