福建省氣象CIMISS存儲系統擴容的設計

楊志勇 段 卿 朱添福

（福建省氣象信息中心，福建 福州 350001）

[關鍵字] CIM ISS；擴容；ORACLE；氣象

1 引言

新一代天氣雷達信息共享平臺[1]，又稱全國綜合氣象信息共享平臺，其英文標識為：CIM ISS（China Integrated Meteorological Information Service System）。新一代天氣雷達信息共享平臺是氣象發展規劃中的重要業務系統，是新一代天氣雷達數據和其它氣象數據的采集、處理、管理、分發和共享的業務平臺。CIM ISS可通過多種方式實現與各種氣象觀探測數據和氣象業務系統的實時數據采集、分發以及氣象行業內部的高效獲取，同時面向水利、海洋、農業、航空、交通等不同行業用戶提供數據的共享服務。

隨著信息化技術的發展，氣象業務信息數據采集、處理、共享等平臺的不斷完善和建設，為氣象業務、應用、科研以及服務提供了豐富的氣象資料。伴隨福建省氣象局（以下稱“省氣象局”）氣象信息數據近幾年出現了迅速增長，經過多年的信息化建設積累，福建省氣象局新一代天氣雷達信息共享平臺(CIM ISS)上存儲大量信息數據，對存儲設備的容量、性能和數據安全都提出了更高的要求，同時在數據備份上也面臨著同樣的問題。CIM ISS系統未來五年系統數量仍將持續高速增長，現有的數據存儲平臺在空間容量和性能上都無法滿足未來業務發展的需求，故需要對現有的數據存儲平臺進行升級改造，以滿足氣象業務數據的存儲的需要。

2 CIM ISS系統的現狀

目前，福建省氣象局現有的CIM ISS平臺基礎硬件支撐平臺部分由20余臺服務器、若干套存儲系統、磁帶庫以及光纖交換機等設備組成，系統架構環境如圖1所示。

圖1 CIM ISS系統架構圖

數據庫系統包含ORACLE-SMDB、ORACLE-BDB兩大平臺數據庫系統，每個數據系統平臺均部署了兩臺聯想服務器，通過ORACLERAC技術部署并行數據庫。存儲區域網絡由2臺浪潮DS5100B光纖交換機組成，目前的大部分端口運行帶寬為4Gb/s。存儲系統由1套Inspire EMC CX 480存儲和1套Inspire VNX5300組成。Inspire EMCCX480配置了84塊7.2K的1TB硬盤，通過RAID5（4D+1P）方式配置了多個RAID組，實際可用容量為67T,主要提供給ORACLE-BDB和GPFS使用，Inspire VNX 5300配置了4.5T的可用容量，主要為ORACLE-SMDB提供數據存儲。其中，浪潮EMC CX480存儲已分配磁盤LUN中，使用率較高和目前主要為ORACLE BDB和fsys3，fsys3空間已使用79%，ORACLE BDB數據庫存儲使用空間達90%。

隨著CIM ISS系統在福建省氣象部門的業務化和本地業

務系統對接CIM ISS，CIM ISS平臺中管理和存儲的氣象資料的種類和數據量日益增多，現有存儲環境已無法滿足業務系統的增長，因此需要對CIM ISS的存儲系統進行擴容，從而提升數據存儲和共享服務能力。

3 總體架構設計

圖2 總體架構圖

根據總體建設需求，總體架構圖2，系統的整體框架設計如下：

3.1 數據庫支撐環境設計

在計算資源池方面，本次設計新增2臺四路服務器，用于BDB數據庫平臺使用，搭建Oracle RAC將原有BDB數據庫改造遷移至新購置的四路服務器上。

3.2 業務存儲系統設計

業務數據存儲系統為重要數據存儲系統，對系統性能、可靠性及可用性各方面都提出了更高的要求，此次主業務存儲系統建設，采用先進理念集中存儲，采用分層存儲技術，并配置為統一的核心存儲系統、統一管理業務數據，保證數據的集中，同時為未來系統建設打下基礎。各種類型數據集中存儲在磁盤陣列中，將數據庫存儲空間和文件存儲空間分配獨立的存儲分區，確保兩類不同特點的數據互不爭用存儲資源，特別是存儲緩存資源不會發生爭用。為保障業務系統的可靠性，要求業務存儲系統采用高端四控存儲，可靠性在六個九以上的存儲系統，實現業務支撐。

目前的RUN文件系統占用空間為4TB，但實際使用率僅為9%，所以可以直接劃分4TB的SSD盤給RUN文件系統，滿足RUN文件系統的業務需求。其余的GPFS的數據存儲空間直接放置在SATA層上，并利用分層技術實現熱點數據自動遷移至SSD層，SATA層使用RAID6（6D+2P）配置完陣列后，可用空間可達165TB，剩余的SSD層，可以劃分大約3TB的空間用來做動態分層，以滿足GPFS的熱數據需求。Oracle數據庫（BDB）存儲直接使用SSD存儲，SSD層做完RAID 5(4D+1P)后，可用空間可達25.6TB，現有的數據庫使用空間為12TB，數據庫表空間實際占用的空間不到5TB，所以，在數據庫規劃方面，可以給數據庫分配12TB的SSD盤空間，把數據庫全部放在SSD盤上運行。

3.3 備份系統擴容

備份系統主要利舊使用現有EMCCX4-480磁盤陣列存儲和TSM備份軟件進行數據備份。為保證備份數據流速度，數據備份采用LANFREE方式，直接從主存儲到備份存儲，充分利用SAN網絡的速度。

4 系統采用的技術路線

4.1 控制器集群技術

信息技術行業是一個快速發展的行業，IT存儲系統產品每年都在迭代更新，產品更新換代也比較快，新產品的配置和性能都遠遠優于上代產品，且很多軟件硬件版本基本都不一樣。這種情況下傳統的雙控制器存儲，在出現單個控制器故障的情況下，存儲承載業務系統通過冗余控器雖可以正常保持運行，但所有業務流量均通過冗余控制器，對控制器性要求更高，此時需要及時對故障控制器進行更換。但更換過程往往會出現軟硬件版本匹配問題，從而故障處理周期將變長，此時單控制器運行存在很大單點故障隱患。尤其是設備使用達到一定年限，各配置模塊和備件的匹配都需要更大的時間成本，也就意味著更長周期的風險持續。因此，本次業務存儲使用控制器集群技術，在存儲系統配置了四個控制器，各控制器間通過網狀架構互聯，提高系統的整體可用性，MPIO自動負載均衡和故障切換技術，可以在某條鏈路出現故障時，自動切換到其它可用通道，并通過高帶寬和低延遲的高性能的背板，將存儲系統統一套高可用，控制器集群技術的架構系統單臺性能遠遠超過了傳統的存儲。

4.2 數據分類處理技術

存儲數據流上大致可分為控制類數據流和數據類數據流，在數據處理器上有ASIC架構和X86架構，兩種處理器各有優劣勢。ASIC處理器數據流量無需經過CPU處理，由集成芯片直接處理數據，完成數據存取，擁有較高的性能表現，但開發成本和技術要求高。X86處理器實際則為CPU加操作系統的架構，通過操作系統架構使系統擁有更靈活的編程能力，但如果純依靠CPU計算，資源占用率高，數據處理效率較低。因此，在技術選擇與使用上考慮使用ASIC+X86的混合架構，擁有更高的數據處理性能的同時，又能夠提供更豐富的業務功能。

本次存儲系統采用的是磁盤存儲系統，通過ASIC+X86混合工作負載，提升了存儲系統的性能和數據存取效率，整個數據處理工作過程中，通過ASIC提供數據庫類緩存，通過X86提供控制類緩存，避免不必要的資源爭奪，從而提升數據存儲效率。

通過數據分類，當不同類型的數據同時進入存儲控制節點時，不同的控制器和不同類別的緩存處理不同的工作需求，由于X86架構的控制處理器處理數據的控制信息，控制處理器計算出數據存放方式和地點后，由ASIC處理器承擔數據的實際存儲搬運工作，兩種不同架構的處理器并發工作，發揮各自的優勢，大大提高了存儲處理數據的效率。

4.3 新一代數據存儲技術

傳統存儲只能按照單塊物理磁盤為單位，而實際往往需要通過多個磁跨柜的組合，并根據推薦磁盤最大數量進行磁盤RAID組的創建，磁盤規劃方式直接影響存儲的性能和數據安全，整個過程對實施部署工程師技術要求較高，很多時候規劃出來的磁盤組由于磁盤數量及陣列的要求，都存在一定程度的空間浪費。

新存儲系統采用了全新的新一代數據存儲技術，在進行資源池組建的過程中，每個磁盤空間不需要再通過復雜的磁盤規劃，系統自動將每個物理磁盤劃分成為1G左右的存儲單元小塊，在資源池創建時系統將自動選擇分布于各個磁盤中。

系統根據不同的磁盤類型，可以將1G的存儲單位放入不同的資源池進行管理，所有業務系統使用的邏輯卷由存儲資源池中的很多1G存儲塊組成。該管理方式可以提供靈活的存儲空間管理，同時擴容起來也較為簡單，邏輯卷的存儲空間均勻分布在存儲的各塊磁盤上，極大地提升了系統性能和利用率。

通過新一代數據存儲技術進行磁盤管理方式，對邏輯卷的擴容變得更加方便，如圖3所示：

圖3 邏輯卷擴容圖

4.4 數據分層存儲技術

常見的存儲數據加速方式有SSD緩存加速、數據分層存儲以及熱點數據遷移等技術實現最優的數據存儲性能，選用哪種技術往往取決于生產實際數據環境特點，以CIM ISS為例，該系統有數據庫數據和三個文件系統，其中一個RUN文件系統存儲基本為小文件，但存儲頻率高、密度大，對IOPS要求高，基于此文件系統特點，我們選用規劃SSD存儲層，用于存儲高IO需要的業務數據，其余兩個文件系統則采用大容量NLSAS磁盤方式進行存儲，同時通過配置一部分SSD資源給NLSAS層，通過熱點數據遷移功能，將活動數據調整到SSD磁盤上；將不活躍的數據存放在NLSAS磁盤上，實現存儲設備的智能分層存儲，使存儲空間需求和性能需求兩者都得到了很好的滿足。

4.5 DG數據容災備份技術

Oracle DataGuard是Oracle提供的數據災難備份的技術，其原理是利用Oracle歸檔日志文件，將生產環境的數據庫歸檔日志傳輸到災備數據庫，然后在災備數據庫服務器上應用這些日志文件，從而使災備數據庫與生產數據庫保持數據一致，在出現生產環境的災難情況下，可以快速切換到災備環境為生產提供數據庫服務的高可用性的災難備份技術。

DataGuard歸檔日志文件傳輸保護模式有三種，分別為最大保護、最大可用性以及最大性能，可根據災備環境以及業務影響程度進行選擇，最大可用性對主備環境要求高，若災備主機環境配置低將直接影響主庫的性能，但數據可以保持高度的一致性，最大性能模式是一種異步模式，生產數據庫日志歸檔后，傳輸給災備數據庫，邏輯備庫模式下，災備數據庫接收到日志后將日志轉換成SQL語句，然后在災備數據庫服務器上執行SQL語句實現同步。

5 結束語

本文針對福建省氣象局CIM ISS存儲系統的需求進行研究分析，設計了整體設計方案。實踐證明，該設計方案具有高性能、高負載能力、靈活性和可擴展性等特點，達到CIM ISS預期的效果，提供高IO的數據處理和應用響應能力，確保應用系統和數據服務系統的高效運行，可滿足氣象業務數據未來五年內的存儲需求。