存儲虛擬化和全閃存技術在煙草核心系統的應用

劉 榮 沈 松 李子苑(中國煙草總公司廣東省公司信息中心 廣東 廣州 510610)

0 引 言

中國煙草總公司廣東省公司(簡稱廣東煙草)在2006年上線了三大核心系統，分別是卷煙營銷和專賣管理系統(簡稱大集中系統)、經營決策分析系統(簡稱BI系統)和辦公自動化系統(簡稱OA系統)。大集中系統從2006年投入使用以來，作為我省卷煙銷售的核心交易系統，為全省大部分地區的卷煙營銷工作提供信息服務，有效支撐了全省營銷工作。BI系統投入使用，為公司經營決策分析和數據統計工作有力的保證。OA系統則為省局機關的行政公文流轉的提供了信息手段。當時為保證這三大系統的運行，配置了IBM的高端存儲系統DS8100作為存儲平臺，DS8100配置80塊轉速為15 000的146 GB光纖硬盤。該配置的存儲系統在當時具有很高的可靠性和性能，投入生產后，有效支撐系統的數據庫服務的運行。在2010年，對DS8100進行了擴容，增加16塊轉速為15 000的450 GB的光纖硬盤。經過9年的運行，該存儲系統積累了近10 TB的業務歷史數據，通過監控，發現數據庫服務器運行負載大，在業務繁忙時期IO吞吐達到500 MB/s，IOPS數量達到11 000，已經達到該存儲設備現有配置的峰值。隨著我省卷煙銷量的增長和業務功能的新增，產生的業務數據越來越多的數據。為保證業務系統穩定順暢的運行，既需要更大的容量，也需要有更高的性能。如果在現有存儲系統上進行擴展，只能提供更大的容量，性能上的提升有限，而且擴展的投資額較大。

面對存儲平臺存在的問題，對當前IT技術發展趨勢進行分析，圍繞存儲平臺技術進行研究，采用全閃存技術、存儲虛擬化技術、自動分層技術和海量數據遷移技術來構建新的存儲基礎平臺，解決現有系統遇到的性能和容量的問題。

1 存儲技術的發展狀況

存儲技術在IT技術中的發展速度一直落后于其他IT技術[1]。其發展一方面受限于相關技術難于突破，另一方面受限于其對可靠性和穩定性苛刻的要求，許多新技術沒有經過長時間和多方面的測試，都無法滿足商業運用對可靠性和穩定性的要求。為搭建可商用的存儲基礎平臺，采用了如下五大技術。

1.1 全閃存技術

固態硬盤采用閃存作為存儲的介質，不需要使用磁頭等機械設備，機械硬盤的尋道時間一般為十幾毫秒，而固態硬盤可以輕易達到0.1毫秒甚至更低，尋道時間幾乎為零，單個SATA接口的固態盤的速度可以達到500 MB/s，固態硬盤最突出的特點是在隨機讀寫上，其4 KB塊大小的隨機讀寫IOPS是普通硬盤的100倍，固態硬盤還具有性能與存儲的數據量無關的特點，并不會出現像機械硬盤會因存儲的內容增加，性能下降的問題。固態硬盤主要問題在于閃存具有擦寫次數限制，經過這幾年固態硬盤固件算法的發展，該問題已經得到較好的解決[2]。固態硬盤的價格已經大幅下降，在消費領域已經較為普及，而在商用領域，固態硬盤早期主要應用在高端存儲作為緩存使用來提高性能。近年，出現了全閃存陣列[3]，其隨機讀寫性能是普通存儲的十幾倍，其采用RAID技術也有效保證了數據安全性。全閃存陣列采用單層單元SLC(Single-Level Cell)或者企業級多層單元MLC(Multi-Level Cell)固態硬盤為基礎，具有更高的可靠性和壽命，而且性能更好。

正因為全閃存陣列在高性能和穩定性上不錯的表現，而且價格已較為合理，本次存儲基礎平臺引入全閃存陣列，既改善現有系統性能，又為未來新信息系統留有性能冗余[4-5]。

1.2 存儲虛擬化技術

存儲虛擬化技術的基本思路是將存儲的邏輯映像與實際的物理資源分開，通過算法實現存儲的邏輯訪問與實際物理讀寫的對應。通過構建邏輯存儲池，屏蔽底層的物理存儲設備的差異，統一對服務器層提供存儲服務。存儲虛擬化在具體實現中采用虛擬卷映射、數據定位等技術，目的在于簡化存儲管理，向用戶提供統一簡明的存儲服務[6]。存儲虛擬化技術的發展，使得存儲在自動精簡、鏡像和快照功能上有了進一步的發展。

自動精簡配置技術[7]配置給服務器的邏輯空間并不是預先從存儲一次性劃好的，當服務器向存儲寫入數據時，才按照一定的策略進行分配，以多次少量的方式使用存儲，有效地解決了存儲在各服務器中的分配問題，有效提高了存儲利用率。

通過存儲虛擬化，可以為核心的系統在不同的物理存儲建立鏡像卷，提高數據安全性。以往要實現存儲層面的鏡像主要有兩種方法：1) 利用同品牌類似規格的存儲之間的鏡像功能；2) 利用操作系統的邏輯卷管理軟件自帶的鏡像功能。前者好處是技術穩定可靠，對主機運行無影響，不足是需要兩倍的硬件投資；后者較靈活，能夠利用不同品牌不同規格的硬件實現鏡像，不足是會給主機帶來額外資源開銷。存儲虛擬化技術屏蔽了異構存儲系統的差異，整合現有的存儲資源，在不同類型的存儲之間構建鏡像卷，大大提高數據可靠性。

現有的存儲虛擬化設備還采用了群集技術，區別于以往的縱向擴展，能夠通過橫向擴展提高其性能和可靠性，可以隨著企業需求進行擴展。

1.3 自動分層技術

固態硬盤(SSD盤)雖然性能高，但是與普通SAS硬盤相比單位存儲成本還是高昂，如何在較低的成本同時滿足企業性能和容量上的需求，自動分層技術較好地解決了該問題。存儲系統將不同速率的硬盤組分成不同的層，通過一定的算法計算出數據塊的熱度，將訪問頻率高的數據移動至較為高速的存儲層，將訪問頻率低的數據移動至較為低速的存儲層，以達到資源和性能優化[8]。該技術的原理在于，大部分應用系統的數據訪問頻率是不一樣的，存在熱點數據，找出這些熱點數據并將其放置高速的SSD層能有效改善應用性能[8]，同時低成本大容量的普通硬盤又能滿足容量的要求，有效降低企業的成本，該技術的發展和成熟已經完全可以用于商用。

1.4 數據壓縮和重復數據刪除技術

現有的存儲為了提高資源利用率，在底層數據處理還引入了兩類技術，分別是重復數據刪除技術(重刪技術)和壓縮技術。重刪技術在備份系統中大量使用，其高壓縮比提高了備份系統的利用率，因此近幾年也引入了該技術，但是該技術在性能上還存在問題，通常在存儲上以后臺任務方式運行[9-11]。

數據壓縮技術種類繁多，在計算機行業廣泛使用，其中LZ4算法以其優越的數據壓縮和解壓速度聞名于業界，其優異的性能可以滿足存儲苛刻的性能要求。IBM SVC和V7000等存儲設備采用基于時間的壓縮方式(Temporal Compression)已經實現實時壓縮的功能，在不影響性能的前提下，進一步增加邏輯容量，提高存儲性價比。

1.5 海量數據遷移技術

數據是信息系統的核心，經過一段時間的運行，會積累大量數據，當企業遇到容量和性能問題、搬遷或者合并數據中心等情況時，需要進行數據遷移，其過程會遇到不少風險，可通過采用不同的技術方案[12]來規避，主要技術方法的特點如表1所示。

表1 遷移技術比較

本項目遇到的數據遷移，主要是采用存儲虛擬化技術中的存儲間邏輯卷復制技術為主的遷移策略，通過制定完整的測試、遷移和回退方案，保證數據安全性和一致性，順利完成新舊存儲的替換。

2 架構設計

2.1 舊存儲平臺的現狀

2006年上線的三大系統(大集中系統、BI系統和OA系統)的基礎平臺的拓撲圖如圖1所示。該平臺存在三大問題：1) 存儲資源無法在應用系統間靈活共享，已經分配的空間即便使用率不高也無法重新分配給資源緊張的系統，造成資源緊張與浪費同時存在的矛盾。2) 存儲系統無法實現自動隨需分配，增加管理難度。3) 當存儲容量不足需要擴容時，新購置的存儲與原有存儲存在不兼容的風險。

圖1 舊的基礎平臺拓撲圖

在設計新的存儲架構的時候，就要充分利用前文所提到的新技術解決存在的問題，并且能夠進一步提高核心系統在存儲層面的可用性[13]。

2.2 整體方案概述

存儲虛擬化技術的核心是虛擬化設備，一般分兩種類型：1) 存儲網關，這種設備部署在SAN網絡，所有的存儲設備通過它向服務器提供存儲服務，該網關具有靈活、高效和彈性擴展的特點，利用該設備可以充分利舊，擴展舊存儲的功能；2) 帶有存儲虛擬化功能的存儲設備，通過對存儲設備增加軟件功能來實現虛擬化，這類設備適合于數據量不大，存儲網絡結構不復雜，存儲品牌比較單一的用戶。

總體設計方案如圖2所示，存儲設備將存儲卷劃分給存儲虛擬化設備，存儲虛擬化設備再將這些卷組合成邏輯池，并劃分出邏輯卷映射給服務器使用。這些存儲池可以根據存儲的特點(如存儲的性能)進行組合以適應不同的應用場景。

圖2 總體設計圖

2.3 新存儲平臺設計與實現

實現存儲虛擬化主要有三種方式：1) 存儲虛擬化軟件(軟件定義存儲)[14]。可將多個服務器的本地存儲構建成共享的數據存儲池，如VMWARE的Virtual SAN(簡稱 VSAN)。2) 存儲虛擬化網關。將存儲虛擬化功能固化在專門的硬件設備上，在存儲網絡上類似一個網關設備，邏輯上屏蔽后端的存儲設備，由該網關設備對主機設備提供統一的存儲服務，如IBM公司的SVC和EMC公司的VPLEX等。3) 帶有虛擬化功能的存儲。將虛擬化功能集成在存儲的機頭中，使其可將自身的存儲和存儲網絡中的外部存儲進行虛擬化，統一向主機系統提供存儲服務。

三種存儲虛擬化方案適用不同的場景。第一種方式主要適用X86環境，不適用于我省現有的IT環境，主要在后兩種方式中進行選擇，在分析我省卷煙經營等核心業務系統的實際情況后，采用存儲虛擬化網關的技術方案較為合適。理由如下：1) 我省卷煙經營核心業務數據量大，對性能要求較高，存儲虛擬化網關不需要處理本地存儲的IO訪問，能夠專注于存儲虛擬化等相關功能的處理，具有較高的硬件性能；2) 網關還能夠進行橫向擴展，能夠滿足存儲基礎平臺未來性能擴展的需要，能夠兼容存儲規格較為廣泛，能夠通過增加外部存儲的方式來滿足平臺未來容量擴展的需要；3) 虛擬化功能固化在硬件中，穩定性和可靠性更高，而且通常的存儲虛擬化網關是由偶數臺(兩臺以上)完全獨立的硬件構成，具有很好的冗余性;4) 采用存儲網關的技術對主機層面改動少，對已經運行九年的核心卷煙業務系統來說，進行大的改動會帶來巨大的風險；5) 在大數據量的情況下能夠做到在線遷移，除了進行必要的配置需要進行停機，配置完成后數據遷移可以在后臺運行，核心業務系統的停機窗口時間非常短，采用存儲網關的遷移方式對業務影響較小。

借鑒大數據[15]技術方案設計的新的存儲平臺構建基于存儲虛擬化和全閃存理論，利用存儲虛擬化設備，對存儲資源進行抽象化處理，支持存儲的池化、鏡像、壓縮、快照和隨需分配等功能，可以對各類存儲設備進行整合。利用的全閃存的高性能(包括高IOPS和高吞吐)，有效解決交易系統所面臨性能問題。新存儲平臺的拓撲圖如圖3所示。

圖3 新存儲平臺拓撲圖

新的存儲利用存儲虛擬化將全閃存、中端存儲和原有的存儲整合成存儲池，充分利舊，充分發揮原有存儲的作用。在存儲虛擬化設備方面，我們選用了IBM公司的SAN卷控制器SVC(SAN Volume Controller)，因為它具有存儲虛擬化、卷自動精簡、鏡像、快照等功能，還帶有邏輯卷實時壓縮功能，能夠更有效地提高存儲空間利用率；全閃存采用了IBM的Flash840(簡稱F840)，具有高可靠性和高性能；中端存儲采用了IBM V7000G2，配置了SSD和SAS硬盤，能夠實現自動分層功能。

為保障核心交易系統的可靠性和可用性，利用存儲虛擬化設備將全閃存的全部存儲空間和中端存儲中的部分存儲空間組成鏡像池，實現存儲層面數據雙份，從而大大提高核心交易系統可靠性和可用性，如圖4所示。

圖4 新存儲平臺資源邏輯劃分圖

2.4 海量數據遷移方法總結

廣東煙草三大核心系統多年運行積累了大量業務數據，而且支持重要的業務運營，可停機的時間非常短，存儲更換需要做好準備工作，保證數據安全。

2.4.1 數據遷移準備工作和測試

對需要遷移的系統的操作系統和多路徑軟件的版本的兼容性進行核實，如果版本不兼容，則需要進行操作系統和多路徑軟件的補丁升級。前期可先將硬件設備物理連接好，并做好存儲使用規劃。有備機的應用可以進行軟件兼容性測試，如OA系統有備機，可在備機上進行操作系統和多路徑軟件升級，然后測試其對新、舊存儲平臺的兼容性。

三大系統中OA系統的數據量是最小的，先對該系統進行數據遷移以檢驗遷移方法的效果。遷移步驟大致分為如下步驟：1) 備份數據、停止應用、操作系統和多路徑軟件升級；2) 修改SAN的ZONE配置和存儲的卷映射、SVC以IMAGE模式導入存儲DS8100的卷并映射至主機、主機可識別并恢復應用；3) SVC對DS8100的卷在V7000G2上作鏡像卷(這時數據在后臺進行同步，不影響前端應用的訪問)，同步完成后在SVC刪除DS8100的卷，OA系統遷移工作完成。

2.4.2 海量數據遷移步驟

對大集中系統和BI系統進行遷移，重要的遷移步驟如下：

1) 為了避免出現意外，對應用系統和業務數據進行備份。

2) 停止應用系統及數據庫等相關服務，升級操作系統和多路徑軟件。

3) 主機卸載文件系統，導出卷組，刪除邏輯舊存儲相關磁盤設備。

4) 根據新存儲平臺的邏輯結構修改光纖交換機ZONE配置，調整舊存儲映射信息，修改DS8100磁盤映射，映射卷至SVC。

5) SVC識別DS8100的卷，以IMAGE模式導入DS8100映射的卷，并將這些卷重新映射給主機。

6) 主機識別新的磁盤，恢復卷組，掛載文件系統，啟動應用系統，恢復生產。

7) SVC對映射給主機的卷在F840存儲池上創建卷鏡像拷貝(DS8100上的卷為主盤，F840上的為從盤)，這時后臺進行數據同步。

8) 鏡像同步完成后，在SVC上將F840的卷設置為主盤，待穩定運行后，SVC上刪除原DS8100卷，數據遷移工作完成。

9) 針對大集中系統的卷，在SVC上對F840的卷在V7000G2上創建卷鏡像拷貝，實現“數據雙活”。

通過以上1至8的步驟，可實現數據在不同存儲上的遷移，第9步驟是針對交易系統的。從遷移步驟可以看出，遷移過程中只需要在第2至6步驟過程中停機，就是在升級和配置過程中需要停機，實際的數據遷移在后臺運行，不影響應用訪問，停機時間長短與存儲配置的復雜性有關，與數據量無關。從三個系統的遷移中也驗證了這一結論，停機時間較短，有效解決了應用系統數據量大、可停機時間短的遷移難題。

3 新舊存儲平臺方案比較

新的存儲平臺與原有的相比在可靠性和可用性上有了質的提高。針對核心交易系統的數據利用存儲虛擬化設備，在存儲層面實現“數據雙活”，在存儲F840和V7000G2上均有一份數據，任何一臺設備因故障損壞，均不影響核心交易系統的運行。

3.1 新舊平臺性能比較

新的存儲平臺與舊平臺相比在性能上有較大提升，通過性能測試和應用系統的實際改善情況來說明。

采用第三方壓力測試軟件(ORION)在同一臺主機上分別對新舊存儲平臺進行壓力測試，獲得的數據進行分析比較。ORION是一款由Oracle公司提供，專門用于模擬數據庫IO運行機制來測試存儲性能的軟件，可以模擬交易系統的IO訪問行為。測試結果如表2所示。

表2 性能測試結果比較

大集中系統每天都要執行兩個重要的業務處理，主匯總和輔助匯總。以每個地市為單位執行，執行時間對比如表3所示。可以看出，遷移之后，該業務運行時間變短了普遍縮減為原來的1/3到1/2，性能提升明顯。

表3 應用功能性能比較

續表3

3.2 新舊平臺技術經濟指標分析

新存儲平臺上線后，除了性能提升，在投資費用，耗電、空間等方面與原有的存儲平臺相比均有較大的改善，SVC提供的實時壓縮技術將大集中系統交易數據庫的實際占用存儲空間由4.6 TB壓縮為1.99 TB，節省了56%的空間，進一步提高了存儲邏輯可用空間。新舊平臺的技術經濟指標對比如表4所示。

表4 技術經濟指標對比

4 結 語

本文基于存儲虛擬化技術和全閃存技術等技術，構建一套高可用和高可靠的存儲基礎平臺，有效解決了海量數據的交易系統的性能問題和未來的擴容問題，該平臺還可有整合原有的存儲系統有效利舊。通過總結一套海量數據的遷移方法，解決交易系統可停機時間短，更換存儲系統風險較大的問題，對行業單位存在的部分存儲設備老化，亟需更換具有現實意義。當前存儲技術還在繼續發展，如何進一步利用存儲虛擬化技術實現容災和雙活，進一步提高基礎平臺安全性仍是發展的方向。

[1] Wu X,Reddy A L N.Exploiting Concurrency to Improve Latency and throughput in a Hybrid Storage System[C]// IEEE International Symposium on Modeling,Analysis & Simulation of Computer and Telecommunication Systems.IEEE,2010:14- 23．

[2] 黃平．基于固態盤特征的存儲優化策略[D]．武漢:華中科技大學，2013．

[3] 陸游游，舒繼武．閃存存儲系統綜述[J]．計算機研究與發展，2013，50(1):49- 59.

[4] Caulfield A M,Coburn J,Mollov T,et al.Understanding the Impact of Emerging Non-Volatile Memories on High-Performance,IO-Intensive Computing[C]// High PERFORMANCE Computing,Networking,Storage and Analysis.IEEE,2010:1- 11．

[5] Chang Lipin，Kuo Teiwei．Efficient management for large-scale flash-memory storage systems with resource conservation[J]．ACM Trans on Storage，2005，1(4):381- 418．

[6] 樊春，彭小斌，來天平，等．中端存儲新技術調研[J]．武漢大學學報(理學版)，2012，58(S1):129- 132．

[7] 邱紅飛.存儲的自動精簡配置技術應用研究[J].電信科學,2010,26(11):12- 17．

[8] 董偉，李鄭剛．自動分層存儲技術在現代存儲中的應用分析與前景展望[J]．云南大學學報(自然科學版)，2013，35(S2):54- 58．

[9] 敖莉，舒繼武，李明強．重復數據刪除技術[J]．軟件學報，2010，21(5):916- 929．

[10] 謝平．存儲系統重復數據刪除技術研究綜述[J]．計算機科學，2014，41(1):24- 42．

[11] 付印金，肖儂，劉芳．重復數據刪除關鍵技術研究進展[J]．計算機研究與發展，2012，49(1):12- 20．

[12] 李喆，萬小健．企業級信息系統數據遷移方法[J]．計算機系統應用，2012，20(1):182- 184．

[13] Ranganathan P，Chang J．(Re) Designing data-centric data centers[J]．IEEE Micro，2012，32(1):66- 70．

[14] 孫振正,龔靖,段勇,等.面向下一代數據中心的軟件定義存儲技術研究[J].電信科學,2014,30(1):39- 43．

[15] 孟小峰，慈祥．大數據管理:概念、技術與挑戰[J]．計算機研究與發展，2013，50(1):146- 169.