基于云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)

鐘原

(中國電建集團(tuán)成都勘測設(shè)計(jì)研究院有限公司， 成都 610015)

0 引言

云計(jì)算是一種利用Internet運(yùn)行的超級(jí)計(jì)算模式。云計(jì)算既可以提供云端大量數(shù)據(jù)存儲(chǔ)，還能為數(shù)據(jù)進(jìn)行分析和處理并將分析結(jié)果反饋給用戶。如今，越來越多的企業(yè)和個(gè)人將數(shù)據(jù)從超級(jí)服務(wù)器遷移到公共云計(jì)算系統(tǒng)或私有云計(jì)算系統(tǒng)，在此趨勢(shì)下，電力行業(yè)也將越來越多的利用云計(jì)算。因此，電力行業(yè)用戶如何高效地管理電力數(shù)據(jù)中心系統(tǒng)中的數(shù)據(jù)至關(guān)重要[1]。

與傳統(tǒng)的數(shù)據(jù)傳輸和處理模式相比，云計(jì)算系統(tǒng)需要為用戶提供良好的可擴(kuò)展性和高效、流暢的數(shù)據(jù)訪問和下載能力。在電力系統(tǒng)中，不斷地優(yōu)化查詢處理和查詢是核心技術(shù)。系統(tǒng)中的查詢性能直接影響到電力網(wǎng)絡(luò)工作的效率和使用評(píng)價(jià)。因此，建立有效的索引結(jié)構(gòu)來提高用戶查詢效率是云計(jì)算系統(tǒng)的關(guān)鍵[2]。

1 云計(jì)算功能及特點(diǎn)

1.1 云計(jì)算功能

數(shù)據(jù)中心采用云計(jì)算技術(shù)，其可以提供的功能包括[3]:

(1) 匯集IT的基本資源，提供統(tǒng)一的計(jì)算資源共享庫和存儲(chǔ)資源池。

(2) 實(shí)現(xiàn)按需分配以及資源的動(dòng)態(tài)調(diào)度;

(3) 通過客戶端軟件系統(tǒng)實(shí)現(xiàn)用戶與云端系統(tǒng)的通信與資源交互服務(wù);

(4) 在業(yè)務(wù)高峰時(shí),還可以動(dòng)態(tài)地分配資源,以滿足急救計(jì)算的需求。面對(duì)目標(biāo)的需要,云計(jì)算的基礎(chǔ)設(shè)施被采用。

1.2 服務(wù)器虛擬化

在之前的服務(wù)模式中，物理服務(wù)器在一個(gè)時(shí)間段內(nèi)只能進(jìn)行一項(xiàng)業(yè)務(wù)。因此，當(dāng)部署多個(gè)服務(wù)時(shí),需要配置多個(gè)服務(wù)器,最終的數(shù)據(jù)中心規(guī)模越來越大,維護(hù)工作量也隨之增加。虛擬化技術(shù)可以將物理服務(wù)器構(gòu)建成多個(gè)獨(dú)立的服務(wù)器,并充分利用服務(wù)器的計(jì)算能力,大大減少了數(shù)據(jù)中心服務(wù)器的數(shù)量[4]。此外,服務(wù)器中存儲(chǔ)的數(shù)據(jù)是可以遷移的，即數(shù)據(jù)在不同服務(wù)器之間移動(dòng)。但是,傳統(tǒng)的模式中我們需要在數(shù)據(jù)移動(dòng)之前準(zhǔn)備充分,包括規(guī)劃、備份計(jì)劃、設(shè)備電源等。數(shù)據(jù)的搬遷將不可避免地導(dǎo)致遷移過程中業(yè)務(wù)中斷，不僅如此，還可能有數(shù)據(jù)丟失的風(fēng)險(xiǎn)[5]。將數(shù)據(jù)虛擬化則可以有效的解決上述問題。

1.3 多租戶支持

云計(jì)算改變了之前用戶需要自己擁有物理存儲(chǔ)設(shè)備的模式，在此技術(shù)基礎(chǔ)上,有需要存儲(chǔ)的客戶只需租用云計(jì)算服務(wù)商提供的計(jì)算和存儲(chǔ)等資源就可以實(shí)現(xiàn)目標(biāo)。云計(jì)算為每個(gè)租戶都提供了各自獨(dú)立服務(wù)器，如圖1所示。

這樣就降低了用戶的運(yùn)營和維護(hù)成本，使得社會(huì)任務(wù)分工更加細(xì)化。從IT架構(gòu)來看,每個(gè)用戶都有一個(gè)獨(dú)立的虛擬機(jī),以確保不同用戶之間的應(yīng)用系統(tǒng)不會(huì)受到干擾,并實(shí)現(xiàn)數(shù)據(jù)隔離和安全性要求[6]。

圖1 云計(jì)算工作模式圖

2 云計(jì)算數(shù)據(jù)存儲(chǔ)及處理系統(tǒng)

2.1 數(shù)據(jù)模型

云計(jì)算中的大部分?jǐn)?shù)據(jù)是結(jié)構(gòu)化的和半結(jié)構(gòu)化的數(shù)據(jù)。要存儲(chǔ)這些數(shù)據(jù)，需要一個(gè)分布式數(shù)據(jù)庫。數(shù)據(jù)庫的數(shù)據(jù)表是一個(gè)存儲(chǔ)在存儲(chǔ)設(shè)備上的不連續(xù)分布的長條形的存儲(chǔ)圖，它是多維的、有序的。此庫的索引由數(shù)據(jù)庫每一行的關(guān)鍵字、列鍵和時(shí)間標(biāo)志組成[7]。

用戶存儲(chǔ)在數(shù)據(jù)庫中的海量數(shù)據(jù)，每一行有一個(gè)按順序排列的主鍵，同時(shí)還有不定數(shù)量的列。由于存儲(chǔ)稀疏，同一表中的每一行數(shù)據(jù)都可以有一個(gè)不同的列。數(shù)據(jù)庫將相同的數(shù)據(jù)存儲(chǔ)在同一目錄中，數(shù)據(jù)庫操作被鎖定。數(shù)據(jù)庫中的每一行數(shù)據(jù)都有一個(gè)特定的標(biāo)記，可以被檢索。如果數(shù)據(jù)庫有更新的情況，則更新的數(shù)據(jù)庫會(huì)建立一個(gè)時(shí)間標(biāo)記，每一個(gè)時(shí)間標(biāo)記都是一個(gè)新版本。而數(shù)據(jù)庫會(huì)保留一定數(shù)量的版本，這個(gè)值是可以根據(jù)數(shù)量或者時(shí)間進(jìn)行設(shè)定的[8]。

2.2 數(shù)據(jù)庫體系

大多數(shù)關(guān)系數(shù)據(jù)庫都是從上個(gè)世紀(jì)發(fā)展起來的。它們基本上具有一些系統(tǒng)特性，即磁盤存儲(chǔ)和索引結(jié)構(gòu)、多線程訪問、基于鎖的同步訪問機(jī)制和基于記錄的恢復(fù)機(jī)制。基于列模式的分布式數(shù)據(jù)庫，更適合大容量存儲(chǔ)和網(wǎng)絡(luò)應(yīng)用，靈活的分布式體系結(jié)構(gòu)可以使一個(gè)以廉價(jià)硬件大型數(shù)據(jù)倉庫的形成，以及互聯(lián)網(wǎng)應(yīng)用的特點(diǎn)的基礎(chǔ)上，對(duì)這些應(yīng)用程序和數(shù)據(jù)庫開發(fā)的分布式數(shù)據(jù)庫的設(shè)計(jì)。由于時(shí)間標(biāo)記的特點(diǎn)，所以數(shù)據(jù)庫中數(shù)據(jù)的搜索適合用搜索引擎來完成[9]。

2.3 數(shù)據(jù)處理模型

在文件的分布式存儲(chǔ)問題上并行處理是最為重要的，利用并行數(shù)據(jù)處理MapReduce軟件體系結(jié)構(gòu)可以解決這一重要問題。MapReduce的名稱來自于這個(gè)模型中的兩個(gè)主要操作內(nèi)容[10]。即Map和Reduce兩部分。簡單地來說，map操作是將一組數(shù)據(jù)映射到另一組數(shù)據(jù)中，通過函數(shù)定義映射的方法。這種方法也稱為數(shù)據(jù)的約簡，而歸約方法由函數(shù)指定并根據(jù)函數(shù)執(zhí)行操作。減少是一個(gè)并行處理模型，它能很好地處理海量數(shù)據(jù)，適用于大數(shù)據(jù)集的并行操作[11]。

3 基于云計(jì)算的電力網(wǎng)絡(luò)數(shù)據(jù)中心設(shè)計(jì)

基于云計(jì)算的大規(guī)模計(jì)算和存儲(chǔ)虛擬化技術(shù)需要根據(jù)業(yè)務(wù)動(dòng)態(tài)需求分配資源[12 ]。

3.1 電網(wǎng)數(shù)據(jù)中心關(guān)鍵技術(shù)

在云計(jì)算體系結(jié)構(gòu)的基礎(chǔ)上,傳統(tǒng)的數(shù)據(jù)中心業(yè)務(wù)模式已經(jīng)改變。傳統(tǒng)數(shù)據(jù)中心的業(yè)務(wù)主要是由外部用戶網(wǎng)絡(luò)通過預(yù)留的接口訪問數(shù)據(jù)中心服務(wù)器產(chǎn)生的。云計(jì)算技術(shù)使得數(shù)據(jù)計(jì)算中心與數(shù)據(jù)儲(chǔ)存中心的存儲(chǔ)節(jié)點(diǎn)之間的訪問以及用戶需求業(yè)務(wù)與云計(jì)算服務(wù)內(nèi)部業(yè)務(wù)的訪問變得更加頻繁。因此,數(shù)據(jù)訪問和交互流動(dòng)模型從單一的垂直方向(或南北方向)向更多的橫向交互(或東西向)方向產(chǎn)生變化。傳統(tǒng)的數(shù)據(jù)中心設(shè)計(jì)采用樹形結(jié)構(gòu),并根據(jù)一定的收斂速度設(shè)計(jì)上行鏈路和下行鏈路帶寬。當(dāng)橫向交通量增加時(shí),會(huì)造成數(shù)據(jù)的網(wǎng)絡(luò)擁塞,無法滿足新的數(shù)據(jù)交通模型需求[13]，如圖2所示。

圖2 數(shù)據(jù)中心結(jié)構(gòu)圖

3.2 電力網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)

以五級(jí)調(diào)度系統(tǒng)中的省級(jí)調(diào)度系統(tǒng)為例，把原有資源(包括地區(qū)服務(wù)器，網(wǎng)絡(luò)通信設(shè)備、數(shù)據(jù)通信線路等)用云計(jì)算架構(gòu)進(jìn)行重新封裝，以虛擬化技術(shù)整合為資源池。整合之后的系統(tǒng)架構(gòu)，所有服務(wù)器在物理層面和原來一樣，通過雙網(wǎng)絡(luò)平面進(jìn)行相連，在數(shù)據(jù)通信方面，不會(huì)因?yàn)槠洚悩?gòu)性而影響相互通信。云計(jì)算環(huán)境下電網(wǎng)體系架構(gòu)如圖3所示[14]。

圖3 云計(jì)算環(huán)境下電網(wǎng)系統(tǒng)架構(gòu)圖

4 云計(jì)算下電力網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

4.1 網(wǎng)絡(luò)架構(gòu)

與傳統(tǒng)的數(shù)據(jù)處理方法相比,云計(jì)算在處理大數(shù)據(jù)時(shí)實(shí)現(xiàn)了從傳統(tǒng)數(shù)據(jù)模式向邏輯模式的轉(zhuǎn)換。利用信息網(wǎng)絡(luò)可以顯著提高電力數(shù)據(jù)處理的靈活性能和處理效率。

傳統(tǒng)的IP網(wǎng)絡(luò)可以轉(zhuǎn)換為SAN網(wǎng)絡(luò)。當(dāng)處理大數(shù)據(jù)時(shí),它可以被細(xì)化和分層,從而增強(qiáng)了網(wǎng)絡(luò)的靈活性。在云計(jì)算數(shù)據(jù)虛擬化處理的要求下,傳統(tǒng)的物理網(wǎng)絡(luò)很難滿足這些需求。在云計(jì)算中,運(yùn)用VLAN和NVGER等方法,可以將傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)類型由兩層轉(zhuǎn)變?yōu)?層。在此基礎(chǔ)上可以實(shí)現(xiàn)細(xì)化分類管理,通過對(duì)數(shù)據(jù)的物理封裝技術(shù)實(shí)現(xiàn)了3層邏輯，從而改變了傳統(tǒng)的雙層結(jié)構(gòu)拓?fù)渚W(wǎng)絡(luò)模式。這樣,可以同時(shí)滿足不同類型的用戶需求。數(shù)據(jù)處理過程中的各種靈活性要求也可以有效地解決,并可以對(duì)網(wǎng)絡(luò)結(jié)構(gòu)層需要處理的信息集中分析和處理。這樣，之前分散的數(shù)據(jù)就可以被系統(tǒng)自動(dòng)配置以最大化的處理和管理信息[15]。

在云計(jì)算虛擬技術(shù)的支持下,傳統(tǒng)結(jié)構(gòu)形式下的物理網(wǎng)絡(luò)可以逐漸體現(xiàn)在數(shù)據(jù)虛擬化的網(wǎng)絡(luò)中。不同的數(shù)據(jù)可以采用不同的策略,具有明顯的優(yōu)勢(shì)。也就是說,當(dāng)電力負(fù)載被部署和遷移時(shí),可以使用自動(dòng)調(diào)整來有效地滿足的網(wǎng)絡(luò)現(xiàn)實(shí)需要[16]。

4.2 主機(jī)架構(gòu)

考慮到整個(gè)電力系統(tǒng)產(chǎn)生的數(shù)據(jù)，使用云計(jì)算技術(shù)的主機(jī)體系結(jié)構(gòu)的作用是顯而易見的。根據(jù)電力企業(yè)的業(yè)務(wù)點(diǎn)，進(jìn)行了區(qū)別。對(duì)于電力系統(tǒng)中覆蓋的一般計(jì)算，可以使用相對(duì)較低的計(jì)算成本解決方案，特別是在數(shù)據(jù)處理中。在一些中小型應(yīng)用中的服務(wù)服務(wù)在硬件需求方面不是很高，并且可以用密集、低成本的服務(wù)器來處理。該模式在處理數(shù)據(jù)時(shí)可顯著節(jié)省電力運(yùn)行成本。

在云計(jì)算技術(shù)的支持下，主機(jī)體系結(jié)構(gòu)的模式在過去發(fā)生了很大的變化。池模式已逐漸取代傳統(tǒng)的塔式結(jié)構(gòu)。在虛擬化技術(shù)的支持下，系統(tǒng)數(shù)據(jù)資源可以通過集成和優(yōu)化來處理。隨著在一個(gè)節(jié)點(diǎn)和其他技術(shù)的幫助下，數(shù)據(jù)庫可以被虛擬化，以及中國建設(shè)將組件部署。利用這種方式提高數(shù)據(jù)處理速度，還可以減少數(shù)據(jù)處理過程中各種硬件故障對(duì)數(shù)據(jù)系統(tǒng)的影響。

4.3 存儲(chǔ)架構(gòu)

在云計(jì)算技術(shù)中，存儲(chǔ)系統(tǒng)是的基礎(chǔ)和架構(gòu)的關(guān)鍵架，也是電力系統(tǒng)中所有數(shù)據(jù)的最終載體。在現(xiàn)代云計(jì)算、數(shù)據(jù)多樣化和數(shù)據(jù)虛擬化技術(shù)的不斷更迭和發(fā)展中,傳統(tǒng)的集中式存儲(chǔ)很難滿足大量數(shù)據(jù)快速計(jì)算和分析的需要。在電力行業(yè)中，必須有一個(gè)強(qiáng)大的、可擴(kuò)展的存儲(chǔ)結(jié)構(gòu)處理海量數(shù)據(jù)。

基于云計(jì)算的云存儲(chǔ)體系結(jié)構(gòu)能夠有效地解決傳統(tǒng)體系結(jié)構(gòu)無法解決的問題。作為云計(jì)算服務(wù)的基礎(chǔ),數(shù)據(jù)存儲(chǔ)被用來通過云計(jì)算來創(chuàng)建和分發(fā)大數(shù)據(jù)和訪問數(shù)據(jù)。從技術(shù)的角度來看,存儲(chǔ)體系結(jié)構(gòu)需要使用集群或分布式文件功能,利用相關(guān)軟件對(duì)系統(tǒng)中不同類型的存儲(chǔ)設(shè)備實(shí)現(xiàn)協(xié)同服務(wù),從而可以將所存儲(chǔ)的數(shù)據(jù)和訪問服務(wù)提供給外部設(shè)備。在這個(gè)過程中保證了整個(gè)系統(tǒng)的安全性。

使用分布式系統(tǒng)、對(duì)象存儲(chǔ)和其他技術(shù),它為云計(jì)算中的不同類型的應(yīng)用系統(tǒng)提供可伸縮的和可擴(kuò)展的數(shù)據(jù)訪問。分布式技術(shù)是基于標(biāo)準(zhǔn)化的硬件技術(shù)。這樣可以有效地降低云計(jì)算的存儲(chǔ)投資和運(yùn)行維護(hù)成本。

5 總結(jié)

在云計(jì)算環(huán)境中,可以利用云計(jì)算低成本和高性能的特點(diǎn)，但是在電力行業(yè)系統(tǒng)中需要面對(duì)的是數(shù)據(jù)存儲(chǔ)模式和文件管理方法的高效化、低失誤率的問題。通過本文的研究可以得到以下兩點(diǎn)結(jié)論：

(1) 云計(jì)算平臺(tái)可以將數(shù)據(jù)的分析和計(jì)算結(jié)果提供給用戶，電力系統(tǒng)管理人員只需通過客戶端或相應(yīng)的接口提交計(jì)算任務(wù)就可以獲得相應(yīng)的分析結(jié)果。這種技術(shù)可以有效地節(jié)省響應(yīng)時(shí)間，可以提高電力資源調(diào)配的效率。

(2) 在云計(jì)算的整體系統(tǒng)架構(gòu)，考慮存在的問題，對(duì)電力數(shù)據(jù)中心的處理模式和整個(gè)網(wǎng)絡(luò)架構(gòu)進(jìn)行改良。將電力系統(tǒng)架構(gòu)分為網(wǎng)絡(luò)架構(gòu)、主機(jī)架構(gòu)和存儲(chǔ)架構(gòu)，能夠節(jié)省反應(yīng)時(shí)間，提高效率的同時(shí)降低運(yùn)營成本。