基于超融合架構(gòu)的數(shù)據(jù)中心設(shè)計(jì)

裴明哲，張志剛，鄭春光，賈健東，董 璐

（唐山市熱力集團(tuán)有限公司信息中心 河北 唐山 063000）

0 引言

傳統(tǒng)的數(shù)據(jù)中心設(shè)計(jì)經(jīng)歷了幾個(gè)階段的發(fā)展過程，包括：大型機(jī)時(shí)代、小型機(jī)時(shí)代、互聯(lián)網(wǎng)時(shí)代和云時(shí)代［1］。 隨著新一代信息技術(shù)的發(fā)展，目前，由標(biāo)準(zhǔn)x86架構(gòu)加上虛擬化技術(shù)組成的云計(jì)算已經(jīng)成為數(shù)據(jù)中心建設(shè)的主流［2］。 “云計(jì)算”是一種基于并高度依賴互聯(lián)網(wǎng)，用戶與實(shí)際服務(wù)提供的計(jì)算資源相分離，集合大量的計(jì)算設(shè)備和資源，并向用戶屏蔽底層差異的分布式處理架構(gòu)。 它具有寬帶網(wǎng)絡(luò)連接、快速、按需、彈性服務(wù)等特點(diǎn)［3］。 唐山市熱力集團(tuán)現(xiàn)有數(shù)據(jù)中心機(jī)房采用的是傳統(tǒng)機(jī)房設(shè)計(jì)方式。 隨著信息技術(shù)的發(fā)展及公司近些年來信息系統(tǒng)的數(shù)量的增加，現(xiàn)有數(shù)據(jù)中心的模式已不能適應(yīng)快速發(fā)展的需求，采取新一代信息技術(shù)規(guī)劃建設(shè)數(shù)據(jù)中心是必然趨勢。

1 現(xiàn)狀和存在的問題

目前，公司的數(shù)據(jù)中心仍處于采用傳統(tǒng)服務(wù)器＋客戶端系統(tǒng)的建設(shè)方式，多套信息系統(tǒng)都是各自獨(dú)立運(yùn)行的。隨著信息系統(tǒng)項(xiàng)目的逐年新增，出現(xiàn)了如下問題：

1.1 業(yè)務(wù)系統(tǒng)多

經(jīng)過10 多年的發(fā)展和建設(shè)，各部門信息化應(yīng)用平臺(tái)系統(tǒng)的建設(shè)已經(jīng)比較完善，先后建成了熱源數(shù)據(jù)集中采集系統(tǒng)、豐潤大型調(diào)峰鍋爐房控制系統(tǒng)、熱網(wǎng)中繼泵站監(jiān)控系統(tǒng)、地理信息系統(tǒng)、熱網(wǎng)智能控制系統(tǒng)、大溫差供熱機(jī)組監(jiān)控系統(tǒng)、熱計(jì)量戶用熱量表遠(yuǎn)程抄表管理系統(tǒng)、熱計(jì)量通斷時(shí)間面積法系統(tǒng)、熱用戶室溫采集系統(tǒng)、計(jì)劃經(jīng)營收費(fèi)系統(tǒng)、客戶服務(wù)系統(tǒng)、設(shè)備管理系統(tǒng)、生產(chǎn)調(diào)度指揮系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、材料管理系統(tǒng)等20 余套信息化系統(tǒng)。

1.2 資源利用率低

由于各業(yè)務(wù)系統(tǒng)的逐年建設(shè)，使用的服務(wù)器加一起約80 多臺(tái)。 通過對每臺(tái)服務(wù)器的配置情況與運(yùn)行資源占用情況分析，資源平均利用率不到15%，資源的浪費(fèi)現(xiàn)象凸顯，運(yùn)維不便利，成本大幅增加。

1.3 新系統(tǒng)建設(shè)實(shí)施周期長

因現(xiàn)有的“硬件”IT 設(shè)備架構(gòu)呈現(xiàn)出技術(shù)分散化、功能硬件化、不具備一體化交付和敏捷上線能力，新的業(yè)務(wù)系統(tǒng)上線時(shí)要經(jīng)過采購、硬件安裝調(diào)試、軟件部署等環(huán)節(jié)，實(shí)施周期較長。

1.4 安全等級低

當(dāng)前，傳統(tǒng)的服務(wù)器和網(wǎng)絡(luò)獨(dú)立且分散，沒有進(jìn)行統(tǒng)一規(guī)劃和設(shè)計(jì)，網(wǎng)絡(luò)很容易受到病毒的攻擊，信息系統(tǒng)的數(shù)據(jù)安全難以保障，數(shù)據(jù)中心的安全等級低。

1.5 網(wǎng)絡(luò)成本高

目前我公司的辦公網(wǎng)結(jié)構(gòu)為“總公司—供熱分公司—中心站—熱力站”，這些網(wǎng)絡(luò)節(jié)點(diǎn)都是獨(dú)立網(wǎng)絡(luò)出口，通過本地的互聯(lián)網(wǎng)線路上網(wǎng)，網(wǎng)絡(luò)安全等級低沒有實(shí)現(xiàn)網(wǎng)絡(luò)的統(tǒng)一管理。 各分支單位也沒有統(tǒng)一的安全管理設(shè)備，無法保障各單位的上網(wǎng)安全和行為管控及審計(jì)，無法滿足《中華人民共和國網(wǎng)絡(luò)安全法》的上網(wǎng)日志記錄要求。 每個(gè)辦公地點(diǎn)單獨(dú)使用互聯(lián)網(wǎng)專線，每年的帶寬成本也非常高。 由于前期網(wǎng)絡(luò)設(shè)計(jì)問題，每次新增業(yè)務(wù)系統(tǒng)，都需單獨(dú)搭建網(wǎng)絡(luò)，造成目前集團(tuán)公司數(shù)據(jù)中心有多套獨(dú)立的網(wǎng)絡(luò)系統(tǒng)，無法實(shí)現(xiàn)業(yè)務(wù)互通。 下屬各終端網(wǎng)絡(luò)需要使用多條專線連接到數(shù)據(jù)中心。 各單位訪問不同的業(yè)務(wù)系統(tǒng)需要使用專用的電腦和專用的線路。 比如，只能通過指定的電腦通過收費(fèi)系統(tǒng)的專線才能訪問數(shù)據(jù)中心的收費(fèi)系統(tǒng)服務(wù)器各終端網(wǎng)點(diǎn)的辦公效率低，多條專線租用費(fèi)用高，增加了終端設(shè)備的投入和網(wǎng)絡(luò)成本。

2 規(guī)劃設(shè)計(jì)原則

（1）通過前期的調(diào)研和論證，結(jié)合集團(tuán)公司現(xiàn)有信息化及網(wǎng)絡(luò)的特點(diǎn)進(jìn)行了整體規(guī)劃設(shè)計(jì)。

（2）依據(jù)各項(xiàng)業(yè)務(wù)系統(tǒng)的特點(diǎn)制定了數(shù)據(jù)遷移方案。

（3）制定了業(yè)務(wù)內(nèi)網(wǎng)和業(yè)務(wù)外網(wǎng)的整合方案。

（4）制定出私有云平臺(tái)的邊界防護(hù)措施。

（5）解決了網(wǎng)虛擬化后物理服務(wù)器與虛擬服務(wù)器的互訪問題。

3 實(shí)施方案

通過了解云計(jì)算相關(guān)各項(xiàng)技術(shù)，結(jié)合企業(yè)現(xiàn)狀，對集團(tuán)公司信息化情況進(jìn)行了分析和研究，并制定了如下方案：

3.1 建設(shè)企業(yè)級“私有云”

云計(jì)算的核心基礎(chǔ)技術(shù)是“虛擬化”和“分布式”。 虛擬化技術(shù)已經(jīng)成為企業(yè)“私有云”建設(shè)的首要選擇，服務(wù)器虛擬化技術(shù)已經(jīng)經(jīng)歷了近10 年的推廣和實(shí)際應(yīng)用，技術(shù)已經(jīng)很成熟了。 在充分考慮現(xiàn)有信息系統(tǒng)業(yè)務(wù)的情況下，高起點(diǎn)、高要求搭建企業(yè)“私有云”平臺(tái)，構(gòu)建以新一代信息技術(shù)為核心的信息中心設(shè)計(jì)。

云的規(guī)劃可大可小，是一個(gè)可便捷擴(kuò)容的平臺(tái)。 為減少前期的投資成本，計(jì)劃第一步先建立起云平臺(tái)的基礎(chǔ)框架，后期根據(jù)業(yè)務(wù)發(fā)展的需求再進(jìn)行逐步地?cái)U(kuò)容和升級。

在充分調(diào)研了現(xiàn)有信息系統(tǒng)情況的前提下，前期規(guī)劃部署了6 臺(tái)超融合一體機(jī)，滿足了現(xiàn)有需求，完成了原有重要信息向云平臺(tái)的遷移。 同時(shí)，將現(xiàn)有各業(yè)系統(tǒng)的服務(wù)器網(wǎng)絡(luò)納入核心網(wǎng)絡(luò)交換平臺(tái)進(jìn)行管理，在滿足基層各分公司及供熱所、站終端接入后訪問數(shù)據(jù)中心的同時(shí)還實(shí)現(xiàn)了網(wǎng)絡(luò)管理的遠(yuǎn)程管控。

3.2 實(shí)現(xiàn)多系統(tǒng)的融合

將現(xiàn)有系統(tǒng)集成到統(tǒng)一的界面進(jìn)行監(jiān)控管理和遠(yuǎn)程運(yùn)維，實(shí)現(xiàn)了隨時(shí)遠(yuǎn)程監(jiān)控各系統(tǒng)的服務(wù)器主機(jī)的運(yùn)行情況。 如圖1 所示。

圖1 多系統(tǒng)融合監(jiān)控管理

3.3 保障數(shù)據(jù)與存儲(chǔ)安全

云架構(gòu)計(jì)算虛擬化技術(shù)，實(shí)現(xiàn)對服務(wù)器物理資源的抽象，將中央處理器（central processing unit，CPU）、內(nèi)存、輸入／輸出（input／output，I／O）等服務(wù)器物理資源轉(zhuǎn)化為一組可統(tǒng)一管理、調(diào)度和分配的邏輯資源，并基于這些邏輯資源在單個(gè)物理服務(wù)器上構(gòu)建多個(gè)同時(shí)運(yùn)行、相互隔離的虛擬機(jī)執(zhí)行環(huán)境，實(shí)現(xiàn)更高的資源利用率，同時(shí)滿足應(yīng)用更加靈活的資源動(dòng)態(tài)分配需求，譬如提供熱遷移、HA（高可用性集群）等高可用特性，實(shí)現(xiàn)更低的運(yùn)營成本、更高的靈活性和更快速的業(yè)務(wù)響應(yīng)速度。

存儲(chǔ)虛擬化基于集群設(shè)計(jì)，將服務(wù)器上的硬盤存儲(chǔ)空間組織起來形成一個(gè)統(tǒng)一的虛擬共享存儲(chǔ)資源池，進(jìn)行數(shù)據(jù)的高可靠、高性能存儲(chǔ)。 分布式存儲(chǔ)系統(tǒng)在功能上與獨(dú)立共享存儲(chǔ)完全一致。 一份數(shù)據(jù)會(huì)同時(shí)存儲(chǔ)在多個(gè)不同的物理服務(wù)器硬盤上，提升數(shù)據(jù)可靠性。 此外，再通過固態(tài)硬盤（solid state drive， SSD）緩存，可以大幅提升服務(wù)器硬盤的I／O 性能，實(shí)現(xiàn)高性能存儲(chǔ)。

3.4 后續(xù)擴(kuò)容升級

利用云計(jì)算技術(shù)后，后期云平臺(tái)按需擴(kuò)容即可，不再需要單獨(dú)采購大量服務(wù)器設(shè)備部署應(yīng)用系統(tǒng)，大大減少了后期新增項(xiàng)目的服務(wù)器資金的投入。

3.5 部署企業(yè)“私有云”平臺(tái)系統(tǒng)

按照新系統(tǒng)直接上云，原有系統(tǒng)逐步遷移的思路部署企業(yè)“私有云”平臺(tái)系統(tǒng)，具體包括以下內(nèi)容：供熱生產(chǎn)的智慧供熱管理平臺(tái)（新建）、生產(chǎn)數(shù)據(jù)庫服務(wù)器（新建）、收費(fèi)計(jì)劃經(jīng)營收費(fèi)系統(tǒng)（遷移）、收費(fèi)系統(tǒng)數(shù)據(jù)庫（遷移）、銀行代繳系統(tǒng)前置機(jī)（新建）、自動(dòng)控系統(tǒng)及數(shù)據(jù)庫（遷移）、微信公眾號（遷移）、熱源數(shù)據(jù)采集系統(tǒng)（遷移）、稅務(wù)電子發(fā)票前置機(jī)（遷移）、舊客服數(shù)據(jù)庫（遷移）等。

3.6 升級和重構(gòu)數(shù)據(jù)中心的網(wǎng)絡(luò)

數(shù)據(jù)中心網(wǎng)絡(luò)在現(xiàn)有的基礎(chǔ)上進(jìn)行了升級和重構(gòu)，配置了網(wǎng)絡(luò)核心交換設(shè)備、內(nèi)外網(wǎng)隔離網(wǎng)閘、上網(wǎng)行為管控設(shè)備和防火墻等網(wǎng)絡(luò)安全設(shè)備，規(guī)劃了數(shù)據(jù)中心區(qū)域、內(nèi)網(wǎng)區(qū)域、互聯(lián)網(wǎng)區(qū)域、外聯(lián)業(yè)務(wù)網(wǎng)絡(luò)區(qū)域等，并通過內(nèi)網(wǎng)核心交換機(jī)將下屬各分公司及各中心站的終端網(wǎng)絡(luò)匯聚到數(shù)據(jù)中心，實(shí)現(xiàn)了網(wǎng)絡(luò)的集中管控。

3.6.1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)規(guī)劃

數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)湟?guī)劃如圖2 所示。

圖2 數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)湟?guī)劃圖

3.6.2 合理規(guī)劃IP 地址

由于熱力各業(yè)務(wù)系統(tǒng)在搭建的時(shí)候都是分別進(jìn)行的，沒有統(tǒng)一的地址規(guī)劃，可能存在相同的地址分配情況。 各分支單位終端網(wǎng)絡(luò)也沒有整體進(jìn)行網(wǎng)絡(luò)規(guī)劃，也可能存在相同的地址分配情況。

對辦公網(wǎng)網(wǎng)絡(luò)進(jìn)行改造后，應(yīng)該保障各業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)及辦公網(wǎng)終端IP 地址都能合理規(guī)劃，條理清晰。 將數(shù)據(jù)中心業(yè)務(wù)進(jìn)行了網(wǎng)絡(luò)地址規(guī)劃，通過核心交換機(jī)對下屬單位的網(wǎng)絡(luò)進(jìn)行了地址規(guī)劃，實(shí)現(xiàn)了網(wǎng)絡(luò)地址的集中管理。

3.6.3 統(tǒng)一辦公網(wǎng)的管理權(quán)限

利用現(xiàn)有的辦公網(wǎng)專線網(wǎng)絡(luò)，實(shí)現(xiàn)辦公網(wǎng)的統(tǒng)一管控，將供熱分公司、供熱所、供熱站的上網(wǎng)數(shù)據(jù)傳輸?shù)綌?shù)據(jù)中心，由數(shù)據(jù)中心的互聯(lián)網(wǎng)出口實(shí)現(xiàn)上網(wǎng)功能，在數(shù)據(jù)中心部署了防火墻、網(wǎng)閘以及上網(wǎng)行為管控設(shè)備，實(shí)現(xiàn)了用戶的安全上網(wǎng)需求。 為避免單點(diǎn)故障，部署了雙機(jī)運(yùn)行，保障業(yè)務(wù)不間斷。 將數(shù)據(jù)中心的互聯(lián)網(wǎng)出口擴(kuò)容到500 M，取消了各分公司及各供熱站、供熱所的寬帶，減少了寬帶資金的投入。

由于各分公司、供熱所、供熱站前期沒有互聯(lián)網(wǎng)組網(wǎng)交換機(jī)，本次改造需要進(jìn)行新增。 將各分公司、供熱所、供熱站的電腦終端通過交換機(jī)匯聚到一起，再通過互聯(lián)網(wǎng)組網(wǎng)專線接入總公司互聯(lián)網(wǎng)匯聚交換機(jī)，實(shí)現(xiàn)統(tǒng)一出口上網(wǎng)。

3.6.4 重新搭建業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)

通過網(wǎng)絡(luò)改造，在數(shù)據(jù)中心搭建一套統(tǒng)一的業(yè)務(wù)系統(tǒng)網(wǎng)絡(luò)，讓各供熱分公司、供熱站、供熱所的任何電腦終端通過一條專線都可以訪問收費(fèi)系統(tǒng)、熱計(jì)量系統(tǒng)、客服管理系統(tǒng)。 網(wǎng)絡(luò)改造完成后，各單位現(xiàn)有的多套業(yè)務(wù)系統(tǒng)，只需安裝一條網(wǎng)絡(luò)即可實(shí)現(xiàn)數(shù)據(jù)中心與基層單位各終端網(wǎng)絡(luò)的互通，業(yè)務(wù)共享，大大減少了網(wǎng)絡(luò)費(fèi)用的支出［4－5］。

4 實(shí)施效果及收益

通過搭建企業(yè)“私有云”平臺(tái)，實(shí)現(xiàn)服務(wù)端的資源整合，各業(yè)務(wù)系統(tǒng)的整合以及重要信息系統(tǒng)的逐步遷移上云［6－7］，最終實(shí)現(xiàn)了全業(yè)務(wù)上云，減少了服務(wù)器數(shù)量，提高了設(shè)備的使用率，增加了數(shù)據(jù)的保護(hù)機(jī)制，減少了宕機(jī)風(fēng)險(xiǎn)，保障了企業(yè)重要信息系統(tǒng)的穩(wěn)定運(yùn)行。

通過網(wǎng)絡(luò)改造，解決了各網(wǎng)點(diǎn)的信息系統(tǒng)，一套系統(tǒng)配置一臺(tái)電腦和一條專網(wǎng)來應(yīng)用的問題。 數(shù)據(jù)中心重新規(guī)劃設(shè)計(jì)后集團(tuán)公司實(shí)現(xiàn)了內(nèi)網(wǎng)網(wǎng)絡(luò)統(tǒng)一管理，減少了網(wǎng)絡(luò)復(fù)雜度，增加了網(wǎng)絡(luò)穩(wěn)定性，提升了辦公人員辦公效率，降低了網(wǎng)絡(luò)線路成本。

企業(yè)“私有云”建成后，陸續(xù)新增了15 套系統(tǒng)，如果按照傳統(tǒng)的系統(tǒng)搭建方式需要購置40 臺(tái)服務(wù)器并配置相應(yīng)的網(wǎng)絡(luò)，新增的這些信息系統(tǒng)項(xiàng)目沒有再增加硬件資金的投入。 如果按照各自信息系統(tǒng)的要求來配置實(shí)體機(jī)服務(wù)器，需要增加102 萬元的設(shè)備購置投入。 平臺(tái)建成后2 年里，為公司減少信息系統(tǒng)硬件及網(wǎng)絡(luò)的成本投入近200 萬元，降本效果明顯。

表1 網(wǎng)絡(luò)整合后效益

內(nèi)網(wǎng)改造后，網(wǎng)絡(luò)打通各單位專線數(shù)量由現(xiàn)在的5 條少到1 條，按照原有9 個(gè)供熱分公司、48 個(gè)供熱所、每個(gè)網(wǎng)點(diǎn)原有5 條專網(wǎng)線路費(fèi)用來計(jì)算，平均每條線路每年節(jié)約3 600 元，每年可節(jié)省費(fèi)用大約706 740 元。 預(yù)計(jì)三年可節(jié)省約2 120 220 元。

5 結(jié)語

綜上所述，該項(xiàng)目的實(shí)施成功地將超融合技術(shù)、虛擬化網(wǎng)絡(luò)、虛擬化存儲(chǔ)和虛擬化服務(wù)器技術(shù)和云平臺(tái)技術(shù)應(yīng)用到企業(yè)信息中心建設(shè)中，為企業(yè)未來的信息化規(guī)劃奠定了堅(jiān)實(shí)的基礎(chǔ)。 按目標(biāo)搭建了企業(yè)供熱信息系統(tǒng)的“私有云”平臺(tái)，對現(xiàn)有各業(yè)務(wù)系統(tǒng)進(jìn)行了系統(tǒng)集成，減少了硬件設(shè)備投入，提高了資源利用率，實(shí)現(xiàn)了系統(tǒng)融合與數(shù)據(jù)共享。 通過網(wǎng)絡(luò)的整合和規(guī)劃實(shí)現(xiàn)了內(nèi)外網(wǎng)的可視化監(jiān)管，確保了總公司信息化系統(tǒng)的網(wǎng)絡(luò)安全，提高了網(wǎng)絡(luò)安全等級。 充分利用了現(xiàn)有的網(wǎng)絡(luò)資源，降低了非工作信息開銷，降低了網(wǎng)絡(luò)通信的成本。 基于超融合架構(gòu)的數(shù)據(jù)中心建設(shè)為企業(yè)信息化建設(shè)開辟了新的里程，助力了企業(yè)信息化建設(shè)的發(fā)展。