運(yùn)營(yíng)商私有云規(guī)劃思路及關(guān)鍵技術(shù)應(yīng)用

梁 楊

（中國(guó)移動(dòng)通信集團(tuán)設(shè)計(jì)院有限公司河北分公司，河北 石家莊 050011）

1 引言

云計(jì)算的建設(shè)目標(biāo)是以IaaS服務(wù)為基礎(chǔ)，以PaaS服務(wù)為提升。一個(gè)完整的IT系統(tǒng)，自上而下包括“應(yīng)用軟件、中間件軟件、數(shù)據(jù)庫(kù)軟件、操作系統(tǒng)、計(jì)算資源、存儲(chǔ)資源、組網(wǎng)網(wǎng)絡(luò)”等組成部分，在云計(jì)算的架構(gòu)下也是如此。

“煙囪式”建設(shè)模式主要存在以下問題：1）硬件建設(shè)周期長(zhǎng)；2）各系統(tǒng)之間資源不能共享；3）各系統(tǒng)之間資源利用率不均衡，不能調(diào)整，整體利用率較低；4）擴(kuò)展能力受限，難以滿足大數(shù)據(jù)計(jì)算需求。而云計(jì)算的好處體現(xiàn)在：1）資源共享，按需分配，彈性伸縮，支持日常優(yōu)化調(diào)整；2）縮短上層系統(tǒng)建設(shè)周期，提升整體利用率；3）分布式架構(gòu)支持大數(shù)據(jù)計(jì)算場(chǎng)景。云計(jì)算改“煙囪式”為“分層式”，自下而上分為IaaS、PaaS、SaaS三層，云計(jì)算的規(guī)劃建設(shè)通常指的是IaaS層、PaaS層的統(tǒng)一規(guī)劃建設(shè)。

本文所述的私有云是特指專門為某企業(yè)內(nèi)部提供服務(wù)的云計(jì)算，針對(duì)電信運(yùn)營(yíng)商而言，包含BSS/OSS/MSS、大數(shù)據(jù)、信安系統(tǒng)等IT支撐系統(tǒng)以及統(tǒng)一DPI、自有業(yè)務(wù)平臺(tái)、政企客戶云服務(wù)業(yè)務(wù)平臺(tái)。

2 某運(yùn)營(yíng)商私有云建設(shè)歷程

回顧該運(yùn)營(yíng)商的私有云建設(shè)歷程，主要分為三個(gè)主要階段：第一階段為分域整合階段，2012年開始建設(shè)網(wǎng)管資源池，2013年開始建設(shè)業(yè)支資源池和管信資源池；第二階段為統(tǒng)一規(guī)劃建設(shè)階段，2014年將管信資源池并入網(wǎng)管資源池，2015年開始建設(shè)私有云管理平臺(tái)；第三階段為優(yōu)化提升階段，從2016年開始，持續(xù)建設(shè)業(yè)支資源池、網(wǎng)管資源池。

某運(yùn)營(yíng)商在2014年開始正式進(jìn)行私有云的規(guī)劃建設(shè)，確定了“1+N”的整體架構(gòu)，即“1”：建設(shè)統(tǒng)一的私有云管理平臺(tái)；“N”：按統(tǒng)一的技術(shù)架構(gòu)，建設(shè)多個(gè)資源池，納入云管平臺(tái)統(tǒng)一管理。

2017年，該運(yùn)營(yíng)商為了更好地規(guī)劃私有云建設(shè)，結(jié)合管理職能以及本地實(shí)際情況，最終提出了一種私有云規(guī)劃架構(gòu)：規(guī)劃建設(shè)B/M資源池、O/S資源池兩個(gè)資源池，并通過統(tǒng)一的云管平臺(tái)進(jìn)行兩個(gè)資源池的調(diào)度與管理。該運(yùn)營(yíng)商私有云資源池建設(shè)架構(gòu)如圖1所示。

3 私有云規(guī)劃思路、方案及關(guān)鍵技術(shù)

3.1 總體規(guī)劃思路

某運(yùn)營(yíng)商私有云規(guī)劃原則主要從兩方面同步開展，一是統(tǒng)一規(guī)劃、建設(shè)私有云資源池；二是推動(dòng)系統(tǒng)自身云化，遷移到資源池上運(yùn)行。同時(shí)，基于該運(yùn)營(yíng)商實(shí)際情況，其私有云總體規(guī)劃思路為：通過機(jī)房擴(kuò)展，平滑構(gòu)建異地、多節(jié)點(diǎn)、跨機(jī)房且統(tǒng)一調(diào)度和管理的“1+N”架構(gòu)的私有云體系（1個(gè)統(tǒng)一云管理平臺(tái)，N個(gè)資源池節(jié)點(diǎn)），提供面向內(nèi)部系統(tǒng)IT資源需求的基礎(chǔ)設(shè)施云服務(wù)，以支撐IT支撐系統(tǒng)、業(yè)務(wù)平臺(tái)和其他內(nèi)部IT系統(tǒng)的建設(shè)；推動(dòng)上層應(yīng)用逐步以“分布式+開放”架構(gòu)替代“集中式+封閉”架構(gòu)，加快云化進(jìn)程，底層資源以云計(jì)算資源池模式進(jìn)行整合，實(shí)現(xiàn)IT基礎(chǔ)設(shè)施的高效集中管理。

圖1 某運(yùn)營(yíng)商私有云資源池建設(shè)架構(gòu)

3.2 總體規(guī)劃演進(jìn)方案及關(guān)鍵技術(shù)

（1）云化演進(jìn)

遵循第2節(jié)的規(guī)劃原則和思路，某運(yùn)營(yíng)商從系統(tǒng)云化改造和資源池建設(shè)兩個(gè)維度進(jìn)行私有云演進(jìn)路線的規(guī)劃，如圖2所示。

（2）私有云分層能力規(guī)劃及關(guān)鍵技術(shù)分析

私有云的能力規(guī)劃，包含IaaS和PaaS的能力規(guī)劃。

IaaS層能力規(guī)劃如圖3所示。

IaaS層由“基礎(chǔ)設(shè)施”和“云管理平臺(tái)”兩大部分組成。

云管理平臺(tái)運(yùn)用的是OpenStack技術(shù)。OpenStack提供了一整套完整的IaaS基礎(chǔ)設(shè)施云服務(wù)，包含了各種組件；中國(guó)移動(dòng)基于OpenStack的BigCloud相關(guān)產(chǎn)品亦能提供同類組件。

基礎(chǔ)設(shè)施中X86虛擬化集群所運(yùn)用的首先是VMware相關(guān)技術(shù)，VMware提供一整套基于服務(wù)器虛擬化的IaaS云服務(wù)解決方案，在使用vSphere服務(wù)器虛擬化的資源池環(huán)境中，再配合NSX實(shí)現(xiàn)SDN/NFV，vSAN實(shí)現(xiàn)虛擬機(jī)存儲(chǔ)鏡像管理；其次，X86虛擬化集群還運(yùn)用了超融合架構(gòu)技術(shù)來簡(jiǎn)化資源池硬件配置方案，提供基于X86架構(gòu)的分布式存儲(chǔ)，同時(shí)進(jìn)行服務(wù)器虛擬化，超融合架構(gòu)的核心是軟件定義分布式存儲(chǔ)技術(shù)，代表技術(shù)有開源KVM+Ceph、VMware vSphere+vSan、華為FusionSphere+FusionStorage等。其中運(yùn)營(yíng)商采用較多的是VMware技術(shù)方案，其優(yōu)點(diǎn)在于產(chǎn)品成熟，但造價(jià)較高。建議私有云資源池建設(shè)前期，采用VMware虛擬化產(chǎn)品，有利于推動(dòng)虛擬化技術(shù)使用，待虛擬化技術(shù)應(yīng)用條件成熟后，以開源虛擬化技術(shù)KVM為主、VMware為輔。

圖2 某運(yùn)營(yíng)商私有云演進(jìn)線路圖

圖3 某運(yùn)營(yíng)商私有云IaaS層能力規(guī)劃圖

基礎(chǔ)設(shè)施中X86分布式集群所運(yùn)用的技術(shù)為分布式存儲(chǔ)技術(shù)。在替換傳統(tǒng)“IOE”架構(gòu)的硬件過程中，針對(duì)關(guān)系型數(shù)據(jù)庫(kù)采用華為FusionStorage（分布式ServerSAN）、EMC ScaleIO、Ceph等分布式塊存儲(chǔ)技術(shù)進(jìn)行替換，分布式塊存儲(chǔ)所用的硬件為標(biāo)準(zhǔn)的X86服務(wù)器，各節(jié)點(diǎn)相互獨(dú)立，節(jié)點(diǎn)之間通過專用的存儲(chǔ)網(wǎng)絡(luò)（InfiniBand或萬(wàn)兆級(jí)IP網(wǎng)絡(luò)）連接，部署專門的存儲(chǔ)軟件構(gòu)成塊存儲(chǔ)，具備集群擴(kuò)展能力。針對(duì)離線及實(shí)時(shí)性不高的文件類數(shù)據(jù)以及虛擬機(jī)鏡像共享存儲(chǔ)等，可采用Ceph等分布式文件存儲(chǔ)技術(shù)。對(duì)象存儲(chǔ)多用于對(duì)外提供面向Internet的簡(jiǎn)單存儲(chǔ)服務(wù)，此場(chǎng)景運(yùn)營(yíng)商應(yīng)用較少，可作為儲(chǔ)備技術(shù)。

網(wǎng)絡(luò)為資源調(diào)度提供管道，SDN是解決跨域資源調(diào)度的主流技術(shù)，SDN主要應(yīng)用場(chǎng)景是在云資源池物理網(wǎng)絡(luò)建成后，通過軟件編程方式對(duì)多租戶業(yè)務(wù)進(jìn)行網(wǎng)絡(luò)配置、流量控制和安全隔離等。SDN相關(guān)的兩種隧道技術(shù)有Overlay技術(shù)和Underlay技術(shù)，其中Overlay技術(shù)可實(shí)現(xiàn)不同業(yè)務(wù)網(wǎng)絡(luò)的開通和隔離，代表技術(shù)為VxLAN，在服務(wù)器虛擬化大規(guī)模應(yīng)用場(chǎng)景下，建議采用此技術(shù)；而Underlay技術(shù)是通過物理網(wǎng)絡(luò)設(shè)備本身的技術(shù)改良、擴(kuò)容，對(duì)傳統(tǒng)網(wǎng)絡(luò)技術(shù)進(jìn)行優(yōu)化，實(shí)現(xiàn)對(duì)虛擬網(wǎng)絡(luò)的隧道化承載，在虛擬化規(guī)模不大的前期階段，為方便快速部署和節(jié)省投資，建議采用此技術(shù)。

以上是IaaS層能力規(guī)劃建設(shè)的關(guān)鍵點(diǎn)，此外，一個(gè)完整軟件系統(tǒng)運(yùn)行還需要數(shù)據(jù)庫(kù)、中間件、計(jì)算框架等環(huán)境，這些共享資源在PaaS層實(shí)現(xiàn)，通過PaaS層的建設(shè)來提供更完善的服務(wù)。建設(shè)PaaS層的好處如下：1）中長(zhǎng)期更節(jié)省數(shù)據(jù)庫(kù)、中間件軟件投資；2）IaaS層資源利用率更均衡和充分；3）應(yīng)用軟件開發(fā)部署進(jìn)一步簡(jiǎn)化，安裝和部署可通過PaaS統(tǒng)一實(shí)現(xiàn)。

某運(yùn)營(yíng)商PaaS層能力規(guī)劃如圖4所示。

該運(yùn)營(yíng)商未建設(shè)PaaS前，上層網(wǎng)管類應(yīng)用直接使用IaaS層提供的資源（網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)等），建設(shè)PaaS后，通過PaaS利用IaaS的資源服務(wù)，為上層應(yīng)用系統(tǒng)的開發(fā)、運(yùn)行提供更加完善的服務(wù)，如預(yù)裝中間件的虛擬機(jī)、統(tǒng)一調(diào)度編排的容器集群、多租戶的Hadoop YARN集群等。

建設(shè)PaaS層需要具備兩個(gè)基礎(chǔ)條件，即上層系統(tǒng)軟件架構(gòu)解耦、開放；數(shù)據(jù)庫(kù)、中間件等資源能夠集中運(yùn)營(yíng)管理。針對(duì)前期系統(tǒng)僅做到軟硬件解耦的，建議使用IaaS資源；針對(duì)在軟硬件解耦基礎(chǔ)上，系統(tǒng)的軟件技術(shù)架構(gòu)可以進(jìn)一步開放解耦的，建議使用PaaS服務(wù)。

PaaS層涉及的主要新技術(shù)以及應(yīng)用場(chǎng)景歸納如下：

1）容器及Docker容器引擎

容器（Container）是在Linux內(nèi)核實(shí)現(xiàn)在輕量級(jí)資源隔離機(jī)制；容器是進(jìn)程級(jí)隔離，虛擬機(jī)是操作系統(tǒng)級(jí)隔離。虛擬機(jī)與容器之間的特點(diǎn)對(duì)比如圖5所示。

通過容器引擎，如Docker，可以把應(yīng)用程序代碼及其運(yùn)行所依賴的庫(kù)函數(shù)、配置文件等打包到一個(gè)容器中并運(yùn)行。

使用容器，實(shí)際指的是使用容器的“應(yīng)用編排&資源管理”技術(shù)，主要技術(shù)有Kubernetes、Docker Swarm/Compose、Mesos等，其中Kubernetes（簡(jiǎn)稱K8s）是主流技術(shù)，可以實(shí)現(xiàn)管理容器資源、調(diào)度容器引擎，從而實(shí)現(xiàn)對(duì)上層應(yīng)用容器化的支撐。

圖4 某運(yùn)營(yíng)商私有云PaaS層能力規(guī)劃圖

2）DCOS

DCOS，即數(shù)據(jù)中心操作系統(tǒng)，同時(shí)具備IaaS、PaaS能力，具備IaaS的資源調(diào)度管理能力和PaaS的應(yīng)用計(jì)算框架管理能力；核心資源調(diào)度技術(shù)是Apache Mesos，Mesos也支撐容器集群資源管理（類似K8s）。典型產(chǎn)品有Mesosphere、中國(guó)移動(dòng)的BC-DCOS。

通過PaaS層的建設(shè)，IaaS層資源的利用率將更均衡，同時(shí)，提升了對(duì)上層應(yīng)用技術(shù)架構(gòu)的掌控力，促進(jìn)公司IT能力內(nèi)化，也為DevOps（開發(fā)運(yùn)營(yíng)融合）提供工具支撐。

（3）總體規(guī)劃演進(jìn)方案

通過以上針對(duì)私有云規(guī)劃總體思路、演進(jìn)路線、分層能力規(guī)劃及關(guān)鍵技術(shù)的分析闡述，某運(yùn)營(yíng)商總體規(guī)劃演進(jìn)方案建議如下：

1）2014年至2015年

重點(diǎn)建設(shè)私有云管理平臺(tái)、業(yè)支資源池、網(wǎng)管資源池工程，一方面繼續(xù)完善資源池基礎(chǔ)能力，一方面提升資源管理能力。

推動(dòng)業(yè)支、原管信資源池融合建設(shè)，推動(dòng)IT化明顯的小型業(yè)務(wù)平臺(tái)納入網(wǎng)管資源池建設(shè)。

推動(dòng)傳統(tǒng)業(yè)務(wù)平臺(tái)在專業(yè)系統(tǒng)內(nèi)部完成軟硬件的解耦和X86化改造。

2）2016年至2017年

私有云管理平臺(tái)，圍繞運(yùn)維需求，重點(diǎn)建設(shè)資源運(yùn)營(yíng)流程、資源自動(dòng)化調(diào)度等能力。

資源池建設(shè)方面，形成B域、M域融合的資源池；擴(kuò)充網(wǎng)管資源池，逐步納入已云化改造的業(yè)務(wù)平臺(tái)，初步形成網(wǎng)管、業(yè)務(wù)的綜合資源池。

建設(shè)資源池PaaS能力，探索SDN新技術(shù)應(yīng)用。

3）2018年至遠(yuǎn)期

形成某運(yùn)營(yíng)商私有云兩地三中心架構(gòu)，為上層業(yè)務(wù)提供不間斷的資源保障與彈性資源供給能力。

形成較完善的云管理平臺(tái)、IaaS、PaaS能力，支撐上層各類系統(tǒng)和平臺(tái)的靈活部署快速迭代。

完成業(yè)務(wù)平臺(tái)軟硬件解耦，硬件納入私有云資源池統(tǒng)一管理。

圖5 虛擬機(jī)與容器特點(diǎn)對(duì)比

4 網(wǎng)管支撐系統(tǒng)私有云規(guī)劃

4.1 規(guī)劃思路

以網(wǎng)管支撐系統(tǒng)私有云規(guī)劃為例，該運(yùn)營(yíng)商面向未來發(fā)展，基于前期分層架構(gòu)，將進(jìn)一步推動(dòng)網(wǎng)管系統(tǒng)全面云化規(guī)劃。

參照云計(jì)算架構(gòu)，網(wǎng)管系統(tǒng)整體規(guī)劃為SaaS（軟件服務(wù)）、PaaS（平臺(tái)服務(wù)）、IaaS（基礎(chǔ)設(shè)施服務(wù)）三層架構(gòu)。如圖6所示。

SaaS層：圍繞網(wǎng)絡(luò)集中運(yùn)維，推動(dòng)現(xiàn)有應(yīng)用云化改造（虛擬化、分布式、微服務(wù)等）、新增應(yīng)用直接云化部署，目標(biāo)是實(shí)現(xiàn)百花齊放、靈活部署和敏捷開發(fā)，支撐DevOps（需求開發(fā)和系統(tǒng)運(yùn)維整合管理模式）。

PaaS層：原共享與服務(wù)層規(guī)劃入PaaS層能力，新增K8s容器資源管理與應(yīng)用編排能力、YARN分布式計(jì)算集群資源管理能力，利用IaaS提供的基礎(chǔ)設(shè)施服務(wù)，為SaaS層提供更加完備的服務(wù)（數(shù)據(jù)服務(wù)、采集服務(wù)、計(jì)算框架等），目標(biāo)是實(shí)現(xiàn)數(shù)據(jù)和能力開放。

IaaS層：完善網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)等基礎(chǔ)資源服務(wù)提供能力。

圖6 網(wǎng)管支撐系統(tǒng)私有云規(guī)劃圖

4.2 規(guī)劃演進(jìn)方案

遵循以上思路，為實(shí)現(xiàn)網(wǎng)管支撐系統(tǒng)“從專業(yè)網(wǎng)管向‘4+1’體系架構(gòu)的綜合網(wǎng)管演進(jìn)，全面支撐全業(yè)務(wù)開通，實(shí)現(xiàn)端到端的業(yè)務(wù)監(jiān)控和質(zhì)量管理，提升業(yè)務(wù)和服務(wù)的質(zhì)量和效率，降低網(wǎng)絡(luò)運(yùn)行維護(hù)成本”的目標(biāo)，某運(yùn)營(yíng)商網(wǎng)管支撐系統(tǒng)私有云規(guī)劃演進(jìn)方案建議如下：

（1）2014年至2015年

圍繞網(wǎng)絡(luò)集中化運(yùn)維體制改革，加強(qiáng)“4+1”系統(tǒng)建設(shè)，重點(diǎn)持續(xù)提升4G、VoLTE、互聯(lián)網(wǎng)、政企業(yè)務(wù)的集中化支撐能力；推進(jìn)網(wǎng)管SOA架構(gòu)演進(jìn)，保持可持續(xù)性健康發(fā)展，包括數(shù)據(jù)總線、統(tǒng)一采集、統(tǒng)一DPI、集中操作維護(hù)、GIS服務(wù)等共享服務(wù)等能力。

推動(dòng)系統(tǒng)云化改造，包括Docker/VM、超融合架構(gòu)、YARN/K8s等新技術(shù)應(yīng)用。

提升高可用性，具備一定容災(zāi)能力。

（2）2016年至2017年

持續(xù)推進(jìn)資源管理、性能管理、故障管理、網(wǎng)絡(luò)優(yōu)化、運(yùn)維管理的集中化、標(biāo)準(zhǔn)化的支撐能力建設(shè)，實(shí)現(xiàn)從面向設(shè)備、面向網(wǎng)絡(luò)到面向業(yè)務(wù)、面向客戶支撐管理能力的轉(zhuǎn)型提升；面向云計(jì)算、大數(shù)據(jù)的發(fā)展，推動(dòng)網(wǎng)管系統(tǒng)SOA架構(gòu)基礎(chǔ)服務(wù)能力的對(duì)外開放，包括統(tǒng)一采集、統(tǒng)一DPI、數(shù)據(jù)總線等。

構(gòu)建統(tǒng)一應(yīng)用、集群資源管理技術(shù)架構(gòu)，進(jìn)一步提升云化水平，提升資源利用率和均衡性。

（3）2018年至遠(yuǎn)期

緊隨網(wǎng)絡(luò)新技術(shù)、新業(yè)務(wù)發(fā)展，提早規(guī)劃研究相關(guān)網(wǎng)絡(luò)管理能力并啟動(dòng)建設(shè)，如NFV、物聯(lián)網(wǎng)管理能力等。

促進(jìn)IT能力內(nèi)化，具備自主架構(gòu)規(guī)劃、系統(tǒng)設(shè)計(jì)能力，具備私有云資源運(yùn)營(yíng)能力，探索自主研發(fā)能力。

5 結(jié)束語(yǔ)

眾所周知，云計(jì)算具有自身的優(yōu)點(diǎn)，主要體現(xiàn)在提升資源利用率和系統(tǒng)擴(kuò)展性，通過改變傳統(tǒng)項(xiàng)目的管理模式提高了業(yè)務(wù)部署的速度，增強(qiáng)了系統(tǒng)可靠性，降低了電信運(yùn)營(yíng)商的總體建設(shè)成本，因而增強(qiáng)了企業(yè)競(jìng)爭(zhēng)力。

但是，云計(jì)算經(jīng)過了幾年的發(fā)展和建設(shè)實(shí)踐，也出現(xiàn)了一些問題，比如：1）因底層網(wǎng)絡(luò)不支持導(dǎo)致二層網(wǎng)絡(luò)無(wú)法打通，進(jìn)而無(wú)法實(shí)現(xiàn)IT各域系統(tǒng)之間跨集群/機(jī)房/局址的資源調(diào)度；2）因Hadoop集群與云管平臺(tái)接口標(biāo)準(zhǔn)化程度低無(wú)法實(shí)現(xiàn)Hadoop/MPP等物理機(jī)資源納入云管平臺(tái)，進(jìn)而無(wú)法實(shí)現(xiàn)資源的遷移；3）早期因管理方式?jīng)]有及時(shí)與私有云資源池建設(shè)模式匹配而導(dǎo)致的項(xiàng)目進(jìn)度緩慢。

電信運(yùn)營(yíng)商針對(duì)以上問題需要在規(guī)劃建設(shè)方面予以關(guān)注，與此同時(shí)，也要特別注意IT系統(tǒng)云化和云資源池建設(shè)的各個(gè)環(huán)節(jié)要素應(yīng)協(xié)調(diào)發(fā)展、緊密配合才能全面發(fā)揮云計(jì)算的優(yōu)勢(shì)。

[1] 陸鋼,楊新章,何震葦,等. 電信運(yùn)營(yíng)商對(duì)容器技術(shù)的探索和思考[J]. 電信科學(xué), 2016(8): 159-160.

[2] 趙輝,丁鳴,程青松,等. SDN與NFV技術(shù)在云數(shù)據(jù)中心的規(guī)模應(yīng)用[J]. 電信科學(xué), 2016(1): 144-151.

[3] 程偉強(qiáng),李晨. 電信級(jí)SDN在運(yùn)營(yíng)商網(wǎng)絡(luò)中的應(yīng)用研究[J]. 電信技術(shù), 2016(3): 52-55.

[4] 黃志蘭,樊勇兵,陳楠,等. overlay SDN實(shí)現(xiàn)異構(gòu)兼容的關(guān)鍵技術(shù)[J]. 電信科學(xué), 2016(11): 112-118.

[5] 王永建,張健,張富根,等. 基于VXLAN的云數(shù)據(jù)中心網(wǎng)絡(luò)研究[J]. 通信技術(shù), 2017(1): 78-83.

[6] 張衛(wèi)峰. 深度解析SDN利益、戰(zhàn)略、技術(shù)、實(shí)踐[M].北京: 電子工業(yè)出版社, 2014.

[7] 邵廣祿. SDN/NFV重構(gòu)未來網(wǎng)絡(luò)[M]. 北京: 人民郵電出版社, 2016.

[8] 中國(guó)移動(dòng)通信集團(tuán)公司技術(shù)部. 自主核心能力產(chǎn)品/服務(wù)清單匯報(bào)[R]. 2016.

[9] 中國(guó)移動(dòng)通信集團(tuán)河北有限公司. 河北公司私有云規(guī)劃[R]. 2016.

[10] 華為技術(shù)有限公司. 華為FusionStorage 3.30技術(shù)白皮書[R]. 2016. ★