電信運營商對容器技術的探索和思考

陸鋼，楊新章，何震葦，張凌，嚴麗云

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

電信運營商對容器技術的探索和思考

陸鋼，楊新章，何震葦，張凌，嚴麗云

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

容器是直接運行在操作系統內核上，擁有相對隔離、獨立資源的運行環境。容器技術的發展符合云計算的本質要求，電信運營商作為云計算領域的深度玩家，必須重視容器技術的發展。簡要介紹了容器技術背景，分析了容器技術在電信運營商的潛在應用場景，總結了電信運營商在容器技術方面的初步探索案例，探討了容器技術在電信運營商轉型升級中可能發揮的積極作用。

容器；云計算；虛擬機

1 引言

容器是直接運行在操作系統內核上，擁有相對隔離、獨立的資源（如CPU、內存、網絡、文件系統），可以運行一個或多個進程的運行環境。容器可以讓多個獨立的用戶空間運行在同一臺宿主機上。容器技術起源于操作系統的系統隔離工具，初期廣泛應用于各大互聯網公司軟件系統，近幾年來由于Docker公司對容器技術的封裝及開源，形成了良好的產業生態和應用案例，容器技術已經具備一定的技術成熟度，同時由于云計算產業經過近10年的發展，已經形成了相當可觀的市場規模，容器作為一種輕量級的虛擬化技術登上了云計算的舞臺，已經成為云計算技術發展的引領者。

電信運營商一直十分重視云計算市場和技術的發展，其內部IT系統已經基本完成云化改造，并正在推動其核心網元云化改造，同時紛紛成立專業云服務公司，開拓企業市場。但是目前電信運營商存在建設成本、開發維護和運營機制等方面的諸多挑戰，和目前云計算領域的頂級玩家還存在一定的差距，而容器技術具有輕量級、標準化和開源等特點，目前還處于發展初期，運營商介入并開展相關研發應用工作恰逢其時，將有助于解決云計算發展過程中的諸多難題。

2 容器技術背景

2.1 技術特點

云計算本質是資源的按需分配和動態調度，從而提高資源利用率，降低使用成本。容器技術的出現進一步滿足了云計算的本質要求，其技術特點決定了容器有可能成為下一代云計算基礎設施的基石，容器的技術特點如下所示。

（1）輕量級

容器運行占用資源少，單機可以同時運行上百個容器，相比較傳統虛擬化對物理機資源的消耗，容器自身的資源消耗可以忽略不計，其應用裝填密度10倍于虛擬機。

（2）快速啟停

容器啟動速度快，啟動時間在零點幾秒到數秒之間，這一特性保證了動態調度的實時性，在保證應用正常運行的前提下，可以更加高效地調度和調整資源。

（3）高性能

容器沒有傳統guest OS層次，直接通過內核訪問物理機資源，各方面性能接近裸機，從而可以進一步提高系統資源的利用率。

（4）標準化

采用標準化的容器控制接口和鏡像打包格式，各類管理平臺可以方便地調用統一接口，實現對容器資源的納管。

（5）鏡像管理

容器采用分層文件系統保存鏡像，通過鏡像倉庫提供鏡像文件的保存和分發，實現了容器鏡像的一鍵式部署和快速復制，保證了開發測試生產環境的一致性和應用快速復制的高效性。

（6）集群化

容器往往使用集群方式部署和調度，通過集群系統自帶的負載分發和服務發現等機制實現了大規模資源的按需分配、動態調度，保證了應用的快速部署和彈性擴展。

另外，容器技術的代表——Docker公司從開始就將Docker完全開源，推動了整個容器技術生態的開源化發展。目前產業界各類主流容器解決方案基本采用全開源軟件構建，大大降低了后進者的學習門檻和開發成本，從而保證容器技術生態圈迅速發展壯大。

2.2 技術體系

容器技術核心體系主要包括了三大部件，分別是容器引擎、鏡像倉庫和容器管理，在其周邊還有一些網絡、存儲等方面的輔助部件，構成了完整的容器技術棧，如圖1所示。

圖1 容器技術棧結構

（1）容器引擎

容器引擎是整個容器技術棧的核心，負責容器的創建、運行和管理，為容器掛載存儲和網絡資源，并對外提供輕量級的容器管理接口。容器引擎在操作系統上引入一個抽象層，封裝了與底層系統內核交互的內容，屏蔽不同Linux發行版的差異性，使得容器具備跨OS移植的能力。目前主流的開源容器引擎包括Docker公司的Docker、Ubuntu的 LXC／LXD 和 CoreOS團隊的 Rocket。

（2）鏡像倉庫

鏡像倉庫打包了應用軟件、運行環境和依賴庫，采用分層結構構建，鏡像可以像積木一樣層層堆疊。容器鏡像存儲在鏡像倉庫中，鏡像倉庫管理容器鏡像的迭代版本、依賴關系和其他相關的元數據，對外提供鏡像管理接口，以支持鏡像的上傳、下載和檢驗。目前主流的開源鏡像倉庫包括Docker公司的Registry和VMware公司的Harbor。

（3）容器管理

由一系列分布在多個主機的控制節點和計算節點組成。為了支撐分布式系統的復雜工作負載，讓眾多跨主機的容器協同工作，需要有相應的框架和解決方案來支撐容器集群的服務編排、資源調度和服務發現，保證整個集群能夠可靠、高效、合理地運轉。目前主流的開源容器集群框架包括 Docker公司的 Swarm、Google公司的 Kubernete和Mesosphere公司的 Mesos。

3 典型應用場景

容器技術特點決定了其在多種應用場景下都可以發揮其獨特作用：從資源部署的角度來看，可以應用于虛擬機替代和大規模應用部署場景；從軟件開發角度來看，可應用于開發測試部署環境一致性的保障；從具體場景來看，還包括數據中心容災、混合云遷移等，這幾類場景并非孤立存在，有可能在某類應用中存在混合使用的場景。

電信運營商目前已經在IT系統、業務平臺中廣泛采用云計算技術，后續還計劃在NFV（network function virtualization，網絡功能虛擬化）環境中逐步采用云計算技術。電信運營商目前更多地從資源部署的角度看待容器技術，關注如何通過容器技術高效地承載運營商的各類系統。

3.1 虛擬機替代

容器以系統服務為核心，通常提供類似虛擬機的服務環境，可接受云管理平臺的管理。針對運營商希望提高系統資源利用率的需求，可提供基于容器更輕量化的私有云解決方案，將承載在虛擬主機或物理主機上的應用遷移到容器上，解決傳統虛擬機存在的資源占用率高、啟動時間長、調度不夠靈活等問題。

具體來看，對于運營商原有業務平臺和IT系統中存在的系統資源占用率不高的應用（如孵化器的應用、活躍度不高的應用或即將退市的應用），可酌情考慮遷移到容器中，進行高密度部署，可以極大地節省系統計算資源；對于未來NFV環境中計算密集型的網元，可以優先考慮采用容器化承載方案，可通過管理平臺進行快速部署和彈性伸縮，實現資源的高效調度。具體如圖2所示。

3.2 大規模應用部署

圖2 虛擬機遷移至容器示意

圖3 微服務架構下的容器部署示意

針對運營商希望解決大規模應用部署的需求，基于容器的微服務架構可極大提升部署和運行效率，可解決大規模應用構建難、功能模塊重用性低、軟件升級維護難等問題。具體來看：對原有業務平臺和IT系統，可酌情采用增量改造等方式將原有系統逐步部署在容器上，實現功能模塊重用，提升整個系統的復用性和可擴展性；對于新建業務平臺和IT系統，建議優先采用微服務架構構建，部署在容器上，采用容器集群管理平臺進行容器管理和服務部署，大大降低應用構建和后期維護的難度，具體如圖3所示。

4 電信運營商對容器技術的應用實踐

目前互聯網公司已經廣泛采用容器技術，國內外有部分電信運營商也已經開始關注甚至應用容器技術。

4.1 Verizon

2013年，Verizon為改變計算和存儲資源的低利用率和隨之而來的運營低效率問題，開始選擇Docker容器技術以及用來管理Docker容器及服務器集群的Mesos技術重構其基礎設施架構，以支撐Verizon網絡上數以萬計的工作任務。2014年底，Verizon建立了一種以Linux為核心，由遍布數據中心的普通服務器構成的集群。2015年8月20日在美國西雅圖舉辦的Mesos大會上，Verizon只用了100 s就啟動了50 000個Docker容器。這些容器的集群由Mesosphere數據中心操作系統（DCOS）驅動，目前用于保障Verizon日益增長的物聯網業務。2014年Verizon的物聯網業務營收增長了45%，4G業務增長了135%。Verizon管理的物聯網設備數目超過1.5×107臺而且還在增長中。Verizon的最終目標是效仿互聯網巨頭并得到由廉價、單一的由硬件設備組成的數據中心。

4.2 ATamp;T

ATamp;T積極加入容器的各類開源組織，以運營商的角色和驅動力參與到開放容器和云原生應用標準制定和技術發展中。ATamp;T在運營商中一向比較激進，最先提出網絡再造計劃，期望打造一個全局資源統一管控和編排，大數據分析高效、自動化運營和調度的云化資源體系和互聯網式業務經營模式，ATamp;T預言在2020年實現其網絡75%以上的虛擬化。目前ATamp;T已經實現了在其新型網絡架構中將網絡協同／編排系統與其IT系統進行融合對接，向下與網絡基礎設施融為一體，向上成為OSS的一部分。另外ATamp;T已經在內部運行測試使用微服務架構來擴展容器容量，將很快把這個能力引入其對外提供的網絡。

4.3 DT

德國電信（DT）正嘗試在Linux容器中運行虛擬網絡功能，他們認為從網絡的角度，Docker把NFV提升到了一個新的高度，充分利用容器的力量和可擴展性。例如，可以為不同的租戶設置服務質量，或為不同的租戶設定不同的業務規模。他們提出Docker化的NFV概念，嘗試在集群環境中實現顆粒資源隔離和更大的彈性。

4.4 中國移動

中國移動從2015年開始采用Kunbernet集群管理平臺搭建承載其一級業務支撐核心系統的網狀網PaaS平臺試點，實現了整個平臺的容器化改造和集群部署，并在Docker基礎上通過增強接口和管理功能，實現了資源和應用的有效結合。整個試點進展很快，3月開始搭建Kubernete+Docker集群；7月基于 Kubernete+Docker的網狀網PaaS平臺上線并第一步遷移了移動商城業務；9月建立生產+容災兩個集群并遷移60%的業務；12月開始逐步將全部的業務遷移到PaaS。同時，中國移動通信集團浙江有限公司于2015年推出了自己的DCOS系統，以分布式集群資源調度Apache Mesos和Apache Hadoop YARN為基礎，結合容器技術構建了一個標準化的高效平臺，以容器為基礎封裝各類無狀態應用和運行環境，以Mesos為核心實現容器資源的分布式調度與協調，支持多種計算框架，具備敏捷開發、快速部署和彈性伸縮的特性。目前中國移動逐步開始考慮一級業務支撐系統的DCOS平臺的建設，整合Mesos和Kubernete，構建一個穩定性強、支持復雜業務場景、彈性擴展能力強大的電信行業DCOS+PaaS平臺，為未來業務的快速發展打下堅實的基礎。

5 運營商的應對策略

容器技術已經在部分運營商有成功使用的案例，證明容器技術在運營商的業務和網絡中具有不可忽視的作用，運營商必須從自身定位和轉型戰略的視角來看待容器的發展。

作為網絡服務提供商，電信運營商可采用容器技術推動其內部系統的進一步云化，提高資源利用率和運行效率。具體來看，可以將現有或新建的業務系統、創新業務、IT系統、NFV網元（只要是基于Linux系統）承載在容器上。雖然傳統系統向容器的遷移存在一定的改造量，但是新建系統在設計初期可以采用微服務架構，基于容器技術進行開發、測試和承載，作為云原生應用無縫運行在容器云環境的生產系統中。尤其在未來NFV場景下，各類數據和業務核心網元是運營商存量最大、影響最廣的系統，隨著傳統網元的軟硬件解耦和虛擬化技術的發展，運營商完全可以跳過傳統商用虛擬化階段，采用自研開源容器技術作為NFV承載層的核心技術，成為真正意義上的軟件定義網絡服務提供商。

作為云服務提供商，電信運營商可利用容器技術對外提供低成本的云服務，為企業用戶推出一體化的IT解決方案。運營商可采用低成本開源容器輕量級虛擬化技術，對自身公有云系統進行容器化升級，輔以容器鏡像和分發管理系統，可以為部分中小企業提供可彈性擴展的輕量級應用運行環境，輔以集群管理系統可以為部分大中型企業提供大規模分布式應用運行環境，從而和現有云服務組合形成按用戶需求定制的差異化云服務。

作為未來的軟件服務提供商，電信運營商可采用容器技術推動其向軟件公司的轉型發展，推動開源軟件應用，轉變成本結構。容器技術推動開發運維走向容器OPS，圍繞以容器鏡像為核心的開發運維模式，實現了和云計算的完美結合。如果運營商以此為契機，結合開源技術構建自己的研發團隊，同時采用容器技術作為整個開發運維運營一體化的紐帶，可以大幅降低原有虛擬化軟件帶來的成本支出，推動運營商的深度轉型。

6 結束語

容器技術的出現給整個ICT產業帶來了巨大的影響，而在云計算和開源軟件的雙重助推下，進一步加速了容器技術的普及和推廣。運營商目前正在實施網絡重構戰略，打造基于數據中心的基礎設施，用于承載其業務系統和核心網元，容器引擎可以為資源提供輕量級虛擬化技術，容器管理可以為數據中心提供一個靈活快速響應的中央控制系統，容器技術在運營商網絡重構中具有重要的戰略價值。目前容器技術還處于快速發展階段，各類解決方案、開源項目層出不窮，電信運營商對容器技術的探索還處于起步階段，運營商必須在容器方面積極探索，借助容器技術生態力量提升自身的軟件研發實力和整體運維水平，推動網絡重構和戰略轉型工作的開展。

［1］浙江大學SEL實驗室.Docker容器與容器云［M］.北京：人民郵電出版社，2015.Software Engineering Lab ofZhejiang University.Docker container and container cloud ［M］.Beijing：Postsamp;Telecom Press，2015.

［2］JAMES T.第一本 Docker書 ［M］.李兆海，劉斌，巨震.譯.北京：人民郵電出版社，2015.JAMES T.The first Docker book ［M］.LI Z H，LIU B，JV Z.Translated by LI Z H，LIU B，JU Z.Beijing：Postsamp;Telecom Press，2015.

［3］華為 Docker實踐小組.Docker進階與實戰［M］.北京：機械工業出版社，2016.Huawei Docker Practice Group.Advancement and practice of Docker［M］.Beijing：China Machine Press，2016.

［4］龔正，吳治輝.Kubernetes權威指南［M］.北京：電子工業出版社，2016.GONG Z，WU Z H.Authority guide of Kubernetes ［M］.Beijing：Publishing House of Electronics Industry，2016.

［5］KAKADIA D.Mesos：大數據資源調度與大規模容器運行最佳實踐［M］.崔靖雯，劉夢馨，譯.北京：電子工業出版社，2015.KAKADIA D.Build and execute robust and scalable applications using Apache Mesos ［M］.Translated by CUI J W，LIU M X.Beijing：Publishing House of Electronics Industry，2015.

Exploration and thinking of container technology for telecom operators

LU Gang，YANG Xinzhang，HE Zhenwei，ZHANG Ling，YAN Liyun
Guangzhou Research Institute of China Telecom Co.，Ltd.，Guangzhou 510630，China

Container is an operating environment which has relatively isolated resources running on top of the operating system kernel，and the development of container technology corresponds to the essential requirements of cloud computing.As a senior player in cloud computing field，the telecom operators must pay more attention to container technology.The technology background of container was briefly introduced，the potential application scenarios for telecom operators were analyzed，the preliminary exploratory cases for telecom operators were summarized，and the possible positive role of container technology in transformation and upgrade for telecom operators was discussed.

container，cloud computing，virtual machine

TP316

A

10.11959／j.issn.1000-0801.2016212

2016-06-12；

2016-08-02

陸鋼（1978-），男，中國電信股份有限公司廣州研究院高級工程師，主要從事電信業務平臺、云計算及終端新技術研究工作。

楊新章（1972-），男，中國電信股份有限公司廣州研究院高級工程師，主要從事業務平臺、云計算、移動互聯網方面的研發工作。

何震葦（1975-），男，中國電信股份有限公司廣州研究院工程師，主要研究方向為容器技術、PaaS技術、云應用架構和開源云平臺等。

張凌（1978-），女，中國電信股份有限公司廣州研究院高級工程師，主要研究方向為容器技術、數據中心技術等。

嚴麗云（1985-），女，中國電信股份有限公司廣州研究院工程師，主要研究方向為虛擬化技術、容器技術等。