邁進云計算4.0 時代-招商證券IT 云化之路

何 宇， 陳子升

（招商證券股份有限公司 信息技術中心， 廣東 深圳518052）

0 引 言

從2006 年谷歌首次提出云計算的概念至今13 a期間，云計算的形態發生了翻天覆地的變化。從主機虛擬化到ITaaS（IT 即服務），本文把這段發展期劃分為云計算1.0 至4.0 四個階段。 招商證券參考業內外成功案例，結合自身業務特點以及對云計算技術的思考，通過大量測試驗證，摸索出符合自身情況的云計算技術應用的發展路徑，搭建出ITaaS的云服務中臺，為業務提質增效提供了有效的技術支持。 本文分別從云計算1.0 至4.0 四個階段，結合招商證券自身情況，介紹招商證券IT 即服務的云化之路。

1 云計算1.0：主機虛擬化

主機虛擬化技術把服務器虛擬化，整合成計算資源池。 單臺物理服務器上可運行多臺虛擬機，結合CPU 分片、內存共享、虛擬網卡、存儲精簡供應等技術，大大提升了資源利用率，節省了總體成本。 同時，主機虛擬化管理平臺使用熱遷移、主機高可用、動態資源分配等技術，從平臺層為虛擬機提高了靈活性與業務連續性。

主流的主機虛擬化產品有以下3 種：（1）VMware vSphere。 vSphere 是VMware 公司推出的業界最通用的主機虛擬化產品，市場占用率高，成熟度高。 支持在線熱遷移、分布式虛擬交換機、HA、DRS等高級功能。 （2）Microsoft Hyper-v。 Hyper-v 是微軟公司推出的商業主機虛擬化產品，對Windows 支持較好，功能與VMware vSphere 類似。 （3）KVM。KVM 是開源的主機虛擬化產品，使用Linux 自身的調度器進行管理，僅能提供基本的虛擬化功能，不具備商業虛擬化產品能提供的高級功能。 KVM 為開源產品，不需要軟件許可，成本較低。

招商證券在云計算1.0 階段，基于異構，成本，功能、成熟度等因素的綜合考慮，使用以上3 種方式實 現 主 機 虛 擬 化。 其 中， VMware vSphere 與Microsoft Hyper-v 承載相對關鍵業務，KVM 承載非關鍵業務。

圖1 主機虛擬化Fig. 1 Compute virtualization

2 云計算2.0：軟件定義與自服務

云計算2.0 階段在主機虛擬化的基礎上，對存儲與網絡設備實現了虛擬化，通過SDDC（軟件定義數據中心）技術，將計算、存儲、網絡、安全等硬件資源整合為虛擬資源池。 使用配備高容量磁盤、高速網卡的服務器組成集群，即可實現計算、網絡、存儲、安全的整體基礎架構。 SDDC 技術極大地改變了數據中心的形態，節省了空間、電力等基礎設施資源，使硬件設備更標準化，易于擴展。

云計算2.0 階段，企業通過云管平臺實現資源服務化與流程自動化，將過往通過人工申請，人工分配的低效的資源供應方式改變為自助申請、自動分配的高效資源供應方式。 大大提升了資源申請與使用效率。

圖2 軟件定義與自服務Fig. 2 Software-defined and self-served

2.1 軟件定義數據中心SDDC

軟件定義數據中心SDDC 包含軟件定義計算SDC、軟件定義存儲SDS、軟件定義網絡SDN 三大方面。

2.1.1 軟件定義計算SDC

SDC 即主機虛擬化技術，把服務器虛擬化，整合成計算資源池。

2.1.2 軟件定義存儲SDS

SDS 技術將服務器上的本地存儲虛擬成分布式存儲集群，整合成存儲資源池。 數據通過條帶化分布在不同節點上，讀寫性能隨著節點數量增長而遞增；數據通過多副本冗余的方式保存在不同節點上，可靠性可通過增加副本數而提升。 目前經過多年業界實踐驗證，分布式存儲在性能與可靠性上可媲美甚至超越傳統商業集中式存儲。 分布式存儲按部署方式不同劃分為超融合模式與計算存儲分離兩種模式：（1）超融合模式。 集群內每臺服務器均同時實現計算與存儲功能。 超融合方式更節省空間及成本，更靈活擴展。 （2）計算存儲分離模式。 分別使用不同的服務器實現計算集群與存儲集群。 分離模式使計算集群專注于處理任務，存儲集群專注于存儲IO 讀寫與數據復制，提供更優的性能。

考慮到以下因素，招商證券選擇超融合方式實現軟件定義存儲：（1）CPU 芯片性能日益提升，CPU一般不會成為虛擬化環境的性能瓶頸。 （2）可使用不同的高速網卡組分別承載業務與存儲網絡，互不影響性能。 （3）超融合模式能提供更低的成本與更靈活的擴展性。

2.1.3 軟件定義網絡SDN

SDN 技術將交換機、負載均衡、路由器、防火墻等網元虛擬化，整合成網絡資源池，相對于傳統網絡有如下收益：

（1）SDN 技術通過NFV（網絡功能虛擬化）技術提供軟件形態的交換機、路由器、防火墻、負載均衡、NAT 等設備，節省物理空間與電力資源，靈活部署。

（2）SDN 對全網絡架構提供統一的圖形化管理界面，配置與策略統一下發，可將重復性工作固化為模板，實現全鏈路的網絡自動化，降低運維難度與配置出錯概率。

（3）SDN 使用微分段技術，將安全隔離的粒度細化到業務或虛擬機，減少了網段數量，提高了管理精細度。

（4）SDN 提供網絡多租戶技術，配合云平臺實現基礎資源多租戶，提供用戶更大的配置靈活度與用戶間更高的安全隔離。

SDN 又根據部署形態劃分為軟件SDN 與硬件SDN 方案，其中硬件SDN 以Cisco ACI，華為Cloud Fabric，H3C VCF 等為主，軟件SDN 以VMware NSX、Openstack Neutron、Juniper Contrail 等為主。 軟件SDN，通過軟件實現網絡與安全設備，包括交換機、路由器、負載均衡等，節省總體成本，能實現全鏈路的自動化能力。 軟件SDN 使用服務器CPU 資源實現隧道技術網絡包的封裝與解封裝，有一定性能損耗。 硬件SDN，通過硬件網絡設備實現，網絡包的封裝與解封裝在交換機上，性能更優，更穩定。 硬件SDN 一般需要借助硬件防火墻、負載均衡等實現安全與流量負載能力，自動化能力稍低。

側重性能與穩定性，應優先選擇硬件SDN 方案；側重成本與自動化能力，應優先選擇軟件SDN方案。 招商證券基于以下3 點考慮，在托管云選擇軟件SDN 方案建設網絡架構：（1）經測試，軟件SDN跨宿主機訪問有約5%性能損耗，在可接受范圍內；軟件SDN 采用分布式網關，能基于虛擬機所在節點進行智能選路，流量路徑更優。 （2）軟件SDN 能提供軟件形態的網絡設備，實現更高的網絡的自動化能力，使網絡與安全資源服務化，提供給用戶更大的便利度。 （3）通過網絡多租戶技術實現云平臺多租戶，供外部客戶托管應用使用，租戶間網絡隔離，租戶內網絡靈活配置。

2.2 云管平臺CMP

CMP 在SDDC 的基礎上提供了服務編排、自助申請、計量計費，智能監控等能力，實現資源的統一管理與監控、資源申請和供應的自動化、以及資源使用過程的成本核算。

圖3 云管平臺自動化流程Fig. 3 Automation process in cloud management platform

CMP 使原來的“需求溝通-＞人工申請-＞人工審批-＞人工分配”流程簡化為“自助申請-＞人工審批-＞自助分配”，將原來數天的資源申請與供應時間縮短為分鐘。

圖4 云管平臺自服務流程Fig. 4 Self-served process in cloud management platform

2.3 SDDC 與CMP 選型

目前主流的SDDC 與CMP 產品主要包含3 種類型。

2.3.1 商業私有云產品

主流的商業私有云產品有VMware vCloud，Microsoft System Center 等。 商業私有云產品具備全套的SDDC 與CMP 組件，組件間關聯緊密，兼容性好，使用便利。 商業私有云產品包含資源管理、流程自動化、服務編排、運維監控、成本計費等多個組件，其中服務編排組件，可以對計算、存儲、網絡、安全、操作系統、軟件等進行編排，整合為可一鍵申請的服務，對于想快速供應復雜運行環境的企業，提供了很大便利。

2.3.2 開源私有云產品

開源私有云產品主要以純開源Openstack 及基于Openstack 二次開發的商業版本為主。 開源私有云產品包含軟件定義數據中心及基本的用戶管理與計費組件，可滿足基礎的自助服務申請與分配需要。純開源私有云產品成本較低，但運維難度較大。 對于運維技術人員不充足的中小型企業，一般采用基于Openstack 二次開發的商業版本。

2.3.3 公有云及其下沉的線下私有云版本

以Amazon AWS、微軟Azure、阿里云、騰訊云為主的公有云服務一般提供完整的SDDC 與CMP 功能，按需租用即可。 上述公有云服務提供商亦提供針對企業內部數據中心部署的私有云版本，如阿里云的飛天，騰訊云的TCE，AWS 的AWS Outposts，微軟的AzureStack。 公有云下沉的私有云產品能提供類似于公有云的便捷的使用方式與豐富的服務類型，但整體架構相對繁重，對硬件資源要求高，維護難度大，成本昂貴。

招商證券在云計算2.0 階段，基于成熟度，便利性，復雜資源供應敏捷度等考慮，選擇了商業私有云產品，包括軟件定義計算，軟件定義存儲，軟件定義網絡，云管平臺等組件，構建了以軟件定義數據中心為基礎，以自服務的使用方式為核心的云平臺。

3 云計算3.0：混合云及多云管理

隨著公有云技術已趨成熟，產品日漸豐富，行業相關監管政策對公有云的承認度越來越高，且公有云原生具備的快速供應，彈性伸縮等特點，尤其適合券商行情及資訊等易產生突發性高峰的業務對資源供應敏捷性的需求。 券商采用公有云承載部分非敏感性業務已成為行業趨勢。

另外，考慮到分散單品牌風險與平衡成本，避免“把雞蛋放在同一個籃子里”，企業在本地數據中心使用不同私有云產品承載不同關鍵級別的業務是更合理的做法。 比如使用成本更低的開源或商業Openstack 承載非關鍵的內部管理類業務，使用成熟度更高的商業私有云產品承載關鍵的交易類業務。

最后，伴隨著互聯網業務的高速發展，傳統的開發模式已不足以支撐敏態應用快速迭代的需求，敏捷開發模型成為企業開發首選，但同時也對基礎架構的資源類型提出了新的需求。 隨著容器、Kubernetes、微服務等技術及相應社區的成熟，采用容器云技術構建DevOps 開發流程，支撐企業敏捷開發成為了必然趨勢。

云計算3.0 階段，混合云及多云管理成為了云平臺的新形態。 企業云建設的重點由IaaS 轉化 為PaaS。

圖5 混合云與多云管理Fig. 5 Hybrid cloud and multi cloud management

3.1 混合云管理

外資混合云管平臺一般只對國外公有云如AmazonAWS、Microsoft Azure、Google GCE 等提供支持。 招商證券在云計算3.0 階段，使用了基于國產云管平臺二次開發的混合云管平臺，納管阿里云、騰訊云、微軟Azure 云等多種公有云，及本地生產、災備私有云，在公有云多區域多可用區結合本地IDC混合部署的模式承載業務，最大程度上保證了上云業務的可靠性和連續性。

圖6 混合云部署Fig. 6 Hybrid cloud deployment

3.2 多云管理

招商證券在開發測試環境使用基于Kubernetes和Dockers 的容器云和整合CI＼CD 工具鏈的PaaS平臺，構建DevOps 開發測試一體化流程，節省基礎架構資源，提高迭代開發效率。 整個PaaS 平臺運行在IaaS 平臺之上，受云管平臺統一管控。 IaaS 平臺的軟件定義網絡與軟件定義存儲技術為容器云平臺提供容器網絡插件（CNI）與持久化存儲（PV），更高地保障PaaS 平臺的租戶間的安全隔離與數據可靠性。

圖7 PaaS 平臺與DevOps 流程Fig. 7 PaaS Platform and DevOps process

4 云計算4.0：IT 即服務的云服務中臺

X86 芯片性能的提升、X86 架構穩定性的增強、分布式應用技術的成熟，為IT 資源全面云化提供了基礎。 近年，券商的絕大部分業務系統，包括核心交易系統的x86 化、云化已有了成熟的解決方案及實踐案例。

云計算4.0 階段，招商證券將打造云服務中臺，將IT 資源全面云化，為IaaS＼PaaS＼SaaS 資源申請與管控提供統一入口。 主要包含以下兩方面內容：

4.1 PaaS 向SaaS 邁進

構建應用商店，使用資源編排、自動化運維等工具、將軟件、運行環境、開發框架、自動化腳本等抽象為應用商店里的服務，無論是在裸金屬、虛擬機或容器等形態的資源之上，均可一鍵部署服務。 開發與運維人員不再需要進行重復的環境準備與配置變更工作，一切按需申請，自動部署。

圖8 SaaS 應用商店Fig. 8 SaaS application store

4.2 整合ITIL 標準化流程

隨著云計算、人工智能等技術的蓬勃發展，互聯網金融的興起，業務對運維管理提出了新的要求，以往孤立分散的監控運維體系須向監管控一體化、自動化、智能化的新型運維體系邁進，以適合云端應用對于運維的需求。

建立ITIL 標準化流程有助于解決上述需求。但傳統的ITIL 標準化流程沒有針對云環境作針對性改進，大量工作如資產錄入，配置變更，監控與事件管理等還是依賴于人工操作。 云服務中臺的資源編排與自動化能力，可為建立ITIL 流程、實現智能一體化運維包括ITSM、CMDB、智能監控、自動化運維等提供自動化接入的基礎。

招商證券在云計算4.0 階段，將在混合云管平臺的基礎上，補充從硬件到應用全棧式監控、多平臺日志管理、應用商店、自動化運維等能力，打通運維的監管控，實現ITIL 標準化流程。 最終實現運維即云，IT 即服務。

圖9 云服務中臺與ITIL 標準化流程Fig. 9 Cloud service mid-platform and ITIL standardization process

圖10 云服務中臺與ITaaSFig. 10 Cloud service mid-platform architecture

5 結束語

本文基于招商證券信息技術中心對IT 架構多年的探索與實踐經驗，從云計算1.0 至4.0 四個階段闡述了自身IT 設施云化的路徑。 該路徑以虛擬化為開始，以運維一體化，IT 即服務為階段性目標，旨在引導傳統IT 架構向云化架構平滑轉型，支撐快速增長的業務對IT 架構的敏捷性要求，為同行或其它企業IT 云化提供參考。