基于云計算技術的傳媒數據中心基礎建設研究

文｜李偉忠 張昊 浙江日報報業集團

引言

隨著互聯網應用的高速發展，對傳統媒體帶來的沖擊是非常巨大的，國內各傳媒集團對于新技術的接受和應用系統建設都十分重視，如何將新媒體的應用有效的轉化成新媒體發展的方向，其中運行支撐環境已經成為現今各傳媒主要考慮和重點關注的地方。

傳媒發展的不斷深化和信息技術的飛速發展，新媒體應用的基礎資源建設已成為傳媒集團新媒體建設發展的核心內容，并逐步成為各傳媒集團轉型新媒體的重要標志之一。但隨著業務和市場需求的不斷變化，很多傳媒集團均開始建設各種各樣的新媒體應用系統，雖然這些應用系統也滿足了部分傳媒轉型發展的應用和業務上的需求，但是也帶來了一系列問題，如:1、新媒體相關應用建設的快速和多方并行，造成整體規劃的缺失，各應用系統之間數據無法互通，同時基礎技術架構設計單一，無法應對大規模的用戶增長；2、各應用系統需要采購大量軟硬件設備，然而大部分應用系統資源利用率不高，同時運行管理維護水平不統一，造成巨大浪費；3、沒有完整的數據視圖、應用系統集成復雜度和代碼重用程度低等問題，從而導致不能有效的進行數據整合和數據分析；4、無法對整體IT系統的運行情況進行全面的監控，也就不能通過監控對產生的數據來進行IT系統的優化；5、每個應用開發商都有各自的設計思路和想法，從而對各個應用軟件開發商的協調和控制非常困難。因此對于傳媒集團規劃建設一個統一的技術架構和基礎資源平臺，能夠為將來的應用系統建設設計提出相應模板或最佳實現方式，如:完整的技術架構和規范要求、應用軟件參考架構、數據業務編碼標準、應用系統部署、系統運行響應的等級和維護規范等，從而使傳媒集團的未來應用系統更加穩定可靠、高性能、高易用性和高可維護性。

作為一種全新的互聯網應用模式，云計算的出現給傳統IT產業帶來了變革。結合傳統模式的現狀和未來的挑戰，必然需要利用相應的新技術—云計算（Cloud Computing），通過虛擬化等技術（例如:服務器虛擬化技術、存儲虛擬化技術、網絡虛擬化技術、應用虛擬化技術、高速內存緩沖技術、NoSQL技術等），實現整合使用大量的虛擬資源，為用戶提供相適應的PaaS（Platform as a Service），SaaS（Software as a service）和IaaS（Infrastructure as a Service）服務。云計算是一種典型的網絡計算模式，強調在虛擬計算環境下運行大規模應用的可伸縮性和可用性。

通過云計算技術整合傳媒現有的資源和新增的資源，建設一個“大規模的、可擴展、高性能、成本可控、易運維、易訪問、易設計和開發和高可靠性的集群系統”—即基于云計算技術的傳媒數據中心。它不僅僅是傳媒發展、新媒體轉型、運行管理以及服務等方面的重要技術支撐，更重要的是帶來人才培養的觀念、發展模式及內部管理的深刻變革。

云計算

1. 云計算概念

根據美國國家標準與技術研究院（NIST）的定義，云計算是一種利用網絡技術實現隨時隨地、按需、便捷地訪問共享資源池（如計算設施、存儲設備、應用程序等）的計算模式。計算機資源服務化是云計算重要的表現形式，它為用戶屏蔽了數據中心管理、大規模數據處理、應用部署等問題。通過云計算，用戶可以根據其業務負載快速申請或釋放資源，并以按需支付的方式對所使用的資源付費用，在提高服務質量的同時降低運維成本。

云計算的特點可歸納如下幾點:

1) 彈性服務:服務的規模可快速伸縮，以自動適應業務負載的動態變化。用戶使用的資源同業務的需求相一致，避免了因為服務器性能過載或冗余而導致的服務質量下降或資源浪費。

2) 資源池化:資源以共享資源池的方式統一管理。利用虛擬化技術，將資源分享給不同用戶，資源的放置、管理與分配策略對用戶透明。

3) 按需服務:以服務的形式為用戶提供應用于程序、數據存儲、基礎設施等資源，并可以根據用戶需求，自動分配資源，而不需要系統管理員過多干預操作。

4) 服務可計費:監控用戶的資源使用量，并根據資源的使用情況對服務計費。

5) 資源可視化:對所使用的基礎資源進行統一管理、維護，并形成基礎資源使用情況報表，直觀體現資源利用率，有利于基礎資源平臺的長期規劃和建設。

未來云計算將形成一個以基礎資源設施為核心、涵蓋基礎軟件、平臺服務與應用服務等多個層次廣泛的基礎資源服務化網絡。未來誰掌握了云計算的核心技術主動權以及核心云服務的控制權，誰就會在信息技術領域競爭格局中處于優勢地位。云計算是一個具有更廣泛含義的計算方向，能夠快速方便的支持相關應用系統的技術架構，按照展示（WEB）層－應用層（中間件層）－數據庫層的三層模式進行構建。

2. 云計算架構

云計算從服務角度劃分，云計算服務類型可以分為基礎設施即服務(IaaS)、平臺即服務(PaaS)、軟件即服務(SaaS)。

1）IaaS在服務層次上是最底層服務，接近物理硬件資源，通過虛擬化的相關技術，為用戶提供計算（運算處理）、存儲、網絡，以及其他資源方面的服務從而讓運維和系統部署人員看到的是一個虛擬的硬件資源池從而降低運維和部署難度、工作量，提高硬件資源利用率，便于用戶能夠部署操作系統和運行軟件。如亞碼遜的彈性云（Amazon，AWS）。

2）PaaS是構建在IaaS（基礎設施即服務之上）的服務，通過提供運行應用系統所需要的一系列的系統軟件資源（例如關系型數據庫資源、非關系型數據庫資源等等），解決應用系統為了承受大并發和大數據量挑戰所需要的一系列復雜的技術問題，給應用的開發和運行提供一個易用、可靠、高效、安全的運行和開發基礎環境；讓應用開發人員毋須關注底層技術細節，就可以快速開發出一個高性能、高可靠性的應用系統。它主要提供關系型數據庫服務環境、J2EE應用服務器環境、消息隊列支撐環境、工作流引擎服務器環境、Web服務器環境等應用所需要的基礎軟件設施，并且為大數據分析提供所需要的Hadoop集群基礎軟件設施。具有代表性的有Apache的開源項目Hadoop，Google App Engine和Micorsoft Azure。

3）SaaS是最上層服務，該服務是在PaaS的基礎之上并根據相應的業務需求等需要開發出一個能承受大并發和大數據量挑戰的高性能、高可靠性、較好用戶體驗的軟件應用環境，從而根據不同的業務應用的場景，演化出不同的云計算商業模式。例如消費者可以根據自己的實際需求，通過網絡向提供商定制所需的應用軟件服務，按服務多少和時間長短支付費用。例如提供該服務模式的是SalesForce公司運行的客戶關系管理系統(CRM),還有Google的在線辦公自動化軟件，思科的Webex平臺。

云計算涵蓋了硬件（服務器、網絡、存儲、終端及機房基礎環境）和軟件（例如Google的GFS、Mapreduce、BigTable、Megastore等技術和Google Application Engine；IBM的 BigInsight、GPFS On Hadoop等技術和產品等等）。云計算不僅僅是技術模式上的發展變革，并且也是商業模式上的變革創新。對于主流的云計算三種模式（Saas、Paas、Iaas），Paas模式的云計算對IT生產商和客戶來說最具有價值，必將是將來幾年的重點發展方向,而Paas模式的云計算必然是一個重大的技術變革，正如應用軟件架構從C/S架構過渡到B/S架構一樣。Paas模式的云計算提供的是一種大規模地、可靠、高效、穩定的基礎資源系統，它能夠幫助我們的使用者和開發人員解決Big Data 、Big Concurrent User、Better User Experience、Better Develop&Deploy Application等一系列問題,將來的應用軟件架構必然是Paas模式的云計算架構。

云計算數據中心設計與實現

1. 云計算數據中心特點

基于云計算技術的傳媒數據中心現階段將是一個PaaS的技術架構，并在未來向SaaS發展進化。現在設計的PaaS架構是一個軟硬件結合的基礎系統，它需要依賴一個先進的硬件架構、軟件系統底層架構以及應用開發設計規范和架構。

基于云計算技術的傳媒數據中心必然具有以下幾個重要的特點:

1) 是一個軟硬件結合的系統，它需要依賴一個先進的硬件架構、軟件系統底層架構以及應用開發設計規范和架構。它吸收和補充以及裁剪相應成熟可靠的原有技術，以適應傳媒發展的需要。

2) 提供了一個完整的開發堆棧，使用成熟技術和新技術、成熟可用的數據標準規范和成熟可用的可重用服務來構建和托管應用程序。

3) 可自動伸縮:根據應用的需要自動分配出相應的計算資源并利用相應的技術來滿足應用的伸縮需要。大幅提高硬件資源的利用率、降低空間占用和降低電力損耗。

4) 可靠性、性能和安全性:提供可實現高度可靠、高性能的基礎設施結構，從而可以大規模運行可擴展、高性能和高安全的應用系統。

5) 成本可控:通過內置完整的端到端的IT監控模塊，監控整體的硬件情況（如:服務器、存儲、網絡的使用情況、數據庫系統和中間件系統的使用情況）；監控各個應用的運行情況（如:請求負載情況、性能瓶頸，數據存儲容量消耗情況等）。通過自動化的監控模塊，運維人員可以更加快速和方便的維護各應用系統。

6) 管理可控:通過提供一系列的開發設計和架構規范，以及可重用的服務等，降低和協調成本，提高開發效率。

7) 消除數據孤島和應用豎井:統一管理各應用系統所需要的數據庫系統和數據服務，為大數據分析提供數據資源。

8) 客戶體驗至上，適應頻繁的應用發布與線上系統變更調整工作，以及對數據的歸納反饋分析。

2. 云計算數據中心實現

2.1 基礎設施架構（IaaS）實現

在基礎設施架構（IaaS）中，通過對服務器等基礎資源的虛擬化形成基礎資源池以充分利用服務器資源以降低所需的服務器數量從而降低機房空間和節能低碳，逐步將現有核心模塊和應用遷移運行到虛擬機環境中；通過網絡虛擬化形成相應的網絡隔離以建設一個更加高效、安全的網絡基礎設施，并把各應用從網絡上隔離開；通過存儲虛擬化讓存儲資源更加高效的利用和降低對不同廠商和不同型號存儲設備的維護成本，并且可以提高存儲的工作效率。通過基礎設施架構實現各相關應用系統環境之間通過云計算技術的數據中心進行聯絡，建設一個更加高效、安全的基礎設施。

2.1.1 服務器資源

基礎架構中服務器資源的建設對于云計算平臺而言是核心基礎建設工作，虛擬化對于計算或者處理資源的需要及利用是云計算平臺建設成功的標志。根據應用的需求搭建合適的服務器資源平臺，實現應用服務的支撐環境，如針對WEB應用環境和應用（中間件）環境均可以采用虛擬化平臺實現資源的充分利用，同時通過對硬件服務器資源的冗余架構建設，實現最短時間內的系統重建工作，實現服務器硬件資源環境的穩定可靠。

2.1.2 網絡環境

基礎架構中網絡技術對于云計算平臺而言的要求在于高速交換和低時延響應上，現在虛擬化技術的發展對于網絡環境而言是一種變革，變革的方向是將網絡也轉換成為計算資源的延伸和附加，以滿足計算數據交換時的高速和低時延響應。

2.1.3 存儲系統

基礎架構中存儲技術對于云計算平臺而言是整個數據中心平臺的核心，針對傳媒數據中心平臺規劃的存儲系統，主要考慮長期的發展，采用可擴展的節點建設的模式，最大程度的滿足存儲系統長遠的發展和數據暴增帶來的數據壓力；采用節點擴展的方式，也為建設高性價比和可擴展性強的存儲系統，減少在建設初期的一次性投入，便于后期的擴展確保建設的長遠性。

2.1.4 虛擬操作系統平臺

對于云計算平臺的核心技術就是虛擬化技術的實施，對于建設一個功能完善的云計算平臺而言選擇合適的虛擬操作系統至關重要。現今主流的虛擬操作系統如Vmware EXS、Citrix XenServer、Microsoft Hyper-V、KVM等都可以實現虛擬環境的搭建工作，但如何充分利用基礎資源各種虛擬操作系統各不相同，需要根據相應的建設實際進行選擇。

2.1.5 災備建設

基礎架構的建設中，考慮到傳媒數據中心的長遠建設發展規劃，為確保各應用系統的連續性也是建設的關鍵所在。對于基礎資源的規劃中還需要建設一個災難恢復平臺，確保所有應用得到最基礎可靠的保護，同時通過規劃定義的恢復處理機制，實現無中斷應用支撐以及站點恢復和遷移流程的自動化。

2.2 軟件基礎設施架構(Pass)實現

2.2.1 基礎架構實現

基于云計算的軟件基礎設備架構必然是建立在一套完善可擴展的基礎資源平臺上的，采用多級架構平臺實現數據庫環境、應用服務環境、WEB應用環境的基礎建設。同時輔助各種支撐服務功能，如計費和安全管理，確保整體平臺的建設。

基于云計算技術的傳媒數據中心平臺，采用“展示－應用－數據庫”三層的技術架構來建設傳媒的基礎軟件支撐平臺，從而讓所有的應用成為一個整體，充分利用現今的技術和今后的發展方向來確保系統的長遠發展。

2.2.2 數據庫環境

現在主流的數據庫資源平臺都可以實現群集功能，并逐步向規模化、分布化、節點化方向發展，通過建立數據庫平臺防范因為硬件資源造成的數據庫的故障，同時支持多數據庫的應用需求，減少傳媒應用中不同項目對數據庫基礎資源的建設。數據庫平臺的建設實現數據庫環境的冗余，確保相應的應用穩定和快速擴張。

2.2.3 應用服務（中間件）環境

應用服務（中間件）環境主要滿足前端展示平臺向后端數據庫平臺數據訪問調用的應用建設模式，同時確保應用后臺數據的安全可靠。

基于云計算環境的應用服務基礎，針對不同的應用需求提供應用支撐。現今流行的應用解決方案大多采用應用負載均衡的方式，提供所需的應用服務環境，實現應用運行的快速可靠，并確保后臺數據的安全穩定。

2.2.4 WEB應用環境

互聯網的發展對于各應用系統而言，基本上向B/S架構進行轉化，通過WEB模式提供應用的展示或者交互訪問需求。基于云計算技術，結合新媒體應用的WEB訪問需要，采用虛擬化技術搭建整個應用支撐基礎平臺，提供完整的WEB訪問應用環境。

同時針對不同項目的WEB應用，集中在一個平臺上進行支撐，充分利用虛擬化技術和負載均衡機制，減少基礎資源的消耗，充分利用技術提供最新的WEB應用的訪問服務環境，便于整個平臺的建設和管理，同時實現自動化的資源調配，減少對外提供WEB應用所消耗的硬件資源、IP地址資源等。

2.2.5 自助服務

對于傳媒數據中心平臺上的各種服務資源的調配，通過建立自助服務平臺，實現自動調配和發布應用的方式，減少后臺技術人員的人為參與和管理維護，通過流程化的管理實現規范，使應用的設計和構建方式實現標準化，從而使用戶只需進行一次建模，隨后即可在多種資源中進行部署和更新應用；也可以建立標準模板，直接對用戶提供從基礎資源、軟件、配置和依賴關系的相關配置服務，達成真正意義上的云計算服務。

2.2.6 安全平臺

基于云計算技術的服務平臺建設，因為提供的是服務，同時相關的安全防護措施是必不可少的。對于云計算技術建設的數據中心，采用的是虛擬化技術建設的平臺，可以充分利用虛擬平臺的安全服務功能來保護和隔離關鍵應用，包括應用防火墻、負載均衡、流量管理、入侵檢測和病毒防護體系。

2.2.7 計費管理

基于云計算技術建立的數據中心平臺還能夠準確地計算各項基礎資源的建設成本、分析和產生相關資源使用情況報告，通過報表對云計算平臺上的資源，進行記錄、監控和優化，通過優化資源，確保應用的運行穩定可靠。對于用戶在獲得實際基礎技術架構支撐的同時，也可以明確用于支持業務應用服務所需運營的可視性成本，通過成本的具體反應和分析，便于用戶更好地了解項目的發展預期，提高資源利用率，實現資源按需支付的愿景。

結束語

在數據中心建設完成后，不斷通過對應用上線進行的調整來完善整個數據中心的支撐能力，通過標準化的IT服務，實現現有的基礎資源設施環境，達到以天為單位的可擴展的云服務，快速經濟地響應業務需求，為各應用系統提供強有力服務支撐。

同時通過對數據中心的數據分析，對傳媒相關業務數據進行有效分析，為傳媒的轉型提供相應的解決思路，也為進一步完善和改進各種資源調度策略提供依據，從而實現更加智能的輔助運維及管理功能，最終實現傳媒發展的長遠目標。

基于云計算的傳媒數據中心旨在通過云計算技術，實現對各種資源系統的綜合服務管理能力，建立一個互聯互通、信息共享以及服務傳媒、轉型研究和規范發展的“傳媒基礎服務平臺”，以解決業務眾多、分布異構、處理復雜、硬件更新頻繁、軟件安裝繁瑣和數據安全凸顯等問題，改善傳媒在基礎資源、軟件架構及運行管理建設方面所遇到的困境。■