
編者按:新的一年,“高手論技”繼續伴隨大家前行,身處一線的你,就那些技術上最常遇到的故障、最需要解決的難題、最成熟的應用……都可以在此暢所欲言,各抒己見。是繼續圍觀還是現身說法,新浪微群http://q.t.sina.com.cn/264976,期待您的共同參與。
關于云計算的討論早已經沸沸揚揚,各種互聯網服務都在向“云”靠攏,云平臺、云服務、云查殺、云端……各種大“云”小“云”雨后春筍般露出頭角,似乎與云不沾邊就已經落伍于時代。本刊也開辟過多期云計算輔助教學的專欄,但“云”的技術實現尤其是在校園網上的技術實現還未曾涉及。本期高手論將繼續漫談私有云。
應用沙龍
私有云漫談
主持人:
邱元陽河南省安陽縣職業中專
嘉賓:
劉宗凡廣東省四會市四會中學
劉樹明廣東省深圳市第二實驗學校
第四屆云計算中國峰會剛剛結束,而有關云計算的話題仍熱度依舊。由于公有云的高昂代價和安全性缺陷,目前國內的云架構主要還是主打私有云。
● 今天你“云”了嗎?
邱元陽:云計算通過大量的分布式計算機,經過網絡將服務延伸到了我們生活的各個角落,不知不覺中,我們已經置身于云服務的包圍中了。云存儲、云查殺、云安全、云搜索、云終端……各種“云”的名詞不斷涌現,似乎我們的網絡生活,無不與“云”密切相關。
劉樹明:很多的“云”口號,其實并不關云計算的事,只是一種時尚和跟風。
邱元陽:概念泛化的結果,使得云服務包羅萬象,基本上各種網絡應用都被收納于“云”的旗下。
劉宗凡:云計算普遍被認為是計算機、互聯網之后的第三次重要革命,將對未來產生不可估量的影響。目前對云計算還沒有一個完全統一的認識,標準尚未形成,各個企業有不同的定義。“云計算”的內涵還在不斷發展,所以,中國與發達國家相比,在云計算方面雖然整體上落后一些,但大致仍處于同一起跑線上。正是因為這樣,對于沒有趕上前兩次革命的中國,云計算更是充滿了挑戰和機遇。云計算將是中國高科技行業走向潮頭的“最后的機會”。云計算帶來的不僅僅是技術變革,更會是一場社會變革。
劉樹明:但是,云計算是昂貴的。
劉宗凡:對于建設公有云來說,成本無疑是昂貴的。在今年3月13日,北京市與內蒙古自治區在北京飯店舉行“京錫共建戰略性新興產業體系合作協議”簽字儀式,共建云計算數據中心產業鏈的核心目標是:京蒙兩地用5年左右的時間,建成500萬臺服務器規模的超大云計算數據中心,使內蒙古成為全球首屈一指的國際信息港,有力提升中國在全球云計算產業中的主導地位。合作協議全部項目總投資將達2000億元。
劉樹明:除了前期投資,云計算數據中心的資源消耗也是非常驚人的。以100萬臺服務器的規模計算,如果每臺服務器的功耗為250W,使機器保持在正常溫度工作需要的電量約為其功耗的1~2倍,以1倍計算,服務器功耗加降溫功耗約500W,則一年需要耗電約為:100萬×365×24×0.5=4380000000度,以工業用電每度1元計算,每年僅電費就將近50億元。為了減少降溫所需要消耗的能源,谷歌將其云計算數據中心部署在比利時寒冷的荒野(如下圖),讓其自然冷卻。僅此一舉就將為公司節約大量資金,且對環境的保護和能源的節約來說意義重大。
邱元陽:由此看來,我國面對云計算的機遇,既要迎頭趕上,也要避免盲目建設,造成資源和能源的浪費。
劉宗凡:不過,云服務的使用是廉價的。
劉樹明:是的。雖然建設、維護大型公有云非常昂貴,但我們對云服務的使用是按需取用的,如建設自來水廠和鋪設水管等并不便宜,但我們卻能使用到廉價的自來水。
劉宗凡:舉個例子,《紐約時報》想把創刊后的1100萬篇文章從TIF格式轉換為PDF格式。這需要大量的計算,如果自建系統,可能需要幾個月的時間,而且花費不菲,但是它租用亞馬遜的云計算中心,短短24小時就完成了任務,耗資僅僅240美元。
邱元陽:正因為公有云建設的代價高昂,才有了私有云的發展空間。
● 是是非非私有云
劉樹明:既然使用公有云的服務非常便宜,那么私有云還有存在的必要嗎?
劉宗凡:云計算數據的處理和存儲都在云平臺上進行,計算資源的擁有者與使用者相分離已成為云計算模式的固有特點,由此而產生的用戶對自己數據的安全存儲和隱私性的擔憂是不可避免的。具體來說,用戶數據甚至包括涉及隱私的內容在遠程計算、存儲、通信過程中都有被故意或非故意泄露的可能,亦存在由斷電或宕機等故障引發的數據丟失問題,甚至對于不可靠的云基礎設施和服務提供商,還可能通過對用戶行為的分析推測,獲知用戶的隱私信息。
劉樹明:也就是說,除了使用代價,還要考慮信息安全性問題。
劉宗凡:可以說現在云計算的核心就是安全問題。數據安全對企業來說,就是它的生命。雖然云計算的核心就是保證數據的安全,但還是不能確保萬一。對于企業來說重要數據的丟失或泄漏將涉及企業的生死存亡。因此,不少企業舍棄廉價的公有云服務,不遺余力建設自己的私有云。雖然私有云也無法做到絕對安全,但建立在防火墻后的私有云,它的穩定性、安全性、可靠性、服務質量、資源管理的便利性都比公有云更讓企業放心。
邱元陽:不管公有云是多么強大、廉價,私有云都有其存在的價值。它將成為公有云的一個有益的補充,甚至比公有云有著更廣闊的前景。
劉宗凡:較之通過Internet進行訪問來提供給公眾使用的公有云,私有云一般在防火墻之內,專為某企業提供運營服務,因此在安全性、法規遵從以及服務質量方面更加具有保障,也更加容易集成現有應用,降低運營成本。但是公有云使用成本更低,管理負擔更輕,在容量分配等方面更具有優勢。可以在私有云和公有云之間,通過一種混合云的方式,提供企業發展所需要的IT服務,沒有必要把所有的應用全部構建在私有云中。對于有些應用而言,私有云成本過高,而且在安全、可靠性方面沒有很高的要求,就適合使用公有云的服務。
劉樹明:在我們可以了解到的IT信息中,私有云主要還是在企業中應用,學校的校園網上似乎還比較少見。
邱元陽:一方面,私有云的建設成本較高,尤其是采用現有大公司的成套解決方案時。如果自建,對于基礎教育的中小學來說,人員與技術力量無法達到,一般也沒有更多可以提供的云服務,但是對于高等院校和職業學校,它的優勢卻具有很大的吸引力。
劉宗凡:如果校園網的管理人員有能力自己建設私有云,它的代價將變得很低,而且基于虛擬化的應用在安全性和服務器節約以及硬件成本、運維成本上較之傳統校園網都有非常大的優勢。
邱元陽:如果私有云的技術壁壘被打破,會很快從企業普及到大學校園網,甚至中職學校的校園網,而且很可能會成為校園網絡的趨勢。
● 私有云的信息安全
劉樹明:云計算存在著先天不足,那便是它的隱私與安全。云計算給信息安全帶來了巨大的挑戰,一方面計算和數據資源的集中化對信息安全提出了新的要求,另一方面云計算改變了傳統的IT網絡模式,傳統的網絡安全產品失去了部署位置。
劉宗凡:私有云的安全有這樣幾個核心問題:
1.身份與權限控制
在虛擬、復雜的環境下,如何保證自己的應用、數據依然清晰可控,使得身份與權限控制非常重要。
2.Web安全防護
用戶使用云計算,以Web應用作為唯一的接口,各種Web攻擊直接影響到私有云的發展。
3.虛擬化的安全
虛擬化是云計算最重要的技術支持之一,云計算和傳統IT環境最大的區別就在于其虛擬的計算環境,使得其安全問題和以前相比更加難以解決。
邱元陽:云時代,大家更加關心的是云存儲的安全性。華碩所倡導的企業私有云Turnkey Solution解決方案是目前全球唯一整合了云端平臺、企業應用軟件和服務器系統的完整方案,不但將數據儲存于企業防火墻內,同時擁有SSL加密、智能云端數據過濾以及金融VIP安全等級的OTP動態密碼身份認證、異地備援與多點機房架構,再加上AES數據加密機制,為用戶提供了安全可靠的數據防護。另外,HP的私有云解決方案也是包括了軟硬件和服務、安全在內的完整方案。
● 私有云的存儲系統
劉樹明:說到云計算,始終都繞不開存儲這個基礎支撐組件,dSaaS(data-Storage-as-a-Service)更是把存儲提到了首要的位置。而從我們目前能得到的信息來看,現在越來越多的公司在云存儲應用方面已經解決得相當好了,我能了解的國內的應用得比較好的公司就有金山(金山快盤)、迅雷(迅雷離線下載服務)和騰訊(文件中轉站、QQ郵箱超大附件上傳等)等公司。
邱元陽:云服務帶來的一個重大變革是從以設備為中心轉向以信息為中心,而大量的信息,需要海量的存儲,存儲容量的單位GB都顯得有些不夠用了,進而出現TB(TeraByte)、PB(PetaByte)、EB(Exa Byte)、ZB(ZettaByte)、YB(YottaByte)、NB(NonaByte)、DB(DoggaByte)等容量單位。2010年人類創造的數據總量約為1.2ZB。在私有云部署中,網絡存儲也是不可或缺的,校園網存儲系統的容量一般在20TB左右就夠用了。
劉宗凡:網絡存儲從結構上大致分為三種:直連式存儲(DAS:Direct Attached Storage)、網絡附著存儲(NAS:Network Attached Storage)和存儲網絡(SAN:Storage Area Network)。
DAS也包括了SAS(Sever Attached Storage,服務器連接存儲),其存儲產品是作為計算機的附屬部分,采用直接連接存儲結構,如作為服務器的內部硬件驅動,是計算機系統中最常用的數據存儲方法。
NAS采用直接與網絡介質相連的特殊設備實現數據存儲,這些設備都分配有IP地址,所以客戶機可以直接訪問或通過充當數據網關的服務器對其進行存取訪問。NAS設備非常易于部署,適合數據的長距離傳輸,其基于網絡的文件級鎖定提供了高級并發訪問保護的功能,因而很適于低成本的網絡存儲,如在校園網和辦公自動化環境中的存儲系統。NAS有文件操作和管理系統,其基本應用是文件和數據的共享。
SAN是指存儲設備相互連接且與一臺服務器或一個服務器群相連的網絡,可以看作是通過網線連接的磁盤陣列,具備磁盤陣列的所有主要特征,如高容量、高效能、高可靠性等。SAN屬于高性能的網絡存儲,安裝容易、部署快速,對服務器要求低,具有更快的響應速度和更高的數據帶寬,但只能獨享數據存儲池。
劉樹明:從結構模型看,私有云的存儲系統由以下四層組成。
1.存儲層
存儲層是云存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備,可以是NAS和iSCSI等IP存儲設備,也可以是 SCSI或SAS等DAS存儲設備。存儲設備之上是一個統一存儲設備管理系統,可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理,以及硬件設備的狀態監控和故障維護。
2.基礎管理層
基礎管理層是云存儲最核心的部分,也是最難以實現的部分。基礎管理層通過集群、分布式文件系統和網格計算等技術,實現云存儲中多個存儲設備之間的協同工作,使多個存儲設備可以對外提供同一種服務,并提供更大、更強、更好的數據訪問性能。CDN內容分發系統、數據加密技術保證云存儲中的數據不會被未授權的用戶所訪問,同時,通過各種數據備份、容災技術和措施可以保證云存儲中的數據不會丟失,保證云存儲自身的安全和穩定。
這里非常值得一提的是Sun公司推出的非常優秀的開源文件系統ZFS,現在最新的版本已經升級到了2.8。它的優點大家都可以很容易在網絡上查到,這里就不多說了,我感到非常驚異的是它的RAID-Z池的容錯性能(注:RAID-Z包括RAID-Z1、RAID-Z2、RAID-Z3,分別容許1、2、3個硬盤損壞)。我們都知道RAID5陣列能在容許一塊硬盤損壞的情況下盡量節省磁盤空間(可能會犧牲一些性能),我拿7塊硬盤在FreeBsd9.0操作系統下面做試驗時發現,它比RAID5更優異的性能是它在人為拔走一塊硬盤的情況下,仍然可以讀寫數據(RAID5只能讀不能寫),只是整個Zpool的空間被減去了拔走的那塊硬盤的容量而已。插回硬盤后,能夠自動Resilvering(“縫合”的意思),恢復整個Zpool的功能和容量。
3.應用接口層
應用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業務類型,開發不同的應用服務接口,提供不同的應用服務。比如視頻監控應用平臺、IPTV和視頻點播應用平臺、網絡硬盤應用平臺、遠程數據備份應用平臺等。
4.訪問層
任何一個授權用戶都可以通過標準的公共應用接口來登錄云存儲系統,享受云存儲服務。云存儲運營單位不同,云存儲提供的訪問類型和訪問手段也不同。
劉宗凡:實際上,上面這四層中的第一層相當于物理硬件,第二層相當于系統層,這兩層除了云系統管理人員,一般的用戶是看不到的。第三層是應用接口層,它為存儲系統開放接口,提供對外的服務。這層對用戶來說表面上也是不透明的,它通常是通過WEB2.0技術和第四層的訪問層進行交互。我們可以使用網絡抓包工具捕捉到它們的會話過程,不過它們的會話過程通常都經過了加密,我們只能監聽到它們有會話動作,無法確定會話內容,更不能獲取它們之間的通訊協議。第四層直接和終端用戶進行交互,像金山快盤和迅雷就是通過客戶端軟件的形式面向用戶,而騰訊的產品通常是通過在用戶機器上安裝WEB瀏覽器插件的方式向用戶提供服務。
邱元陽:簡單地看,虛擬化加集群再加網絡存儲,就構成了私有云的框架,而私有云中的各種應用和服務,還要依賴于存儲系統。
劉樹明:云存儲不是要取代現有的磁盤陣列,而是為了應對高速成長的數據量與帶寬而產生的新的形態的存儲系統,因此云存儲在設計時通常會考慮以下幾點:
1.容量、帶寬的擴容是否簡便
擴容不能停機,會自動將新的存儲節點容量納入原來的存儲池,不需要做繁雜的設定。
2.帶寬是否線性增長
私有云要考慮未來帶寬的增長,因此私有云存儲產品設計的好壞會產生很大的差異,有些十幾個節點便達到飽和,這樣對未來帶寬的擴容就有不利的影響,這一點要事先弄清楚,否則等到發現不符合需求時,已經買了幾百TB,后悔就來不及了。
3.管理是否容易
騰訊公司的服務器數量超過了10萬臺,Google據說超過了100萬臺。我們學校這樣的單位雖然說遠遠達不到這個數字,但是500~1000名教職工的學校還是有很多的。這些單位隨著數據量的逐步增多,服務器增長到100臺以上是很平常的事情,管理超過100臺服務器的存儲就是一項巨大的工作,一不小心就可能導致某些應用的崩潰。如果采用私有云方案,節約服務器數量的同時,使用網絡存儲系統,就可以把應用遷移到云存儲,管理的就是一臺存儲,而不是100臺甚至更多臺存儲。管理一臺存儲不容易出錯,分別管理幾百臺要不出錯就很難了。因此云存儲的應用是一個必然的趨勢,存儲管理是否容易也應考慮。
邱元陽:實際上很多時候,我們在不知不覺中也使用了網絡存儲。除了各種網盤、網絡空間、郵箱、網上相冊等,就連在局域網教學環境中使用的微軟的虛擬應用程序,實際上也是使用了網絡存儲,學生端不用專門安裝軟件,完全從服務器讀取軟件配置環境和程序。而“云端”系統則可以讓我們直接從互聯網上來使用各種綠色或“綠化”的軟件(因為版權問題,這種形式還不能推廣)。
劉宗凡:在校園網中建立云存儲也是有必要的。我們平時有很多資料是大家都需要用到的,如常用軟件(Windows安裝盤,Office安裝包之類)、視頻、電影等,如果每個人要用的時候都去網上下載,幾百名教職工就要下載幾百份,這給校園網帶來的外網帶寬壓力是非常巨大的,如果我們建立云端,將共享文件實行統一管理,并采用哈希摘要建立索引,自動查詢用戶需要的資料,優先使用私有云端現有文件庫,就能大大減少外網壓力,同時也能極大地節省用戶遠程下載所花費的時間。如果采用一些類似Samba的協議,允許用戶直接打開云端文件,用戶壓根兒都不需要將一些大型資料下載到本機,更是大大節省了時間和硬盤空間。
● 結語
在第四屆云計算中國峰會上,國家信息中心專家委員會主任寧家駿指出:“我們一定不能人‘云亦‘云,一定要化‘云為雨。”建設不是目的,應用才是根本,化“云”為雨,讓私有云真正為我們所用,為教育服務,才是我們的目標。