基于OpenStack彈性網(wǎng)絡(luò)影視服務(wù)平臺的構(gòu)建

李　磊， 張　穎， 呂念玲， 嚴(yán)穗東， 張　健， 章晉龍

(1. 華南理工大學(xué) 電子與信息學(xué)院， 廣東 廣州　510641； 2. 21 CN有限責(zé)任公司，廣東 廣州　510630； 3. 廣東電網(wǎng)發(fā)展研究院， 廣東 廣州　510070)

?

基于OpenStack彈性網(wǎng)絡(luò)影視服務(wù)平臺的構(gòu)建

李磊1， 張穎2， 呂念玲1， 嚴(yán)穗東2， 張健2， 章晉龍3

(1. 華南理工大學(xué) 電子與信息學(xué)院， 廣東 廣州510641； 2. 21CN有限責(zé)任公司，廣東 廣州510630； 3. 廣東電網(wǎng)發(fā)展研究院， 廣東 廣州510070)

基于OpenStack開源云計(jì)算平臺，采用AR模型作為自適應(yīng)資源構(gòu)建的模型，構(gòu)建了一個(gè)網(wǎng)絡(luò)影視服務(wù)的云計(jì)算平臺。該平臺能根據(jù)預(yù)測負(fù)載壓力彈性地分配計(jì)算資源，滿足視頻點(diǎn)播、在線觀看、在線轉(zhuǎn)碼等不同的資源需求，實(shí)現(xiàn)資源的彈性構(gòu)建和高效用比。在應(yīng)用方面，該網(wǎng)絡(luò)影視服務(wù)平臺不僅可以成為面向包括在線視頻教學(xué)、網(wǎng)絡(luò)影視點(diǎn)播的示范系統(tǒng)，也可作為網(wǎng)絡(luò)的示范應(yīng)用系統(tǒng)。

云計(jì)算平臺； 網(wǎng)絡(luò)影視平臺； 彈性資源構(gòu)建；OpenStack

在我國，網(wǎng)絡(luò)影視在互聯(lián)網(wǎng)的用戶數(shù)量和使用的頻次逐年提高，網(wǎng)絡(luò)影視應(yīng)用已經(jīng)成為當(dāng)今人們網(wǎng)絡(luò)文化消費(fèi)的重要組成部分。據(jù)有關(guān)統(tǒng)計(jì)數(shù)據(jù)，人的上網(wǎng)時(shí)間并不均衡[1]，而傳統(tǒng)的互聯(lián)網(wǎng)計(jì)算資源投入無法按照互聯(lián)網(wǎng)用戶的行為和需求進(jìn)行彈性的資源伸縮，造成了資源和能源的巨大浪費(fèi)，難以實(shí)現(xiàn)高效用比。提高網(wǎng)絡(luò)影視服務(wù)資源的效用比，使網(wǎng)絡(luò)影視的計(jì)算資源適配人群的訪問壓力并得到有效的使用，已成為網(wǎng)絡(luò)影視服務(wù)技術(shù)研究的關(guān)鍵問題。

同樣，在云計(jì)算[2]領(lǐng)域，資源調(diào)度和效用比的研究也是當(dāng)前云計(jì)算技術(shù)和學(xué)術(shù)研究的熱點(diǎn)之一，包括了用戶的資源利用率、資源調(diào)度的過程、服務(wù)的響應(yīng)時(shí)間和服務(wù)隊(duì)列長度等問題[2-6]，其目的在于降低云計(jì)算平臺運(yùn)行的無效損耗，提高資源效用比，使得用戶的按需使用可以進(jìn)一步得到精確的體現(xiàn)，達(dá)到“綠色云”[7]的要求。

本文結(jié)合云計(jì)算的特點(diǎn)和優(yōu)勢，以目前開源架構(gòu)中發(fā)展最迅速的架構(gòu)——OpenStack為基礎(chǔ)，構(gòu)建面向網(wǎng)絡(luò)影視的云計(jì)算平臺。該平臺具備按需使用的彈性資源調(diào)度，實(shí)現(xiàn)高質(zhì)量的網(wǎng)絡(luò)影視服務(wù)，提供包括MOOC在線視頻教學(xué)、網(wǎng)絡(luò)影視點(diǎn)播等服務(wù)。

1　OpenStack設(shè)計(jì)框架的簡介

OpenStack是由Rackspace和NASA共同發(fā)起的云計(jì)算平臺解決方案，至今已發(fā)布了13個(gè)版本[8]。OpenStack采用模塊化設(shè)計(jì)，包括7個(gè)核心子工程：

(1)Nova——提供虛擬主機(jī)的調(diào)度、創(chuàng)建和刪除、簡單網(wǎng)絡(luò)資源管理功能；

(2)Cinder——提供網(wǎng)絡(luò)的塊存儲設(shè)備；

(3)Glance——提供創(chuàng)建虛擬主機(jī)所需的鏡像注冊、存儲和刪除功能；

(4)Swift——提供對象方式的分布式存儲功能；

(5)Neutron——提供用戶自定義網(wǎng)路的功能，包括用戶網(wǎng)絡(luò)拓?fù)涞亩x和網(wǎng)絡(luò)資源的隔離；

(6)Keystone——服務(wù)權(quán)限的驗(yàn)證、用戶信息注冊、修改、刪除和相關(guān)服務(wù)權(quán)限管理功能；

(7)Horizon——基于Djiango架構(gòu)的Web服務(wù)，提供面向終端用戶的網(wǎng)頁操作管理功能。

OpenStack的工程架構(gòu)如圖1所示。

圖1　OpenStack工程架構(gòu)

Nova子工程是OpenStack平臺虛擬機(jī)資源管理的主要工程，該工程的組建可以劃分為兩種不同的服務(wù)進(jìn)程：

(1) 接受和處理用戶的API請求的WSGI應(yīng)用，如Nova-Api；

(2) 執(zhí)行具體任務(wù)的Worker守護(hù)進(jìn)程，如Nova-Compute、Nova-Scheduler等。

其中各個(gè)服務(wù)進(jìn)程的具體作用包括：

Nova-API：用于接受和響應(yīng)用戶的API請求，初始化大部分業(yè)務(wù)流程行動(dòng)(例如運(yùn)行一個(gè)虛擬機(jī)實(shí)例)以及執(zhí)行一些流行星系的檢查(主要是用戶需求的虛擬機(jī)配額檢查等)；

Nova-Scheduler：為OpenStack云平臺創(chuàng)建虛擬機(jī)時(shí)提供資源調(diào)度策略，并選擇最合適的計(jì)算節(jié)點(diǎn)，其中策略主要包括簡單的隨機(jī)調(diào)度策略、虛擬機(jī)優(yōu)先集中部署的調(diào)度策略、基于計(jì)算節(jié)點(diǎn)已使用CPU、內(nèi)存、磁盤等信息的篩選調(diào)度策略等；

Nova-Compute：通過虛擬化工具的API管理虛擬機(jī)的生命周期；

Queue：負(fù)責(zé)Nova工程各個(gè)組件之間的消息傳遞。

2　云計(jì)算平臺自適應(yīng)彈性計(jì)算資源的構(gòu)建

由于網(wǎng)絡(luò)的用戶訪問壓力是時(shí)間序列信息，故采用AR模型作為自適應(yīng)資源構(gòu)建模型。AR模型是一種線性預(yù)測，即已知N個(gè)數(shù)據(jù)，可由模型推出第N點(diǎn)后面的數(shù)據(jù)，類似于插值，目的都是為了增加有效數(shù)據(jù)[9]。式(1)為AR線性模型的數(shù)學(xué)表述。

(1)

在實(shí)際應(yīng)用過程中，本文采用AR模型的Yule-Walker方程對N(tm+1)進(jìn)行估計(jì)，基本數(shù)學(xué)表達(dá)式為

(2)

其中，

對式(2)建立Yule-Walker方程

(3)

其中r(s)=E[N(tn)N(tt-s)]。通過對a(n)參數(shù)的求解，將其代入式(1)可對下一個(gè)時(shí)刻的互聯(lián)網(wǎng)的用戶訪問壓力進(jìn)行預(yù)測。

本文為了驗(yàn)證AR模型的有效性，以Matlab為平臺，采用Poisson(電信接入的分布模型)分布的隨機(jī)數(shù)據(jù)序列作為原始數(shù)據(jù)輸入進(jìn)行仿真，其中序列長度為m=5。仿真結(jié)果顯示，在每個(gè)時(shí)刻其預(yù)測結(jié)果相對于原始的輸入數(shù)據(jù)數(shù)值偏低。為了進(jìn)行修正，引入了加權(quán)修正因子b。修正后的AR線性預(yù)測模型數(shù)學(xué)表達(dá)為

式中，b=1.4。

圖2為修正前后的仿真結(jié)果對比。從圖2可以看出，改進(jìn)后的AR效果在峰值和提前量上有所改進(jìn)，可以較好地對網(wǎng)絡(luò)的訪問壓力進(jìn)行預(yù)測。

圖2　修正后的AR線性預(yù)測模型仿真效果對比

在實(shí)際使用過程中，根據(jù)監(jiān)控?cái)?shù)據(jù)獲取的難易程度，以虛擬機(jī)集群CPU的負(fù)載作為網(wǎng)絡(luò)訪問壓力的指標(biāo)，結(jié)合OpenStack資源調(diào)度的特點(diǎn)對資源調(diào)度服務(wù)Nova-scheduler進(jìn)行了重新設(shè)計(jì)，調(diào)度策略如圖3所示。

圖3　基于OpenStack的彈性自適應(yīng)資源調(diào)度策略

為了保證每個(gè)虛擬機(jī)運(yùn)行的穩(wěn)定性，本文規(guī)定負(fù)載上限為70%，下限為30%，保證系統(tǒng)運(yùn)行的穩(wěn)定性。

3　彈性網(wǎng)絡(luò)影視云計(jì)算服務(wù)平臺的構(gòu)建

在整體平臺的設(shè)計(jì)上，本文的主要目的是研發(fā)一個(gè)以分發(fā)系統(tǒng)、轉(zhuǎn)碼為基礎(chǔ)的多業(yè)務(wù)化的網(wǎng)絡(luò)影視服務(wù)平臺，提供包括視訊點(diǎn)播、多終端適配、高清視頻服務(wù)等在內(nèi)的網(wǎng)絡(luò)影視服務(wù)平臺，該平臺整體結(jié)構(gòu)如圖4所示。

OpenStack云計(jì)算平臺提供云轉(zhuǎn)碼的計(jì)算資源，提供包括視頻編碼、直播和播控管理等，主要表現(xiàn)為：

(1) 云轉(zhuǎn)碼平臺不僅提供對多種終端類型的支持，而且面對不同終端接入實(shí)時(shí)轉(zhuǎn)碼請求時(shí)，支持接入終端的型號、瀏覽器、操作系統(tǒng)、屏幕尺寸和分辨率進(jìn)行智能匹配；

(2) 支持針對接入終端的播放能力(如媒體格式、編碼和比特率等)的智能匹配。

其中智能終端適配網(wǎng)絡(luò)影視服務(wù)的具體步驟如下：

(1) 某一個(gè)終端對Web服務(wù)發(fā)起訪問請求；

(2)Web服務(wù)的Header頭信息提取及處理模板，獲取并分析Header頭的信息，遍歷各個(gè)字段比對已知的Header庫，并交由處理模塊處理,未匹配的信息寫入未知的Header頭信息庫；

(3) 對Header頭信息里的UserAgent交由操作系統(tǒng)模塊處理：信息與操作系統(tǒng)庫的數(shù)據(jù)進(jìn)行正則匹配并找到該設(shè)備的操作系統(tǒng)，沒有匹配則寫入未知設(shè)備庫；

圖4　基于OpenStack彈性資源池的網(wǎng)絡(luò)影視服務(wù)系統(tǒng)結(jié)構(gòu)圖

(4) 步驟(2)中Header頭信息里面的UserAgent交由瀏覽器系統(tǒng)模塊處理：信息與瀏覽器庫的數(shù)據(jù)進(jìn)行正則匹配，沒有匹配成功則寫入未知設(shè)備庫；

(5) 步驟(2)中Header頭信息里面的x-wap-profile交由設(shè)備處理模塊處理，該步驟主要是獲取該終端的設(shè)備型號、廠家名稱、屏幕寬高等信息并寫入設(shè)備庫。

整體而言，云轉(zhuǎn)碼平臺采用點(diǎn)播轉(zhuǎn)碼、直播轉(zhuǎn)碼、點(diǎn)播實(shí)時(shí)轉(zhuǎn)碼，按照網(wǎng)絡(luò)影視用戶對不同內(nèi)容需求進(jìn)行不同的轉(zhuǎn)碼、流化和封裝，并利用RTSP、HTTP和AppleHLS等協(xié)議進(jìn)行數(shù)據(jù)推送，從而為PC、手機(jī)以

及嵌入式機(jī)頂盒等多種終端提供數(shù)據(jù)(見圖5)。云轉(zhuǎn)碼的主要目的是將視頻文件從一種格式轉(zhuǎn)換為另一種格式，通常是將傳統(tǒng)視頻編碼標(biāo)準(zhǔn)(MPEG-2、H.263)的視頻流轉(zhuǎn)換為視頻編碼標(biāo)準(zhǔn)(H.264或VC1)的視頻流，可以在不損失視頻質(zhì)量的前提下節(jié)省高達(dá)50%的網(wǎng)絡(luò)帶寬。目前常見網(wǎng)絡(luò)影視服務(wù)采用離線轉(zhuǎn)碼的實(shí)現(xiàn)方式，對于上傳的每個(gè)視頻內(nèi)容都需要在統(tǒng)一內(nèi)容管理系統(tǒng)中進(jìn)行轉(zhuǎn)換，生成MPEG-4、H.264兩種編碼格式以及標(biāo)清、互聯(lián)網(wǎng)、移動(dòng)清晰、移動(dòng)流暢4種類型的碼流。

圖5　云轉(zhuǎn)碼子系統(tǒng)平臺處理流程圖

本系統(tǒng)選擇的H.264因壓縮比高、占用帶寬小，逐步成為高清視頻的主流格式。為了優(yōu)化高清視頻圖像的存儲及網(wǎng)絡(luò)傳輸，本文所構(gòu)建的基于OpenStack彈性網(wǎng)絡(luò)影視服務(wù)平臺的主要目的就是將各類的視頻格式轉(zhuǎn)換為H.264格式在網(wǎng)上進(jìn)行傳播。

本系統(tǒng)的云轉(zhuǎn)碼平臺包括任務(wù)調(diào)度和資源調(diào)度兩部分。任務(wù)調(diào)度算法需要建立任務(wù)池，根據(jù)任務(wù)的優(yōu)先級別從任務(wù)池內(nèi)調(diào)度轉(zhuǎn)碼任務(wù)，并且實(shí)時(shí)監(jiān)控正在調(diào)度任務(wù)的運(yùn)行信息。在任務(wù)被調(diào)度執(zhí)行時(shí)，任務(wù)需要向資源管理申請資源，資源調(diào)度主要是依據(jù)本文提出的改進(jìn)AR模型對現(xiàn)有的資源進(jìn)行調(diào)整并實(shí)現(xiàn)任務(wù)的均衡。在資源分配的同時(shí)，還全面收集和分析各種負(fù)載的狀態(tài)信息，以便于后續(xù)資源的合理分配。最終完成的轉(zhuǎn)碼數(shù)據(jù)會被放到數(shù)據(jù)推送池，等待用戶的接入，并完成最終視頻數(shù)據(jù)的推送(見圖6)。

圖6　云轉(zhuǎn)碼子系統(tǒng)資源調(diào)度的結(jié)構(gòu)圖

在實(shí)際使用中，云轉(zhuǎn)碼平臺需要支持通用的輸入與輸出格式和視頻格式。輸入可以采用RTSP/RTP、HTTP、AV等輸入格式，輸出支持手機(jī)終端的蘋果HTTPLivestreaming規(guī)范、RTSP/RTP等協(xié)議，視頻格式包含了目前主流的視頻格式，如MPEG-1，MPEG-2，MPEG-4、WMV7、WMV8、WMV9、H.261、H.263、H.264等，音頻支持MP3、AAC、WMA、AC3等。云轉(zhuǎn)碼平臺不僅要實(shí)現(xiàn)視頻格式的兼容，也需要根據(jù)網(wǎng)絡(luò)帶寬情況設(shè)計(jì)不同碼率的視頻流輸入，具備對視頻流的碼率進(jìn)行自適應(yīng)的碼率轉(zhuǎn)碼。

碼率自適應(yīng)流程是：輸入視頻碼流通過變長解碼(VLD)和反量化(Q-1)后，實(shí)現(xiàn)視頻的部分解碼，然后根據(jù)網(wǎng)絡(luò)帶寬采用不同的量化步長的量化器對碼流進(jìn)行量化(Q)。量化的數(shù)據(jù)為了去除幀間相關(guān)，還進(jìn)行反DCT變化(IDCT)、幀間運(yùn)動(dòng)補(bǔ)償(MC)和幀間存儲(FrameStore)。由于采用不同的量化步長和利用運(yùn)動(dòng)補(bǔ)償機(jī)制，可以重新調(diào)整碼率，并利用變長編碼(VLC)輸出符合視頻流格式的視頻碼率。此轉(zhuǎn)碼方式的最大特點(diǎn)是在保留原有格式的基礎(chǔ)上，能自適應(yīng)根據(jù)網(wǎng)絡(luò)帶寬狀況調(diào)整不同碼率的視頻流輸出。

4　基于云計(jì)算平臺網(wǎng)絡(luò)影視服務(wù)的使用方法

本文所構(gòu)建的基于OpenStack彈性網(wǎng)絡(luò)影視服務(wù)平臺位于骨干網(wǎng)上，使用的流程主要包括：(1)登錄網(wǎng)絡(luò)影視播控管理系統(tǒng)；(2)創(chuàng)建自己的影視內(nèi)容；(3)管理自己的影視內(nèi)容，即上傳、刪除影視內(nèi)容，設(shè)置影視內(nèi)容瀏覽的范圍等；(4)預(yù)覽影視內(nèi)容；(5)由管理員管理影視的內(nèi)容；(6)用戶可依據(jù)自己的客戶端觀看視頻。

5　基于云計(jì)算平臺網(wǎng)絡(luò)影視服務(wù)效用比的分析

構(gòu)建基于OpenStack彈性網(wǎng)絡(luò)影視云計(jì)算平臺的主要目的是實(shí)現(xiàn)按需使用云平臺的資源，提高資源使用的效用比，并能快速實(shí)現(xiàn)按需服務(wù)和擴(kuò)展，避免資源的累加投入帶來的資源浪費(fèi)。本文從成本和擴(kuò)展性兩方面進(jìn)行對比。

(1) 成本對比。平臺采用10臺物理服務(wù)器，每臺物理服務(wù)器運(yùn)行5個(gè)虛擬機(jī)實(shí)例，以每個(gè)實(shí)例的使用概率為70%計(jì)算資源節(jié)省效用比。

資源節(jié)省效用比=

(5)

即所構(gòu)建系統(tǒng)的計(jì)算資源效用比提高了3.5倍。

(2) 擴(kuò)展性比對。當(dāng)需要擴(kuò)展新的虛擬機(jī)資源時(shí)，自適應(yīng)彈性網(wǎng)絡(luò)影視服務(wù)平臺可以在短時(shí)間內(nèi)(≤10min)啟動(dòng)已經(jīng)部署好服務(wù)的虛擬機(jī)鏡像實(shí)例，實(shí)現(xiàn)資源池的快速擴(kuò)展，實(shí)際運(yùn)行效果如如圖7所示。

圖7　彈性資源池與轉(zhuǎn)碼需求的匹配效果

當(dāng)云計(jì)算平臺計(jì)算能力無法滿足虛擬機(jī)數(shù)量與配置時(shí)，可以通過動(dòng)態(tài)的方式將新的物理服務(wù)器接入平臺，無需對原有的資源做任何調(diào)整。擴(kuò)展一個(gè)新的物理主機(jī)可以支撐5個(gè)以上的虛擬云主機(jī)運(yùn)行，效用比優(yōu)勢明顯。

6　總結(jié)

基于OpenStack云計(jì)算平臺構(gòu)建網(wǎng)絡(luò)影視服務(wù)云平臺，旨在為網(wǎng)絡(luò)用戶提供彈性網(wǎng)絡(luò)視頻服務(wù)，滿足不同用戶、不同環(huán)境對影視服務(wù)的要求，提高云計(jì)算平臺資源效用比。該平臺構(gòu)建和部署了具有彈性資源系統(tǒng)的網(wǎng)絡(luò)影視服務(wù)云計(jì)算平臺；通過對原有資源使用方式的對比，體現(xiàn)了云計(jì)算平臺資源高效用比、按需使用、快速擴(kuò)展等優(yōu)點(diǎn)，為我國快速發(fā)展的網(wǎng)絡(luò)影視服務(wù)商提供一個(gè)高效的資源管理和服務(wù)供給模式。

References)

[1] 尉遲學(xué)彪,李曉東,閻保平，等.DNS服務(wù)中的Internet訪問行為測量研究[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(34):85-88,106.

[2]MellP,GranceT.TheNISTdefinitionofcloudcomputing(draft)[J].NISTspecialpublication,2011,800(145):7.

[3]ChiangYi-Ju,OuyangYen-Chieh,HsuChing-Hsien.Anefficientgreencontrolalgorithmincloudcomputingforcostoptimization[J].IEEETransactionsonCloudComputing,2014,3(2)：1.

[4]SunY,XiaoZ,BaoD,etal.AnArchitectureModelofManagementandMonitoringonCloudServicesResources[C]//3rdInternationalconferenceonadvancedcomputertheoryandengineering(ICACTE).2010:51-60.

[5]WangGuohui,NgTSE.TheimpactofvirtualizationonnetworkperformanceofamazonEC2datacenter[C]//ConferenceonInformationCommunications.2010:1163-1171.

[6]WangKou-Hsiung,HuangHuimei.OptimalcontrolofanM/Ek/1queueingsystemwitharemovableservicestation[J].JOperResSoc,1995,46(8):1014-1022.

[7]ChiangYJ,OuyangYC,HsuCH.AnOptimalCost-EfficientResourceProvisioningforMulti-serversCloudComputing[C]//2013InternationalConferenceonCloudComputingandBigData.Fuzhou, 2013:225-231.

[8]OpenStack[EB/OL].[2015-11-25].http://baike.baidu.com/view/4924215.htm.

[9]ARMA-Modell[EB/OL].[2015-11-25].https://de.wikipedia.org/wiki/ARMA-Modell.

ConstructinganelasticnetworkingvideocloudcomputingplatformbasedonOpenStack

LiLei1，ZhangYing2，LüNianling1，YanSuidong2，ZhangJian2，ZhangJinlong3

(1.SchoolofElectronicandInformationEngineering,SouthChinaUniversityofTechnology,Guangzhou510641,China; 2. 21CNCompanyLtd.,Guangzhou510630,China;3.GuangdongPowerGridDevelopmentResearchInstitute,Guangzhou510070,China)

Withtherapiddevelopmentofcloudcomputing,cloudcomputingcanprovidehighutilityratioandresourcefacingusers’need.ThenetworkingvideoserviceisbecomingoneofthehotutilitiesofInternetandhasmoreandmoreusers,sotheresourceallocationandmaintenancearebecomingmorecomplex.Cloudcomputing,whichprovideshighsecurity,highelasticresourceallocationandlowerhardwarerequirements,cansatisfyquicklytheresourceconstructionforeveryfield.BasedonOpenStackopensourcecommunity,anelasticandhighutilityrationetworkingvideocloudcomputingplatformwasconstructed,whichcanallocateelasticresourcesflexiblyforloadpredication,meetingdifferentneedsfromvideoondemand,videowatchingonlineandvideotranscodeonline.Meanwhile,it’saplatformnotonlyforonlineeducationvideoandonlinevideoservice,butalsoforopennetworkingvideoservice,Internetapplications,etc.

cloudcomputingplatform;networkingvideoserviceplatform;constructionofflexibleresources;OpenStack

DOI:10.16791/j.cnki.sjg.2016.05.040

2015- 11- 20修改日期：2015- 12- 04

國家科技支撐計(jì)劃項(xiàng)目(2013BAH65F01-2013BAH65F04)；廣東省戰(zhàn)略新興產(chǎn)業(yè)核心攻關(guān)項(xiàng)目(2012A010701001)

李磊(1983—)，男，云南昆明，碩士，工程師，研究方向?yàn)樵朴?jì)算、通信工程和并行化計(jì)算.

E-mail：eelilei@scut.edu.cn

TP393.09

A

1002-4956(2016)5- 0155- 05