GPU虛擬化環境下云游戲性能分析

戴加偉,白光偉,沈 航,王仲暉

(南京工業大學 計算機科學與技術學院,南京 211816)

1 引 言

云游戲[1]指將電腦游戲運行在云服務器上,通過強大的計算能力對游戲畫面進行渲染、捕獲和壓縮后發送給低計算能力的瘦客戶端,而用戶在瘦客戶端通過網絡與游戲交互.瘦客戶端是輕量級的,只負責解碼和顯示游戲畫面,可以移植到資源受限的平臺,如移動設備和電視機頂盒等.用戶可以在任何地方任何時間體驗最新的電腦游戲,游戲開發者也可以根據云游戲系統特定的硬件配置來優化他們的游戲.

雖然云游戲以一種全新的方式向用戶提供更高品質的游戲體驗,但是如何在保證用戶體驗的情況下控制硬件成本仍然是一個棘手的問題.例如OnLive為優化用戶體驗陷入財政困難.如果使用低端硬件會導致不愉快的用戶體驗,這可能會促使用戶放棄云游戲,但是使用高端硬件,按照以往一個用戶必須對應一臺實體服務器的方式,會產生高額的硬件成本.此外,不同的游戲類型有不同的硬件要求,如果不按照游戲的需求合理分配服務器的資源,可能會導致資源的不足或浪費.例如按照3D射擊游戲設置的硬件配置,在運行2D休閑游戲時就會性能過剩.

虛擬化是整合云游戲系統資源,降低硬件成本的關鍵[2，3].它允許多個云游戲共享物理服務器資源,同時保持隔離和保證性能.目前CPU、網絡接口和存儲的虛擬化已經相當成熟,但是GPU設備由于結構和技術文檔未對外公開,而且每次更新都伴隨著巨大的結構變化,因此GPU虛擬化的實施尤為困難.文獻[4，5]指出GPU虛擬化將導致不佳的游戲體驗,例如低幀速率、高響應延遲和低畫面質量.然而,過去的幾年里,GPU虛擬化技術得到了極大的改善,可以更加高效的實現虛擬機對GPU資源的共享.為此,本文使用最新的GPU虛擬化技術和開源的云游戲平臺搭建原型系統.該系統將云游戲運行在虛擬機中,實現服務器資源的共享.在此基礎上,提出性能評價指標和測量方法,并有針對性的進行大量實驗,分析云游戲在GPU虛擬化環境下的性能.

基于上述原型系統,本文試圖回答:最新的GPU虛擬化技術能否支持GPU密集型的云游戲在虛擬機中流暢運行？實驗結果表明:最新的GPU虛擬化技術可以給虛擬機提供較高的圖形加速性能,在保證云游戲用戶體驗的同時實現GPU資源共享和公平分配.另外實驗還發現,使用GPU進行硬件編碼可以提高游戲視頻編碼效率.

本文的結構安排為:第2節提出問題;第3節設計原型系統;第4節提出性能指標與測量方法;第5節設計實驗并分析結果;第6節總結全文.

2 問題提出

將云游戲系統直接運行在物理服務器上,一臺服務器只服務一個用戶的方式給云游戲提供商帶來巨大的經濟負擔.為了優化服務器資源分配,可以將云游戲運行在虛擬機中,使一臺服務器能同時運行更多的云游戲實例.但是,虛擬機的圖形處理能力不足以支持一些GPU密集型的游戲流暢運行,限制了云游戲在虛擬化環境中的實施.CPU處理圖形的效率低下,而GPU擅長處理大型矩陣型數據的整體計算,其圖形處理性能可達CPU的數十倍.在虛擬機中使用GPU結合CPU進行圖形計算,可以大幅提高圖形處理性能[6-7].

針對上述問題,文獻[8]實現了一種PCI直通的虛擬機圖形加速技術,不經虛擬機管理系統(Virtual Machine Monitor,VMM)[9],直接將GPU分配給一臺虛擬機,該虛擬機將獲得GPU的全部性能.但是此方法禁止了其他虛擬機對GPU的訪問,違背了虛擬化資源共享與動態分配的設計初衷.文獻[10]使用API重定向的方法實現虛擬機對物理GPU的共享,通過虛擬的顯卡驅動欺騙應用程序的API來調用GPU.但是這種方式需要消耗大量的額外資源來做驅動的模擬仿真、API的攔截、傳遞等多種復雜的軟件計算過程,效率較低.

作為首個實現直接共享GPU的方案,vGPU[11]通過安裝在虛擬機上的圖形驅動能夠直接訪問切片后的GPU資源.這種方式能發揮出物理GPU的更多性能,從而實現虛擬機更高的圖形處理能力和擴展能力.此外,GamingAnywhere[12]作為第一個開源的云游戲平臺,擁有高擴展性、可移植性和可重構性,并且在低網絡帶寬下實現了低延遲和高畫質.

多個虛擬機共享GPU后的圖形處理性能決定了云游戲能否在虛擬化環境中實施.為此,本文使用vGPU和GamingAnywhere搭建一個云游戲原型系統,分析在云游戲系統中使用vGPU實現GPU共享的可行性

3 原型系統設計

本節設計GPU虛擬化環境下的云游戲原型系統,用于對多個云游戲共享GPU后的性能進行測試評估.首先分析云游戲的系統架構和交互流程,然后設計并搭建原型系統,實現GPU資源共享.

3.1 系統整體架構

云游戲系統架構由門戶服務器、游戲服務器和客戶端三部分組成.如圖1所示,門戶服務器負責用戶登錄,并根據用戶選擇的游戲查找合適的游戲服務器,控制該服務器啟動虛擬機,再將虛擬機的地址告知客戶端.用戶與虛擬機建立連接后,就可以通過網絡與運行在遠程服務器上的游戲進行交互.

圖1 云游戲系統架構Fig.1 Architectures of cloud gaming

3.2 系統交互流程

客戶端與游戲服務器之間的交互流程如圖2所示.游戲服務器負責處理收到的輸入事件,并轉化為游戲動作,再將捕獲的游戲畫面編碼后以視頻流的形式發送給客戶端.客戶端負責實時顯示收到的游戲畫面,并將用戶的輸入如鍵盤、鼠標的動作發送到游戲服務器.通過這種方式,可以將游戲的圖形渲染卸載到云端處理,客戶端只需要處理簡單的2D視頻圖像顯示,極大的減小了客戶端的負載.

圖2 云游戲交互流程Fig.2 Interactive of cloud gaming

3.3 原型系統部署

門戶服務器對云游戲的性能沒有直接的影響,為了簡化實驗流程,原型系統只考慮游戲服務器和客戶端之間的交互.如圖3所示,原型系統包括兩臺服務器、一臺路由器和多臺客戶端.兩臺服務器采用完全一致的硬件配置,都是Intel Core E3 1231 v3處理器和NVIDIA GRID K2顯卡.路由器安裝并運行dummynet[13],用以調節延遲、丟包率和網絡帶寬模擬真實的網絡環境.此外,桌面虛擬化平臺采用XenDesktop,安裝Windows7操作系統.云游戲系統采用開源的GamingAnywhere,一臺服務器在虛擬機中運行云游戲,另一臺服務器將云游戲直接運行在物理機上.

原型系統使用vGPU在云游戲中實現GPU資源共享,具體實現方法如圖3所示.在云游戲服務器上安裝XenServer虛擬化平臺,并將云游戲運行在虛擬機中.根據游戲的性能需求,將物理GPU分片成多個vGPU設備,再直接分配給虛擬機.通過運行在Hypervisor管理域(Dom0)的vGPU管理程序,云游戲可以像使用本地的GPU一樣快速訪問vGPU,共享同一個物理GPU的計算資源.

圖3 原型系統部署Fig.3 Deployment ofprototype system

4 性能指標和測量方法

4.1 性能指標

畫面質量和響應延遲是影響云游戲用戶體驗的關鍵性能指標.所以,實驗將從這兩方面比較系統在GPU虛擬化環境中與在物理環境中的性能差異.

視頻流的質量直接影響游戲體驗,這里使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結構相似性(Structural Similarity,SSIM)[14]兩個指標來評價畫面質量.PSNR基于對應像素點間的誤差評價圖像質量.SSIM用于度量結構相似性,也是一種全參考的圖像質量評價指標,它分別從亮度、對比度、結構三方面度量圖像相似性.

響應延遲[15](RD)是用戶提交操作命令到相應的游戲畫面出現在屏幕上的時間,它是決定云游戲用戶體驗的主要因素.這里將響應延遲分為3部分:

1)處理延遲(PD):服務器接收和處理一個用戶的命令并將相應的幀進行編碼和傳輸所需的時間.

2)播放延遲(OD):客戶端接收、解碼和渲染一幀所需的時間.

3)網絡延遲(ND):服務器和客戶端之間進行一輪數據交互所需的時間,也被稱為往返時間(RTT).

4.2 測量方法

圖4表示一個游戲指令響應的過程.按鍵事件在t0時刻產生,發送給服務器端處理.服務器在t1時刻接收事件,處理完成后,在t2時刻將編碼幀發送給客戶端.客戶端在t3時刻接收到幀,在t4時刻觀察到游戲畫面改變.

當測量出t4的值,就可以得到RD=t4-t0.t4的測量過程如下:

1)發送按鍵事件到服務器端,并記錄時刻為t0.

2)游戲畫面一直在刷新,通過檢測特定區域的像素值,可以確定游戲畫面是否發生改變.

3)當檢測到像素值改變時,說明按鍵事件已經被服務器端處理,并返回處理后的畫面到客戶端,記錄這個時刻為t4.

t3是游戲畫面從服務器傳遞到客戶端的時刻.如果在t3時刻之前阻塞數據的傳入,游戲畫面在取消阻塞之前都不會改變.如果傳入的數據在t3時刻之后被阻塞,游戲畫面仍會改變,但沒有后續的畫面更新.為了方便數據的攔截,這里使用windows的hook機制,攔截客戶端對recvfrom()函數的調用.這個函數在嘗試從UDP/IP 堆棧中檢索UDP數據報時會被調用.

當測量出t3的值,就可以得到PD=t3-t0-ND,OD=t4-t3.ND的值可以通過發送一個探測數據包來測量,例如ICMP協議.t3的測量過程如下:

1)發送一個按鍵事件到服務器端,并記錄這個時刻為t0.這里假設播放延遲OD小于100ms,在RD-100ms和RD+50ms之間取一個隨機數記作tblock.

2)如果游戲畫面改變的時刻小于tblock,記錄這個時間為tchange,并結束程序.否則,在tblock之后的一秒內攔截對recvfrom()函數的調用.

3)取消對recvfrom()函數的攔截,當游戲畫面改變時,記錄這個時間為tchange.

圖4 響應延遲分解Fig.4 Decomposition of response delay

如果tchange>tblock+1s,則表示阻塞成功,并得出t3>tblock,就把tblock加入集合tblock_succeeded.否則,如果tchange

5 實驗設計和性能分析

vGPU實現了虛擬機對GPU的共享,一臺服務器可以同時運行多個云游戲實例,顯著的提高了GPU資源的利用效率.但是共享GPU可能會影響云游戲的用戶體驗,為了驗證該方案的可行性,本節設計實驗測試vGPU的圖形加速性能,分析虛擬機數量對vGPU圖形加速性能的影響,并在完整的云游戲平臺中進行端到端的測試,分別從延遲和畫質兩方面分析使用vGPU技術共享GPU對用戶體驗的影響.

5.1 vGPU的圖形加速性能

本實驗對vGPU的圖形加速性能進行測試,并通過對比vSGA分析vGPU的性能提升.實驗在一臺服務器上使用vSGA技術,在另一臺服務器上使用vGPU技術,實現GPU共享.采用Heaven Benchmark和REDsdk Turbine Benchmark兩款測試工具分別測試兩個平臺上虛擬機的圖形處理能力.

Heaven Benchmark的測試結果如圖5所示.vSGA平臺上的測試畫面的幀率在0～5幀之間波動.物理GPU的平均利用率只有20%,而且非常不穩定,在圖像無法渲染的時候,甚至降低到了1%.而vGPU平臺上的測試畫面的幀率一直保持在25幀以上,物理GPU的利用率也高于50%,且利用率曲線相對平滑,狀態穩定.REDsdk Turbine Benchmark每個測試項目的得分如表1所示.最后的總分vSGA平臺只得到了73分,而vGPU平臺是2647分.兩者之間測試畫面的播放效果也基本反映了這些測試數值的差距,vGPU平臺的圖像流暢,vSGA平臺的幀率太低,圖像顯示不全.

圖5 幀率和GPU利用率對比Fig.5 Comparison of frame rate and GPU utilization ratio

實時畫面高質量畫面動態封閉空間混合射線追蹤總分vSGA218191225673vGPU31382463631310062647

從這些測試情況可以看出,vSGA的虛擬顯卡驅動程序效率低下,對物理GPU的處理能力利用不足,而vGPU對顯卡的利用率更高,能發揮出顯卡的大部分性能,相較vSGA在幀率上有了10倍的提升.

5.2 虛擬機數量對圖形加速性能的影響

本實驗在XenServer平臺上量化分析虛擬機數量對vGPU圖形加速性能的影響.實驗通過配置K2顯卡的GPU虛擬模式為vgpu8(即將一個顯卡核心分片成8個虛擬GPU),逐步添加更多的虛擬機(從1至8),分別測試在不同環境下四種游戲運行時的FPS.

測試結果如圖6所示,結果表明Limbo和Barman沒有觸及顯卡的性能瓶頸,所以隨著虛擬機數量的增加FPS沒有改變,而FEAR和DOW在虛擬機數量從4增加到6時,FPS分別下降了15和18,這表明分配給虛擬機的圖形計算能力并不是穩定不變的,會受到虛擬機數量的影響,vGPU在所有的虛擬機之間動態的分配圖形處理資源.另外,我們發現當虛擬機數量只有一臺時,所有游戲的FPS都不超過58,這表明在vGPU技術中使用了基于FPS感知的GPU調度算法,使得虛擬機共享GPU時都能公平的獲得資源.

5.3 vGPU對云游戲網絡負載的影響

在云游戲中,游戲服務器捕獲游戲的畫面,編碼后發送給客戶端,傳輸的游戲視頻的數據量直接影響了在帶寬受限情況下的用戶體驗.本實驗在路由器上測量服務器端與客戶端之間網絡負載,分析使用vGPU進行硬件編碼對數據傳輸量的影響.

圖7反映了使用CPU編碼和vGPU編碼的網絡負載情況,使用CPU編碼時每秒傳輸的數據量在5～7Mbytes,使用vGPU編碼時每秒傳輸的數據量在3.5Mbytes以下,這是因為vGPU使用了硬件編碼,擁有更高的編碼效率,編碼同一個游戲畫面產生的視頻流數據量較小,對云游戲的帶寬要求更小.同時,使用硬件編碼將大量運算工作轉移到GPU,可以降低CPU的使用率.

圖6 不同虛擬機數量時游戲的FPSFig.6 FPS with various numbers of VMs

5.4 vGPU對云游戲用戶體驗的影響

本實驗從畫面質量和響應延遲兩方面分析vGPU對云游戲用戶體驗的影響.實驗分別在兩臺硬件配置相同的服務器上進行,一臺服務器直接運行云游戲,一臺服務器使用vGPU技術,在虛擬機中運行云游戲.我們選擇三種游戲分別進行測試,用同一臺客戶端分別連接兩個服務器獲取游戲畫面.

圖7 云游戲網絡負載Fig.7 Network load of cloud gaming

1)vGPU對云游戲畫面質量的影響

實驗將兩個不同環境下的云游戲回傳的游戲畫面錄制為YUV格式的視頻文件,從每一個視頻上截取相同的長度為40s的視頻,計算出多組PSNR和SSIM數據,求取平均值,評估vGPU對云游戲畫面質量的影響.

圖8 游戲畫面的PSNRFig．8 PSNRofgamescreen圖9 游戲畫面的SSIMFig．9 SSIMofgamescreen

圖8和圖9反映了不同環境下云游戲系統的PSNR和SSIM的值.觀察這些數據可知,在真實物理環境下的畫面質量比GPU虛擬環境下更好,PSNR和SSIM平均高了2dB和0.03.其次,從圖8可以發現Batman的處理延遲最低,FEAR和DOW的處理延遲相對較高,而圖10也反應了Batman的畫面質量更高,FEAR和DOW的畫面質量則相對較低,這表明游戲畫面越復雜,經過云游戲系統處理后畫面質量下降的越多.實驗結果表明了GPU虛擬化技術導致的云游戲系統畫面質量下降的幅度不大,大致與游戲畫面復雜度不同導致的畫面質量下降幅度相當,不會明顯的影響游戲體驗.

2)vGPU對云游戲響應延遲的影響

實驗在兩個不同環境下的云游戲中觸發按鍵事件,通過觀察游戲畫面的改變測算出處理延遲和播放延遲,評估GPU虛擬化環境對響應延遲的影響.

圖10 云游戲響應延遲Fig.10 Response delay of cloud gaming

圖10反映了不同環境下云游戲系統平均的播放延遲和處理延遲.觀察這些數據可知:播放延遲很小,最高只有21ms,且對于不同游戲延遲波動不大.這表明,解碼器在解碼視頻時有較高且穩定的解碼效率,受視頻內容的影響不大.使用vGPU后,云游戲播放延遲沒有增加,處理延遲比物理環境中平均提高了15ms.這表明vGPU會影響GPU的處理效率,增加少量的處理延遲.研究[16]表明,不同類別的游戲可以容忍的延遲程度不同,例如,對延遲最敏感的第一人稱射擊游戲要求延遲不能超過100毫秒.GamingAnywhere云游戲系統結合Citrix vGPU虛擬化技術,仍能將響應延遲控制在100ms以內,基本滿足云游戲嚴格的延遲要求.

6 結束語

本文使用vGPU和GamingAnywhere搭建原型系統,將云游戲運行在虛擬化環境中,通過GPU共享的方式,一臺服務器可以并發運行多個云游戲實例.在此基礎上,設計并進行了大量實驗,以分析GPU虛擬化對云游戲性能的影響.實驗結果表明:使用vGPU技術共享GPU資源后,云游戲的響應延遲和畫面質量略有下降,但基本滿足云游戲的需求;在多個虛擬機中并發運行云游戲時能公平的分配到GPU資源;使用GPU對游戲畫面進行硬件編碼可以提高編碼效率,降低CPU負載和網絡負載.我們的工作可以作為設計基于GPU虛擬化的云游戲系統的重要依據.

[1] Mishra D,El Zarki M,Erbad A,et al.Clouds+ games:a multifaceted approach[J].IEEE Internet Computing,2014,18(3):20-27.

[2] Hong H J,Chen D Y,Huang C Y,et al.Placing virtual machines to optimize cloud gaming experience[J].IEEE Transactions on Cloud Computing,2015,3(1):42-53.

[3] Wu D,Xue Z,He J.iCloudAccess:cost-effective streaming of video games from the cloud with low latency[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(8):1405-1416.

[4] Shea R,Liu J.On GPU pass-through performance for cloud gaming:experiments and analysis[C].Proceedings of IEEE 12th Annual Workshop on Network and Systems Support for Games(NetGames),2013:1-6.

[5] Dowty M,Sugerman J.GPU virtualization on VMware′s hosted I/O architecture[J].ACM SIGOPS Operating Systems Review,2009,43(3):73-82.

[6] Lee S,Kim H,Park D,et al.CPU-GPU hybrid computing for feature extraction from video stream[J].IEICE Electronics Express,2014,11(22):1-8.

[7] Scott S.The evolution of GPU accelerated computing[C].Proceedings of IEEE SC Companion:High Performance Computing,Networking Storage and Analysis,2012:1636-1672.

[8] Yang C T,Wang H Y,Ou W S,et al.On implementation of GPU virtualization using PCI pass-through[C].Proceedings of IEEE 4th International Conference on Cloud Computing Technology and Science(CloudCom),2012:711-716.

[9] Li T,Narayana V K,El-Araby E,et al.GPU resource sharing and virtualization on high performance computing systems[C].Proceedings of IEEE International Conference on Parallel Processing,2011:733-742.

[10] Duato J,Igual F D,Mayo R,et al.An efficient implementation of GPU virtualization in high performance clusters[C].Proceedings of European Conference on Parallel Processing,Springer Berlin Heidelberg,2009:385-394.

[11] Li J,Li C,Chen G,et al.vGPU:a real time GPU emulator:U.S，us8711159[P].2014-4-29.

[12] Huang C Y,Hsu C H,Chang Y C,et al.Gaming anywhere:an open cloud gaming system[C].Proceedings of the 4th ACM multimedia systems conference,2013:36-47.

[13] Carbone M,Rizzo L.Dummy net revisited[J].ACM SIGCOMM Computer Communication Review,2010,40(2):12-20.

[14] Hore A,Ziou D.Image quality metrics:PSNR vs.SSIM[C].Proceedings of IEEE International Conference on Pattern Recognition(icpr),2010:2366-2369.

[15] Dick M,Wellnitz O,Wolf L.Analysis of factors affecting players′ performance and perception in multiplayer games[C].Proceedings of ACM SIGCOMM Workshop on Network and System support for games,2005:1-7.

[16] Zander S,Leeder I,Armitage G.Achieving fairness in multiplayer network games through automated latency balancing[C].Proceedings of ACM SIGCHI International Conference on Advances in Computer Entertainment Technology,2005:117-124.