GPU虛擬化相關技術及研究

梁桂才，巫耀中

（1.廣西機電職業技術學院，廣西 南寧 530007；2.上海榕湖投資管理有限公司，上海 200122）

十多年來，高性能計算（HPC）程序員和研究人員采用了一種新的計算范式，該范式結合了兩種架構：具有強大和通用核心的多核處理器和多核加速器，例如圖形處理單元（GPU），具有大量的簡單核，在加速算法具有高度的數據并行性，在這方面很有優勢。盡管核數量不斷增加，多核處理器設計仍然旨在通過使用復雜的控制邏輯和大的緩存內存來減少順序程序中的延遲。相反，GPU試圖通過數千個簡單內核和高內存帶寬架構來提高并行應用程序的執行吞吐量。GPU在云計算中的作用非常重要。包括亞馬孫和阿里巴巴在內的大多數頂級云服務提供商已經將GPU資源引入到他們的基礎設施即時服務解決方案中。這些GPU資源通常以整個物理GPU的粒度提供給每個客戶端。然而，在許多實際情況下，一小部分物理GPU就足以完成渲染任務，這導致了資源利用不足的問題。提出了GPU虛擬化技術（例如，API重定向和中介傳遞）來解決資源利用率不足的問題。然而，這些技術只關注本地主機。瘦客戶端架構的出現，允許人們通過互聯網享受硬件加速器和GPU虛擬化技術，以擴大用戶范圍。然而，現有的框架傾向于將所有的工作負載歸因于服務器端，讓客戶別無選擇。受API重定向技術啟發設計的一個新的框架，云邊緣集成，似乎解決了這一限制。

隨著AI技術的發展，AI運算迫切需要大規模的并行計算。隨著圖形處理單元GPU的出現使得并行計算算力得到很快提高。2006年，英偉達的集成架構CUDA誕生了。GPU迅速從單一圖形處理發展成為具有AI運算的算力資源。圖形處理單元（GPGPU）上通用計算的快速發展極大地簡化了GPU編程。在這種環境下，越來越多的應用程序嘗試使用GPU強大的并行計算能力來得出結果。在并行計算方面GPU相比CPU有明顯的優勢，無論是在算力還是內存帶寬、功耗和成本方面。GPU的結構不同，它使用大量晶體管作為ALU計算單元，而CPU主要是做邏輯運算，它使用的晶體管作為復雜的控制單元和緩存來優化串行代碼。GPU專注于大量、快速、低延遲地實施特定操作。21世紀以來，很多大型集群系統都采用了CPU+GPU異構計算模型，這代表CPU+GPU異構計算模型向大數據計算領域發展。

1 GPU虛擬化方法

1.1 API 重定向

API重定向首先作為一種GPU虛擬化技術而出現，重點是提高GPU利用率的問題。與其他技術不同，包括與特定硬件緊密耦合的中介傳遞，A PI重定向技術可以在不需要硬件支持的情況下存在。因此，A PI重定向系統具有健壯的可伸縮性。隨著GPGPU設計的成熟，GPU的功能不再局限于圖形加速。因此，遠程API重定向系統不僅關注轉發渲染命令，而且還關注與GPGPU相關的命令。

當談到API重定向技術時，它們可以分為兩類：本地機器上的本地API重定向系統和將用戶區域從本地主機擴展到云的遠程API重定向系統。由于遠程API重定向技術要求服務器和客戶機之間的合作，我們稱之為云邊緣集成框架。在下面的部分中，我們將簡要描述這兩種技術之間的差異、本地技術的局限性和遠程技術的獨特優勢。本地API重定向系統（例如SRIOV6、7和共享渲染）將每臺服務器上的隔離單元（虛擬機或容器）作為客戶機。盡管這種技術增加了GPU的利用率，但將所有功能歸因于服務器端會給服務器機器帶來很大的壓力。此外，多個應用程序之間的資源共享加劇了服務器端的壓力。因此，遠程API重定向系統似乎解決了這個問題。

1.2 硬件輔助虛擬化

以前的虛擬機因為GPU異構化和供應商鎖定，不能直接使用主機的 GPU，若要使用就必須通過設備仿真來實現 GPU 并行運算的基本功能。Younge等人使用PCI直通技術和SHOC基準測試評估了XenVM基礎設施的性能。作者發現，在最壞的情況下，在支持開普勒K20mgpu的虛擬機中，只有1.2%的性能損失，而API遠程方法會產生高達40%的性能開銷。在最近的研究中，他們使用SR-IOV的PCI傳遞評估了虛擬化集群中的HPC工作負載。SR-IOV是一種硬件輔助的網絡虛擬化技術，它在虛擬機內提供10 Gbps連接的近本地帶寬。GPUDirect通過支持無限波段互連上的GPU之間的直接RDMA，降低了跨GPU的數據傳輸開銷。為了進行評估，他們使用了兩種分子動力學（MD）應用程序。作者觀察到，使用MPI和CUDA的MD應用程序可以在接近本地的性能下運行，而LAMMPS和HOOMD的管理率分別僅為1.9%和1.5%。

現在有些商業云直連將GPU部署到云平臺。但是只是保證了與本地設備的GPU能被虛擬機調度使用，它不適合共享。多用戶在云計算場景、專業化方面，GPU的利用率低，在執行計算能力不足的任務時浪費計算資源，沒有所需的維護和監控，不支持虛擬機等高級功能。

1.3 全GPU虛擬化

設備仿真方式只能仿真簡單的硬件，性能較差。API 重定向可以實現接近本機硬件的性能，但需要更改主機 VM 庫。該設備的直接方法提供了出色的性能，但被廣泛共享。最近的完整GPU虛擬化提案結合了上述解決方案，以提供對訪客VM使用情況的完全透明。這種方法對寄存器等硬件上下文信息使用軟件仿真，允許直接連接的硬件設備在上下文切換后充分利用 GPU。完全的GPU虛擬化意味著您可以使用GPU 而無須更改虛擬機驅動程序，即無縫。全 GPU虛擬化比共享直連設備要好得多，但同時，它不需要對主機 VM的驅動程序進行任何修改，并且在性能上遠優于設備仿真。這是有史以來最好的 GPU虛擬化解決方案。孔田等人提出了gVirt來實現完全虛擬化的 GPU 圖像渲染解決方案并進一步優化系統，并提出了gHyvi和gScale。在通用計算領域，YusukeSuzuki 等人提出了一個vm GPU系統，它通過修改一個完全虛擬化的VMM來實現一個GPU。gVirt 的示意圖如圖1所示。

圖1 gVirt框架結構示意圖

在通用計算中，GPUvm的全GPU虛擬化實現得更充分，更改僅在 Xen中進行。與 gVirt一樣，GPUvm使用 GPU幻像頁表機制來隔離視頻內存。每個虛擬機訪問自己的虛擬機。另外，CPU和GPU之間發送命令的隊列是虛擬化的，這意味著每個虛擬機都有自己的隊列結構，當虛擬機發生更改時，命令隊列也會相應更改。GPUvm使用寬帶支持，非搶占式調度算法允許您在虛擬機之間平衡 GPU。

2 GPU資源池

目前，因為GPU異構化和供應商鎖定，集群中的GPU資源結構復雜多樣，群集的GPU有多個品牌、多種架構，它們的處理能力又各同樣，節點上的GPU數量也很不統一。怎么樣才能在這些差異化資源上實現調度任務、資源負載均衡、系統資源充分利用，是一個GPU資源池化亟待解決的問題。如果像CPU虛擬化一樣，GPU虛擬化也可以實現對CPU資源進行集中高效的管理，然后再進行動態分配。但是CPU天生就容易實現虛擬化，面GPU卻不容易實現，所以真正高效的GPU虛擬化管理系統遲遲沒有出現。為了實現GPU資源池動態管理、動態分配，滿足不同資源需求，應實現軟硬件解耦和GPU資源共享的目標。

GPU資源池在虛擬化服務層維護多個GPU計算資源，并將不同品牌、不同型號、不同速率的物理GPU計算資源化整為0，統一管理動態分配。根據虛擬機客戶端的需求，將不同的計算資源池化并動態分配，實現GPU硬件資源的“分離、分區、整合”。圖2為gRemote的詳細架構圖，該框架利用了API重新定向技術，在資源調動整合方面有著很大的優勢。

圖2 gRemote框架示意圖

隔離性體現在提供給虛擬機客戶端的GPU計算資源不能相互影響，即使是在同一個物理GPU上。GPU資源池會實時更新服務器的UPG資源的使用狀態，實時同步虛擬機客戶端的虛擬GPU的使用情況，某一虛擬機沒有釋放GPU之前不能再使用該資源，避免虛擬機之間的相互干擾。在虛擬機客戶機上，都有自己獨立的GPU資源，但GPU資源池會動態地被分配給各個虛擬機，因為通常每一個虛擬機的使用率都不會太高，據不完全統計，使用率在20%左右，這樣使得GPU資源池的資源可以超分。虛擬機上有自己完整的GPU資源。這種拆分體現在提供給虛擬機客戶端的GPU是GPU資源池中實際物理硬件的一個子集。虛擬機根據用戶的需要，實時分配GPU，動態劃分物理GPU資源空間，提供相應的資源給虛擬機客戶端。在GPU資源池端，將服務線程動態分配給不同的客戶端，實現GPU資源共享，多個虛擬機客戶端共享單個圖形卡并允許使用多個圖形卡。這種融合體現了傳統的硬盤池和內存池技術，可以將多個物理GPU資源映射到單個虛擬GPU，合理分配GPU資源給虛擬機客戶端，也可以將一個物理GPU資源映射到多個虛擬機使用。GPU資源池是資源提供者角色，虛擬機客戶端是資源使用者角色，GPU資源池維護兩端的角色，中間件消耗池中的GPU資源，并將其提供給虛擬客戶端。GPU資源池跨越整個虛擬集群。隨著GPU資源加入虛擬集群，由GPU資源池監控，統一調度。從集群中移動GPU資源時，資源池及其子對象中的資源不可用。GPU虛擬資源池以資源分配、占用、釋放、回收模式運行，而不是分配銷毀模式。GPU資源池不僅可以靈活擴展以滿足用戶需求，還具有統一動態監控調度和分配的能力。這樣可以實現資源的快速分配或回收，根據系統需求靈活執行調度功能，動態調整GPU資源。

3 結束語

在過去的幾年中，異構計算作為一種新的計算范式獲得了廣泛的關注，它有潛力為HPC和云平臺提供更高的性能、更高的資源利用率和更低的運營成本。在云數據計算中，GPU虛擬化是在多個用戶之間有效共享GPU設備的關鍵技術。本文對GPU虛擬化技術及其調度方法的研究工作進行了深入的研究，通過對GPU虛擬化的代表性研究，介紹了該領域的關鍵研究貢獻，這些研究包括API重定向和全虛擬化以及硬件輔助虛擬化；此外還討論了在異構云計算中實現公平有效的GPU共享的GPU調度方法；最后提出了一些未來的研究方向，并推進GPU虛擬化的實踐狀態。■