基于I/O前后端模型的密碼卡軟件虛擬化①

唐樂爽,竇同銳,桑洪波,張玉國

(三未信安科技股份有限公司,濟南 250098)

隨著云計算的高速發展,業務上云已經成為趨勢,這對云服務商保障云上數據的完整性、機密性和可用性提出了更高的要求,而密碼技術及密碼模塊正是保護重要信息和數據安全的核心技術[1].針對云計算環境安全應用多樣化、功能復雜化,密碼設備提供商們設計開發了硬件密碼產品-云密碼機,該產品結合密碼技術與虛擬化技術,可以實現在一臺硬件密碼設備上運行多個虛擬化的密碼機(VSM)[2],滿足云計算虛擬環境中存在的高速數據加解密、數字簽名等需求.云密碼機的核心密碼模塊是支持SR-IOV[3]虛擬化的高性能密碼卡,具備虛擬出8–16 個邏輯密碼卡的能力,云密碼機相對應的提供8–16 個虛擬密碼機服務.

密碼卡虛擬化可以在一臺宿主機上實現多虛擬機共享一張密碼卡,提高密碼卡的利用率,國內外在此方面做了相關工作.Berger 等[4]提出了可信平臺模塊(TPM)的虛擬化,對密碼卡設備的虛擬化有一定的指導意義,但缺少PCI-E 總線設備的實現;楊永嬌等[5]提出了一個基于硬件輔助虛擬化的VT-d 技術在Xen 云平臺上的安全隔離框架,缺少具體的實現;Sun 等[6]設計了一種密碼卡虛擬化框架用于實現密碼卡在虛擬化環境中使用,由于該框架性能閾值的調定與動態遷移的受限,距離實際應用還需要進一步研究;馬龍宇[7]設計與實現了基于 SR-IOV 虛擬化技術高速密碼卡,但是僅支持160 位的哈希密碼運算;張嘉夫[8]提出一種基于密碼卡虛擬化的隱私保護方法,使用動態多安全級虛擬密碼卡隱私保護模型解決虛擬桌面下的隱私保護問題,為了最大化發揮虛擬密碼卡的性能,把多組請求組包發送,應用范圍受限;任繼奎等[9]基于SR-IOV 理論設計實現了一種基于FPGA的虛擬化設備的數據交互模型,解決云計算平臺與虛擬設備間高速數據交互的需求,本質上基于硬件虛擬化;蘇振宇[10]提出了3 種密碼卡虛擬化設計方案,并實現了基于SR-IOV 虛擬化技術的硬件虛擬化密碼卡和基于現場可編程門陣列(FPGA)的軟件虛擬化密碼卡,但是硬件虛擬化密碼卡方案仍然是基于硬件虛擬化,而軟件虛擬化方案需要重新設計密碼卡,并不適用于現有的密碼卡.

綜上所述,目前國內外在密碼卡虛擬化方面的研究仍然比較少,技術發展相對滯后,缺乏實際應用[10],而且大部分集中在基于SR-IOV的硬件虛擬化方面,軟件虛擬化方面的研究更少.基于SR-IOV的密碼卡較常規密碼卡價格昂貴,對云密碼機的軟硬件有苛刻的兼容條件,同時受制于有限的設備電路資源,提供的虛擬邏輯密碼卡數量有限,可擴展性較差.更為嚴重的問題是,SR-IOV 很難支持虛擬機的遷移和復制等操作[11].

因此針對該類密碼卡在云密碼機使用中存在的兼容性差、擴展性受限以及性價比低等問題,本研究從軟件虛擬化的角度出發,提出了基于I/O 前后端模型的密碼卡軟件虛擬化方法,分別設計并實現了基于共享內存的軟件虛擬化和基于virtio的軟件虛擬化方案,第1 種方案適用于X86 平臺云密碼機,第2 種方案適用于ARM 平臺的云密碼機.本文提出的技術不僅可以使得多虛擬機有效地共享普通密碼,很大程序降低云密碼機使用密碼卡的硬件門檻,而且能夠彈性擴充虛密碼機的數量、實時遷移虛擬機并降低采購密碼卡的成本.

1 I/O 虛擬化

I/O 虛擬化可以提高系統運行性能和簡化硬件要求,使得數量不多的物理設備被多個虛擬機共享,從而增加I/O 密集型虛擬機的數量.在系統虛擬化基本結構中,虛擬機管理器(VMM)處于硬件資源與操作系統之間,負責完成CPU、內存與I/O 等硬件資源的虛擬化,虛擬出來的I/O 設備可以與物理設備接口保持一致,也可以完全不同.一般而言,I/O 虛擬化可以分為全虛擬化、半虛擬化與硬件輔助虛擬化3 種.

(1)全虛擬化技術

該 I/O 虛擬化技術通過軟件方式模擬真實的硬件設備,虛擬機無法區分模擬硬件設備與物理設備,不需要修改虛擬機操作系統與驅動程序,可以直接使用物理設備的驅動程序驅動該虛擬設備,圖1展現了I/O全虛擬化模型.

圖1 I/O 全虛擬化模型

當客戶機訪問模擬I/O 設備時,所有I/O 訪問請求都會被虛擬機管理器截獲,并把I/O 指令內容寫入I/O 共享頁,接著事件通知模塊告知設備模擬器收集I/O 指令,設備模擬器負責完成本次 I/O 請求的模擬,最后將執行結果傳遞給虛擬機.全虛擬化的移植性與兼容性非常好,但是性能較差,軟件模擬I/O 請求的處理需要虛擬機監視器與虛擬機多次交互,頻繁切換上下文,會造成很大的時間開銷.

(2)半虛擬化技術

該 I/O 虛擬化模型又稱為前后端模型,引入了 I/O環機制和事件機制,向虛擬機提供一組新的設備接口.虛擬機與虛擬機管理器調用這些設備接口,通過 I/O環機制進行數據傳輸,并采用事件機制實現通信,減少了傳統的中斷機制引入的上下文切換頻率,提升了虛擬設備的性能,圖2展現了I/O 全虛擬化模型.

圖2 I/O 半虛擬化模型

半虛擬化比全虛擬化在性能上有很大的提高,但是半虛擬化需要修改虛擬機操作系統和驅動程序適配新的設備接口,因此在移植性與兼容性方面受限.

(3)硬件輔助虛擬化技術

該虛擬化技術可以在硬件層次提供物理設備的共享,常見的硬件虛擬化包括設備直傳與單根 I/O 虛擬化(SR-IOV).設備直傳需要額外的硬件支持,如Intel VT-d[12]、AMD IOMMU[13]等,可以直接把物理設備分配給虛擬機,讓虛擬機獨占該設備,但是設備直傳技術只能把物理設備分配給一個虛擬機,不能讓多個虛擬機共享此物理設備,因而在云計算環境并不常用.

SR-IOV 虛擬化是在設備直傳技術的基礎上,引入了物理功能(PF)與虛擬功能(VF)的概念,在硬件層面對物理資源進行映射,通過創建不同虛擬功能(VF)設備的方式,讓一個PCIe 物理設備可以對外顯示為多個不同的物理設備,虛擬機管理器可以把這些VF 設備直接分配給虛擬機,虛擬機安裝特定的設備驅動對VF 進行訪問,進而實現虛擬機對物理設備的原生共享,訪問過程不需要虛擬機管理器的參與,圖3展現了SR-IOV模型.

圖3 SR-IOV 模型

在SR-IOV 設備中,PF 稱為完整的PCIe 功能,可以配置管理 SR-IOV 設備,控制I/O 數據讀取;VF 稱為輕量級的PCIe 功能,可以進行 I/O 數據讀取,但在配置管理SR-IOV 設備方面受限.

2 密碼卡軟件虛擬化

密碼卡一方面作為I/O 設備,虛擬化后的性能會成為制約虛擬機密碼運算性能的瓶頸,另一方面作為安全設備,虛擬機與設備交互的安全性是需要重點兼顧的內容.因此實現密碼卡軟件虛擬化,需要充分考慮性能、共享、安全、易用等問題[10],借鑒I/O 半虛擬化的思想,本文提出并設計了兩種基于I/O 前后端模型的軟件虛擬化方案.

(1)性能:實現虛擬機與密碼卡的高效通信,盡量減少性能損失,力求接近物理卡的性能.當采用虛擬技術后,在虛擬機中存在的是模擬的邏輯密碼卡,邏輯設備對接物理設備要經過一次 I/O 訪問過程,導致虛擬機中密碼卡的性能與直接使用物理密碼卡的性能相比存在 50%～90%的損失[14];

(2)安全:必須保證數據傳輸的安全穩定可靠,不能夠使用易受攻擊的通信方式,尤其是密碼卡這種進行密碼運算的設備,如TCP/IP 通信,大部分攻擊都是通過網絡進行的[15];

(3)易用:不能修改操作系統與軟件模擬器,使用通用版的操作系統與軟件模擬器才能保證密碼卡軟件虛擬化的易用性;

(4)共享:提高密碼卡的共享能力,可以保證密碼卡為多虛擬機提供密碼運算服務.

3 基于共享內存的密碼卡軟件虛擬化

3.1 總體設計

基于共享內存的密碼卡軟件虛擬化總體設計如圖4所示,虛擬機中的應用程序通過接口庫調用ivshmem 設備驅動,設備驅動搬運數據到共享內存,然后向偽虛擬機發送請求,偽虛擬機接收到請求后,服務程序讀取共享內存數據并調用密碼卡完成數據的密碼運算處理,處理完成之后回寫共享內存,最后通過唯一ID 通知虛擬機,對應的虛擬機收到中斷,操作共享內存,完成一次通信.

圖4 基于共享內存的密碼卡軟件虛擬化總體設計圖

Ivshmem 可以讓多虛擬機與宿主機通過共享內存實現通信,啟動虛擬機時需要預先設置ivshmem設備的中斷數量、共享內存名稱、共享內存大小等,為了優化軟件虛擬化的效率,消除共享內存引入信號量帶來的性能影響,本方案對共享內存采用統一申請、統一分配的方式,即使用服務程序申請一塊內存,使用虛擬機的唯一ID 確定各虛擬機在該塊共享內存的地址,在多個虛擬機同時申請調用密碼卡完成密碼運算時,可以先把數據拷貝到根據ID 確定的共享內存地址,通知偽虛擬機依次處理,以此實現多虛擬機調用密碼卡的異步請求,減少時間開銷,充分發揮密碼卡密碼卡的性能.

其中,除了服務程序要設計之外,ivshmem 設備的前端驅動也需要重新設計.密碼卡驅動的特殊之處在于可以根據虛擬機的ID 定位在共享內存中分配的位置,其余的本質上都是通用的PCIe 驅動,這里就不在詳細描述,調用接口庫與密碼卡驅動是不需要做任何修改的.

3.2 共享內存的實現

共享內存,顧名思義就是指多個不相關的進程可以訪問同一段物理內存,這是一種非常有效地共享和傳遞數據的方式,節省了一次數據拷貝的時間.當然,這要求使用共享內存通信的多個不相關的進程處于同一個計算機系統內,此外共享內存沒有提供同步機制,為避免訪問中出現的同步和互斥問題,需要由操作共享內存讀寫的進程來控制同步訪問[16].因此,方案一采用共享內存方式實現通信,同時選擇使用eventfd中斷實現同步.

目前QEMU/KVM是最流行的虛擬化組合,也是絕大部分企業虛擬化方案的首先,QEMU 負責模擬各類輸入輸出設備,KVM 負責CPU 虛擬化與內存虛擬化.IVSHMEM是QEMU 模擬的一個PCI 設備,支持eventfd中斷同步,通過共享內存讓多虛擬機與宿主機實現通信.在虛擬機內,ivshmem 對應的PCI ID為1af4:1110,支持3 個PCI 基地址寄存器,BAR 0為1 KB MMIO (memory-mapped I/O)區域的設備寄存器,包括中斷MASK 寄存器、中斷Status 寄存器、IVPosition寄存器與Doorbell 寄存器,其中IVPosition 寄存器為只讀寄存器,其值為虛擬機啟動時被分配的ID,BAR 1 用于MSI-X中斷,BAR 2為共享內存映射基址.通過ivshmem 方式,虛擬機與虛擬機之間可以實現中斷模式下的通信,而宿主機與虛擬機之間支持非中斷模式的通信,通信流程如圖5所示.

圖5 基于ivshemm的宿主機與虛擬機通信示意圖

在重新設計基于ivshmem 內存共享設備的前端驅動時,為避免不必要的系統調用與數據拷貝,本文使用UIO 機制的用戶態驅動替代常規的內核態驅動,可以在用戶空間直接操作ivshmem 共享內存,優化了從虛擬機到宿主機之間的通信效率.

3.3 服務程序的設計

為了使用ivshmem 設備基于eventfd的中斷機制,需要設計一個服務程序,運行在宿主機,稱之為ivshmemserver.該服務程序可以調用密碼卡,啟動一個ID 固定為0的虛擬機(稱之為偽虛擬機),創建共享內存,等待qemu的連接請求,每啟動一個虛擬機,ivshmem-server 會自動分配給虛擬機eventfd 文件描述符與ID 號,并且把這兩個信息通知給其它虛擬機,每退出一個虛擬機,ivshmem-server 也會通知退出虛擬機的ID.每個虛擬機的ID 都是獨一無二的,在收發數據時用來標識虛擬機,虛擬機之間通過eventfd 機制通知中斷.每個虛擬機都在與本身ID 所綁定的eventfd 文件描述符上偵聽,并且使用其它虛擬機的eventfd 向其它guest 發送中斷,服務程序的處理流程如圖6所示.

圖6 ivshmem-server 服務程序的處理流程圖

在已檢索的文獻中,文獻[15]提出了一種比較通用的ivshmem-server 服務程序設計方法,一個偽虛擬機對應一個虛擬機,同時啟動一個守護線程響應調用請求.與該方法相比,本文改進的服務程序可以實現一個偽虛擬機對應多個虛擬機,后臺只需啟動一個守護線程就可以響應不同虛擬機的調用請求,不僅可以降低對系統資源的消耗,還可以在守護線程中流水式的處理調用請求,減少多線程響應請求帶來的時間開銷.

4 基于vhost-vsock的密碼卡軟件虛擬化

4.1 總體設計

基于vhost-vsock的密碼卡軟件虛擬化總體設計如圖7所示,虛擬機中的應用程序通過接口庫調用virtio 相關接口,數據經由vhost-vsock 傳輸直接送達宿主機的內核,密碼卡設備驅動從vhost-vsock 模塊獲取數據后交給密碼卡進行密碼運算處理,數據處理完成之后原路返回給虛擬機,完成一次通信.

圖7 基于vhost-vsock的密碼卡軟件虛擬化總設計圖

其中,調用接口庫需要稍微做一下修改,密碼卡設備驅動需要重新設計,能夠從vhost-vsock 獲取數據,并可以處理多虛擬機的并發調用.

4.2 vhost-vsock

virtio[17]是一種 I/O 半虛擬化優化解決方案,提供了一整套虛擬化設備與上層應用的通用虛擬化框架,不僅提高了I/O 虛擬化的性能,還提高了開發效率與跨平臺的兼容性,KVM中半虛擬化驅動實現的方式就是采用了針對 Linux的I/O 虛擬化框架virtio.

在qemu中virtio 設備具體表現為一個模擬的PCIe設備,通過安裝 virtio的前端驅動,可以實現virtio 設備與后端(KVM/QEMU)的交互,采用virtio的網絡半虛擬化稱為virtio-net[18],優化版的網絡半虛擬化稱為vhost-net[18],使用vhost 技術,在內核中加入了vhostnet.ko 模塊,使得網絡數據可以在內核態得到處理,減少了用戶態/內核態切換時間和包的拷貝次數,進一步提升了性能,如圖8virtio-net 與vhost-net 框圖所示.

圖8 virtio-net 與vhost-net

基于vhost-net的vhost-vsock[19],為虛擬機的網絡協議棧提供了新的后端,使用一對32 位的整數CID:PORT 來標識進程,類似TCP/IP 通信中的IP:PORT,可以直接與宿主機內核中的vhost_vsock 模塊通信,宿主機固定使用2 作為CID,每個虛擬機在啟動時會被自動分配一個CID.vhost-vsock 定義了一套新的套接字地址族,支持socket API,沒有使用TCP/IP 協議,甚至不需要網絡接口,可以零配置實現虛擬機與宿主機間的高性能通信,如圖9vhost-vsock 通信示意圖所示.

圖9 vhost-vsock 通信示意圖

4.3 密碼卡驅動的設計

原有的密碼卡設備驅動位于操作系統底層,負責密碼卡的初始化,透明傳輸密碼卡與系統之間的數據,不解析、不截獲數據.基于vhost-vsock的密碼卡驅動,不僅需要具備原有驅動的功能,還得具備vhost-vsock服務器端的功能,能夠響應多虛擬機的并發請求,從vhost-vsock 獲取數據.

驅動程序的處理流程如圖10所示,重新設計后的驅動在初始化設備后,啟動了兩個處理線程,vhost-vsock服務線程用來響應虛擬機的調用請求,工作任務處理線程用來處理工作鏈表中的任務,當虛擬機調用請求到達,vhost-vsock 服務線程會為該請求啟動一個對應的服務線程,把到達的任務加入任務鏈表,等待工作任務處理線程的處理.

圖10 密碼卡設備驅動處理流程圖

重新設計后的驅動可以預先接收待處理的數據到宿主機的內核空間,把虛擬機的請求任務加入工作鏈表異步處理,減少了多虛擬機并發調用密碼卡的等待時間,提高了本方案軟件虛擬化的性能.

5 實驗與分析

本次實驗采用X86 與ARM 雙平臺,方案一(基于共享內存的密碼卡軟件虛擬化)適用于x86 平臺,方案二(基于vhost-vsock的密碼卡軟件虛擬化) 適用于ARM 平臺,密碼卡采用三未信安股份有限公司生產的SJK1828(#2)系列密碼卡,可以處理0～16 KB 大小的數據包,測試性能時選擇SM1、SM2 與SM4 三種常用的國密算法,分別覆蓋對稱算法與非對稱算法,平臺硬件與軟件具體配置如表1所示.

表1 實驗配置

5.1 實驗一.性能測試

本實驗測試兩種方案在X86 平臺的性能表現,測試數據在不經過密碼卡處理的情況下從虛擬機應用層到宿主機內核層再到虛擬機內核層(vm->vhost->vm)的系統吞吐量,數據包大小從1–16 KB,實驗結果如圖11所示.

由圖11可知:使用共享內存的方式進行數據傳輸,通信速度與數據包長度基本成線性正比關系,斜率變化不大,也即vm->vhost->vm 每秒通信次數變化不大,數據包長度越大意味著通信速度越高;而采用vhostvsock的方式進行數據傳輸,斜率逐漸變小,也即隨著數據包長度變大,vm->vhost->vm 每秒通信次數變化逐漸變小;同時,相同數據包長度,使用共享內存的方式的通信速度始終大于采用vhost-vsock的方式,在包長為4 KB 時,共享內存通信速率可以達到2000 Mb/s 左右,vhost-vsock 可以達到1 600 Mb/s 左右,在包長為8 KB時,共享內存通信速率可以達到4 000 Mb/s 左右,vhost-vsock 可以達到3 000 Mb/s 左右.

圖11 密碼卡設備驅動處理流程圖

本次實驗證明,在傳輸數據方面共享內存的方式優勢非常明顯.由于在ARM 平臺使用ivshmem 模擬設備,會因共享內存頁面屬性不一致進而產生硬件不維護cache 一致性問題,導致虛擬機崩潰,因此只能退而求其次在ARM 使用vhost-vsock 通信方式.

5.2 實驗二.x86 平臺下算法性能

本實驗測試方案一在X86 平臺調用密碼卡的性能表現,測試的算法分別包括SM1、SM4 與SM2,測試的數據包長度為4 KB,測試過程中逐漸增加虛擬機的數量,并在開啟不同的虛擬機數量時,測試方案2的算法性能做對比,圖中標注了密碼卡在宿主機下的性能作為參考,具體測試結果如圖12所示.

由圖12可知,對于方案一,只有一臺虛擬機調用密碼卡時,方案二的SM1 與SM2 驗簽算法性能可以達到密碼卡在宿主機性能下的95%以上,隨著虛擬機并發調用密碼卡的數量增加,單臺虛擬機的算法性能逐漸下降,多臺虛擬機的整體算法性能超過宿主機算法性能,并緩慢增加最后逐漸保持穩定;對于方案二,只有一臺虛擬機調用密碼卡時,方案二的SM1 算法性能可以達到密碼卡在宿主機性能下的60% 以上,SM4 算法性能可以達到密碼卡在宿主機性能下的40%以上,SM2 驗簽算法性能可以達到密碼卡在宿主機性能下的90%以上,隨著虛擬機并發調用密碼卡的數量增加,單臺虛擬機的算法性能逐漸下降,多臺虛擬機的整體算法性能超過宿主機算法性能,并緩慢增加最后逐漸保持穩定;對比兩種方案,無論是在單臺虛擬機還是多臺虛擬機的情況下,方案一的算法性能表現要優于方案二,因此在x86 平臺采用方案一是最優選擇.

圖12 x86 平臺下SM1、SM4 與SM2 算法性能測試圖

5.3 實驗三.ARM 平臺下算法性能

本實驗測試方案二在ARM 平臺調用密碼卡的性能表現,測試的算法分別包括SM1、SM4 與SM2,測試的數據包長度為4 KB,測試過程中逐漸增加虛擬機的數量,并同密碼卡在宿主機下的性能表現做對比,圖中標注了密碼卡在宿主機下的性能作為參考,具體測試結果如圖13所示.

由圖13可知,只有一臺虛擬機調用密碼卡做密碼運算時,方案二的算法性能可以達到密碼卡在宿主機性能下的92%以上,隨著虛擬機并發調用密碼卡的數量增加,單臺虛擬機的算法性能逐漸下降,多臺虛擬機的整體算法性能超過宿主機算法性能,并緩慢增加最后逐漸保持穩定.

圖13 ARM 平臺下SM1、SM4 與SM2 算法性能測試圖

6 結語

本文設計實現了基于I/O 前后端模型的密碼卡軟件虛擬化方式,利用共享內存或者virtio 作為通信方式,通過重新設計密碼卡前后端驅動或者服務程序,完成多虛擬機與宿主機的高效通信,實現常規密碼卡被多虛擬機共享,提出的方法降低了云密碼機的硬件門檻,以軟件的方式有效地解決了使用SR-IOV 密碼卡過程中存在的兼容性不好、擴充性受限、遷移性差以及性價比低等問題,為密碼卡的軟件虛擬化研究提供了很好地借鑒思路.

實驗結果證明,兩種方案在各自平臺的性能表現方面很好,甚至在多虛擬機并發調用密碼卡時可以獲得超過宿主機下調用密碼卡的性能,完全能夠滿足實際應用的需求.本文提出的技術不局限于云密碼機產品的開發,對于使用SR-IOV 密碼卡的服務器或者云主機同樣適用,具有很好的使用前景,目前方案二已應用于信創項目的云密碼機產品.

當然,本文提出的方法還有進一步改進的空間,根據兩種不同方案在不同數據包長下宿主機與虛擬機通信性能的表現,通過負載均衡組包來提升本文方案的算法性能是值得研究的方向.同時,與密碼卡的SRIOV 硬件虛擬化相比,本文提出的技術存在一些不足之處,軟件虛擬化不能從硬件層次屏蔽各虛擬機對卡內密鑰的訪問,只能在軟件層次設置密鑰的訪問權限.