SR-IOV密碼設備中斷傳輸過程建模1

孫磊，李帥，郭松輝

（信息工程大學，河南 鄭州 450001）

1 引言

近年來，云計算憑借其強大的計算和存儲能力逐漸在產業界得到廣泛應用[1]。隨著云計算的快速發展，其應用也逐漸在軍事、電子商務和電子政務等領域得到推廣，而同時云計算也面臨為敏感信息提供機密性、完整性和真實性等保護的迫切需求。通過部署密碼服務器，利用虛擬化技術為用戶提供密碼運算服務，是目前廣泛使用的密碼服務保障模式[2]。

密碼服務器通過外接密碼設備為用戶提供密碼運算服務，密碼設備處理密碼任務不僅要求運算的正確性，還要求任務處理的實時性[3]。在虛擬化環境下，由虛擬密碼機（VCM，virtual cipher machine）（為用戶提供密碼服務的虛擬機）[4]發出的密碼運算請求以中斷的方式通知密碼設備，然而在整個中斷傳輸的過程中存在較大延遲，這是由于虛擬機監控器（VMM，virtual machine monitor）會截獲相應的中斷，觸發VM-exit造成的。單根I/O虛擬化技術（SR-IOV，single-root I/O virtualization）[5]是一種硬件輔助虛擬化技術，該技術借鑒Passthrough I/O傳輸方式[6]，在數據傳輸過程中繞過VMM，并通過輸入/輸出內存管理單元（IOMMU，input/output memory management unit）減少了存儲保護和地址轉換的開銷，大大提高了傳輸效率[7]。然而，虛擬中斷請求仍然會被VMM 截獲，其傳輸過程造成多次上下文切換，使在中斷密集時，密碼設備不能及時處理密碼運算任務，降低了密碼運算的效率。而且，當云中用戶對加密服務的請求在同一時間過多時會產生大量不可預測的中斷請求，導致密碼設備外部中斷請求過多，嚴重影響了密碼設備處理密碼運算的能力，增大了系統開銷[8]。

針對SR-IOV設備中斷的問題，國內外學者進行了大量研究。Dong等[9]在 2010年指出了SR-IOV中斷引起的性能降低問題，在對SR-IOV中斷優化的過程中，上海交通大學管海兵團隊先后提出了中斷聚集方法[10]、基于事件的輪詢方法[11]和一種自適應中斷頻率控制方法[12]，這3種方法分別從優化中斷頻率和消除VM-exit入手來提高系統性能。然而，中斷聚集方法和自適應中斷頻率控制方法需要考慮多方面因素，因為中斷聚集意味著每次中斷帶來的數據量較大，可能會導致數據丟失，且中斷聚集引起的中斷頻率的減少可能會帶來更高的延遲，這在高速網絡傳輸過程中是非常嚴重的問題。而采用基于事件的輪詢方法是以虛擬中斷注入作為輪詢起點，這是一條更長的代碼路徑，會造成額外開銷。國外學者Gordon等[13]提出了一種更少中斷退出的機制（ELI，exit-less interrupt），該機制采用軟件模擬的方式在客戶虛擬機內建立影子中斷描述符表（IDT，interrupt description table），可實現客戶機直接處理中斷，但ELI只允許影子IDT直接處理已經分配的設備中斷，其他中斷仍需要主機的介入，云環境下中斷請求復雜多樣，該方法顯然具有一定的局限性。Tu等[14]提出了一種直接中斷傳輸的方法（DID，direct interrupt delivery），該方法通過清除虛擬機控制結構中的外部中斷控制位來禁止VM-exit，可能會導致中斷的錯誤處理。從虛擬密碼設備的角度來說，這種做法會導致密碼運算錯誤，是不可取的。

研究影響 SR-IOV密碼設備的性能問題必須要考慮密碼任務的特點，本文以單臺密碼服務器為例，針對虛擬化環境下 SR-IOV密碼設備頻繁產生中斷影響運算性能的問題，根據密碼任務先到先服務的規則，利用排隊論的知識建立了M/M/1模型，分析了影響SR-IOV密碼設備密碼運算性能的關鍵因素，并通過仿真和實驗對比驗證了模型的有效性，最后對系統性能進行了測試。

2 相關技術和關鍵問題

2.1 相關技術

云計算環境的安全體系主要依托密碼技術來建立，實現密碼運算的載體是各種密碼設備，傳統的密碼設備擴展性差，無法滿足云環境下海量數據的密碼服務需求，虛擬化技術的出現解決了資源利用率低的問題，通過在云資源中心部署密碼服務器集群，采用虛擬化技術為云用戶提供密碼運算服務，充分提高了密碼設備資源的利用率[15]。

為了更高效地為云用戶提供密碼運算服務，考慮到密碼設備本身是一種物理硬件設備，通常采用一種硬件輔助虛擬化技術——SR-IOV技術實現密碼設備的虛擬化。其中，SR-IOV是PCI-SIG組織發布的PCIe規范的擴展，它借鑒了Passthrough I/O技術，在數據傳輸過程中繞過了VMM，使用IOMMU在虛擬內存中直接尋址，減少了存儲保護和地址轉換的開銷。基于 PCIe規范，具有SR-IOV功能的設備可創建多個虛擬功能（VF，virtual function），并且每個SR-IOV設備具有一個或多個物理功能（PF，physical function），每個PF都是標準的PCIe 功能，且關聯多個VF，這些VF均可共享密碼設備資源[12]。SR-IOV密碼設備基本架構如圖1所示。每個虛擬密碼機對應一個VF，VCM和VF之間通過VFIO驅動進行通信，并且不受VMM干預。

圖1 SR-IOV密碼設備基本架構

密碼設備集成了專用密碼運算單元和 CPU模塊，密碼運算單元中集成了對稱加密、不對稱加密、身份驗證、數字簽名、公開密鑰加密和DH等加密技術，用戶可以通過相應的接口調用相應的密碼算法來實現加密需求。密碼設備在執行密碼運算時，從用戶發出密碼運算請求開始到密碼設備執行密碼運算結束，整個運算過程所用的時間長短直接反映了系統處理密碼運算的效率，即高效的密碼運算要求較短的時間。其中，整個密碼運算過程所消耗的時間主要包括 CPU執行密碼運算的時間和請求響應時間，而CPU執行密碼運算的時間由密碼算法復雜度和CPU頻率決定，取值相對固定。因此，提高密碼運算效率需從減小請求響應時間入手。

密碼設備的請求響應是一種I/O傳輸，I/O傳輸的方式有查詢、輪詢和中斷3種方式。其中，查詢方式是一種I/O串行方式，該方式存在很大的空閑期，會造成嚴重的CPU資源浪費。輪詢方式改進為定期查詢完成信號，提高了 CPU利用率，但系統輪詢頻率設置的高低又帶來其他不可避免的問題。例如，當系統設置較大的輪詢頻率時，輪詢例程被調用時若系統沒有可用響應，會浪費CPU周期，增加卸載成本；如果系統設置的輪詢頻率過低，就會增加延遲。中斷進一步提高了CPU的使用效率，當系統需要處理設備接收到的新數據時，會中斷當前任務轉去處理新接收的數據，該做法提高了請求響應時間，大大提升了系統的利用效率。而且，設備發出中斷處理請求后，中斷方式會立刻通知操作系統，而輪詢方式需要下一次輪詢到該設備時，才會得知這一請求。所以，相比查詢方式和輪詢方式，中斷方式有較小的延遲。考慮到密碼任務的實時性要求，即在一定時間內系統必須對高優先級的任務做出及時響應，而且大多數實時任務是靠中斷驅動的[3]，密碼設備采用中斷觸發方式響應用戶請求，可滿足密碼任務實時性的要求。

2.2 關鍵問題

由 2.1節的分析可知，用戶發出的密碼運算請求以中斷的方式通知密碼設備上相應的寄存器，交由密碼運算單元處理密碼任務。在虛擬化環境下，由虛擬密碼機發出的密碼運算請求同樣以中斷的方式通知密碼設備，然而在整個中斷傳輸的過程中有相應的延遲，這是由于VMM會截獲相應的中斷，觸發VM-exit事件造成的。VMM截獲中斷信號之后將中斷注入主機內核，主機內核調用相關的函數接口將密碼請求任務交給密碼設備，密碼設備執行完密碼任務后生成一個完成信號，該信號返回給虛擬機的過程中再次被VMM截獲，觸發VM-exit事件，引發EOI寫操作。整個中斷傳輸的過程造成多次上下文切換，當中斷頻率過大時，頻繁的上下文切換使 cache污染的概率大大提高[9]，嚴重影響密碼設備運算性能。物理環境下和虛擬環境下的中斷處理過程如圖2和圖3所示。

圖2 物理環境下的中斷處理過程

由圖2和圖3對比分析知，物理環境下的中斷處理過程造成了兩次上下文切換，且不存在虛擬機監控器的參與；而虛擬環境下的中斷處理造成了4次上下文切換，且每次VM-exit事件均被VMM 截獲，開銷比物理環境下大得多。如果將虛擬環境下中斷的處理過程分成虛擬機處理中斷和VMM介入兩部分，在運行Netperf工作流下，實驗測得兩部分消耗的CPU周期中，由VMM介入所消耗的 CPU周期高達 86%[16]。而且，密碼算法的操作序列比較長，當采用密碼算法對一段數據進行加密時，一般具有大量重復的操作。由于VMM截獲中斷的開銷較大，當虛擬化環境下的中斷頻率過多時，會造成更大的開銷，當大量的中斷引發中斷嵌套時，甚至會加解密失敗，嚴重影響了密碼設備處理密碼運算的效率。Intel Corporation DH895XCC Series QAT密碼設備考慮到虛擬機中斷帶來的巨大開銷，采用基于事件的輪詢模式——“Epoll模式”處理響應，但該模式只能在用戶空間中使用，內核空間部分依然利用中斷模式，如果內核中斷有延遲，則會在向用戶空間交付事件時出現相應的延遲[11]。因此，在密碼設備處理密碼運算任務的過程中，中斷的發生是必然的，處理中斷所引起的系統開銷也是不可避免的，而系統開銷的大小取決于中斷帶來的延時。在上述的分析中，造成中斷延時的原因主要是中斷處理過程中 VMM的介入和高中斷頻率。

圖3 虛擬環境下的I/O中斷處理過程

3 模型建立與分析

3.1 模型建立

在單個服務器上，SR-IOV密碼設備中斷傳輸過程如圖4所示，主要包括SR-IOV密碼設備、虛擬密碼機、VMM 和中斷請求隊列。其中，密碼設備采用SR-IOV技術將單個物理設備呈現為一個PF和若干VF。在實際使用時，把每個VF分配給每一個虛擬密碼機，虛擬密碼機通過 VF獲取密碼設備資源，完成密碼運算操作。由于VF之間相互隔離，因此每臺虛擬密碼機執行密碼運算時互不影響。但由于虛擬密碼機共享硬件資源，當同一時間內，虛擬密碼機發出大量中斷請求時，會造成主機不能及時處理中斷請求，從而形成中斷請求隊列。在中斷請求隊列中，密碼運算類中斷請求具有同等優先級，因此隊列中的中斷請求按照先到先服務的規則進行排序。密碼設備處理完密碼運算后生成一個 EOI信號交由 VMM 處理，處理完成后注入VCM，最終VCM恢復正常運行。

在SR-IOV密碼設備中斷傳輸過程中，兩個相鄰中斷請求的時間間隔具有無記憶性，且每個中斷請求之間相互獨立，實際上，系統中斷請求的到達過程具有馬氏性，且兩個相鄰中斷請求時間間隔服從指數分布。中斷請求進入排隊系統后，系統處理每個中斷請求的時間是獨立同分布的指數隨機變量，且服從指數分布。上述中斷請求時間間隔和系統處理每個中斷請求的時間所滿足的概率分布符合排隊論的基本條件[17]，且隊列中的中斷請求按照先到先服務的規則進行排序，則針對單個服務器，密碼服務系統中每個虛擬密碼機的中斷請求處理過程構成了M/M/1排隊模型。

3.2 模型分析

假設密碼服務系統中中斷請求的平均到達率為λ，系統處理每個中斷請求的平均服務率為μ。考慮到密碼服務系統中中斷請求的隨機性，取中斷請求時間間隔的平均值為Tb，則系統任務的平均到達率即系統中斷請求頻率。假設系統中斷請求頻率為I，則λ=I。取系統處理每個中斷請求的平均處理時間為T，則中斷的平均服務速率為。假設N(t)表示t時刻系統中斷請求隊列長度，其中包括正在處理的中斷以及隊列中的中斷。對M/M/1排隊模型來說，是一個時間參數連續的馬氏鏈，實際上是一個生滅過程，其Q矩陣為

圖4 SR-IOV密碼設備中斷傳輸過程

根據Q矩陣，可畫出的狀態轉移圖，如圖5所示。

圖5 系統中斷請求隊長狀態轉移圖

則系統的穩態隊長的分布為

當k=n時

其中，ρ為系統服務強度，且

當k取0時，得出系統處于空閑狀態的概率為

則系統處于繁忙狀態的概率為

由little公式[18]，系統的平均任務數為

在密碼服務系統中，系統的平均中斷響應時間反映了密碼設備處理中斷請求的效率，它等于從虛擬密碼機發出中斷請求開始到SR-IOV密碼設備接收到中斷請求并進入中斷處理程序的時間。在 SR-IOV密碼設備中斷傳輸過程中，這個時間可分為兩部分：中斷請求的排隊等待時間和中斷請求在系統中的傳輸時間。假設Tq為中斷請求的排隊等待時間，tT為中斷請求在系統中的傳輸時間，則系統的平均中斷響應時間可表示為

在上述性能參考指標中，系統服務強度ρ一般情況下小于 1，即系統處理每個中斷請求的平均處理時間T小于中斷請求時間間隔Tb；若ρ大于 1，顯然系統不能及時處理中斷請求，且隨著時間的推進，系統中斷請求的隊長將趨于無限；若ρ等于 1，則系統一直處于繁忙狀態，即系統每接收到一個中斷請求信號就馬上處理，處理完畢后又立即處理下一個中斷請求信號，但中斷響應都有相應的延時，隨著時間的推進，系統中斷請求的隊長也將趨于無限。顯然，在SR-IOV密碼設備中斷傳輸過程中，ρ大于等于1的情況是不希望發生的，那么T一定不能超過Tb，且即控制系統中斷請求頻率I不能過大。

在SR-IOV密碼設備中斷傳輸過程中，系統的中斷響應時間直接體現了密碼設備處理密碼運算的效率。在上述性能參考指標中，系統的平均中斷響應時間Tr由中斷請求排隊等待時間Tq和中斷請求傳輸時間tT組成，可通過減少Tq和tT降低系統的中斷響應時間。減少Tq的本質是增大Tb，即降低I。由第2節分析可知，減少中斷請求傳輸時間tT要從 VMM 入手，即盡可能避免VMM截獲中斷。因此，要提高 SR-IOV密碼設備密碼運算性能，需從降低系統中斷請求頻率和減少VMM介入入手。

4 驗證與分析

本文采用軟件仿真和實驗測試兩種方式驗證模型的有效性，并對性能特征進行分析。軟件仿真使用Matlab_2016a建立模型，實驗環境如下。主機和虛擬密碼機操作系統均為 CentOS-7-x86_64-1511，內核版本為Linux 3.10.0-327.e17.x86_64，處理器為 Intel(R) Xeon(R) CPU E5-2620 v3@2.40 GHz，CPU核心數為12核，內存大小為128 GB，支持SR-IOV技術，每臺虛擬密碼機均分配一個vCPU和2 048 MB內存，密碼設備為Intel Corporation DH895XCC Series QAT。

4.1 模型有效性驗證

SR-IOV密碼設備的VF自身支持中斷頻率上限的設置，實驗中本文分別設置VF中斷頻率上限為 1 000、2 000、3 000、4 000、5 000、6 000、7 000、8 000、9 000和10 000，測試了單個虛擬密碼機在相應設置下的中斷響應時間，測試結果與仿真結果進行對比，結果如圖6(a)所示。為了測試整個系統的運行隊列長度，本文分別運行1臺、2臺、4臺、8臺和16臺虛擬密碼機，測試系統運行隊列長度，并對仿真結果進行對比，結果如圖6(b)所示。圖6表明，實驗結果與仿真結果曲線走勢相同，模型有較高的有效性。

4.2 系統性能測試

本節選取對稱加密算法AES128作為實驗對象，以密碼算法的加密速度作為虛擬密碼機性能參考指標，基于crytodev加密框架[18]發送和接收相關指令，實現虛擬密碼機與密碼設備的通信，獲取相應的密碼服務。該加密框架可以測試虛擬密碼機密碼運算速度，其中包含AES128等加密算法。系統性能的各項指標由Linux vmstat 命令獲得，該命令可獲得給定時間間隔內系統的狀態值，包括系統隊列長度、系統中斷頻率、系統上下文切換次數、系統 CPU時間和用戶 CPU時間等。其中，系統隊列長度表示當前系統正在運行的進程數目，系統中斷頻率表示每秒CPU的中斷次數，系統上下文切換次數主要反映調用系統函數的繁忙程度，系統CPU時間和用戶CPU時間主要反映系統I/O操作的繁忙程度。下面分別對單臺虛擬密碼機和多臺虛擬密碼機進行性能測試。

圖6 模型有效性驗證

首先對一臺虛擬密碼機進行測試，在分別運行1個任務、2個任務、4個任務和8個任務的狀況下，測試虛擬密碼機在輸入加密數據分組大小從64 byte變化到65 536 byte11次的加密速度，反復測試10次求取平均值，測試結果如圖7(a)所示。圖 7(a)的測試顯示了虛擬密碼機處理單個密碼任務時，AES128算法對接收到的不同加密字節塊大小加密速度的變化趨勢。從實驗結果中可以看出，加密字節在16 384之前，虛擬密碼機加密速度一直在增大，當加密字節為16 384時，虛擬密碼機加密速度達到最大，當加密字節繼續增大時，虛擬密碼機加密速度基本無變化甚至出現降低的趨勢。使用vmstat相關命令獲取系統實時中斷頻率、上下文切換次數和系統CPU時間，記錄11次采樣結果。圖7(b)顯示了虛擬密碼機分別運行1個任務、2個任務、4個任務和8個任務時的每秒中斷頻率，其平均值分別為1 065、1 126、1 173和1 323，說明隨著任務量增加，系統中斷頻率不斷增大。圖 7(c)顯示了虛擬密碼機分別運行1個任務、2個任務、4個任務和8個任務時系統的上下文切換次數，且系統的平均上下文切換次數為299、345、391和451，說明系統任務量越大，系統上下文切換次數越多。圖7(d)顯示了虛擬密碼機分別運行1個任務、2個任務、4個任務和8個任務時的系統CPU時間，該值基本保持在 85%以上。其中運用 vmstat命令測試得出的系統 CPU時間越長，表明系統調用時間越長，如頻繁的 I/O操作會導致較高的系統 CPU時間，這也說明了AES128加密操作屬于I/O密集型的操作。綜合圖7，對于單臺虛擬密碼機來說，密碼任務越多，運算性能越低，這不僅是由于每個密碼任務平分物理硬件資源，任務增加帶來的中斷頻率增大以及上下文切換次數增大也是導致運算性能降低的主要因素。因為對于同一類密碼任務來說，多個任務的加密速度之和總是小于一個任務的加密速度，且任務越多差值越大。

圖7 單臺虛擬密碼機性能測試

圖8 多臺虛擬密碼機性能測試

為了測試多臺相同配置的虛擬密碼機同時工作時帶來的性能開銷，分別對1臺、2臺、4臺、8臺和16臺虛擬密碼機同時循環執行AES128加密運算，用vmstat命令每2 s進行一次采樣，記錄15次采樣結果，篩選出系統運行隊列長度、系統每秒中斷頻率、系統每秒上下文切換次數和用戶CPU時間，具體結果如圖 8所示。由圖 8(a)和圖 8(b)可明顯看出，當系統中虛擬密碼機數量增加時，系統運行隊列長度和系統中斷頻率明顯增大，且當系統運行16臺虛擬密碼機時，系統運行隊列長度與系統中斷頻率的比值明顯增大，該比值即為中斷請求的排隊等待時間，該結果驗證了中斷頻率過大使中斷排隊時間變長的結論。圖8(c)和圖8(d)所示，系統的上下文切換次數隨虛擬密碼機數量的增加而增加，用戶CPU時間也隨虛擬密碼機數量的增加而急劇增加。當運行16臺虛擬密碼機時，用戶CPU時間達到100%，說明系統加解密頻繁，CPU繁忙。

綜合上述測試結果，不管單臺虛擬密碼機還是多臺虛擬密碼機，密碼運算任務越多，系統中斷頻率和系統上下文切換次數越多，更多的CPU資源則用來處理系統調用，致使系統 I/O繁忙，密碼任務的請求響應時間變長，進而影響密碼運算的速度，導致加密字節達到一定值時密碼運算速度呈現降低的趨勢。要提高虛擬密碼機密碼運算速率，就要保證 I/O傳輸的高效性，控制系統中斷頻率和系統上下文切換次數可有效提高I/O傳輸能力，因此，影響SR-IOV密碼設備系統性能的關鍵因素是中斷頻率和上下文切換次數。

5 結束語

本文從SR-IOV密碼設備相關技術入手，分析了中斷是一種有效滿足密碼任務實時性要求的通信機制，然而也帶來了嚴重的開銷問題。首先，虛擬環境下的中斷傳輸機制相比物理環境下更復雜，中斷請求在傳輸過程中被VMM兩次截獲，造成嚴重的上下文切換，增大了系統開銷；其次，當虛擬環境下中斷請求頻率過高時，會嚴重降低SR-IOV密碼設備處理密碼運算的能力。本文針對SR-IOV密碼設備處理密碼任務的特點建立了M/M/1排隊模型，分析了影響SR-IOV密碼設備密碼運算性能的因素，通過仿真和實驗兩種方式，對系統隊列長度、系統中斷頻率、系統上下文切換次數、系統CPU時間和用戶CPU時間進行了測試和分析，并對模型的有效性進行了驗證。結果表明，本文建立的模型對SR-IOV密碼設備中斷傳輸過程的分析具有較高的有效性。

本文關于SR-IOV密碼設備中斷傳輸過程模型的建立僅適用于某一類密碼服務的情況，后續的研究將拓展到密碼云環境，對密碼云環境下不同類和不同優先級的密碼服務進行建模，研究影響SR-IOV密碼設備密碼運算性能的各項因素。