云計算環境下樸素貝葉斯安全分類外包方案研究

陳 思

(南京理工大學信息化建設與管理處 江蘇 南京 210094)

0 引 言

人類、機器、物理世界三元的高度融合引發了數據規模的急速式增長和數據模式的高度復雜化，我們已進入了大數據時代[1]。與此同時，在處理、分析海量數據方面表現良好的機器學習已經成為人工智能領域中的一個重要分支。現機器學習算法主要包括分類、聚類算法，其中分類算法主要包括支持向量機(SVM)、樸素貝葉斯、決策樹等，甚至部分神經網絡也能完成分類任務。在一個機器學習實例中，主要包括模型訓練和模型使用兩個階段，模型訓練即利用本地訓練集完成模型初始化并進行參數優化，模型使用則是利用訓練完成的模型，通過輸入特征向量得到分類預測結果。無論是機器學習模型訓練還是模型使用都可以看作是一種特殊的計算，且伴隨著應用場景的拓展及使用數據量的擴大，這些計算的規模也會劇增，這對于一些本地資源受限的個人用戶來說，很難高質量地獨立完成。為此我們需要借助云服務器的計算存儲能力，實現機器學習模型訓練和模型使用的外包。

云計算是一種基于互聯網的計算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計算機和其他設備，云是網絡、互聯網的一種比喻說法[2]。外包計算是云計算中最重要的應用之一，指的是一個計算能力有限的客戶將任務外包給云中的一個或者多個服務器[3]。這一基于云計算的應用場景正好契合由大規模數據驅動的機器學習模型訓練及預測任務。當結合外包計算技術和機器學習實例時，我們常需要借助云服務器的計算存儲能力代替用戶的本地計算與存儲，而這一過程必須考慮數據安全性問題。第一，用于訓練機器學習模型的訓練數據常常包含其大量個人隱私信息，因此其持有者不希望將明文暴露給其他人；第二，基于云服務器的外包環境具有不確定性，在外包方案中常以半可信狀態假設(會推測敏感信息)，即云服務器會正確執行用戶預設的計算任務，但其會想方設法推測用戶的隱私信息而不易被察覺。

在模型訓練階段，主要考慮訓練數據集的數據安全問題，例如以疾病預測為目標的機器學習醫療系統，常用的訓練數據集是與病患直接關聯的診斷數據，極有可能帶有大量的隱私信息，這類數據在訓練外包過程中往往不能以明文的形式傳遞。在模型使用階段，用戶通常注重輸入實例及最終分類結果的隱私保護，而對于提供分類服務的模型擁有者，由于高精度高魯棒性的模型常需要大量人力、物力進行訓練，因此執行分類外包時模型的明文不能直接發布給遠程服務器。如何在保證模型訓練及模型使用可行的情況下完成關鍵數據隔離，是機器學習安全外包主要的研究內容，也是亟需解決的關鍵問題。

為了解決這個問題，文獻[4]針對SVM、樸素貝葉斯和決策樹三種分類器的模型訓練階段，通過與AdaBoost迭代算法結合，構建弱分類器并最終組合的方式提出訓練過程外包模型，但沒有考慮模型使用階段的應對方法。文獻[5]針對支持向量機分類器模型訓練及模型使用階段的安全問題設計了安全外包方案，但該方案不能很好地遷移到樸素貝葉斯分類外包方案中。文獻[6]利用差分隱私的思想解決多數據源情況下的樸素貝葉斯模型訓練外包的場景，也沒有考慮模型使用階段的外包安全。文獻[7]針對樸素貝葉斯分類外包任務，利用私有信息檢索技術及同態加密技術實現安全外包，但該方案時空開銷較大，不能很好地實際部署與應用。

現如今大多數樸素貝葉斯外包方案多注重模型訓練階段的安全外包，尚沒有人考慮模型預測階段的安全外包。本文首次針對樸素貝葉斯模型分類預測場景，設計實現了一套基于同態加密技術及盲化技術的樸素貝葉斯安全分類外包系統，該系統借助云服務器高效計算存儲能力以及隨時在線提供分類預測服務的特性，實現了模型的高效、準確分類外包。本文創新點如下：

(1) 允許模型擁有者在本地不限編程語言地訓練樸素貝葉斯分類模型，將模型加密委托給半可信的云服務器后可以離線，之后的分類任務將不需要模型擁有者的參與；

(2) 首次針對樸素貝葉斯分類預測階段，利用同態加密方法及盲化性質設計了樸素貝葉斯安全分類外包方案并基于Java編程語言實現了系統可視化；

(3) 允許用戶登陸安全外包系統與云服務器進行交互并在確保隱私的情況下得到安全可靠的分類結果，且支持各類樸素貝葉斯分類實例。

1 樸素貝葉斯安全分類外包原理

1.1 樸素貝葉斯分類器及分類外包

樸素貝葉斯分類是分類預測樣本標簽的有效算法，樸素貝葉斯分類器的思想原理很簡單：給出待分類樣本，求出該樣本屬于某個類別的后驗概率，哪個概率最大，就認為此樣本屬于哪個類別。簡要描述樸素貝葉斯分類過程如下：

(1) 設特征向量x={x1,x2,…,xd}為一個待分類項，每一個xi代表x的一個特征屬性。

(2) 有類別y={y1,y2,…,yn}。

(3) 計算P(y1|x)、P(y2|x)、…、P(yn|x)，即x屬于每個類的后驗概率。

(4) 若P(yk|x)=max{P(y1|x),…,P(yn|x)}，就認為x屬于第k類。

先驗概率：{P(Y=y1),P(Y=y2),…,P(Y=yn)}，其中第i個元素表示x屬于yi類的概率。

類條件概率：{P(Xj=v|Y=yi)}，它表示x屬于yi類時，x的第j個分量為v的概率，其中v屬于Xj的值域Sj，i∈[n]，j∈[d]。

當有其他用戶需要借助訓練好的樸素貝葉斯模型進行分類預測問題時，一方面，模型擁有者不希望直接暴露模型明文供其他人任意使用，另一方面，用戶不愿暴露自己待預測的特征向量以及最終分類結果。另外，模型擁有者也無法始終保持在線以及同時應對大量用戶的預測任務，因此我們考慮基于云計算環境實現樸素貝葉斯分類模型的分類預測外包任務。借助云服務器的計算存儲能力，將訓練好的模型上傳至云服務器后模型擁有者可以離線，使用模型的大量用戶可以同時與云服務器交互，輸入其特征向量x，服務器結合模型W返回具體分類結果YW(x)。這一過程看似簡單，實際上需要考慮多方的數據安全。當引入第三方云服務器代替模型擁有者參與計算時，外包方案需要保證上傳的模型以及用戶輸入的特征向量對云服務器不可見。這一過程中，我們選擇引入同態加密這一常用的密碼學方案，允許云服務器在密文條件下實現正確分類。

1.2 同態加密技術

同態加密使明文的計算能夠在相應密文上執行，且不暴露明文信息。一個非對稱同態加密方案AHε支持一般加法及數乘的密文操作。給定兩個使用了同一公鑰加密的消息AHε.Enc(a)和AHε.Enc(b)，存在一個加法操作⊕使得AHε.Enc(a)⊕AHε.Enc(b)的結果解密就是明文a+b的結果。AHε.Enc(a)表示明文a加密的結果，c是一個固定的值，數乘AHε.Enc(ca)滿足以下等式：

AHε.Enc(a)⊙…⊙AHε.Enc(a)=AHε.Enc(a)c

由于效率問題，本文使用Paillier同態加密系統，簡單介紹如下：

(1) 隨機選取兩個素數p和q，滿足gcd(pq,(p-1)(q-1))=1，gcd(·)求取最大公約數。

(2) 計算n=pq和λ=lcm(p-1,q-1)，lcm(·)求取最小公倍數。

(4) 公鑰為(n,g)，私鑰為(λ,u)。

(5) 加密：選擇一個隨機數r∈(0,n-1]，密文即為c=gm·rnmodn2。

(6) 解密：計算m=L(cλmodn2)·umodn，驗證m

作為一種加密工具，同態加密是云計算外包領域最常使用的方法之一。一方面，其同態性質允許我們針對不同的計算場景設計對應的計算方案并確保計算結果的正確性；另一方面，在不知道解密密鑰的情況下，加密數據的安全性有嚴格的保障。本文系統通過引入兩套同態加密系統并結合其他的一些密碼學工具設計、實現了針對模型、特征向量以及分類結果安全性的保障，真正意義上實現了安全外包。

2 樸素貝葉斯安全分類外包方案

本文安全外包方案包含模型擁有者、遠程服務器、用戶(模型使用者)三方實體，方案的整體結構如圖1所示。

圖1 樸素貝葉斯安全分類外包方案總體結構

2.1 用戶本地訓練并加密上傳模型

由于Paillier加密系統只能對整數進行操作，為了Paillier加密系統能對模型W進行加密，我們通過乘以一個事先給定的大整數L的方式把浮點數表示的概率轉化為一個整數(向上取整)，轉化得到的整數在ZN域中，即Paillier系統的明文空間。整個外包方案使用到兩套Paillier同態加密系統，N1、N2分別是P1、P2的模數，應保證N1、，公鑰pk1、pk2對外公布，私鑰sk1由模型擁有者持有且作為令牌傳輸給用戶，私鑰sk2由云服務器保管。

記xj的值域為Sj，其中xj為實例向量的第j個屬性。為了在樸素貝葉斯分類器模型W上使用Paillier加密，我們對提取出來的概率模型進行預處理，每種概率的對數用整數表示。

對每一個i∈[n]，第i個先驗概率為：

對每一個j∈[d]，v∈[Sj]，類條件概率表示為：

P(i,j,v)=|Llog(KP(Xj=v|Y=yi))|

2.2 用戶與服務器交互得到加密后驗概率

算法1加密后驗概率求取算法

用戶U輸入：特征向量x=(x1,x2，…，xd)，私鑰sk1，公鑰pk1、pk2

遠程服務器RS輸入：加密模型{E1(P(i))}和{E1(P(i,j,v))}，私鑰sk2，公鑰pk1、pk2

輸出：{E2(Pi)}={E2(P(Y=yi,X=x))}

fori∈[n]：

RS：從ZN1上選擇盲化因子Oi,0

forj∈[d]:

RS：從ZN1上選擇盲化因子Oi,j

endfor

endfor

fori∈[n]:

RS：盲化E1(P′(i))=E1(P(i))⊕E1(Oi,0)

forj∈[d],v∈[Sj]：

RS：盲化E1(P′(i,j,v))=E1(P(i,j,v))⊕E1(Oi,j)

endfor

endfor

用pk2加密Oi-N1為E2(Oi-N1)

發送E1(P′(i))、E1(P′(i,j,xj))和E2(Oi-N1)給U

U:解密E1(P′(i))得到P′(i)

解密E1(P′(i,j,xj))得到P′(i,j,xj)

fori∈[n]：

endfor

輸出加密后驗概率{E2(Pi)}

2.3 密文后驗概率中求取最終分類結果

通過算法1我們已將樸素貝葉斯安全分類問題轉化為密文條件下的argmax問題，只需要與云服務器交互得到滿足argmax{E2{Pi}}的i即可。但在這一步驟中不能直接將E2{Pi}發送給服務器，需要保證擁有解密私鑰的遠程服務器對最終分類結果不可見，因此我們將再次利用同態性質及盲化技術實現安全雙方計算，具體流程如算法2所示。

算法2加密數據求取最大值算法

用戶U輸入：n個加密后驗概率{E2{Pi}}，公鑰pk2

遠程服務器RS輸入：私鑰sk2

輸出：i←arg max{E2{Pi}}U:在[n]上選擇一個隨機排列π(·)

將{E2{Pi}}按隨機排列順序存放(第i個元素放在π(·)中i所在的位置)

重排密文加入比較隊列

隊列長度k=n

While(k>1):

fori∈[k]:

從隊列中依次選取元素E2{Pk}和E2{Pk+1}，在ZN2上隨機選擇一個整數r，計算

U將較大元素的密文原文加入新比較隊列，重新統計隊列長度

end for

當比較隊列中只有一個元素時停止交互，得到該元素所在隨機排列中的初始數i

輸出：最終分類結果i

3 系統可視化仿真

本文采用面向對象的JavaScript網絡腳本語言，內嵌基于Java編程的具體算法，實現了樸素貝葉斯安全分類外包功能及可視化。為了仿真基于云服務器的外包計算環境，我們以多臺8 GB內存的Lenovo y400筆記本及一臺64 GB內存、Intel(R) Xeon(R) CPU E5-2640 2.60 GHz處理器Windows 8操作系統的Think Server服務器共同組成交互式外包分類環境，借助ThinkServer強大的計算存儲能力，實現了單服務器與多用戶的一對多訪問模式，允許模型擁有者本地訓練并加密上傳樸素貝葉斯模型至服務器，同時允許多個用戶登錄系統同時加密訪問服務器使用模型完成分類。

本文系統主界面如圖2所示，用戶注冊登錄后可以查看使用已發布模型，模型擁有者在圖3模型發布界面可以添加模型描述，加密上傳模型。圖4展示了用戶使用模型得到分類預測結果的界面。為了證明本文外包方案適用于多種不同的樸素貝葉斯分類實例，我們選取了三類可使用樸素貝葉斯分類器進行分類預測的數據集：(1) 鳶尾花數據集：通過花萼長度、花萼寬度、花瓣長度、花瓣寬度4個屬性預測花卉屬于3個種類中哪一類；(2) 紅酒數據集：根據紅酒的13種成分判斷其屬于3個種類中哪一類；(3) 巴赫和弦數據集:根據14個和弦屬性判斷其具體為巴赫哪一個作品。

圖2 系統主界面圖

圖3 模型上傳界面圖

圖4 分類結果顯示界面圖

本文利用十折交叉驗證法對三類數據集分別進行分類預測統計，對比經由密文安全外包分類及明文直接分類兩種方式的模型平均準確率，比較結果如表1所示。可以看出，本文外包方案在確保模型隱私、用戶輸入向量及分類結果隱私的前提下并沒有損失過多模型分類準確率(小于1%)，且沒有影響模型的實用性。分析與明文下測試的模型準確率的差距，主要來源于利用Paillier同態加密方法時，為確保加密成功需要有小數轉換為整數的放縮過程，這一過程中的精度損失可以通過調整大整數K的大小進行控制。另外，本文系統允許模型擁有者上傳加密模型后離線，服務器的高吞吐量也極大提高了多用戶同時進行分類預測的效率。

表1 模型準確率對比

4 結 語

隨著云計算的快速發展，外包計算和機器分類學習的結合得到了廣泛的關注和應用，現迫切需要設計和實現考慮用戶隱私及模型安全的外包分類系統。本文提出的樸素貝葉斯分類系統由分類器模型擁有者、遠程服務器以及用戶組成，模型擁有者通過遠程服務器為用戶提供分類服務。本文仿真實現了服務器和用戶的交互，得到了相應的分類結果，并對該系統中各個實體所關心的隱私數據通過同態加密或盲化技術實現隔離。結果表明，本文系統在不影響模型分類準確率的情況下實現了對分類器模型隱私性、用戶特征向量及分類結果隱私性的保護。