基于WGAN反饋的深度學習差分隱私保護方法

文/陶陶 柏建樹

（安徽工業大學 安徽省馬鞍山市 243000）

1 定義與理論基礎

1.1 差分隱私定義

定義1給定2個最多相差一條記錄的近鄰數據集D和D'，對于一個隨機算法M，算法M的取值范圍為Mange(M)，若算法M在數據集D和D'上的任意輸出結果都滿足：

則隨機算法M提供(ε,δ)-差分隱私，ε為隱私預算，表明隱私保護的程度。δ為誤差值，表明隱私泄露的概率。

1.2 高斯機制

其中，D和D'為最多相差一條記錄的近鄰數據集。高斯機制用于給f的真實輸出值添加高斯噪聲：

1.3 生成式對抗網絡

生成式對抗網絡模型用于估計數據集的底層分布，并根據其估計分布隨機生成實際樣本，其基本思想是通過使用兩個相互“博弈”的模型：一個生成模型G和一個判別模型D。生成模型G的訓練目標是盡可能去生成與真實數據相類似的結果，通過這個生成結果去最大化判別器判斷錯誤的概率，使判別器誤認為生成結果即數據的真實結果。判別模型D的訓練目標則是盡可能去最大化自己對生成結果和真實結果的判別準確率。在訓練過程中，G和D的相互“博弈”使得兩個模型性能同時得到增強。GAN的目標函數為：

2 算法思路與實現

2.1 深度學習差分隱私算法

算法1實現了深度學習過程中使用最小化經驗損失函數L(θ)訓練相關參數模型并在此過程中結合差分隱私技術的基本方法。具體算法實現的過程為：計算每個隨機樣本的梯度值g(x)；為了避免某一單個數據對整體造成影響進行梯度調整，對每個梯度的L2范數進行裁剪并計算梯度的平均值，使其滿足閾值條件C的范圍，得到新梯度值為了實現隱私保護，我們在新梯度值中添加噪聲用于對梯度的輸出進行擾動；最后根據梯度下降法將添加噪聲后的梯度按相反的方向前進，更新參數θ，計算隱私損失。

2.2 隱私損失分析

為了合理評估深度學習差分隱私保護模型的隱私保護性能，需要對訓練過程中的隱私損失進行統計。隱私損失作為隨機變量，值的大小取決于添加到算法中的噪聲的規模。通過計算隱私損失隨機變量Z的對數矩，并且使用時間限制以及標準馬爾可夫不等式獲取尾部界限，得到隱私損失。則隨機變量Z的隱私損失定義為：

算法1：深度學習差分隱私算法

其中，M是隨機算法，D，D'是相鄰的兩個數據集，aux用于對輸入的輔助，s表示輸出。

2.3 WGAN的選用

原始GAN存在訓練不穩定與模式坍塌導致缺乏生成多樣性的問題。GAN采用交替優化方式訓練G和D，兩者之間的優化必須達到一個較好的同步。但是在實際訓練過程中，通常對D進行多次更新后，才會對G進行一次更新，這就容易造成G坍縮至一個鞍點。Arjovsky等人提出Wasserstein GAN來改進原始GAN的不足。WGAN使用Wassertein距離作為優化方式替代交叉熵來衡量真實分布和生成分布之間的距離，使收斂趨于穩定，訓練的穩定性得到很大的提升。相比部分學者使用的DCGAN模型，WGAN不會受到批量標準化的限制，且可以使用特殊的網絡來實現G和D，從而得到更加多樣性的生成效果。因此，本文選用WGAN代替原始GAN，通過在深度學習訓練過程中向梯度添加合適的噪聲以實現WGAN下的隱私保護。

3 實驗與分析

3.1 單相關參數影響實驗

3.1.1 改變ε對實驗的影響

差分隱私的定義表明，隱私預算ε的取值越小，則隱私保護的程度越好。為了驗證ε取值變化對實驗測試準確率的影響，本組實驗固定δ=1e-5和σ=6，隱私預算參數ε由0.5變化至8，選擇MNIST手寫數字數據集作為實驗數據集。實驗結果表明，隨著ε的逐漸增大，測試準確率逐漸提升。但是，ε的選取不應過高，否則會因添加噪聲過少而影響隱私保護的效果。

圖1：改變σ和δ的影響

圖2：改變σ和ε的影響

圖3：改變δ和ε的影響

圖4：ε=0.5，δ=1e-5，σ=6

3.1.2 改變σ對實驗的影響

第二組實驗固定ε=0.5和δ=1e-5，驗證改變噪聲規模σ對實驗測試準確率的影響。噪聲規模σ取值變化為1至9。實驗結果表明，σ值的增加對模型準確率的影響呈現出交替性先增后減的趨勢，當σ的值取6時，模型的測試準確率為89.91%，相對較高。

3.1.3 改變δ對實驗的影響

第三組實驗固定ε=0.5和σ=6，隱私泄露的誤差δ取值變化為1e-5至1e-2。實驗結果表明，隨著隱私泄露誤差δ的減小，模型的測試準確率略微提高。在δ取值為1e-5時，隱私泄露誤差與模型測試準確率達到平衡的狀態，此時測試準確率為90.19%，相對較高。

3.2 多相關參數影響實驗

3.2.1 改變σ和δ對實驗的影響

第四組實驗固定ε=0.5，改變σ和δ取值，其中σ取值變化為2，4，6，8，δ取值1e-5至1e-2。實驗結果如圖1所示。

3.2.2 改變σ和ε對實驗的影響第五組實驗固定δ=1e-5，改變σ和ε取值，其中σ取值依次為2，4，6，8，ε取值0.5，1，2，4。實驗結果如圖2所示。

3.2.3 改變δ和ε對實驗的影響第六組實驗固定σ=6，改變δ和ε取值，其中δ取值1e-5至1e-2，ε取值0.5，1，2，4。實驗結果如圖3所示。

3.3 實驗結論

通過進行多組控制參數變量的實驗，我們驗證了單個相關參數的改變對實驗測試準確率的單獨影響以及不同相關參數同時改變對實驗測試準確率的相互影響，發現當ε取值0.5，δ取值1e-5，σ取值6時，實驗得到深度學習差分隱私保護模型的測試準確率為90.52%，使用時刻會計法計算得到的隱私預算可以保證對隱私的保護。相比于使用其他GAN，使用WGAN的訓練過程更加穩定且準確率有一定的提升，基本實現了隱私保護程度和數據集可用性之間的平衡。