機器學習系統的隱私和安全問題綜述

蔣夢斐 孫咪娜

摘要：機器學習主要分為聯邦學習和集中學習兩種訓練模式，而大規模的數據收集也大大提高了機器學習的經濟效益、社會效益，使其性能得到了良好的保障。但其學習系統的隱私與安全問題也在面臨著巨大的挑戰，各種攻擊手段都層出不窮，因此對于其攻擊手段開展防御研究十分有必要。本文就目前機器學習系統面臨的隱私、安全問題的攻擊手段、防御措施展開了研究，希望能夠推動機器學習體統的發展。

關鍵詞：機器學習系統;隱私;安全;防御措施

引言：人工智能、計算機技術的應用為我們的生活帶來了極大的便利，在機器學習方面，隨著該領域的不斷發展，相應的安全、隱私問題也逐漸被人中重視起來。而機器學習系統面臨的隱私和安全問題對于訓練數據的影響在于，前者會使其丟失、泄露、而后者將直接導致其內在邏輯被破壞、篡改，而這兩類為題都是現今機器學習面臨的較為有挑戰性的問題，保護機器學習系統的隱私，構建安全的機器學習系統已刻不容緩。

一、機器學習系統的隱私問題機器防御

（一）攻擊方法

在機器學習系統中，大量的測試數據能夠訓練模型的基礎，是建立深度學習的保障，因此對于數據、算命、模型參數的保護十分重要。 模型提取攻擊、成員推理攻擊、屬性推理攻擊均屬于對于機器學習系統的隱私攻擊。其中模型提取攻擊是通過是目標模型的參數進行竊取，應用一定的方法后見相似甚至精確的模型，這類攻擊方法會造成目標模型隱私的破壞。成員推理攻擊可通過訓練攻擊模型、概率信息計算、相似樣本生成三種方法實現，其中訓練攻擊模型通過將成員推理問題進行轉化，從而推斷目標記錄的信息的一種方法，對于白盒攻擊、黑盒攻擊均可應用。概率信息計算法不需要對目標模型進行攻擊就能夠推斷其隸屬度。相似樣本生成法則是通過對生成的模型進行訓練，從而提高樣本相似度的一種方法。屬性推理攻擊則是通過對訓練數據集的統計屬性進行推理、統計的一種攻擊方法。

（二）次優選擇

通過次優模型的提供能夠對模型提取來進行防御，問了實現這種防御方法，可以通過對攻擊預測概率的提取來進行防御，攻擊者不能夠提取置信度，或是提取的置信度差異較大，能夠有效的延長攻擊時間，保障機器學習系統的隱私。其次通過對用戶提交的查詢請求超出閾值，就認定出現隱私攻擊，從而采取既定的防御手段。

（三）安全多方計算

如果多個數據放在一個服務器上進行學習，但并不愿意共享數據，此時就需要一個系統來保證在多個數據方能夠在共同學習模型時不共享彼此間的數據集，且各方能夠在訓練過程中能夠通過模擬訓練來實現全局參數庫的及時更新，保證在后期能夠獲得最新的參數。在多方計算中，訓練模型為私密共享，這些數據能夠進行隱藏或是模型重構，保障各數據方的隱私。

二、機器學習系統面臨的安全問題及其防御

（一）對學習算法及依賴庫的攻擊

機器學習模型是在使用機器學習時，使用者對自身的數據進行訓練產生的，機器學習模型是通過對于能夠對未知的數據進行預測，通過這種方法能夠在不了解模型創建過程的前提下獲取結果模型。而攻擊者可以攻破庫函數、機器學習算法，從而對訓練算法進行修改以及對數據集的信息進行編碼，從而竊取數據集的相關信息，盜取用戶隱私。這些數據可能對結果模型的黑盒、白盒進行攻擊，影響機器學習系統的安全。對于學習算法及依賴庫的攻擊，可以通過一定的隔離保護技術來對其進行保護。如應用enclave技術能夠有效防止數據泄露，訓練模型只有提供數據的用戶才可以進行差距，從而保障用戶數據的隱私，保障機器學習系統的安全。

（二）投毒攻擊

投毒攻擊的攻擊方式是通過對訓練數據的污染造成的不良影響來造成污染，以此影響機器學習系統在深度學習的預測。投毒攻擊一般在訓練階段前發生，能夠對相關的參數、模型進行調整、替代，以此在攻擊機器學習系統的安全。對于投毒攻擊的防御，主要在于對于算法數據的保護。對于數據的保護，要求收集到的數據。不被篡改、重寫、偽造，能夠檢測出有毒的數據庫等。在保護數據時，為了保障數據的可靠，可以使用物聯網系統的數據來源模型，將該數據模型應用到相應的算法當中，這一種防御方法還需進一步的研究。而通過對投毒數據進行檢測可以利用一種對訓練模型在單個數據點的影響下的變化進行評價的一種方法。而機器學習系統的學習算法因為存在一定的不確定性，因此較為脆弱。對于學習算法的保護可以利用魯棒學習算法，對其線性回歸等問題進行研究，能夠保證其防御性能的穩定。

結束語：針對機器學習系統的安全攻擊、隱私攻擊的攻擊方法還有許多種，隨著機器學習的進一步發展，對于這些攻擊方法對應的方法措施進行研究是十分有必要的。在未來發展中，只有對于機器學習系統的隱私、安全問題的進一步研究才能夠大大提高其安全性，攻防工作的研究也必將大大促進機器學習系統的應用。

參考文獻：

[1]劉俊旭，孟小峰.機器學習的隱私保護研究綜述[J].計算機研究與發展，2020，57（02）：346-362.

[2]陳宇飛，沈超，王騫，李琦，王聰，紀守領，李康，管曉宏.人工智能系統安全與隱私風險[J].計算機研究與發展，2019，56（10）：2135-2150.

[3]趙鎮東，常曉林，王逸翔.機器學習中的隱私保護綜述[J].信息安全學報，2019，4（05）：1-13.

[4]于穎超，丁琳，陳左寧.機器學習系統面臨的安全攻擊及其防御技術研究[J].信息網絡安全，2018（09）：10-18.