增強深度學習中的差分隱私防御機制

余方超 ,方賢進* ,張又文 ,楊高明 ,王 麗

（1.安徽理工大學計算機科學與工程學院，淮南，232000；2.安徽大學計算機科學與技術學院，合肥，230601）

近些年來，以深度學習為代表的機器學習技術在諸多領域得到了廣泛的應用.例如，在計算機視覺領域［1］，深度學習解決了圖像識別、分割、標注等方面的諸多難題，促進了計算機視覺技術的產(chǎn)業(yè)化和落地；在語音識別領域［2］，深度學習框架多層非線性變換的深層結構有強大的表達與建模能力，使語音識別模型對復雜數(shù)據(jù)的挖掘和學習能力得到了較大的提升.

然而，隨著研究的不斷深入，深度學習模型中存在的隱私泄露問題也逐漸暴露［3］：一方面，深度學習模型所具有的發(fā)現(xiàn)數(shù)據(jù)之間潛在關系的能力為攻擊者獲取敏感信息提供了機會；另一方面，由于深度神經(jīng)網(wǎng)絡有大量的隱藏層，這些隱藏層會形成較大的有效容量，足以將某些數(shù)據(jù)的細節(jié)編碼為模型參數(shù)，甚至記憶整個數(shù)據(jù)集［4］.最新的研究表明，深度學習模型面臨成員推斷［5-8］、屬性推斷［9-11］以及模型竊取［12-13］等多種攻擊的風險.成員推斷攻擊是指給定一條數(shù)據(jù)，攻擊者結合已發(fā)布的深度學習模型和相關的背景知識能夠推斷出該數(shù)據(jù)是否存在于模型的訓練數(shù)據(jù)中，這種攻擊方式對模型的訓練數(shù)據(jù)威脅較大；屬性推斷攻擊的攻擊場景不同，其攻擊目標是推斷出指定樣本中缺失的敏感屬性的值；而模型竊取攻擊的目標是竊取模型的參數(shù)信息.

對于這些……