面向大數據應用的隱私保護技術進展

吳振剛 中國信息通信研究院安全研究所工程師，博士

面向大數據應用的隱私保護技術進展

吳振剛 中國信息通信研究院安全研究所工程師，博士

隨著互聯網的迅速發展，大數據應用保存了海量的用戶數據，也增加了用戶隱私泄露的風險。本文總結了大數據應用技術及相關隱私保護技術的發展情況。

大數據；隱私保護；k-匿名；查分隱私；加密

1　引言

隨著信息通訊技術及互聯網的飛速發展，應用系統收集了海量用戶數據，并依賴這些用戶數據為用戶提供更有價值的信息?；ヂ摼W應用為滿足海量用戶在真實世界中活動的需要，不可避免地保存、轉發、生成了大量與用戶屬性和行為緊密相關的數據。通常，隱私（即隱私權）是用戶對其個人信息的一種權利。用戶主觀上不希望不可信參與方獲取自己的個人信息，用戶擔心不可信參與方會濫用個人信息，從而對用戶造成潛在風險或多方面的損失，因此用戶有權限制不可信參與方獲取不必要的個人信息或者限制不可信參與方使用這些個人信息的方式。

互聯網是一個開放環境，用戶通過終端設備，經由網絡連接最終訪問遠端的互聯網應用服務，個人信息經過了多個參與方，更重要的是，大多數互聯網應用服務本身也是不可信參與方。近年來，很多大型網站出現用戶數據庫泄露的安全事件，引起了廣泛關注。事實上，在用戶訪問互聯網的各個環節都有泄露或濫用用戶個人信息的隱私風險。因此，針對大數據應用的隱私保護技術是目前數據安全與隱私研究的一個熱點。

2　大數據應用技術

互聯網應用系統通常需要為數百萬以上用戶提供公開服務。建立為成百上千用戶提供服務的小型信息系統在現代信息技術基礎上并不困難，但是建立為海量用戶提供可靠服務的大型信息系統仍然是非常具有挑戰性的技術工作。即使看起來很簡單的業務，如個人郵箱、Blog、微博、即時通訊等，讓信息系統能支持快速增長的用戶數量通常具有很大的挑戰性。更重要的是，業務邏輯本身也隨著用戶數的增加變得更加復雜并具有更多功能?；ヂ摼W應用服務為了盡可能滿足用戶需求，必須實現大量細致、繁瑣的業務流程，同時還要考慮效率、擴展性、安全性等方面。一系列大數據應用技術逐漸普及并實用化，極大地提高了構建大規模互聯網應用服務的開發效率，顯著降低了研發成本與建設成本。

面向互聯網的大數據應用技術更關注基于容易獲取的低成本軟硬件來構建大規模應用系統，具有極大的成本優勢、可擴展性和開放性。雖然支持大規模應用系統的信息技術傳統上并不缺乏，但是主要依賴于高成本的企業級軟硬件及中間件，例如小型機、存儲區域網絡SAN、商業數據庫軟件等專有技術。構建大數據應用的基礎軟件可以很方便地運行在主流的PC服務器、筆記本，甚至在云計算平臺提供的虛擬機中也可部署并測試，具有很強的適用性。開源社區提供并維護了大數據應用的大量基礎軟件，在比商業軟件更加寬松的版權約束下，任何人都可以自由獲取并使用這些基礎軟件。大數據應用技術可以從功能上分為大數據存儲技術和大數據計算技術。

2.1大數據存儲技術

大規模數據存儲技術是為互聯網應用提供大規模數據存儲和管理的一類技術。互聯網應用需要存儲的對象包括文件、結構化數據和非結構化數據。

文件可以直接存儲在本地磁盤的文件系統上。但是，單機文件系統或傳統的網絡操作系統的文件系統難以滿足互聯網應用對海量文件的管理需要。Google為自己的互聯網應用設計了一套大型的分布式文件系統，Google文件系統（GFS）作為整個Google互聯網應用平臺的基礎。通常，大數據計算平臺都設計并實現了一套分布式文件系統，Hadoop平臺的分布式文件系統是HDFS，OpenStack平臺則是對象存儲系統Sw ift。互聯網應用的分布式文件存儲系統都在聯網存儲的基礎上提供了基于復制的冗余機制來保證文件的完整性。這種冗余機制的核心思想是把文件的不同部分同步地分散存儲在不同計算機節點上，保存了多個復本，從而減少節點故障導致數據丟失的風險。

結構化數據又稱作行數據，可表示成二維表形式。二維表可定義為關系，是兩個數據集合上笛卡兒積的子集。顯然，關系型數據庫最適合儲存結構化數據。關系型數據庫已經發展到比較成熟的階段，擁有廣泛的軟件支持，為上層的技術平臺提供了豐富的數據庫驅動和維護工具。例如，流行的Java輕量級開發框架Spring能很方便地通過JDBC驅動支持多種流行的數據庫，包括M ySQL、Oracle、SQLServer等，并為了簡化數據庫應用開發，提供了Spring JDBCTemplate來對JDBC進行輕量級的封裝。此外，Hibernate、JPA等對象關系映射組件及規范對基于JDBC的數據庫操作進行了對象化的封裝，更進一步簡化了開發工作，增強了代碼的可維護性。

非結構化數據也稱作列數據，可表示成鍵值對的集合，每個鍵值對有一個可命名的鍵和對應鍵的一個值組成。非結構化數據通常用鍵值存儲系統來進行管理。鍵值存儲系統是專門針對大數據應用的海量存儲需求而設計的分布式存儲系統，是重要的NoSQL數據庫類型之一。Google設計并構建的鍵值存儲系統是BigTable。Hadoop平臺基于BigTable的基本原理實現了鍵值存儲系統——Hbase。此外，開源社區提供了更多可自由獲取、支持各種高級特性的鍵值存儲系統，例如Cassandra、Redis等。

2.2大數據計算技術

大數據計算技術是一套為海量數據而設計的并行計算系統。與更早出現的用于高性能計算領域的計算集群技術和網格計算技術相比，在互聯網應用領域發展起來的大數據計算技術對低成本的PC服務器支持更好，計算機節點之間更容易擴展。開源社區為大數據計算技術的普及貢獻了很大力量。Google為自己的計算平臺設計了MapReduce計算模型，可以在廉價硬件上很高效地構建支持海量數據、高度并行的運算。M apReduce把計算任務拆分成M ap和Reduce兩種子任務。通常，越簡單的計算任務，內部邏輯耦合越松，越容易拆分成M ap和Reduce子任務，例如統計網頁中的單詞數?，F實中的互聯網應用大量依賴于這種簡單的計算任務。因此，MapReduce計算模型非常適合海量數據的互聯網應用。Hadoop、Spark等開源平臺實現并改進了Google的MapReduce計算模型。

為了滿足用戶越來越個性化的需要，互聯網應用的業務邏輯也越來越復雜，大數據應用更多地關注對海量用戶數據進行更深入的分析和挖掘，需要實現更加復雜的數據挖掘和深度學習方法。大量研究機構和企業投入大量精力在MapReduce及其擴展計算模型下實現各種特定算法。Spark在Hadoop的基礎上改進了復雜算法執行的效率，并以函數庫的形式預先實現了大量的基本數據挖掘與機器學習算法，大大簡化了復雜算法的開發與實現。

3　大數據應用的隱私保護技術

目前，基于大數據的互聯網應用都提供了開放API供其他互聯網應用獲取內部的用戶數據，在發布前需要對用戶數據進行預處理，去掉用戶的標識符或真實身份信息，例如手機號、身份證號等，但是仍然會泄露很多用戶數據。目前，可支持大數據應用的用戶隱私保護技術可分為兩大類，即匿名化和加密。

3.1基于匿名化的隱私保護技術

數據匿名化是最早研究并實現的一類隱私保護技術，主要關注如何有效地平衡數據準確性和數據匿名性，以較低的性能損失和數據質量損失實現可接受的隱私保護程度。

k-匿名技術是以k-匿名作為隱私準則的一系列實現技術，是研究最廣泛的一類匿名化技術。k-匿名是針對二維表的匿名化準則。k-匿名用于保護二維表中身份標識符的匿名性。在一個包含多條個人信息的二維表中，每條個人信息是一個多元組，包括一個身份標識符和多個個人屬性信息。如果這張二維表中至少k條個人信息是無法區分的，此二維表滿足k-匿名準則。可見，k-匿名技術需要對個人信息進行修改，降低了二維表中數據內容的準確程度。通常，k-匿名技術需要針對特定系統設計符合k-匿名準則的算法。例如，一個互聯網應用對外發布數據時，不能對外直接發布其保存的用戶信息數據的任意子集，需要確保每個數據子集中任意的k條數據都是無法區分的，需要隱去或泛化能識別用戶的標識或屬性值。

L-多樣性技術是對k-匿名技術的改進。k-匿名只能保護二維表中的身份標識符，但是個人信息中的屬性值中仍然可能存在敏感信息，例如個人年齡、地址、健康狀況等。L-多樣性在k-匿名的個人信息集合中，每個屬性的值要至少有L個不同值?？梢姡琇-多樣性用于防止用戶敏感屬性信息的泄露。

差分隱私技術基于Dwork在2006年提出的差分隱私模型。對數據庫進行統計運算并發布統計結果可能會泄露某人的敏感信息。例如，根據病人情況表輸出一張直方圖來反映不同疾病在人數上的分布，可能會泄露某個病人的疾病名稱。差分隱私技術通過設計算法來防止從數據庫的統計結果中獲得敏感信息的概率低于預設閾值。差分隱私技術的一個基本方法是在數據統計結果的準確值上加上隨機噪音。差分隱私技術對敵手的背景知識具有更加保守的估計，具有比k-匿名技術更強的隱私保護能力。

3.2基于加密的隱私保護技術

基于密碼學提供的安全特性來構建特定系統中的隱私保護方案一直是一個重要的研究方向。傳統上，加密解密算法主要用于保證信息或數據的私密性、完整性。通訊雙方作為合法的參與方通常是可信的，而在隱私保護領域，合法的參與方通常是不可信的，一個參與方可能會泄露另一個參與方的信息，侵犯用戶隱私。

隱私保護協議是具有參與方最小信息泄露的一類安全協議。很多隱私保護協議可以歸約為安全多方計算問題或秘密共享問題。隱私保護協議需要在沒有泄露額外信息的條件下，完成預先規定的分布式計算任務。常見的一個計算任務是集合運算。在大數據應用領域，不同的應用服務提供者保存了不同的用戶數據，根據不同數據源的用戶數據來進行數據分析會涉及到集合操作，如求交集、求并集、求交集的基數、求并集的基數等。數據源的數量可能是兩個或兩個以上，就會涉及到兩個或兩個以上的集合操作。兩方的隱私集合交集協議（PrivateSetIntersection）可以讓一個參與方在無需知道另一參與方輸入的集合的條件下獲取到雙方的集合交集，一個參與方持有的集合事實上作為隱私信息對另一參與方保密?？梢?，運用加密技術能很自然地對另一參與方實現數據的私密性，但是挑戰在于如何完成約定的計算任務。通常，隱私保護協議需要依賴具有特殊屬性的加密技術。常用的一個密碼學工具是具有同態性質的加密體制，可以在不解密的前提下用密文完成明文上的算術運算。

數據庫加密技術是對數據庫的內容進行加密的技術。大數據應用管理大量數據和信息，維護并管理了大量的異構數據存儲系統，包括文件、關系數據庫和鍵值存儲系統。管理和檢索加密的數據庫是一個具有挑戰性的研究方向。可搜索加密主要解決在數據庫上儲存密文，同時無需解密就能在密文數據庫上檢索到客戶端需要的信息。密文數據庫不能持有解密密鑰，因此無法直接獲取到密文的明文，從而保護了用戶和客戶端的隱私。隱私信息檢索則是在服務器不知道用戶提交索引的情況下返回給用戶需要的數據?？梢?，隱私信息檢索是把用戶提交的索引或關鍵字視作用戶隱私信息。隱私信息檢索與可搜索加密的一個重要區別是，隱私信息檢索中的數據庫持有者通常保存了數據庫的明文，而可搜索加密中的數據庫持有者沒有數據庫的明文。對數據庫進行按需加密關注利用現有的加密算法來在數據庫中同時管理密文和明文，設計一套可管理的中間件來對數據庫中的內容或列有選擇地進行加密和解密操作，避免加密整個數據庫。按需加密數據庫在大數據應用中具有很高的實用價值。事實上，對大規模異構的數據庫加密是非常困難且不必要的任務，大數據應用中需要保護的用戶敏感數據通常在整個數據中只占據較少的部分，取決于大數據應用的具體業務功能，大部分數據可能是低價值的非敏感數據。

4　結束語

目前，互聯網應用大量采用了大數據技術，開源社區為大數據技術的普及化貢獻了很大力量，然而用戶隱私也面臨越來越嚴重的威脅。在大數據應用技術普及與發展的情況下，如何有效地保護用戶隱私是一個具有挑戰性的問題。隱私保護技術是大數據應用的重要發展方向。

一方面，大數據應用服務提供者會越來越重視用戶隱私保護功能，不斷集成或升級專門的隱私保護技術，降低因為泄露用戶數據和隱私信息而導致的信用風險。

另一方面，大數據技術本身也提供了很好的分析用戶行為、發現用戶隱私信息的技術，可以由可信的企業或機構來構建專門的用戶隱私保護系統，監控并及時阻止互聯網上不斷發生的用戶隱私泄露事件。

［1］熊平，朱天清，王曉峰.差分隱私保護及其應用［J］.計算機學報，2014（37）.

［2］張曉波，寧相軍.大數據安全問題及應對措施研究［J］.電信技術，2015.

［3］黃劉生，田苗苗，黃河.大數據隱私保護密碼技術研究綜述［J］.軟件學報，2015（26）.

［4］Fung BCM，Wang K，Chen R，et al.Privacy-preserving Data Publishing：A Survey of Recent Developments.［J］.Acm Computing Surveys，2010，42（4）：2623-2627.

［5］Popa R A，Redfield C M S，Zeldovich N，et al.CryptDB：Protecting Confidentiality with Encrypted Query Processing［J］.Sosp，2011：85-100.

［6］Cristofaro E D，Tsudik G.Practical Private Set Intersection Protocols with Linear Complexity［J］.Lecture Notes in Computer Science，2010，6052：143-159.

［7］Abdalla M，Bellare M，Catalano D，et al.Searchable Encryption Revisited：Consistency Properties，Relation to Anonymous IBE，and Extensions［J］.Journal of Cryptology，2008，21（3）：350-391.

［8］Gertner Y，Ishai Y，Kushilevitz E，et al.Protecting Data Privacy in Private Information Retrieval Schemes［J］.Journal of Computer&System Sciences，2000，60（3）：151-160.

諾基亞發布擴展其小基站產品組合的功能

近日，諾基亞通過一系列創新繼續擴展其小基站產品組合的功能，包括增加新的基站類別。NokiaFlexiZone迷你宏站與小基站一樣，非常緊湊，易于部署，并能提供2×20W功率，可支持運營商經濟高效地快速填補覆蓋盲區。諾基亞還將在2016年世界移動通信大會上發布其他創新成果，比如支持將LTE-Advanced Pro LWA功能集成到小基站中，利用未授權頻譜為用戶提供超高數率；提供新同步方案，以大幅降低小基站部署成本等。創新技術演示包括諾基亞FlexiZone控制器調度和協調特性，這些特性能夠顯著提升小區的邊緣性能，并降低室內小基站規劃的復雜性。隨著網絡結構不斷轉型以適應云時代要求以及人們日益采用云應用，小基站將會發揮關鍵性作用，確保網絡性能和覆蓋。

諾基亞小基站產品管理負責人Randy Cox表示：“我們專注于推動網絡向超高密度、多連接的HetNets演進，因為它更加易于部署，并能夠幫助運營商提供絕佳的客戶體驗。通過這些創新，我們提供了前所未有的射頻功率，能夠有效增強FlexiZone小基站解決方案的覆蓋能力。這種新SC產品類別將會幫助運營商找出新的方法來利用小基站技術，從而有效滿足城市、農村和居民區客戶日益增長的網絡覆蓋和容量需求”。

Advance on Privacy Protection Techniques for Big Data Applications

Wu Zhengang

With the rapid development of the Internet，Big Data applications have hold massive user data and increased the risk of violating user privacy.This paper summarizes Big Data application technology and its privacy protection techniques.

Big Data；privacy protection；K-anonymity；differential privacy；encryption

2015-12-10）