基于Android的人眼不可見標記隱私保護機制

李 棟 郭丹浩 韓偉力

(復旦大學軟件學院 上海 201203)

0 引 言

隨著攝像頭在智能手機上越來越普及，拍照變得越來越方便。2014年，全球賣出了18億個攝像頭，其中95%被嵌入到智能手機中[2]。在20億智能手機用戶中，92%的用戶會使用智能手機來拍照，80%的用戶習慣于將他們的照片發布到網上[3]。根據來自InfoTrends的數據[4]，2017年會有1.3萬億張照片被拍攝。到2017年，將近80%的照片是由智能手機拍攝的。同時，具有持續感知能力的可穿戴設備的發展也促成了目前的現狀。

越來越多的照片使人們開始擔心他們的隱私。技術的發展使得計算機可以精確地進行人臉檢測和識別。在公共場合，路人通常在毫不知情的情況被旅游者拍攝下來。這有可能暴露路人的個人隱私，這將是一個嚴重的隱私訪問控制問題。另外，值得一提的是，需要訪問控制的對象不僅僅是人，還有其他包含敏感信息的對象，例如版權保護的繪畫，甚至是軍事設施。

近年來，這類隱私問題在系統安全領域受到高度重視。一個可行的解決方案是抹去照片中的敏感信息。Google地圖支持一種新型的地圖形式——Street View，由用戶和衛星拍攝的照片組成。在發布這些照片之前，其中所有可識別的人臉都會被抹去。但是，大部分情況會更加復雜，例如，一張照片中的每個對象都需要選擇不同的隱私保護策略。所以，簡單地過濾掉所有隱私是不可行的。當一名旅游者在城市廣場中拍照時，他想要用照片保存下他的肖像，但路人卻需要保護他們的隱私。所以在這種復雜的情況下，所有相關對象都要參與到隱私訪問控制模型中。

面對這種新的訪問控制挑戰，Roesner等[1]提出World-Driven Access Control (WDAC) 框架，這個框架要求所有相關對象都指明他們的隱私策略。二維碼、藍牙信號和超聲波是WDAC原型系統中的隱私聲明標記。應放天等[5]也提供了三種隱私標記：用攝像頭檢測的可見光，用紅外傳感器檢測的紅外光和用RF接收器檢測的無線信號。但以上六種標記都存在局限性。一方面，給對象貼上二維碼或者裝上可見光源都會直接影響對象的外觀。隱私標記對人眼可見是不合適的，因為向一個不想要拍照的人展示隱私標記是很不友好的。另一方面，無線信號、紅外光、藍牙信號和超聲波都依賴額外的傳感器。其中一個缺點是無法保證移動設備配備了額外的傳感器，另一個缺點是一旦引入了額外的傳感器，那么就需要申請額外的權限，這有可能引起更嚴重的隱私泄露。WDAC中提到，這些標記的另一個缺點是無法精確地指出照片中哪一塊區域需要隱私保護。隱私和隱私標記必須不可分離，也就是說隱私標記必須出現在照片中，必須可以被攝像頭識別。此外，隱私標記又需要對人眼不可見。這樣，隱私保護方案的應用場景才能更廣泛。

與以上方案不同，本文提出使用人眼不可見的近紅外光作為隱私標記，而且近紅外光不需要額外的傳感器來感知，可以直接被攝像頭識別。我們的目的是給對象提供一種聲明其隱私策略并保護其隱私的方案。我們設計實現的方案由對象可穿戴的近紅外光標記和嵌入到系統中的隱私保護組件 (PPM) 組成。由于近紅外光的物理特性，近紅外光標記對人眼是完全不可見的，但可以被攝像頭識別。一旦攝像頭識別到隱私標記，相應的隱私策略就會被執行，這樣攝像頭應用程序得到的就是經過隱私策略處理的照片。考慮到系統的完整性，PPM必須可以從攝像頭捕獲所有帶有隱私標記的照片。因此，我們在攝像頭硬件層與應用程序層之間的系統層實現PPM。我們首先基于Android實現了原型系統。實驗結果表明，我們的方案可以有效保護對象的隱私。

本文的主要貢獻如下：

? 我們進行了有關近紅外光物理特性的實驗，包括人眼和攝像頭對近紅外光譜的識別能力，以此證實使用近紅外光作為不可見隱私標記的可行性。

? 根據對四種不同智能手機的攝像頭的實驗結果，我們發現了近紅外光在攝像頭中的成像規律。在分析了近紅外光像素的RGB值后，我們訓練了一個基于反向傳播(BP)神經網絡的分類器并使用此分類器從照片中識別出近紅外光標記。

? 我們基于Android 4.2.2實現了不可見標記隱私保護系統。系統中的PPM監視所有來自攝像頭驅動的照片數據。一旦PPM檢測到隱私標記，就會在照片被存儲或展示給用戶之前執行相應的隱私策略。

1 相關工作

目前有大量的研究者從事隱私保護的研究。其中的一些模型利用設備與用戶之間的交互來執行訪問控制以達到隱私保護的目的。WDAC[1]是由Roesner等提出的交互訪問控制模型，該模型基于所有隱私相關對象來執行隱私策略。這個模型讓被拍攝的對象通過passport指明他們的隱私策略。可信策略組件從passport中檢測策略并改變對象的展現形式以實現隱私的訪問控制。WDAC提供了三種passport：二維碼、藍牙信號和超聲波。Cheng等[10]也提出了一種類似于WDAC的面向攝像頭感知的訪問控制模型。他們提出了一種用于管控社交網絡上照片分享的協議。

當設備與外界的交互被加入到訪問控制模型中時，交互的媒介在傳遞隱私策略方面扮演著重要的角色。攝像頭訪問控制所用到的媒介有二維碼[10]、可見光[5]、著色的帽子和衣物[11]。射頻識別[12]、藍牙、超聲波和紅外光[5]也被用來傳遞隱私策略。和以上工作不同，本文創新性地提出使用近紅外光作為媒介，近紅外光對人眼不可見且可以被攝像頭識別。

2 背景知識

人眼的感光范圍在390 nm到760 nm之間[6]。隨著光線波長的增加，其能量會減少。當波長大于700 nm時，能量減少速率大大加快。因此，人眼對波長大于760 nm的光線是極度不敏感的[6-7]。對此，我們可以認為人眼對波長大于800 nm的光線是不可見的。攝像頭的感光范圍取決于成像傳感器的材料。成像傳感器的主要材料是硅，硅對電磁波的感知范圍為800 nm到1 150 nm[8]。所以，波長在800 nm到1 150 nm之間的光線(屬于近紅外光)是人眼不可見但可以被攝像頭識別的。

3 系統設計

人眼不可見標記隱私保護機制的設計分為兩部分。第一部分是近紅外光標記，另一部分是PPM。

3.1 動機和場景

假設Alice去參加Bob舉辦的聚會，Bob是Alice競爭公司的職員。為了記錄下難忘的瞬間，Bob想要給所有的客人拍照，并分享到社交網絡上。但是，Alice并不希望她的同事知道她參加了這個聚會。考慮到Bob很難在每一張照片中都避開Alice，這時Alice可以戴上我們設計的不可見標記。因為這個標記人眼不可見但可以被攝像頭識別，周圍的人不會意識到標記的存在，而Bob的攝像頭可以識別到標記并自動把Alice從照片中抹去。如此，Alice的隱私就受到了保護。

3.2 系統框架

近紅外光標記是一個波長在800 nm到1 150 nm之間的光源。戴上標記，對象就可以向攝像頭聲明他的隱私策略。PPM嵌入到移動設備的系統中，當攝像頭拍攝到包含近紅外光標記的照片時，PPM執行標記聲明的隱私策略。在我們的設計中，PPM由三部分組成：對象檢測模塊，近紅外光檢測模塊和隱私擦除模塊。

隱私保護機制的流程如圖1所示。

圖1 隱私保護組件的圖像處理過程

1) 對象檢測模塊檢測PPM攔截的圖像中的所有對象，并用對象區域進行標記。然后把帶有對象區域的圖像數據傳送給近紅外光檢測模塊。

2) 近紅外光檢測模塊檢測每個對象區域周圍是否存在近紅外光隱私標記。如果在一個對象區域附近檢測到了近紅外光隱私標記，標記聲明的隱私策略和相應的保護區域會被傳送到隱私擦除模塊。

3) 隱私擦除模塊在保護區域執行隱私策略。隱私策略可以包含不同的措施，例如圖像模糊，RGB移除。

4) 在擦除保護區域后，隱私擦除模塊會將最終的圖像傳送給應用程序。應用程序最終得到的圖像是不含隱私數據的。

3.3 可行性驗證實驗

當攝像頭中的成像傳感器檢測到光波時，它將光波轉換成電信號。然后電信號會被轉換成RGB值。在可見光范圍內，光在人眼中和攝像頭中的成像顏色是一樣的。但是，當光的波長超過了人眼可見范圍時，情況就有所不同。所以我們需要找到近紅外光的成像規律以證實使用近紅外光作為隱私標記的可行性。

因為顏色對應關系只適用于可見光，所以很難理論推導出近紅外光的成像顏色。所以我們根據實驗提取近紅外光的成像顏色特征。我們使用不同的移動設備進行實驗，包括佳能60D、酷派智能手機、HTC智能手機和Google Nexus 4。實驗中的近紅外光波長取800 nm和1 150 nm的中值。我們讓近紅外光直射攝像頭進行拍攝。對于每一種攝像頭，我們分析所有拍攝到近紅外光的照片并找出所有由近紅外光成像的像素。然后我們計算這些像素的平均RGB值，結果如表1所示。我們觀察發現，在這些設備的攝像頭中近紅外光的成像顏色極為相似并呈現為粉色。這個實驗證明了近紅外光成像規律的存在。在系統實現中，我們使用分類器以更加精確地識別近紅外光。

表1 各設備的近紅外光成像平均RGB值

4 系統實現

正如引言中所提到的，80%的照片是由智能手機拍攝的[2]。目前Android系統在智能手機市場中市場份額最大[13]，所以我們基于Android實現原型系統。由于人臉是照片中最敏感的信息，我們的原型系統實現了肖像隱私保護。

4.1 近紅外光標記

原型系統中的近紅外光標記使用940 nm的光源。考慮到攝像頭不總是正面拍攝近紅外光標記，我們給標記加上了散射角。這樣，即使攝像頭從側面拍攝對象，近紅外光標記也可以被攝像頭識別。近紅外光標記是一個直徑53 mm的電路板，上面焊接著48個波長940 nm的光源，所以標記是可穿戴的。標記的散射角為60度。對象只需要將標記戴在帽子上就可以聲明他們的隱私策略。作為原型系統，我們只為標記設置了開啟和關閉兩種狀態。

4.2 隱私保護組件

因為要在Android系統中實現隱私保護組件(PPM)，我們通過跟蹤拍照過程中的函數調用來理清攝像頭的數據流，以此確定在Android系統的何處實現PPM。數據流從硬件抽象層(HAL)開始，在Android應用層結束。當我們深入查看代碼時，我們發現所有攝像頭數據都通過Callback函數的參數傳遞給應用程序。當CAMERA_MSG_COMPRESSED_IMAGE消息從底層傳遞到框架層的MessageHandler時，這表示執行了拍照操作，隨后Callback函數會被調用。在此函數中，應用程序會處理照片數據并將其展示給用戶或者存儲在本地。照片數據以二進制數組的形式傳遞。因此我們在Callback函數被調用之前執行隱私策略，然后將處理后的數據傳遞給Callback函數。

4.3 對象檢測

對象檢測模塊負責檢測對象并將其用對象區域進行標記。因為原型系統實現的是肖像隱私保護，所以被保護的對象為人臉。對象檢測模塊使用Google服務中的人臉檢測找出照片中的人臉并進行標記。然后，近紅外光檢測模塊就可以在相應的區域內檢測近紅外光標記。對象檢測模塊從FaceDetection函數得到的輸出是雙眼之間的距離和其中點。假設雙眼間距是N，人臉寬度大約為2.5N，高度大約為3.5N。考慮到近紅外光標記戴在帽子上，近紅外光檢測模塊檢測以人臉頂部1/3和人臉以上1/6為高，以人臉寬度為寬的矩形區域。檢測區域如圖1(b)所示。

4.4 近紅外光標記檢測

4.4.1 識別神經網絡

為了更精確地識別每一個像素，我們建立了一個BP神經網絡并用近紅外光圖像進行訓練。我們將照片中每個像素的RGB值提取出來并為每個像素標記一個預期值(如果該像素由近紅外光成像標記為1，否則標記為0)。最終我們得到了1 156 296組RGB值和對應的預期值。其中75%的像素作為訓練集，其余25%作為測試集。因為輸入只有三維，我們在隱藏層設置了七個節點。在每次訓練過程中，我們將訓練集中像素的RGB值輸入到神經網絡并計算其輸出。然后根據輸出值和預期值的不同調整每個節點的權重。在1 000次訓練后，測試集的識別正確率為99.67%，訓練集的識別正確率為99.70%。

4.4.2 近紅外光識別

當一個像素經過BP神經網絡后的輸出和近紅外光成像像素的輸出相同時，我們將這個像素識別為近紅外光成像像素。但是，我們并不會僅僅因為檢測到一個近紅外光成像像素就判定照片中存在近紅外光標記。所以，我們必須定義近紅外光標記識別的判斷函數。近紅外光標記在攝像頭中成像的像素數量會根據兩者之間距離改變。我們采用的方法是比較近紅外光成像像素數量和整個對象的成像像素數量，因為無論距離大小，這兩者的比例是保持不變的。由此，我們根據R(i)的結果來判斷對象附近是否存在近紅外光標記。R(i)的定義如下：

(1)

式中：BP(k)表示像素k作為輸入時，BP神經網絡的輸出。像素k被識別為近紅外光成像像素時輸出1，否則輸出0。O(i)表示整個對象i在照片中的成像像素數量。A(i)是對象i的近紅外光檢測區域內的像素集合。ratio是近紅外光標記大小和人臉大小的比值。普通人的雙眼間距為65 mm，近紅外光標記的直徑為53 mm，所以ratio的值大約為0.06。RelaxFactor表示近紅外光標記識別在不同環境下的松弛因子，其取值范圍是[0,1]。設置RelaxFactor的方法會在第5節中介紹。

對于每張人臉i，近紅外光檢測模塊將檢測區域內的所有像素輸入到BP神經網絡中并識別是否是近紅外光成像像素。然后統計被識別為近紅外光成像的像素的數量并計算R(i)。如果R(i)為True，近紅外光檢測模塊將對象區域傳送給隱私擦除模塊，由其執行相應的隱私策略。否則，不做處理。

4.5 隱私策略

一旦近紅外光標記被識別，隱私擦除模塊就會執行隱私策略來保護敏感信息。原型系統中使用高斯模糊來擦除隱私。如圖1(d)所示，在經過高斯模糊處理之后，聲明隱私策略的人臉受到了保護。

5 系統評估

5.1 松弛因子的設置

如果沒有穿戴近紅外光標記的對象被誤識別為需要隱私保護，這會降低系統的特異度(真陰性率)。這會嚴重影響攝像頭的使用。同時系統正確識別近紅外光標記的比率，也就是靈敏度(真陽性率)，也是用戶所關心的。因此，松弛因子的設置尤為重要。如果松弛因子過大，識別條件會變得很苛刻以至于一些近紅外光標記無法被識別，從而降低靈敏度。否則，特異度會降低。正如第三章中所提到的，RelaxFactor影響著系統的特異度和靈敏度。為了保證特異度和靈敏度都處于較高水平，我們根據如下實驗來設置RelaxFactor。

5.1.1 特異度

我們從著名的圖像數據庫ImageNet[9]中下載了1 156張照片。所有照片都從“People”分類下載。這些照片都不包含任何近紅外光標記。如果系統正確識別對象為未聲明隱私，那么此識別為真陰性。我們將所有1 156張照片輸入系統，在其中的288張中識別到了522張人臉。我們設置不同的RelaxFactor并統計被正確識別為未聲明隱私的人臉數。圖2顯示了被統計的人臉數和總人臉數的比率，也就是特異度。

圖2 不同松弛因子下的特異度和靈敏度

5.1.2 靈敏度

靈敏度實驗的數據集通過拍攝穿戴近紅外光標記的人得到，包括室內和室外環境。攝像頭和對象之間的距離范圍為1 m到10 m。考慮到近紅外光標記功率有限，在選擇實驗環境時，強光環境沒有被考慮。實驗中，系統從118張照片中檢測到110張人臉，我們認為如果人臉檢測算法都無法識別到的人臉就不需要隱私保護。所以我們只需要考慮檢測到的110張人臉。設置不同的RelaxFactor時，系統的靈敏度如圖2所示。

5.2 松弛因子的取值

為了結合特異度和靈敏度來選擇RelaxFactor，我們計算上述實驗中特異度和靈敏度的加權平均數。考慮到系統的可用性，特異度和靈敏度的權重比例設置為3∶1。如圖3所示，當松弛因子取值為0.10時，加權平均數取得最大值。所以我們設置RelaxFactor為0.10，此時系統特異度和靈敏度分別為93.86%和96.36%。

圖3 特異度和靈敏度(3：1)的加權平均數

5.3 識別范圍

對近紅外光標記的識別范圍也是評估系統可用性的關鍵指標。當攝像頭和人臉的距離超過十米時，照片上的人臉已經無法識別也不會泄露隱私。因此，我們只考慮十米之內的情況。我們使用和章節5.1.2中相同的數據集。攝像頭和人臉之間的距離為1 m、3 m、6 m和10 m。在110張照片中，1 m、3 m、6 m和10 m的照片分別有30張、28張、24張和28張。如表2所示，所有距離小于等于6 m的82張照片都被正確地識別并處理。其余28張距離10 m的照片中，有24張被正確識別并處理。實驗結果表明，我們的系統在合理范圍內可以有效地保護肖像隱私。

表2 不同距離下的近紅外光標記識別率

5.4 性能評估

我們根據系統在拍照過程中帶來的延遲評估系統的性能。實驗考慮三種拍攝情況：1) 拍攝沒有人臉的照片；2) 拍攝有人臉但沒有近紅外光標記的照片；3) 拍攝既有人臉又有近紅外光標記的照片。每種情況都使用智能手機的前置和后置攝像頭分別拍攝十次，然后計算整個過程的平均耗時。實驗使用的智能手機是Google Nexus 4，操作系統為Android 4.2.2。Nexus 4前置攝像頭分辨率為123萬像素，后置攝像頭分辨率為800萬像素。實驗中用于拍照的應用程序為系統默認相機應用。如表3所示，我們列舉了六種拍攝情況下系統的平均延遲。

表3 不同情況下的照片拍攝延遲

因為系統在圖像獲取之后進行處理，延遲并不會影響照片的質量。由于圖像分辨率大小不同，前置和后置攝像頭的耗時會有所不同。當照片的內容變得更加復雜，系統會相應增加處理過程，拍照延遲也會增加。具體地，當拍攝沒有人臉的照片時，系統只需要進行人臉識別。當檢測到人臉時，近紅外光識別會添加整個流程中。如果在人臉附近檢測到近紅外光標記，流程中又會加入高斯模糊操作。降低延遲的主要瓶頸是人臉檢測算法，在后置攝像頭進行拍攝時，86.64%的延遲都是由人臉檢測算法引起的。系統使用的是Android API level 1中的人臉檢測算法，此算法是未經優化的。我們認為如果使用優化后的算法(如OpenCV)來進行人臉檢測，系統的性能將有更大的提升。如表3所示，考慮到除去人臉檢測時間的系統延遲在可接受范圍內，本系統不會對智能手機的攝像頭服務造成影響。

6 結 語

在本文中，利用人眼和智能手機攝像頭對光的感知范圍的不同，我們提出了使用近紅外光作為標記來保護被拍攝對象的隱私，彌補了現有passport[1]對人眼可見或者需要額外的傳感器來傳遞隱私策略的缺點。實驗證明了近紅外光在攝像頭中成像規律的存在。此外，我們在系統層設計了隱私保護組件用來識別近紅外光標記并執行相應的隱私策略。最后，我們在Android 4.2.2平臺上實現了系統并成功使用近紅外光標記保護肖像隱私。綜上所述，近紅外光標記提供了一種新型可用的方法來保護照片中的隱私。

我們后續的工作將集中在優化近紅外光標記的識別上。可行的方法是為近紅外光標記加入形狀屬性，這可以提高識別的特異度。另外，我們還將研究如何增加近紅外光標記承載的信息量以豐富標記可以傳達的隱私策略。

[1] Roesner F,Molnar D,Moshchuk A,et al.World-driven access control for continuous sensing[C]//Proceedings of the 2014 ACM SIGSAC Conference on Computer and Communications Security.ACM,2014:1169-1181.

[2] Ahonen T T.Camera Stats[EB/OL].(2014-08-11).http://communities-dominate.blogs.com/brands/2014/08/camera-stats-world-has-48b-cameras-by-4b-unique-camera-owners-88-of-them-use-cameraphone-to-take-pic.html.

[3] Koifman V.Mobile Camera Marketing[EB/OL].(2015-02-11).http://image-sensors-world.blogspot.com/2015/02/mobile-camera-marketing.html.

[4] Worthington P.InfoTrends 2014 Worldwide Image Capture Forecast[EB/OL].(2014-12-11).http://blog.mylio.com/one-trillion-photos-in-2015/.

[5] 應放天,李冰.基于計算機視覺的防偷拍裝置及方法:中國,CN103248825 B[P].2016-12-28.

[6] Dash M C.Fundamentals of ecology[M].Tata McGraw-Hill Education,2001.

[7] Lynch D K,Livingston W C.Color and light in nature[M].Cambridge University Press,2001.

[8] 田芊,廖延彪,孫利群.工程光學[M].北京:清華大學出版社,2006.

[9] Deng J,Dong W,Socher R,et al.Imagenet:A large-scale hierarchical image database[C]//Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on.IEEE,2009:248-255.

[10] Bo C,Shen G,Liu J,et al.Privacy.tag:Privacy concern expressed and respected[C]//Proceedings of the 12th ACM Conference on Embedded Network Sensor Systems.ACM,2014:163-176.

[11] Schiff J,Meingast M,Mulligan D K,et al.Respectful cameras:Detecting visual markers in real-time to address privacy concerns[M]//Protecting Privacy in Video Surveillance.Springer London,2009:65-89.

[12] Chinomi K,Nitta N,Ito Y,et al.PriSurv:privacy protected video surveillance system using adaptive visual abstraction[C]//International Conference on Multimedia Modeling.Springer Berlin Heidelberg,2008:144-154.

[13] http://www.idc.com/prodserv/smartphone-os-market-share.jsp.