圖像中人臉隱私度的定量評(píng)估研究?

李 璇 李德華 楊 智 陳巍維 楊 洋

（1.華中科技大學(xué)自動(dòng)化學(xué)院 武漢 430074）（2.湖北工業(yè)大學(xué)計(jì)算機(jī)學(xué)院 武漢 430068）（3.烽火通信科技股份有限公司 武漢 430073）（4.湖北大學(xué)計(jì)算機(jī)與信息工程學(xué)院 武漢 430062）

1 引言

近年來，隨著互聯(lián)網(wǎng)的發(fā)展和社交網(wǎng)絡(luò)的興起和普及，社交網(wǎng)絡(luò)平臺(tái)的圖片分享服務(wù)成為互聯(lián)網(wǎng)中最有熱度的業(yè)務(wù)之一，但同時(shí)這種服務(wù)的發(fā)展給用戶帶來了嚴(yán)重的隱私泄露威脅。來自個(gè)人相機(jī)，手機(jī)，視頻監(jiān)控或者電視機(jī)里的數(shù)字圖片被廣泛使用。一幅數(shù)字圖像里往往包含有很多信息，照片一旦在互聯(lián)網(wǎng)上被傳播，就會(huì)泄露許多的信息。攻擊者可以在未經(jīng)授權(quán)的情況下，瀏覽、下載和轉(zhuǎn)載其他用戶的圖片信息，通過這些信息可以計(jì)算推理得知他人與個(gè)人信息相關(guān)的隱私信息。比如通過圖片中的人臉信息獲取圖片中涉及到的人物的身份信息，推斷其社會(huì)關(guān)系；也可以通過圖片中的相關(guān)文字信息，比如路牌等獲取到圖片中人物的位置信息，更有甚者可以通過圖片中的建筑物推斷出圖片中人物的具體位置坐標(biāo)等。因此圖片的隱私保護(hù)是基于圖片分享的服務(wù)在應(yīng)用中需要解決的最重要的問題之一。1950 年歐洲委員會(huì)公約正式宣布隱私保護(hù)為人權(quán)。這后來體現(xiàn)在1995 年歐盟數(shù)據(jù)保護(hù)指令（指令95/46/EC）中，該指令要求采取適當(dāng)?shù)募夹g(shù)和組織措施來保護(hù)在傳輸或處理這些數(shù)據(jù)過程中的私人信息。為了遵守這些規(guī)定，身份去識(shí)別已經(jīng)成為許多組織關(guān)注的焦點(diǎn)，其最終目標(biāo)是在保護(hù)圖片信息的同時(shí)移除所有個(gè)人識(shí)別信息［1］。

圖片的隱私保護(hù)是通過隱藏目標(biāo)的視覺信息來實(shí)現(xiàn)的，然而，過度的視覺抽象處理會(huì)降低圖片的可讀性。因此我們需要關(guān)注的是如何既達(dá)到保護(hù)隱私的目的，又盡可能多的保存原始圖片信息。目前，大多數(shù)研究都是以圖像為單位進(jìn)行隱私內(nèi)容的搜索［2～3］，針對(duì)圖片的目標(biāo)信息進(jìn)行隱私的分析評(píng)估還沒有很多研究，這是一個(gè)有前景的研究趨勢(shì)。隨著計(jì)算機(jī)視覺和人臉識(shí)別技術(shù)的發(fā)展和成熟，圖像中的人臉作為個(gè)人身份信息的重要表征，被看作是高度敏感的隱私信息。近年來有些工作關(guān)注人臉的信息隱藏問題，比如使用模糊或者遮擋等去識(shí)別技術(shù)過濾掉圖像中的人臉信息實(shí)現(xiàn)主體的隱私保護(hù)［4～7］，還有些工作對(duì)視覺信息隱藏技術(shù)的效果進(jìn)行了評(píng)估［8～9］。

然而，上述的方法均是對(duì)目標(biāo)進(jìn)行統(tǒng)一化的視覺隱藏處理，未考慮到每個(gè)目標(biāo)所暴露隱私的風(fēng)險(xiǎn)程度，即隱私度，是有差異的。對(duì)于圖片中的人臉信息，如果進(jìn)行同種方式或者程度的去識(shí)別處理，雖然達(dá)到了隱私保護(hù)的目的，但是會(huì)使圖片損失較多視覺信息。這就需要我們對(duì)于圖片中的人臉目標(biāo)進(jìn)行隱私性評(píng)估，根據(jù)人臉隱私度的不同，用不同的圖像處理手段隱藏目標(biāo)的視覺信息，保證圖像的可讀性和隱私性。本文提出一種基于PCA 的k-Same 去識(shí)別算法，能夠在降低人臉識(shí)別率的同時(shí)保證圖像的質(zhì)量。并在該算法的基礎(chǔ)上建立了一個(gè)線性回歸模型來實(shí)現(xiàn)人臉隱私度的定量評(píng)估，該模型通過研究人臉的模糊方式及其程度和人臉可識(shí)別性及圖像質(zhì)量變化之間的關(guān)系，決定不同的人臉目標(biāo)去識(shí)別化的程度，從而為制定個(gè)性化隱私保護(hù)決策提供科學(xué)的依據(jù)，實(shí)現(xiàn)隱藏個(gè)人身份的同時(shí)保證圖像可讀性的需求。

2 相關(guān)工作

圖像中人臉的隱私問題如今受到了很多的關(guān)注，研究者們從多個(gè)角度出發(fā)，進(jìn)行圖像中人臉隱私保護(hù)的研究。Ilia 等［7］的主要貢獻(xiàn)是將隱私保護(hù)問題中照片處理的粒度從圖像級(jí)別轉(zhuǎn)換到人臉級(jí)別，根據(jù)圖像中不同人臉的隱私權(quán)限來決定人臉是否被模糊。其中作者們是通過用戶調(diào)查的方式量化每個(gè)用戶的隱私風(fēng)險(xiǎn)和評(píng)價(jià)隱私保護(hù)的效果的。Nakashima 等［4］主要用可識(shí)別率來評(píng)估各種圖像處理技術(shù)對(duì)于人臉遮擋的效果，通過調(diào)查問卷的方式得到人臉熟悉度和顯著性的分?jǐn)?shù)，將這兩個(gè)與隱私相關(guān)的因素作為參數(shù)定量的評(píng)估各種圖像處理技術(shù)和識(shí)別率之間的關(guān)系，并討論影響可識(shí)別性的兩個(gè)因素的相關(guān)性與問卷結(jié)果的統(tǒng)計(jì)學(xué)意義。Dufaux 等［10］提出了一個(gè)框架去評(píng)估隱私保護(hù)方法的面部信息和身份信息的隱藏功能，為了達(dá)到這個(gè)目的，他們使用Colorado State University（CSU）人臉識(shí)別評(píng)估系統(tǒng)來評(píng)估人臉經(jīng)過各種隱私保護(hù)技術(shù)之后的識(shí)別效果。Zerr等［3］提出結(jié)合圖像的視覺特征和文本特征學(xué)習(xí)隱私分類器，以圖像為單位實(shí)現(xiàn)隱私趨向的搜索，使得用戶可以直接發(fā)現(xiàn)有特定隱私信息的圖片，并使用調(diào)查問卷的方式評(píng)估了方法的可行性。Mosaddegh等［11］關(guān)注到了圖像隱私保護(hù)和視覺質(zhì)量保持之間相權(quán)衡的問題。提出了一種基于感興趣區(qū)域替換的人臉去識(shí)別技術(shù)，既能生成更加美觀和自然的人臉圖像，又能保證較低的人臉自動(dòng)匹配率。Korshunov 等［8～9］提出了一個(gè)主觀的評(píng)估方法來分析常見的一些隱私保護(hù)方法實(shí)現(xiàn)的隱私信息隱藏與視頻圖像可理解性之間的權(quán)衡問題。文章通過用戶調(diào)查的方式給出了在不同信息處理方式下的視頻圖像的隱私性和可理解性的分值。

3 基于PCA 的k-Same 人臉去識(shí)別算法

3.1 常用的人臉去識(shí)別算法

對(duì)于隱私保護(hù)的日益關(guān)注以及相關(guān)的法律和社會(huì)責(zé)任，導(dǎo)致了過去十年中對(duì)人臉去識(shí)別化領(lǐng)域的廣泛研究。人臉去識(shí)別算法方法主要分為兩類：一類是常見的特定模糊方法，包括像素化，模糊，遮擋［9，11～12］等；一 類 是 基 于K-匿 名［13］的 方 法，比 如Newton 等［14］提出的K-SAME 算法。在這一節(jié)中，我們將簡(jiǎn)單介紹這幾種人臉去識(shí)別方法，并提出的一種新的基于PCA的k-Same人臉去識(shí)別算法。

3.1.1 模糊方法

1）像素化

像素化（pixelation）是通過下采樣過程減少了一幅圖像中的信息含量。給定一個(gè)像素化因子p，將圖像大小p*p 的子塊上的像素由子塊上的平均像素值替換。隨著p 值的增加，越來越多的信息被移除。

2）高斯模糊

模糊（Blurring）是將圖像中的每個(gè)像素被像素的鄰域的加權(quán)平均代替。常用的加權(quán)函數(shù)是高斯核函數(shù)，位于鄰域中心附近的像素獲得更大的權(quán)重。在二維中，對(duì)于坐標(biāo)x 和y，高斯模糊算子被定義為。其中標(biāo)準(zhǔn)差σ 控制著鄰域的大小。然后將模糊圖像計(jì)算為原始圖像與高斯模糊算子的卷積。

3.1.2 k-Same人臉去識(shí)別方法

簡(jiǎn)單來說，k-Same 是將k-匿名的概念用于隱私保護(hù)當(dāng)中的工作原理是獲取一個(gè)臉部集合中的k個(gè)臉部圖像的平均值，并用平均圖像替換這些圖像。由于每個(gè)原始圖像都是用與它最為相似的人臉集群的聚合人臉進(jìn)行替換，在保護(hù)隱私的同時(shí)可以最大限度地減少信息丟失。其具體定義［14］如下。

給定一個(gè)特定的人臉集合H ；以及使用人臉去識(shí)別函數(shù)f:H →Hd，對(duì)H 進(jìn)行k-匿名化后的人臉集合Hd，如果f 滿足：給定任意一幅人臉圖像Γd∈Hd，其中Γd=f(Γ)且Γ ∈H ，使得任意人臉識(shí)別軟件對(duì)Γd進(jìn)行人臉識(shí)別的正確識(shí)別率都不高于1/k。則f 稱為k-Same 去識(shí)別函數(shù)，Hd是k-Same去識(shí)別化圖像集合。其目的是選擇最合適的函數(shù)f 使得信息損失最少。

3.2 基于PCA的k-Same人臉去識(shí)別算法

至今為止，較為成功的人臉去識(shí)別方法是k-Same，它能保證識(shí)別率低于1/k。其核心問題就是要找到分組聚類的最優(yōu)算法，將特定的人臉集合分成若干個(gè)“集群”，從而得到集群中k 個(gè)人臉的平均人臉，來代替每個(gè)集群的成員的原始圖像。然而，目前的k-Same 解決方案都依賴于人臉的全部特征去進(jìn)行分組聚類。

人臉去識(shí)別過程是一個(gè)典型的高維小樣本問題，人臉圖像向量的維數(shù)一般較高，而由于客觀條件的限制，訓(xùn)練樣本的數(shù)目一般較小，在這樣一個(gè)高維的圖像空間內(nèi)，按照通常的算法，計(jì)算樣本的協(xié)方差矩陣的特征向量是非常耗時(shí)的。因此本文提出了一個(gè)新的k-Same 解決方案，利用主元分析方法（PCA）解決K-L 變換后協(xié)方差矩陣的特征向量的求解問題，提取出空間原始數(shù)據(jù)中的主要特征，生成基于主成分的特征臉空間，減少數(shù)據(jù)冗余，使得數(shù)據(jù)在一個(gè)低維的特征空間被處理，同時(shí)保持原始數(shù)據(jù)的絕大部分的有用信息，從而解決數(shù)據(jù)空間維數(shù)過高的瓶頸問題。

與基于全部特征的k-Same 算法相比，我們提出的基于PCA的k-Same人臉識(shí)別算法在提高去識(shí)別效果的同時(shí)大大提高了運(yùn)算效率，算法思路如圖1所示。

圖1 k-Same-PCA算法設(shè)計(jì)

4 人臉隱私度定量評(píng)估模型

本文用基于PCA的k-Same人臉去識(shí)別算法得到的去識(shí)別化程度定量的評(píng)估人臉目標(biāo)的隱私度，人臉?biāo)璧娜プR(shí)別化程度越高，說明該人臉暴露隱私的風(fēng)險(xiǎn)越高，即隱私度級(jí)別越高。去識(shí)別化程度與兩個(gè)因素相關(guān)，一個(gè)是人臉去識(shí)別化后的識(shí)別率，一個(gè)是去識(shí)別化后人臉圖像的失真度。在保證識(shí)別率低于一定閾值的情況下，失真度越小說明圖像的可讀性越高。

4.1 基于KPCA的人臉識(shí)別率

由于基于KPCA 的人臉識(shí)別算法在人臉識(shí)別的應(yīng)用中可以更有效地選取特征信息，獲得較高的識(shí)別率且具有較強(qiáng)的魯棒性［16］，因此在本文中，我們使用該算法對(duì)去識(shí)別后的人臉進(jìn)行人臉識(shí)別率的計(jì)算，得到的識(shí)別率定量的反映了該人臉的可識(shí)別性，從而作為評(píng)估去識(shí)別程度的關(guān)鍵因素之一。

4.2 基于SSIM的圖像質(zhì)量評(píng)價(jià)

將圖像的失真度作為衡量圖像可讀性的指標(biāo)，使用圖像質(zhì)量評(píng)價(jià)方法對(duì)圖像進(jìn)行失真度的定量計(jì)算，從而客觀地評(píng)價(jià)去識(shí)別過程對(duì)于圖像質(zhì)量的影響。

自然圖像具有極高的結(jié)構(gòu)性，表現(xiàn)在圖像的像素間存在著很強(qiáng)的相關(guān)性，尤其是在空間相似的情況下。這些相關(guān)性在視覺場(chǎng)景中攜帶著關(guān)于物體結(jié)構(gòu)的重要信息。我們假設(shè)人類視覺系統(tǒng)（HSV）主要從可視區(qū)域內(nèi)獲取結(jié)構(gòu)信息。所以通過探測(cè)結(jié)構(gòu)信息是否改變來感知圖像失真的近似信息。大多數(shù)的基于誤差敏感度的質(zhì)量評(píng)估方法（如MSE，PSNR）不涉及信號(hào)自身內(nèi)容的特征，對(duì)某些圖像進(jìn)行質(zhì)量評(píng)價(jià)時(shí)會(huì)與主觀感知的質(zhì)量產(chǎn)生較大的偏差［17］。結(jié)構(gòu)相似法SSIM（structural similarity index）是一種基于結(jié)構(gòu)信息衡量原始信號(hào)與處理后信號(hào)之間相似程度的方法，計(jì)算簡(jiǎn)單、與主觀質(zhì)量評(píng)價(jià)關(guān)聯(lián)性較強(qiáng)。因此本文使用基于SSIM 的圖像質(zhì)量評(píng)價(jià)方法來定量的評(píng)估去識(shí)別化后的人臉圖像質(zhì)量。

4.3 基于線性回歸分析的評(píng)價(jià)模型

4.3.1 隱私度級(jí)別劃分和去識(shí)別技術(shù)參數(shù)的設(shè)定

對(duì)于圖像中的人臉目標(biāo)，使用不同的去識(shí)別技術(shù)和相關(guān)參數(shù)可以改變?nèi)四樀娜プR(shí)別化程度。本文建立的評(píng)價(jià)模型將人臉目標(biāo)的隱私度分為十級(jí)，隱私度級(jí)別越高，人臉?biāo)枰[藏的視覺信息越多。相應(yīng)的去識(shí)別技術(shù)和所設(shè)定的參數(shù)如表1 所示。

表1 隱私度分級(jí)表

4.3.2 線性回歸模型的建立

回歸分析用于確定變量之間的密切關(guān)系，線性回歸假設(shè)因變量與自變量之間為線性關(guān)系，用一定的線性回歸模型來擬合因變量和自變量的數(shù)據(jù)，并通過確定模型參數(shù)來得到回歸方程。本文將圖像中的人臉尺寸看作自變量，其隱私度看作因變量，根據(jù)識(shí)別率閾值的設(shè)定，通過線性回歸分析對(duì)不同大小的人臉圖像目標(biāo)確定不同的隱私度線性回歸方程，即

其中，i為識(shí)別率的區(qū)間范圍，回歸系數(shù)利用最小二乘法確定。

5 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

5.1 實(shí)驗(yàn)數(shù)據(jù)采集

基于之前在英國(guó)ORL（Olivetti Research Laboratory）人臉數(shù)據(jù)庫(kù)上取得的人臉識(shí)別研究的成果［18］，我們利用該庫(kù)的數(shù)據(jù)進(jìn)行本文的建模和實(shí)驗(yàn)。我們?cè)?0 個(gè)人中每人任意選取一幅正面圖像組成實(shí)驗(yàn)中的Person-specific人臉集合。

5.2 人臉去識(shí)別算法實(shí)現(xiàn)

本文在Matlab 平臺(tái)上進(jìn)行了人臉像素化和基于PCA 的k-Same 的去識(shí)別算法的實(shí)驗(yàn)，在Visual studio 平臺(tái)上通過調(diào)用OpenCV 相關(guān)函數(shù)實(shí)現(xiàn)了人臉的高斯模糊處理。圖2 展示的是使用不同的去識(shí)別技術(shù)和相關(guān)參數(shù)得到的去識(shí)別化結(jié)果。

如圖2（a）所示，通過改變單元格大小p 的值得到不同的像素化結(jié)果；如（b）所示，使用不同的σ 值得到了不同的模糊圖像效果；（c）展示了選取不同k值時(shí)的k-Same 圖像效果；（d）展示了選取不同k 值時(shí)的k-Same-PCA圖像效果。

圖2 四種去識(shí)別算法選取不同參數(shù)時(shí)的結(jié)果對(duì)比圖

5.3 定量的評(píng)估指標(biāo)

圖3 展示的是四種去識(shí)別方法在不同參數(shù)下，即不同的去識(shí)別程度（De-Identification Level）下的識(shí)別率（Recognition Accuracy）結(jié)果和圖像質(zhì)量（SSIM Value）評(píng)價(jià)結(jié)果。

如圖3所示，基于k-匿名的去識(shí)別算法對(duì)于識(shí)別率降低的效果遠(yuǎn)遠(yuǎn)好于像素化算法或者模糊算法，在較低的去識(shí)別程度下就能獲得較低的識(shí)別率，也就是在對(duì)圖像進(jìn)行較小程度去識(shí)別化的情況下能較好的隱藏人臉的可識(shí)別信息，從而保護(hù)了人臉的隱私性。圖3 的（b）圖顯示，我們用定量的SSIM 值評(píng)價(jià)圖像質(zhì)量的變化時(shí)，常見的像素化算法和高斯模糊算法雖然在去識(shí)別程度較小的時(shí)候，使得圖像具有較高的相似性，但是結(jié)合（a）圖可以發(fā)現(xiàn)，其對(duì)應(yīng)的識(shí)別率太高，不能達(dá)到保護(hù)隱私的目的。同時(shí)，實(shí)驗(yàn)證明，我們提出的k-Same-PCA人臉去識(shí)別方法與k-Same算法相比能夠得到更低的識(shí)別率的同時(shí)保持更高的圖像相似性，以及更快的運(yùn)算效率。

圖3 采用不同的去識(shí)別方法時(shí)去識(shí)別程度和識(shí)別率以及SSIM值之間的關(guān)系

5.4 基于線性回歸的隱私度判定模型

為了實(shí)現(xiàn)圖像隱私保護(hù)和可讀性的平衡，我們提出的k-Same-PCA 人臉去識(shí)別方法能夠有效降低識(shí)別率的同時(shí)保證圖像的質(zhì)量。通過該算法得到去識(shí)別結(jié)果，選取不同大小的人臉圖像，得到相應(yīng)的識(shí)別率、SSIM 值與去識(shí)別程度的關(guān)系圖，如圖4 所示，隨著識(shí)別率的降低，圖像的結(jié)構(gòu)相似性值是單調(diào)遞減的，因此當(dāng)識(shí)別率滿足一定條件時(shí)，可以得到每種人臉尺度在不同識(shí)別率需求下所對(duì)應(yīng)的最優(yōu)的去識(shí)別程度。

通過回歸分析得到不同識(shí)別率需求時(shí)的人臉尺寸（單位：萬像素）和隱私度的回歸方程如下所示：

圖4 不同人臉圖像尺寸下的識(shí)別率、SSIM值與去識(shí)別程度之間的關(guān)系

對(duì)于圖像中任意人臉，可以根據(jù)它的目標(biāo)尺寸信息得到最合適的去識(shí)別程度作為人臉的隱私度，然后根據(jù)制定的隱私度分級(jí)表，獲取相應(yīng)的去識(shí)別技術(shù)及其參數(shù)，實(shí)現(xiàn)對(duì)不同的人臉目標(biāo)有針對(duì)性的去識(shí)別化操作，從而達(dá)到較好的視覺處理效果和隱私保護(hù)目的。

6 結(jié)語

圖片隱私的保護(hù)問題是目前對(duì)隱私問題研究的熱點(diǎn)問題之一，受到了廣泛關(guān)注，但對(duì)圖片的目標(biāo)信息的隱私泄露風(fēng)險(xiǎn)評(píng)估還沒有很多研究。本文旨在提供科學(xué)的隱私保護(hù)方案來實(shí)現(xiàn)對(duì)圖像中的人臉進(jìn)行不同程度的視覺信息隱藏，從而達(dá)到隱私保護(hù)和圖像可讀性之間的平衡。本文首先提出了一種基于PCA 的k-Same 人臉去識(shí)別方法，該算法取得了更低的識(shí)別率和更好的圖像質(zhì)量，并從人臉尺寸的角度出發(fā)，利用線性回歸的方法建立對(duì)圖像中的人臉隱私度進(jìn)行定量評(píng)估的模型，得到不同識(shí)別率需求下的人臉尺寸和其隱私度間的關(guān)系。由于本文利用識(shí)別率和失真度定量的評(píng)估幾種去識(shí)別算法，并用得到的去識(shí)別程度來量化隱私度，這種定量分析隱私的方法和思路，使評(píng)價(jià)的結(jié)果更加客觀。

在今后的研究中，可以研究更多的圖像處理技術(shù)，比如銳化、扭曲、浮雕效果等多種圖像去識(shí)別方式對(duì)圖像識(shí)別率和失真率的影響。通過對(duì)目標(biāo)采取不同的圖像處理技術(shù)降低目標(biāo)的識(shí)別率同時(shí)減少圖像的失真率，從而實(shí)現(xiàn)保護(hù)隱私的同時(shí)使得圖像更加自然和美觀的呈現(xiàn)。同時(shí)我們可以探討不同的人臉視覺線索對(duì)于人臉可識(shí)別性的影響，比如人臉的尺寸，人臉的角度以及人臉遮擋的面積和方位等；并建立相應(yīng)的數(shù)學(xué)模型對(duì)隱私度進(jìn)行定量的評(píng)估。