基于光源顏色和噪聲的圖像拼接篡改檢測方法*

魏偉一，趙秀鋒，趙毅凡

(西北師范大學計算機科學與工程學院,甘肅 蘭州 730070)

1 引言

隨著各種功能強大的圖像編輯軟件的出現，數字圖像的真實性受到嚴峻的挑戰。圖像拼接是一種常見的圖像偽造手段，是選取一幅圖像作為宿主圖像，然后從另一幅或多幅圖像中復制一部分區域粘貼到宿主圖像中完成篡改[1]。這種來源不同的圖像合成的總圖往往會造成整幅圖像特性的不一致，如光照方向[2]、噪聲[3]、光源顏色和CFA(Color Filter Array)插值[4]等，為圖像拼接篡改研究提供了思路。文獻[5]首次提出利用光源顏色不一致檢測圖像拼接篡改，雖然取得了一定的效果，但閾值的選擇依賴于先驗經驗。Sun等人[6]通過估計圖像中不同區域的光源顏色實現拼接篡改檢測與定位，但該方法根據先驗知識人工選取未篡改的塊作為參考區域，無法實現拼接區域的自動檢測與定位。根據拼接圖像中噪聲不一致的特性，Wu等人[7]在單尺度超像素中估計局部噪聲方差，排除不符合正態分布的超像素，將剩余區域通過與閾值比較定位可疑區域。文獻[8]提出在多尺度超像素中利用噪聲差異檢測拼接偽造區域，該方法通過建立噪聲水平和亮度的多項式函數，將不受函數約束的塊標記為可疑區域，在原始區域和拼接區域的噪聲差比較小的情況下，該方法性能不理想。因此，文獻[9]提出利用主成分分析PCA(Principal Component Analysis)在灰度空間對圖像逐塊估計噪聲水平，利用K-means聚類檢測拼接區域。Wang等人[10]將圖像劃分為順序塊，在彩色空間中利用PCA估計噪聲。文獻[11]在超像素塊中提取局部噪聲水平和噪聲分布特征，實現篡改檢測。

綜合現有研究來看，圖像拼接篡改檢測方法大多針對圖像的某個單一特征進行提取分類實現篡改檢測。但是，由于圖像的信息量較為豐富，單一特征提取的方法導致圖像特征信息捕獲不充分，對拼接區域檢測精確率不高或無法識別拼接區域。另外，以上方法多在灰度空間或單色通道中進行檢測，丟失了圖像的顏色信息。針對現有方法存在的不足，本文提出一種新的基于混合特征的方法來有效定位拼接區域。利用超像素分割策略劃分圖像，并提取局部光源顏色和噪聲的混合特征，通過對特征進行二分類定位拼接區域。經過實驗對比，光源顏色和噪聲的混合特征提取方法較單一特征提取方法能取得更高的檢測精確率。

2 本文方法

圖像拼接篡改會造成多種圖像特性發生改變。傳統方法針對單一特性不一致提取到的特征非常有限，對拼接區域檢測精確率影響較大。因此，本文根據篡改圖像光源顏色和噪聲特性的不一致，通過對二者的混合特征提取，實現對拼接區域的正確檢測與定位，提高檢測精確率。方法流程如圖1所示。首先將待檢測的彩色圖像利用簡單線性迭代聚類SLIC(Simple Linear Iterative Clustering)算法分割成不重疊的超像素塊；其次將每個圖像塊轉換到YCbCr顏色空間提取光源顏色特征，同時將圖像塊表示為四元數并利用PCA提取噪聲特征；然后將這2種特征組合作為最終特征向量，采用K-means聚類將特征向量分為2類，并將所含特征數較少的一類標記為篡改區域 ，實現彩色圖像拼接篡改檢測。

Figure 1 Framework of method

2.1 圖像分割

為量化描述不同區域特征的差異，本文采用SLIC算法分割圖像，分割后的超像素塊滿足式(1)：

(1)

其中，I表示輸入圖像，K表示超像素的總數目，kj表示第k個超像素中的第j個像素點。

SLIC算法將具有相似性的像素分組形成超像素塊。與順序分塊相比，超像素塊的結構更為緊湊，形狀均勻且邊緣輪廓更為清晰。另外，用超像素代替多個像素來表達圖像特征，能大大降低后續算法的時間復雜度。

SLIC算法包括2個步驟：初始化超像素塊的個數和像素點分配。首先將圖像傳輸到CIELAB顏色空間，原始的種子點為Ck=[Lk,Ak,Bk,Xk,Yk]T，k=1,…,K。假設輸入圖像的像素點個數為N0，那么每個超像素的像素點個數為N0/K，且相鄰種子點的距離近似為S=sqrt(N0/K)。為避免種子點分布在圖像邊緣的位置，將種子點的初始位置定位到3×3鄰域中梯度最小的位置。在像素點分配步驟，遍歷每個像素并計算其與種子點的歐氏距離，將像素點分配到距離最近的種子點所屬簇中，并將種子點更新為各個簇中所有像素的平均向量。前一個聚類中心與當前聚類中心之間的誤差小于給定閾值或達到給定的迭代次數，算法停止，完成分割。

2.2 光源顏色特征提取

不同的顏色空間所表示的顏色特性不同，與RGB相比，YCbCr顏色空間能夠更好地捕獲圖像光源顏色差異。因此，為了更準確地估計光源顏色，首先要把圖像從RGB顏色空間轉換到YCbCr顏色空間。光源顏色估計就是計算整個圖像的平均色差,文獻[12]中的相機自動白平衡算法通過遍歷整幅圖像中滿足一定約束條件的像素點來計算平均色差。考慮到拼接區域在圖像中僅占部分區域，本文提出利用SLIC算法將圖像分割成不重疊的超像素塊，并將文獻[12]中計算圖像平均色差的算法應用到圖像拼接檢測領域，用于提取超像素塊的光源顏色特征。為了降低算法的時間復雜度,在實際計算中選擇滿足約束條件(2)的像素來計算平均色差[12]。

Y-|Cb|-|Cr|>φ

(2)

其中，φ為約束因子，當Y較小時,Cb和Cr范圍控制得很緊，只有少量像素可以參與色差計算；而當Y增大時,Cb和Cr的范圍相應放大，更多像素參與計算，從而可以提高估計精度。

對于分割后的超像素塊，遍歷每個超像素塊中符合約束條件(2)的像素，按照式(3)提取每個超像素塊的光源顏色特征：

(3)

其中，n表示第k個超像素塊中符合條件(2)的像素數量，且k=1,2,…,K；Yi，Cbi，Cri分別表示像素點i在YCbCr顏色空間的值。對每一個超像素塊進行光源顏色提取，結果記為ICk={Yk,Cbk,Crk|k=1,2,…,K}。

2.3 噪聲特征提取

現有的利用噪聲不一致檢測拼接區域的方法多在灰度空間或單色通道中進行，并采用順序分塊的分割策略，這樣一方面會丟失圖像的顏色信息，另一方面順序分塊會將真實區域與篡改區域的邊緣區域劃分在同一個塊中，對噪聲估計的準確性造成影響。針對此問題，本文在提取圖像噪聲特征時，首先將彩色圖像表示為四元數(Quaternion)，充分利用R、G、B 3個通道的顏色信息，然后在超像素塊中利用PCA提取噪聲特征。

2.3.1彩色圖像的四元數表示

四元數是哈密頓在1843年提出的數學概念，其由1個實部和3個虛部組成，可以用式(4)表示：

q=a+bi+cj+dk

(4)

其中，a，b，c，d∈Z。a是四元數的實部，b,c和d分別是對應于四元數3個虛部i、j和k的系數。 如果實部a=0，則q稱為純四元數。

用四元數模型表示彩色圖像時，RGB圖像的3個通道分別對應于純四元數3個虛部的系數。給定彩色圖像的像素(x，y)，R(x，y)、G(x，y)和B(x，y)分別表示像素(x，y)在R、G和B通道中的值。對于每一個像素，通過式(5)可獲得該點的四元數表示。

q(x,y)=R(x,y).i+G(x,y).j+B(x,y).k

(5)

利用式(5)可以很容易將彩色圖像表示為四元數。

2.3.2 PCA噪聲估計

利用PCA對超像素塊進行局部噪聲水平估計是目前能夠比較準確估計噪聲的方法之一。

假設1通過應用PCA，f0可以稀疏地表示為所有f0i，{f0i}都位于子空間VM-m∈RM中,其中M=M1×M2，m是預先定義的正整數。

當假設1成立時，式(6)成立。

(6)

彩色圖像四元數噪聲估計算法具體步驟如下所示：

步驟1f被劃分為重疊塊fi，i=1,2,…,N。重疊塊的尺寸為5×5,即M0=25。

步驟2利用方差分布來計算初始估計，該初始估計還用作整個估計的上限。設s2(fi)為樣本fi的四元數方差，Q(p)為{s2(fi),i=1,…,N}的p分位數。初始噪聲估計為C0Q(p0)。文獻[13]作者實驗性地設定C0=3.1,p0=0.0005。

步驟3通過遞歸丟棄方差最大的圖像塊，直到滿足假設1，用式(7)選擇圖像塊Bs的子集:

Bs={fi|s2(fi)≤Q(p),i=1,…,N}

(7)

且假設1通過條件(8)檢查：

λBs,m-λBs,min

(8)

采用PCA估計每個超像素的噪聲水平，記為NLk={σk|k=1,2,…,K}。

2.4 拼接區域檢測與定位

對每一個超像素，將提取到的光源顏色和噪聲融合作為最終的特征向量，所有超像素塊的特征向量記為SF={{ICk,NLk}|k=1,2,…,K}，其中ICk是光源顏色特征，NLk是噪聲特征。根據對大量篡改實驗圖像的統計可知，絕大部分拼接篡改圖像中，篡改區域所占圖像比例小于原始區域所占圖像的比例。因此，本文利用K-means算法將混合特征SF劃分為2個簇，統計2個簇中所含超像素塊的數量，并將數量較少的簇標記為可疑區域。

在超像素分割結果中存在塊區域較小的問題，可能導致本應屬于拼接區域的超像素未被標記，或者原始區域的超像素被誤標記為篡改區域。針對此問題，為進一步提高檢測精確率，本文將經過聚類的初始標記結果在超像素塊級做后處理操作，包括孤立塊過濾和空洞填充。孤立塊過濾的主要步驟是：遍歷所有超像素塊k(k=1,2,…,K)，如果與其鄰接的超像素塊都被標記為原始區域，則將k也標記為原始區域。空洞填充的主要步驟是：遍歷所有超像素塊k，如果超像素塊k的所有鄰接塊都被標記為篡改區域，則將k也標記為篡改區域。初始分類結果如圖2a所示，經過孤立塊過濾和空洞填充處理后的分類結果如圖2b所示。其中，灰色表示原始區域，白色表示篡改區域。

Figure 2 Superpixel block-level filtering and filling

3 實驗結果與分析

本節通過實驗評估和分析，研究混合特征提取方法對拼接圖像的檢測性能。首先在哥倫比亞未壓縮圖像拼接檢測評估數據集(Columbia IPDED)[14]上檢測圖像拼接。這個數據集由真實圖像庫和拼接圖像庫組成，真實圖像由4種相機拍攝而得：佳能G3、尼康D70、佳能350D Rebel XT和KodakDCS330。拼接圖像庫中總共有180幅拼接圖像，并且每幅拼接圖像都是使用Adobe Photoshop圖像處理軟件由源自不同相機的2幅原始圖像合成。由于真實圖像的成像光照條件包括室內光源、室外陽光、陰天和陰影等，并且均由不同的相機拍攝而成，因此它們具有不同的光源顏色與噪聲，可充分檢驗本文方法的有效性。

3.1 與相關方法的比較

評估圖像拼接檢測方法性能的最重要指標之一就是檢測精確率。本節通過視覺展示和定量評估來檢驗所提方法的檢測性能，并與其他相關方法進行比較。從Columbia IPDED中選取拼接位置、塊大小和區域紋理不同的4幅拼接圖像，然后分別使用本文混合特征提取方法與文獻[6,9,10]中的單一特征提取方法來檢測這些圖像。另外，為說明本文混合特征提取方法適用于更多類型的拼接圖像定位，在整個Columbia IPDED數據集上將該方法與其他相關方法進行比較。

首先將本文混合特征提取方法與文獻[6]的單獨提取光源顏色特征的方法進行比較，結果如圖3所示。在圖3中，本文方法相較于文獻[6]的方法有更少的誤檢及漏檢區域。這主要有3個原因：(1)在分割策略上本文采取SLIC超像素分割策略，很大程度上避免規則分塊導致的將拼接區域和原始區域的邊緣劃分在同一個子塊中；(2)SLIC分割的超像素塊邊緣輪廓更清晰平滑，使得本文方法對拼接區域的邊緣檢測效果較好；(3)當拼接區域與原始區域的光源顏色差異較小時，本文利用噪聲特征進行補充，實現了更準確的檢測。

Figure 3 Detection results comparison with method from reference [6]

其次，將本文方法與文獻[9,10]中單獨提取噪聲特征的方法進行比較。在圖4中，與本文方法相比，在第1行中，文獻[9]方法表現出較多的誤檢測區域。在第2行和第3行中，文獻[9,10]方法具有更高的漏檢率。在第4行中，文獻[9]方法對拼接區域檢測失敗，其他方法實現了較高的精確率。從圖4可以看出，本文方法獲得了更精確的檢測區域，而其他方法在某些情況下可能會失敗或具有更多的錯誤檢測。原因是此數據集中某些拼接圖像的原始區域和拼接區域之間的噪聲差異很小，本文利用光源顏色作為輔助特征，當噪聲差異較小時仍可區分拼接塊與原始塊。

Figure 4 Detection results comparison with methods from reference [9, 10]

為定量分析本文所提方法的拼接檢測性能，引入真陽性率TPR和假陽性率FPR來評價像素級的精度，如式(9)所示：

(9)

其中，TPR是正確檢測到的拼接區域中像素的比率，FPR是原始區域中被錯誤檢測的像素的比率。TP表示正確檢測的拼接區域的像素數，FN表示未被檢測到的拼接區域的像素數，FP表示原始區域中被檢測為拼接像素的像素數,TN表示正確檢測的原始區域的像素數。有效的拼接定位方案有望同時獲得高TPR和低FPR。

圖4中4幅圖像的像素級TPR和FPR測試結果如表1所示。

從表1可以看出，本文方法能提供較準確的檢測，并且檢測精度高于文獻[9,10]的。

3.2 魯棒性分析與比較

從CASIA2.0圖像庫中選擇JPEG格式的4幅拼接圖像，以評估所提方法抗壓縮的魯棒性。圖5顯示了4幅拼接圖像的檢測結果。很明顯，由于拼接圖像經過JPEG壓縮，所有方法的檢測結都包含一定的漏檢區域，但與其他方法相比，本文方法柯檢測出更多的拼接區域。

Table 1 Pixel-level accuracy

Figure 5 Detection results of each method on CASIA2.0

將本文方法和其他方法分別應用于整個Columbia和經壓縮因子QF為95和85的JPEG壓縮后的數據集上,各方法的平均像素級定量比較如表2所示。

Table 2 Pixel-level performance comparison onthe Columbia IPDED before and after post-processing

在表2中，對于沒有后處理的圖像數據集，與其他方法相比，本文方法可獲得較高的真陽性率TPR和較低的假陽性率FPR。這主要有3個原因：(1)相比較于單獨提取光源顏色或噪聲特征的檢測方法，本文方法將二者結合用于拼接檢測，當一方差異較小時，另一方將起到補充作用。(2)在四元數的基礎上利用PCA提取到的噪聲更接近真實噪聲，因為將RGB圖像的3個通道作為四元數的3個虛部，能充分保留圖像的顏色信息。(3)相比較于順序分塊，本文采用超像素分割策略劃分圖像，保留了更清晰平滑的邊緣輪廓。同時對于經過JPEG壓縮過的圖像，相比于文獻[9,10]中的方法，本文方法表現出相對較高的真陽性率，這說明混合特征提取方法較單一特征方法更具魯棒性。

3.3 計算復雜度分析

計算復雜度包括在超像素分割、光源顏色及噪聲特征提取和拼接區域檢測上花費的時間，本文在2.60 GHz CPU和4 GB RAM的計算機上使用Matlab進行了仿真。實驗測試了混合特征提取方法對Columbia IPDED中每幅圖像的平均運行時間，并與文獻[9,10]中的方法進行比較。表3顯示出了統計平均值。混合特征提取方法的檢測精確率高于文獻[9,10]的同時，相較于文獻[10]中的方法，本文方法表現出更低的時間消耗。

Table 3 Computational time comparison of each method

4 結束語

為避免單一特征提取方法造成圖像拼接檢測精確率過低，本文提出了一種基于混合特征提取的圖像拼接篡改檢測方法。該方法分別提取圖像的光源顏色及噪聲特征，并使用K-means聚類算法進行特征分類，實現篡改圖像拼接區域的檢測與定位。在不同數據集上的實驗結果表明，相比單一特征提取方法，混合特征提取方法具有更好的檢測性能。但是，本文方法對JPEG壓縮的圖像不夠魯棒，另外，本文方法對含有多個拼接區域的圖像檢測精度較低。因此，在未來的工作中，一方面可以將 JPEG 壓縮的檢測方法與本文方法結合使用，提高魯棒性；另一方面可以針對多個拼接區域開展研究。