基于自適應提點魯棒定位的圖像復制粘貼篡改檢測①

于 亮,楊紅穎

(遼寧師范大學 計算機與信息技術學院,大連 116029)

數字圖像是人們日常生活中獲取信息的重要渠道,在新聞、學術、法庭等領域有著重要的應用.然而隨著智能手機等電子設備的日益普及,和圖像處理軟件的普遍應用,越來越多的圖像被篡改成混淆視覺的偽造圖像.圖像篡改事件層出不窮,嚴重影響著人們的生活.圖像復制-粘貼篡改是最普遍的篡改方式.復制-粘貼篡改(CMF)是將一幅圖像的一部分復制并粘貼到同一幅圖像的另一個位置,覆蓋圖像的內容以達到混淆視覺并隱藏信息的作用.復制-粘貼篡改檢測(CMFD)過程可分為4 步：(1)預處理：將RGB 圖像轉換成灰度圖像,將圖像分割成塊等；(2)特征提取：提取圖像的局部或全局特征；(3)特征匹配：對已有的圖像特征進行匹配；(4)后處理：對匹配結果進一步處理,剔除異常值、定位篡改位置等.主流的CMFD 算法分為兩方向：(1)基于圖像塊的算法；(2)基于圖像高熵位置的特征點算法.基于圖像塊的算法是將圖像分為重疊塊或非重疊塊,利用圖像變換、圖像不變矩、顏色等方法提取圖像塊特征,匹配特征并得到匹配對,使用一系列后處理操作定位篡改區域.基于圖像塊的算法時間復雜度較高,在圖像遭受縮放等攻擊下算法魯棒性較差.基于特征點的算法首先提取圖像的高熵區域作為特征點,描述特征點或其對應區域的特征并匹配,得到疑似匹配點對.通過聚類或分割等算法,篩除誤匹配點對,最后定位篡改區域.基于特征點的算法在篡改區域為平滑區域或小區域時檢測效果較差.此外,已有算法對受到攻擊的圖像(如白噪聲攻擊和JPEG 壓縮攻擊)的檢測效果較差.

為解決上述問題,本文提出一種魯棒的復制-粘貼篡改檢測算法.在特征點提取階段,使用尺度不變的SURF[1]特征點和特征,引入波動函數的思想,提出一種自適應的特征點提取方法,該方法能夠在圖像的平滑區域或小區域提取足夠多的特征點.在特征匹配階段,引入了雙比特迭代量化局部敏感哈希(DBQ-LSH)[2,3]算法.在后處理階段,提出了一種不變矩LBP[4]定位算法,即使圖像受到嚴重攻擊也能對其檢測并精準定位篡改區域.

本文貢獻如下：

(1)提出一種自適應提點算法,在圖像小區域或平滑區域能提取足夠的特征點,使特征點分布更均勻.

(2)引入DBQ-LSH 算法,降低了匹配成本.

(3)提出一種魯棒的后處理算法,對受到攻擊的圖像,檢測結果更精準.

本文在第1 節介紹了圖像復制-粘貼篡改檢測.在第2 節詳細描述所提出的復制-粘貼篡改檢測算法.在第3 節通過一系列的仿真實驗和對比實驗,驗證本方案的有效性和魯棒性.

1 圖像復制-粘貼篡改檢測

主流圖像復制-粘貼篡改檢測算法可分為兩方向：基于圖像塊的方法和基于特征點的方法.它們都試圖提取局部圖像塊或關鍵點的圖像特征,并評估不同圖像區域之間特征的相似性.

1.1 基于圖像塊的方法

基于塊的復制粘貼篡改檢測算法將宿主圖像分割為重疊或非重疊圖像塊,計算并匹配每個圖像塊特征,得到疑似匹配對.Fridrich 等[5]提出了一種基于塊的圖像復制粘貼篡改檢測算法,將圖像分割成重疊子塊,引入離散余弦變換(DCT)特征對每個子塊進行特征描述,匹配所有特征得到可疑匹配對.但該方法時間消耗大,且無法檢測旋轉攻擊偽造圖像.一些研究者利用旋轉不變特征來解決這個問題.Ryu 等[6]利用旋轉不變的不變矩特征進行檢測,且對白噪聲等攻擊具有較強的魯棒性.為了提高匹配效率,Cozzolino 等[7,8]提出了一種基于重疊圖像塊的CMFD 方法,使用Zernike 矩(ZM)、Fourier-Mellin 變換(FMT)等特征,改進Patch Match(PM)近鄰搜索算法并將其應用與篡改檢測中,大大降低了時間復雜度.Bi 等[9]提出了一致敏感哈希(CSH)算法,該算法集PM 算法和局部敏感哈希(LSH)算法于一身,比PM 算法具有更快的處理速度和更高的精度.PM 算法和CSH 算法需要多次迭代來傳播和搜索匹配,這也導致了時間消耗的極大增加,基于此,Zhong 等[10]使用極性余弦變換(PCT)來提取圖像塊特征,將塊特征轉換為哈希特征,提出了雙程哈希特征表示和搜索算法,無需迭代,提高了檢測性能和運算效率.然而由于計算的復雜性,基于變換或矩特征的方法的時間消耗大,此外它們使用固定的圖像塊來計算特征,其特征僅在在一定范圍內只具有尺度不變性,這使得基于塊的篡改檢測算法的魯棒性較差.

1.2 基于特征點的方法

為了解決基于塊的方法計算復雜度較高,尺度不變性較差等問題,部分學者提出了基于特征點的算法.基于特征點的篡改檢測算法識別宿主圖像中的高熵區域(特征點),與基于塊的篡改檢測算法相比,可以減少特征數目和計算時間.Amerini 等[11]引入尺度不變特征變換(SIFT)特征,提出了g2NN 匹配算法,利用層次聚類進行多目標篡改檢測,不僅能確定圖像是否被篡改,且能得到被篡改區域的幾何變換,但其在篡改區域較小或篡改區域發生在圖像平滑區域時的檢測效果較差.Zandi 等[12]提出了一種適合于CMFD 的特征點檢測算法,該算法可以將關鍵點均勻地分布在整個圖像上,利用SLIC 對圖像進行分割,并根據對應子塊的關鍵點數目過濾去除錯誤的匹配點對,根據先驗信息調整子塊關鍵點的密度,迭代定位篡改區域.Li 等[13]提出了一種分層的特征點匹配策略,利用顏色信息來定位被篡改的區域.基于特征點的算法除使用SIFT 特征點外,部分學者使用了加速魯棒特征(SURF)算法[14,15]、Harris 算法[16]、KAZE 算法[17]、A-KAZE 算法[18]等.

基于關鍵點的方法時間復雜度較低,對縮放等攻擊的魯棒性強,但對小區域復制粘貼或發生在圖像平滑區域的復制粘貼篡改,檢測效果并不理想,且抗噪聲攻擊、JPEG 壓縮攻擊能力有待提高.

2 本文算法

為了改善圖像小區域和平滑區域提取特征點數量不足,受攻擊圖像的檢測精度低等問題,本文提出一種自適應提取特征點、快速匹配和魯棒篡改區域定位的復制移動篡改檢測算法.圖1表明本算法結構框架.第一步將圖像分割成不重疊的塊,構造波動函數,根據波動函數在圖像內均勻提取SURF 特征點.第二步使用SURF 特征進行特征表示.第三步引入雙比特量化局部敏感哈希(DBQ-LSH)快速匹配特征.第四步去除孤立匹配,利用k-多均值聚類方法對匹配點對進行聚類,將灰度圖像轉化為不變矩LBP 圖像,定位篡改區域.

圖1 算法流程

2.1 基于波動函數的自適應提取圖像特征點

基于特征點的篡改檢測算法主要問題為在復制-粘貼區域較小或其發生在平滑區域時的檢測效果較差.余江[19]提出了一種構造波動函數并對圖像塊分類,選擇復雜紋理塊進行圖像隱寫的新方法.本文據此提出了一種基于波動函數確定提點閾值的自適應特征點提取方法.本文提點算法如算法1 所示.

算法1.自適應提取特征點輸入：宿主圖像輸出：圖像均勻分布的特征點1.根據條件對圖像放大處理2.圖像不重疊分塊并延拓子塊3.構造波動函數4.根據波動函數確定閾值并提取SURF 特征點及特征5.將子塊特征點集合并篩除重復的特征點

2.1.1 SURF

SURF[1]基于尺度空間,對平移、縮放、旋轉等具有很強的不變性,并在一定范圍內對仿射變換和亮度變化也具有魯棒性.使用盒型過濾器,通過增加窗口大小來構建不同比例的圖像金字塔.在Hessian 矩陣中使用積分圖像來獲得兩步特征,在保持較高描述能力的同時提高了計算效率.例如,在圖像I中,一個點是X=(x,y),X在 σ尺度上的Hessian 矩陣是以下定義：

其中,Lxx(x,σ),Lxy(x,σ),Lyy(x,σ)是高斯濾波器在xx、xy、yy方向的二階偏導數與圖像I在點X處的卷積,為簡化運算,使用Dxx(x,σ),Dxy(x,σ),Dyy(x,σ)分別代替Lxx(x,σ),Lxy(x,σ),Lyy(x,σ),為便于計算,Hessian 矩陣可近似表示為式(2)：

一般設置4 組6 層尺度空間.與該尺度空間的上下層的尺度空間中的26 個點相比,如果該像素是極值,則該像素被確定為特征點.計算了特征點圓鄰域的Haar小波響應.找出特征點的主要方向.沿著特征點主方向的鄰域選取4×4×4 矩形小區域,計算每個小區域的Haar小波響應,得到每個區域的4 維特征向量.一個特征點有64 維特征向量作為SURF 特征的描述符.

2.1.2 圖像不重疊分塊并延拓

我們將圖像分為不重疊的塊,設圖像像素值為M×N,將圖像分為m0×n0(設置m0=n0=30)個子塊,子塊大小為(M/m0)×(N/n0).由于子塊之間的連接處包含大量信息,為將子塊連接處覆蓋,將每個子塊的長度和寬度分別擴展L1(設置L1=20)個像素,此時,子塊大小為(M/m0+L1)×(N/n0+L1).

2.1.3 構造波動函數

構造波動函數,計算各子塊的波動函數值.根據波函數的值確定特征點提取的閾值,從而得到一致的特征點提取結果.設子塊的長度和寬度分別為r、s,定義如下：

xi,j是子塊中的任一像素,xmea為該子塊像素值的中值,P是該子塊像素點的數量.則波動函數Fw定義如下：

2.1.4 提取特征點及特征

設初始SURF 特征點閾值為T0(T0=10),每個子塊的閾值為Td.Td與T0之間的關系如下：

根據每個子塊的Td閾值,均勻地提取每個子塊的特征點,將結果匯總到原始圖像中,去除同一位置的冗余特征點,即可得到在圖像內均勻分布的特征點,在我們得到特征點的同時得到其64 維特征.圖2顯示了我們的提點算法與原始特征點提取方法之間的對比結果.如圖2所示,傳統的方法無法在平滑區域提取足夠的特征點,而我們的方法可在平滑區域均勻提取特征點.

圖2 特征點提取方法的比較

2.2 特征匹配

局部敏感哈希(LSH)是解決海量高維數據匹配問題的常用方法.我們引入了雙比特量化局部敏感哈希(DBQ-LSH)算法[2,3],它比傳統的LSH 算法匹配結果更精準,匹配效率更高.特征匹配過程如算法2 所示.

算法2.特征匹配輸入：特征點集合X 與特征向量集合F輸出：匹配點對集合P

1.對特征向量集 迭代量化分桶2.對任意特征向量fi,找到其對應的桶,并從對應桶內選取其K 個最近鄰特征向量,組成fi 的最近鄰集合Di fi∈Di Tsml Tdist si={xi,fi} sj={x j,fj} (xi?x j)2≥Tdist(fi?f j)2≤Tsml F={f1,f2,···,fu}3.對任意,按相似度閾值 和空間距離閾值 進行篩選.若 和 構成匹配,則需滿足條件 且

2.2.1 雙比特量化局部敏感哈希

主流的哈希方法通常采用兩階段策略.在第一步中,生成一些投影尺寸的實際值.在第二步中,將多個閾值量化為二進制碼.雙比特量化(DBQ)從數據中自適應地獲得最佳閾值,并分別將a和b設置為左閾值和右閾值,a

將ui設為Si中的平均值,找到適當的a和b值以使E值最小化,如式(7)所示：

在得到a和b之后,我們可以用它們將整個集合劃分為S1、S2和S3,然后量化子集中的點.雙比特量化有兩個優點：一是精度更好,二是時間消耗更低.采用雙比特迭代量化,大大提高了二進制碼在哈希過程中的性能.在復制-粘貼篡改檢測中,該方法匹配更精準,時間復雜度更低.

2.2.2 快速特征匹配

在得到匹配點對集合和特征向量集合后,利用DBQLSH進行特征匹配.初步匹配對集為X=特征向量集為F={f1,f2,···,fu},fi與xi一 一對應.Tsml為相似閾值,Tdist為空間距離閾值.首先,我們將特征向量集F迭代量化到桶中,相似的特征被散列到同一桶中.對于一個特征向量fi,找到其對應的桶,并從對應的桶中選擇其K個最近鄰特征向量.若(xi?xj)≥Tdist且 (fi?fj)≤Tsml,則xi與xj匹配.我們得到初步匹配對集合P：

本文使用DBQ-LSH 與g2NN 和KD-Tree 匹配算法在匹配效果上進行對比,實驗主觀結果見圖3.表1為客觀匹配結果,本方法可得到更多匹配點對,且時間復雜度更低.

表1 不同匹配方法的對比結果

2.3 后處理

有效的后處理算法不僅可以減少誤檢測率,還可使篡改區域定位結果更精準.后處理算法步驟見算法3.

算法3.后處理輸入：匹配點對集合P 與宿主圖像輸出：標記篡改位置的二值圖像1.篩除誤匹配2.匹配點對聚類3.RANSAC 估計仿射變換參數4.不變矩LBP 圖像定位篡改區域

2.3.1 篩除誤匹配

特征匹配過程常常會得到部分誤匹配點對.由于篡改區域的連續性,正確匹配點對具有連續性,而誤匹配點對通常是孤立存在的.我們在提取特征點階段將圖像分割為不重疊的塊,在篩除誤匹配對時利用各子塊內特征點的數量性質,如果子塊中匹配點對數小于K(K=6),則該子塊中的匹配對為誤匹配.

2.3.2 匹配點對聚類

本方案使用聚類算法解決多目標篡改問題.圖像的原始區域和篡改區域或是相互接近的,使用傳統的聚類方法,原始區域和篡改區域的特征點可能會聚為一類.引入K-multiple-means[20]聚類算法,該算法具有良好的聚類性能.K-multiple-means 定義了顯示的目標函數.在給定總聚類數k和總樣本數m的情況下,將m個樣本和n個原始數據點自適應地劃分為k類.K-multiplemeans 解決了原始區域與篡改區域之間空間距離過近的問題.

2.3.3 RANSAC 估計仿射變換參數

原始區域與篡改區域存在一定的幾何關系[11],在得到聚類結果后,利用RANSAC 估計每一聚類結果的仿射變換參數.變換矩陣如式(9)、式(10)：

其中,a11,a12,a21,a22表示旋轉和各向異性縮放信息,tx和ty是平移因子.

2.3.4 定位篡改區域

LBP[4]具有亮度和旋轉不變性等優點.本方案提出使用LBP 圖像計算圖像相似度.本文引入中值魯棒擴展局部二值模式(MRELBP)[21],其具有很強的噪聲魯棒性.利用Zernike 矩[22]將像素值MRELBP 擴展到矩值MRELBP,用Zernike 矩代替圖像像素值從而生成矩值MRELBP 圖像,將空域LBP 拓展到變換域LBP,以提高算法的魯棒性.

篡改區域(RD)像素與原始區域(RO)像素之間存在一致的相關性[23],我們稱它為同一仿射變換參數T,H是它的矩陣形式.

對宿主圖像進行仿射變換,得到仿射變換圖像ID,計算得到ID的MRELBP 圖像(見圖4),計算兩幅MRELBP圖像的相似度并得到篡改區域(見圖5).

圖6為本方案與基于圖像灰度的相似度計算算法的對比結果.所用宿主圖像對篡改區域添加了白噪聲,如圖示本算法對噪聲攻擊更具魯棒性.由于宿主圖像的自相似性,得到篡改區域定位結果的二值圖像包含了部分未篡改區域,這些區域很少且大部分為孤立存在,本方案刪除像素值低于整幅圖像0.05%的區域,并使用形態學方法填充孔洞.

圖4 仿射變換圖像轉換為LBP 圖像

圖5 圖像相似度計算

圖6 噪聲攻擊圖像對比實例

3 實驗結果

通過對該方案進行圖像級和像素級實驗并與其他算法進行比較,驗證了本算法在多個圖像數據集的有效性.進行圖像級實驗,檢測圖像是否被篡改,確定算法的有效性；進行像素級實驗,對檢測結果進行細化,精準定位篡改區域.實驗在Windows 7 64 位操作系統下進行,處理器為Inter(R) Corei7-4790 @3.6 GHz,內存16.0 GB,仿真軟件Matlab R2016a 64 Bit.

3.1 評價標準與圖像庫

使用真陽性率(TPR)和假陽性率(FPR)評價算法的有效性.高TPR與低FPR代表理想的結果.分別定義：

TPR和FPR公式參數在不同情況下有不同含義[13].圖像級實驗,TP(True Positive),TN(True Negative),FN(False Negative),FP(False Positive)分別表示正確檢測到的篡改圖像數,正確檢測到的真實圖像數,未檢測到的篡改圖像數和錯誤檢測為篡改圖像的真實圖像數；像素級實驗,TP,TN,FN,FP分別表示正確檢測到的篡改像素數,正確檢測到的真實像素數,未檢測到的篡改像素數和錯誤檢測為篡改像素的真實像素數.本文在TPR和FPR的基礎上用F1值來表明綜合實驗結果.F1定義見式(13),我們使用F-pixel 和 F-image 分別表示像素級和圖像級的F1分數.

本方案選擇FAU[24]、GRIP[8]和MICC-F600[23]3 個圖像庫驗證算法的有效性.

3.2 普通圖像實驗

我們對3 個圖像庫[8,23,24]進行了實驗,并與3 種算法[8,12,13]進行了對比,3 種算法的代碼在對應文章中獲得,實驗結果見表5.我們得到滿意的結果,有著較高的TPR、FPR、F1和FP值,證明本算法不僅能檢測出圖像是否被篡改,而且能更準確地定位篡改區域.值得注意的是,文獻[13]算法的結果在某些情況下高于我們的算法,然而這只是對普通篡改圖像的結果.本算法的優勢是精準定位受攻擊的圖像,在下一小節我們將證明本算法的優越性.

表5 圖像庫對比實驗結果

圖7中3 個示例分別選自FAU、GRIP、MICCF600 圖像庫.圖7(a)第一幅圖選自FAU 圖像庫,不僅有多目標克隆,還包含小區域篡改.第二幅圖選自GRIP 圖像庫,其具有高度自相似性.第三幅圖選自MICC-F600圖像庫,篡改區域包含旋轉和縮放攻擊.圖像中的綠色區域表示正確檢測到的像素,紅色區域表示錯誤檢測到的像素.如圖7所示,本算法能夠準確定位篡改區域.在圖7(g)中有部分紅色區域,因宿主圖像是具有高度自相似性,本算法在放大圖像時,增加了圖像的原始相似區域,使得誤檢測像素數量增多,這也是未來改進方向之一.

圖7 篡改檢測主觀結果對比實例

3.3 攻擊圖像實驗

部分攻擊圖像庫選自FAU[24],余下圖像使用FAU生成攻擊圖像的方法對FAU 基礎數據集進行處理,得到一系列不同類型的攻擊圖像.以下為本實驗所選攻擊圖像庫：

(1)縮放：將原始區域縮放得到篡改區域,比值從90%到110%,步長為4%,同時補充使用50%、80%、120%和200%的縮放圖像庫,共480 張圖像.

(2)旋轉：將原始區域旋轉0°、10°、30°、50°和180°得到篡改區域,共240 張圖像.

(3)JPEG 壓縮：篡改區域的JPEG 比例因子從20 到100,步長10.共392 張圖像.

(4)噪聲：篡改區域添加0.02,0.04,0.06,0.08,0.1 std 高斯白噪聲.共240 張圖像.

我們在圖像級和像素級分別進行了對比實驗,對比文獻[8,12,13]的算法.圖8、圖9分別表示圖像級與像素級實驗結果.

如圖8、圖9所示,該算法在縮放、旋轉、噪聲和JPEG 壓縮4 種攻擊下的檢測效果良好.不僅在圖像級進行正確的檢測,且在像素級得到精準的結果.在極端縮放攻擊(50%和200%)下,文獻[8]和文獻[12]表現不佳,因其特征只有一定程度的尺度不變性,無法抵抗大比例縮放攻擊,相反本方案選用的SURF 特征具有良好的尺度不變性.與其他3 種算法相比,本算法在噪聲攻擊和JPEG 壓縮攻擊下均具有更好的性能,這歸功于后處理算法的魯棒性.

圖8 圖像級對比結果

圖9 像素級對比結果

4 結論

圖像復制粘貼篡改是一種常見的數字圖像篡改方式.我們將圖像分割成不重疊的塊并延拓,構造波動函數,根據波動函數值確定閾值均勻地提取圖像特征點.使用尺度不變和強描述力的SURF 特征.引入DBQ-LSH匹配算法.提出了一種新的定位方法,不變矩LBP 定位方法.通過使用不變矩矩值代替像素值將LBP 算法從空間域拓展到變換域,比較兩幅不變矩MRELBP 圖像的相似度而不是兩幅灰度圖像的相似度,從而提高對攻擊圖像檢測的魯棒性.實驗結果表明,該方案具有較好的檢測性能,在檢測效果得到提高的同時,定位精度也明顯提升.在未來的工作中,我們將尋找更具魯棒性的特征,并嘗試引入軟計算.