基于多支持區域局部亮度序的圖像偽造檢測

顏普 蘇亮亮 邵慧 吳東升

摘 要：圖像偽造檢測是目前數字圖像處理領域中的一個研究熱點，其中復制粘貼是最常用的偽造手段。由于偽造區域在粘貼前會被進行一定的尺度、旋轉、JPEG壓縮、添加噪聲等操作，這使得檢測偽造區域具有一定的挑戰性。針對圖像復制粘貼偽造技術，提出一種基于多支持區域局部亮度序模式（LIOP）的圖像偽造檢測算法。首先，利用最大穩定極值區域（MSER）算法提取具有仿射不變性的區域作為支持區域;其次，利用非抽樣Contourlet變換得到不同尺度、不同分辨率和不同方向的多個支持區域;然后，在每個支持區域上提取同時具有旋轉不變性和單調亮度不變性的LIOP描述子，并利用雙向距離比值法實現特征初匹配;接著，采用空間聚類將匹配的特征進行歸類，進而用隨機抽樣一致性（RANSAC）算法對每個歸類進行幾何變換參數估計;最后，使用必要的后處理等操作來檢測出偽造區域。實驗表明，提出的算法具有較高的偽造檢測精度與可信度。

關鍵詞：圖像偽造;復制粘貼檢測;多支持區域;非抽樣Contourlet變換;局部亮度序模式

中圖分類號：TP391.41

文獻標志碼：A

Image forgery detection based on local intensity order and multi-support region

YAN Pu1，2*， SU Liangliang1，2， SHAO Hui2， WU Dongsheng2

1.Anhui Provincial Key Laboratory of Intelligent Building and Building Energy Conservation （Anhui Jianzhu University）， Hefei Anhui 230022， China;

2.College of Electronic and Information Engineering， Anhui Jianzhu University， Hefei Anhui 230601， China

Abstract：

Image forgery detection is currently one of the research focuses of digital image processing， and copy-move forgery is the most frequently used techniques in it. The forgery region is subjected to the operations of scale， rotation， JPEG compression， adding noise and so on before the image moved in， thus detecting the forgery becomes hard. Aimming at the image copy-move forgery technology， an image forgery detection algorithm based on Local Intensity Order Pattern （LIOP） and multiple support regions was proposed. Firstly， the affine invariant regions were detected as support regions by Maximally Stable Extremal Region （MSER） algorithm. Secondly，? multiple support regions of different scales， resolutions and directions were obtained by NonSubsampled Contourlet Transform （NSCT）. Thirdly， the LIOP descriptors invariant to monotonic intensity change and image rotation were extracted on each support region， and the initial feature matching was implemented via bidirectional distance ratio method. Fourthly， spatial clustering was used to classify the matching features， and geometric transformation parameters were estimated for each cluster by using RANdom SAmple Consensus （RANSAC） algorithm. Finally， the essential operations like post-processing were performed to detect the forgery regions. The experimental results show that the proposed algorithm has higher forgery detection accuracy and reliability.

Key words：

image forgery; copy-move detection; multi-support region; Nonsubsampled Contourlet Transform （NSCT）; Local Intensity Order Pattern （LIOP）

0 引言

數字圖像在當今通信過程中有著非常重要的角色。隨著數字圖像處理軟件和修改設備的發展，數字圖像可以輕易地被篡改而不留下任何明顯的篡改痕跡[1]，即使非專業人員都可以很容易利用圖像編輯工具（如Photoshop）來修改已有圖像。圖像操控和偽造的數量也在快速增長，這給人們判斷一幅圖像的原創性和準確性帶來極大的困擾，特別對判斷司法鑒定中作為證據圖像的真偽更加具有挑戰性[2]。 因此，鑒定圖像是否被偽造是至關重要的，可以廣泛應用在犯罪現場勘測、司法鑒定和許多其他領域[3]。

圖像偽造檢測技術是指在沒有任何先驗知識的情況下可以確認原始圖像的可信度。常見的數字圖像偽造方法有重采樣、拼接、復制粘貼等，其中復制粘貼偽造是最簡單和最常見的數字圖像篡改方法。復制粘貼偽造是指圖像中任意形狀和大小的區域被復制然后放置在圖像的另一區域[4]，其目的是通過增強圖像的視覺效果來掩蓋圖像的重要數據或影響識別圖像的真實目標[5]。由于復制區域來自同一圖像中，其本質屬性如噪聲、顏色、紋理等都和整體圖像一致，這導致鑒別過程異常麻煩。同時復制區域在粘貼前會進行一定的尺度和旋轉操作，這使得檢測偽造區域具有一定的挑戰性。

近年來圖像復制粘貼偽造檢測是圖像鑒別中最活躍的研究課題之一。在過去的幾十年里， 許多圖像復制粘貼偽造檢測方法被提出，這些方法主要被歸為兩大分支：基于塊的偽造檢測和基于特征點的偽造檢測[3]?；趬K的圖像復制粘貼偽造檢測方法首先重疊劃分圖像得到重疊的圖像塊，然后對每個圖像塊進行特征提取，最后對相似區域進行排序來尋求偽造痕跡[6]。在基于塊的方法中，用于描述區域塊的特征主要有離散余弦變換 （Discrete Cosine Transform，DCT）系數[7]、矩不變量[6]、離散小波變換 （Discrete Wavelet Transform，DWT） [8]、奇異值分解（Singular Value Decomposition， SVD）[9]等特征。盡管這類方法對JPEG壓縮、加性噪聲和模糊變換是魯棒的，但很難很好地處理尺度變換和旋轉變換。

另外，基于塊的圖像復制粘貼偽造檢測方法從任意重疊塊區域來提取局部特征，這不僅導致這類方法具有較高的時間復雜度，而且往往會出現假陽性錯誤，很難構建對亮度區域不變的特征描述[10]。因此，近年來基于特征點的圖像復制粘貼偽造檢測方法越來越被重視，這類方法在許多圖像變換下被證實具有更強的說服力?；谔卣鼽c的圖像復制粘貼偽造檢測方法主要考慮特征點所在區域并利用特征描述子來表示可疑區域，常用的特征描述子有尺度不變特征變換（Scale-Invariant Feature Transform， SIFT）[4，11]和加速魯棒特征（Speeded-Up Robust Feature， SURF） [12-13]。然而這些方法為了使構建的特征描述子具有旋轉不變性，必須計算支持區域的主方向并按照該方向對支持區域進行校正，這不僅大大增加了算法的計算復雜度，而且不可避免地會產生誤差。此外，這些方法利用歸一化操作使得構建的特征描述子對線性亮度變化具有一定的不變性，但卻不能很好地處理非線性亮度變化問題（如單調亮度變化）[14]。

為了解決上述問題，提出了一種基于多尺度局部亮度序模式（Local Intensity Order Pattern， LIOP）的圖像偽造檢測算法。所使用的LIOP描述子利用全局亮度序對支持區域進行劃分，這種劃分不需要計算支持區域的主方向，不僅節約計算量，而且在理論上能夠保證所構造描述子具有真正的旋轉不變性。另外LIOP描述子利用局部亮度序對劃分區域進行描述，以使LIOP描述子對圖像單調亮度變化具有不變性。然而LIOP描述子是在單支持區域內構造的，單支持區域不足以保證后續的特征點匹配有很高的準確率，因此利用非抽樣Contourlet變換（Nonsubsampled Contourlet Transform，NSCT）[15]得到不同尺度、不同分辨率和不同方向的多個支持區域來提高LIOP描述子的鑒別力。可見，所提算法創新點為：1）利用同時具有旋轉不變性和單調亮度不變性的LIOP描述子進行圖像偽造區域檢測;2）利用NSCT得到不同尺度、不同分辨率和不同方向的多個支持區域來提高LIOP描述子的鑒別力，從而提高了圖像偽造區域檢測算法的魯棒性。

1 相關知識

1.1 LIOP描述子

圖像偽造技術會讓圖像局部亮度模式發生改變，而LIOP是一種基于亮度序的圖像局部特征描述子，LIOP使用了兩種亮度序：全局亮度序和局部亮度序，全局亮度序用于劃分檢測區域，局部亮度序用于生成局部描述子。相對于傳統描述子，LIOP描述子有眾多優點。首先該描述子不需要計算支持區域的主方向，這不僅大大降低了計算量，而且大幅減小了因計算主方向產生的誤差;其次該描述子具有真正的旋轉不變性，而不是通過旋轉支持區域的主方向而獲得旋轉不變性，對旋轉變換更加魯棒;最后該描述子是利用局部亮度序來構建特征描述向量，對非線性亮度變化（單調亮度變化）具有不變性，能很好地處理亮度變換問題。LIOP描述子主要分為預處理、特征區域檢測、區域劃分和特征描述子的構建。在本文中，預處理主要利用高斯濾波器消除噪聲的影響。特征區域檢測利用最大穩定極值區域（Maximally Stable Extremal Region， MSER）算法[16]提取圖像的最大穩定極值區域作為支持區域，該區域具有仿射不變性，這是SIFT和SURF算法所不具備的。為了后續檢測偽造區域的需要，檢測的特征點需要具有一定的密度，可通過調整MSER算法的區域最小尺寸參數來完成該過程。區域劃分是對支持區域內所有亮度值進行非降排序，將支持區域按照亮度值大小等間隔地劃分為B個子區域。

劃分區域后接下來便是計算LIOP描述子。對于一個特征點X0，其支持區域是R，在該支持區域內任意一像素點X∈R，均可以建立一個旋轉不變的坐標系，即以X0X 為x軸，垂直于X0X為y軸，則在旋轉不變坐標系下，在單位圓上以正y軸上為起點，等間隔得到像素點X的N個鄰域點（即距離X最近的N個點），如圖1所示，在旋轉不變坐標系下得到X的4鄰域，本文根據文獻[14]的建議，設置鄰域點個數為4。這N個鄰域點的亮度值按照坐標軸逆時針順序進行排序，得到K（X）=（I（X1），I（X2），…，I（XN）），其中X1，X2，…，XN是像素點X的N個鄰域點，I（X1），I（X2），…，I（XN）是X1，X2，…，XN所對應的亮度值。定義一個映射γ：

‖Uxy1-x′y′1‖2<ε（14）

其中：xy1和x′y′1是匹配特征點的齊次坐標系，‖·‖2表示2-范數操作，閾值ε取3，U是類間的單應矩陣，本文使用仿射變換估計，即：

U=a11a12sxa21a22sy001（15）

其中a11a12a21a22是控制坐標變換中旋轉和尺度等變換，sx和sy是坐標變換中x和y軸的平移量。最后進行必要的后處理，即對類內一組特征點計算最優凸包、連接邊界和進行形態學運算，得到偽造區域。

3 實驗結果與分析

實驗使用文獻[3]所提供的圖像復制粘貼偽造數據庫，該數據庫常被用于驗證復制粘貼、重采樣和JPEG壓縮等偽造檢測算法。該數據有48個基準圖像，從這些基準圖像中選擇感興趣的偽造區域。選擇的偽造區域經過不同程度的操作（如旋轉和尺度變換、添加不同強度的高斯噪聲、JPEG壓縮等）后復制粘貼到原基準圖像中，形成偽造圖像。

圖像復制粘貼偽造檢測算法最常用的評價標準時準確

率 （precision） 和查全率（recall），其定義如下：

precision=TP/（TP+FP）（16）

recall=TP/（TP+FN）（17）

其中：TP代表被正確檢測為偽造圖像的個數，FP代表被錯誤檢測為偽造圖像的個數，FN表示偽造圖像未被檢測到的個數。

LIOP描述子的時間復雜度與區域劃分和計算每個像素的LIOP值有關。LIOP描述子利用亮度序進行區域劃分，即對支持區域內所有亮度值進行排序，將支持區域等間隔地劃分為B個子區域，而對支持區域內所有亮度值進行排序的復雜度是Ο（N log N），其中N表示支持區域內的像素個數。按照文中第1.1節所述，計算每個像素的LIOP值需要計算N！個排列，因此所需復雜度是Ο（N3）。

為了驗證本文算法的優越性，把基于特征點的圖像復制粘貼偽造檢測常用的幾種方法作為對比算法：基于SIFT耦合特征點集群的圖像復制粘貼偽造檢測算法[11]、基于SIFT的圖像復制粘貼偽造檢測算法[4]和基于SURF的圖像復制粘貼偽造檢測算法[12]。統計結果如表1所示，可以看出，無論準確率，還是查全率，本文提出的算法比其他幾種算法性能更優，這是由于多支持區域LIOP描述子的優越性所決定的。圖5是4種算法在圖像復制粘貼偽造數據庫中的幾個例子?？梢钥闯?，本文所提出的算法具有很高的準確率和可信度，基于SIFT耦合特征點集群的算法緊隨其后，與本文算法的性能較為接近，而基于SIFT和SURF的算法不僅正確匹配對有所減少，而且精度也有待提高。

4 結語

針對現有圖像復制粘貼偽造區域檢測算法大多數受圖像旋轉變換、尺度變換和亮度變化的影響，提出了一種基于多支持區域LIOP描述子的圖像復制粘貼偽造區域檢測算法，利用NSCT得到不同尺度、不同分辨率和不同方向的多個支持區域，在每個支持區域上計算同時具有旋轉不變的和單調亮度不變的LIOP描述子。實驗結果表明：本文算法相對于SIFT算法和SURF算法具有較高的準確率和查全率。但所提出的算法僅僅針對圖像復制粘貼偽造技術，在后續的工作中將進一步改進所提算法以用于更加復雜的篡改手段。

參考文獻

[1]REDI J A， TAKTAK W， DUGELAY J. Digital image forensics： a booklet for beginners [J]. Multimedia Tools and Applications， 2011， 51（1）： 133-162.

[2]周萌萌，楊鴻波，高晶敏，等. 基于快速分塊的復制粘貼圖像檢測算法[J]. 計算機應用， 2016， 36（S1）： 117-121. （ZHOU M M， YANG H B， GAO J M， et al. Copy-move image detection algorithm based on fast blocking[J]. Journal of Computer Applications， 2016， 36（S1）： 117-121.）

[3]CHRISTLEIN V， RIESS C， JORDAN J， et al. An evaluation of popular copy-move forgery detection approaches [J]. IEEE Transactions on Information Forensics and Security， 2012， 7（6）： 1841-1854.

[4]AMERINI I， BALLAN L， CALDELLI R， et al. A SIFT-based forensic method for copy-move attack detection and transformation recovery [J]. IEEE Transactions on Information Forensics and Security， 2011， 6（3）： 1099-1110.

[5]LI J， LI X， YANG B， et al. Segmentation-based image copy-move forgery detection scheme [J]. IEEE Transactions on Information Forensics and Security， 2015， 10（3）： 507-518.

[6]RYU S， KIRCHNER M， LEE M， et al. Rotation invariant localization of duplicated image regions based on zernike moments [J]. IEEE Transactions on Information Forensics and Security， 2013， 8（8）： 1355-1370.

[7]林晶，黃添強，賴玥聰，等.采用量化離散余弦變換系數檢測視頻單幀連續多次復制粘貼篡改[J].計算機應用，2016，36（5）：1356-1361.（LIN J， HUANG T Q， LAI Y C， et al. Detection of continuously and repeated copy-move forgery to single frame in videos by quantized DCT coefficients [J]. Journal of Computer Applications， 2016， 36（5）： 1356-1361.）

[8]ZIMBA M， SUN X. DWT-PCA （EVD） based copy-move image forgery detection [J]. International Journal of Digital Content Technology and Its Applications， 2011， 5（1）： 251-258.

[9]KANG X， WEI S. Identifying tampered regions using singular value decomposition in digital image forensics [C]// Proceedings of the 2008 International Conference on Computer Science and Software Engineering. Piscataway， NJ： IEEE， 2008： 926-930.

[10]KAKAR P， SUDHA N. Exposing postprocessed copy-paste forgeries through transform-invariant features [J]. IEEE Transactions on Information Forensics and Security， 2012， 7（3）： 1018-1028.

[11]柴建偉，劉婷.改進的SIFT耦合特征點集群的圖像偽造檢測算法[J]. 西南師范大學學報（自然科學版），2018，43（3）：34-41.（CHAI J W， LIU T. Image forgery detection algorithm based on improved SIFT coupled feature point clustering [J]. Journal of Southwest China Normal University （Natural Science Edition）， 2018， 43（3）： 34-41.）

[12]SHIVAKUMAR B L， BABOO S S. Detection of region duplication forgery in digital images using SURF [J]. International Journal of Computer Science Issues， 2011， 8（4）： 199-205.

[13]陳輝映，張大興，楊珊珊，等.基于SURF的圖像多區域復制粘貼篡改檢測[J].計算機工程與設計，2018，39（8）：2593-2597.（CHEN H Y， ZHANG D X， YANG S S， et al. Image multiple copy-move forgery detection based on SURF algorithm [J]. Computer Engineering and Design， 2018， 39（8）： 2593-2597.）

[14]WANG Z， FAN B， WU F. Local intensity order pattern for feature description [C]// Proceedings of the 2011 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2011： 603-610.

[15]鄒瑋剛，周志輝，王洋.基于非降采樣輪廓波變換的圖像修復算法[J].計算機應用，2017，37（2）：553-558.（ZOU W G， ZHOU Z H， WANG Y. Image inpainting algorithm based on non-subsampled contourlet transform [J]. Journal of Computer Applications， 2017， 37（2）： 553-558.）

[16]MATAS J， CHUM O， URBAN M， et al. Robust wide-baseline stereo from maximally stable extremal regions [J]. Image and Vision Computing， 2004， 22（10）： 761-767.

[17]FAN B， WU F， HU Z. Rotationally invariant descriptors using intensity order pooling [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（10）： 2031-2045.

[18]勾承甫，陳斌，趙雪專，等.基于隨機一致性采樣估計的目標跟蹤算法[J]. 計算機應用，2016，36（9）：2566-2569.（GOU C F， CHEN B， ZHAO X Z， et al. Object tracking algorithm based on random sampling consensus estimation[J]. Journal of Computer Applications， 2016， 36（9）： 2566-2569.）

This work is partially supported by the National Natural Science Foundation of China （61672032）， the Natural Science Foundation of Anhui Province （1908085QF281）， the Doctoral Scientific Research Foundation of Anhui Jianzhu University （2017QD13， 2015QD07）.

YAN Pu， born in 1986， Ph. D.， lecturer. His research interests include computer vision， pattern recognition.

SU Liangliang， born in 1986， Ph. D.， lecturer. His research interests include video image processing， pattern recognition.

SHAO Hui， born in 1979， Ph. D.， associate professor. Her research interests include machine learning， image processing.

WU Dongsheng， born in 1966， Ph. D.， professor. His research interests include electromagnetic field theory， data mining.