監控視頻幀間篡改檢測系統設計與性能優化研究*

韓宇軒，孫錟鋒，蔣興浩

（上海交通大學 電子信息與電氣工程學院，上海 200240）

0 引 言

隨著互聯網技術的發展和進步，日漸強大和便捷的視頻圖像編輯技術使用戶可以輕易對數字圖像﹑視頻進行篡改，使得數字圖像和視頻作為司法證據時難以有效發揮作用。數字圖像視頻取證旨在檢測和分析圖像和視頻原始內容的真實性，以保證司法有效﹑公正。為了保證視頻原始內容的真實性，學術界已提出了許多主動取證技術，如數字水印技術。通過在錄制視頻時嵌入認證信息進行真實性驗證，但主動取證技術要求在視頻錄制時就嵌入認證信息，這在現實場景中很難實現。所以，基于視頻本身特征的被動取證技術有更大的發展和應用空間。視頻幀間篡改檢測技術是被動取證技術的主要分支。視頻的幀間篡改方式主要有：幀刪除，刪除原始視頻的一幀或部分幀；幀插入，異源幀片段插入原視頻；幀復制，同源幀片段插入原視頻?，F有的幀間篡改檢測方法主要分為兩類：基于篡改點內容不連續性的方法和基于二次編碼周期性效應的方法。

基于二次編碼周期性效應的方法最初用于研究JPEG圖像的雙重壓縮檢測，2006年開始越來越多的學者將其應用于視頻篡改檢測。針對兩次編碼前后視頻GOP結構是否對齊﹑視頻的不同編碼標準（MPEG-X﹑H.264﹑HEVC）﹑兩次編碼量化參數是否相同等多種情況，也提出了大量檢測算法[1]。基于篡改點內容不連續性的方法研究始于2012年，是幀間篡改檢測領域的新方向。Chao等人[2]提出了一種基于LK光流[3]的方法，Wang等人[4]在此基礎上進一步研究，提出了基于高斯分布的篡改檢測方法。Wu等人[5]使用速度場揭示篡改帶來的不連續性。Wang等人[6]提出了一種基于灰度相關性系數穩定性的檢測方法。Yin等人[7]將非負張量分解算法應用于幀間篡改檢測，提出將待檢視頻序列用四維張量表示，對其進行Tucker分解后提取時間維度因子矩陣表示視頻每幀內容，然后根據相關性檢測篡改行為?；诙尉幋a效應的方法依賴于受檢視頻的編碼參數，而基于內容連續性的方法對編碼參數不敏感，具有更好的普適性，在實際應用中更具優勢。

本文圍繞基于內容連續性的檢測方法，設計了針對監控視頻的幀間篡改檢測系統，對系統的整體架構﹑功能模塊進行了設計實現。在此基礎上，該類方法的執行速度較慢。針對這一劣勢，對算法進行GPU并行化計算的優化研究和設計實現，實現的系統具有良好的可用性和用戶友好性。

1 系統設計

視頻篡改檢測系統的需求主要源于司法領域，對作為司法證據的監控視頻的內容真實性進行驗證。現有網絡環境下，視頻傳輸速率無法保障?？紤]這一實際情況和應用場景的特殊性，系統采用單機應用模式，提供單獨友好的GUI（Graphical User Interface，圖形用戶界面）。系統界面使用Qt庫的Python接口PyQt實現。系統核心模塊包括視頻處理﹑篡改檢測和數據庫交互，使用Python﹑C/C++實現。

1.1 系統總體設計

系統設計是實現系統的首要步驟。只有在合理的架構下開發，才能保證系統最終的可用性。根據應用場景的具體需求，通過對系統的整體分析，設計了視頻篡改檢測系統的總體模塊結構，包括系統狀態管理﹑視頻預處理﹑篡改檢測﹑結果處理分析以及數據管理五大模塊，如圖1所示。

圖1 視頻幀間篡改檢測系統結構

（1）系統狀態

系統狀態功能是向用戶展示系統當前的運行狀態，并對各個狀態下用戶可以進行執行的操作進行限制和管理。

（2）視頻預處理

該模塊是將用戶選擇的視頻進行預期處理，為后續的檢測工作提供服務。視頻分析功能利用FFprobe分析待檢視頻的編碼參數﹑分辨率等信息。解碼功能將待檢視頻解碼成幀序列，其實現依賴于開源庫FFmpeg，通過合理的配置使其能夠處理盡可能多的視頻格式。圖像轉化功能主要是對解碼得到的圖像進行通道轉化，多為由RGB三通道轉為灰度單通道。

（3）篡改檢測

該模塊是核心功能模塊，利用實現的篡改檢測算法對待檢視頻進行檢測。系統用C語言移植了文獻[2，7]的檢測算法，并分析實際應用中存在的問題，設計了相應的功能模塊?；瑒哟翱诠δ茉跈z測長視頻序列時將其劃分為短序列，避免以單線操作整個長序列帶來的時間消耗。特征計算功能通過解碼得到的幀序列計算檢測所需的特征。該功能是整個流程中最耗時的部分，也是集中優化的部分。異常檢測則是通過檢測計算得到的特征中的異?，F象，判斷待檢視頻是否遭到篡改并得出篡改點信息。

（4）結果處理

結果處理是為了將待檢視頻的檢測結果以更豐富明晰的方式展現，可視化處理待檢視頻的篡改信息﹑視頻信息﹑特征序列，給出多元的檢測結果報告。格式化數據組建將展示的結果信息和系統信息等組織成定義好的數據格式，存入數據庫作為存檔。

（5）數據管理

該模塊是系統的重要功能模塊。該模塊提供了檢測完成后待檢視頻序列檢測結果的存檔，同時還對執行檢測操作時的系統信息﹑視頻自身信息等進行記錄，并對這些重要信息提供簡便的檢索功能。這些功能均是源于應用場景的實際需求。

1.2 系統流程設計

完成系統的整體設計后，需要細化系統各模塊。這一步的主要工作是設計各個功能模塊的具體功能和不同模塊間的協作關系。系統的流程設計為主要環節，現對這方面進行簡要闡述。

系統采用經典的三層模型結構，自上而下為表示層﹑邏輯層和數據訪問層。表示層負責播放用戶選擇的待檢視頻﹑展示視頻篡改檢測的結果﹑展示記錄檢索的結果等功能界面；邏輯層負責執行待檢視頻的檢測，并針對檢測結果的增刪查改與數據訪問層相關聯；數據訪問層規定了對后臺數據庫的操作方式。

根據用戶操作流程實現功能模塊，對于保證系統的可用性和用戶友好性具有重要作用。在此以用戶執行一次篡改檢測流程為例給出流程圖，以說明系統常規的操作流程，如圖2所示。

用戶在選擇需要檢測的視頻后，系統判斷解碼器是否支持該視頻的格式。若格式支持，前臺表示層將播放該視頻，同時邏輯層對視頻執行篡改檢測。檢測結果決定了表示層向用戶展示的內容，若判斷待檢視頻未遭篡改，則將視頻的格式﹑編碼參數﹑分辨率等信息展示給用戶；若判斷待檢視頻遭到篡改，則將篡改點類型﹑位置和特征序列﹑篡改點前后幾幀等內容展示給用戶。用戶在查閱完結果后，可以選擇是否保存此次篡改檢測結果的信息。若選擇保存，則將相關信息和此次執行操作的記錄寫入數據庫；否則，將此次操作記錄寫入數據庫。

圖2 篡改檢測流程設計

2 性能優化研究

2.1 問題分析

考慮到多種編碼參數的待檢視頻的適應性要求，在實現篡改檢測時，利用的算法為基于篡改點內容不連續性的方法。該類方法在實際應用中的主要問題是其需要將視頻序列解碼成幀序列，之后再對幀序列逐幀計算特征，會產生大量的時間消耗。在使用OpenCV實現的LK光流接口進行實驗時，處理1 280×720分辨率的視頻效率接近2秒/幀。雖然大部分情況下篡改檢測操作沒有高實時性要求，但巨大的時間消耗無法滿足系統的可用性要求。為此，根據特征計算的特點，系統使用GPU執行特征計算，大幅降低了執行時間，大大改進了篡改檢測功能模塊。

2.2 GPU與CUDA

GPU（GraphicsProcessingUnits，圖形處理器）目前已成為執行大規模并行計算的主要工具。不同于CPU的多核結構，GPU采用的是眾核架構，其絕大部分晶體管都用于執行單元而非復雜的控制單元和緩存。因此，GPU可以容納上千個沒有邏輯關系的數值計算線程，較CPU有更強大的計算能力。

圖3 CPU與GPU架構對比

CUDA（Compute Unified Device Architecture，統一計算設備架構）是NVIDIA于2007年推出的通用并行計算平臺，提供了抽象的線程模型和內存模型。它為使用GPU執行并行計算提供了良好的編程模型，極大降低了使用GPU進行數據計算的開發難度。CUDA提供了CPU+GPU的異構計算架構。具體地，使用CPU執行復雜邏輯控制，使用GPU執行高度并行化的數據計算。主機端代碼通過CPU執行，GPU設備上的代碼則在主機端通過核函數（kernel）執行[8]。

2.3 特征計算優化

在進行計算任務時，首先需要保證實現代碼的正確性，之后進行進一步的性能優化。性能優化的主要途徑有：訪存優化﹑計算資源優化以及數據本地化[9]。訪存優化與數據本地化利用CUDA的內存模型，使數據在GPU片上內存的存儲與加載能夠充分利用帶寬。計算資源優化利用CUDA的線程模型，以最大化發揮GPU計算單元的能力。

2.3.1 幀序列存儲與加載優化

CUDA的內存模型提供了多種可編程內存類型，包括寄存器﹑共享內存﹑本地內存﹑常量內存﹑紋理內存和全局內存。核函數的線程有私有的寄存器和本地內存；線程塊有對其所有線程可見的共享內存，而常量內存﹑紋理內存和全局內存對所有內存可見。

數據在主機與GPU設備之間的傳輸通常是GPU計算的瓶頸。使用GPU進行圖像計算時，大部分研究/開發人員選擇了在GPU上進行RGB三通道向灰度單通道轉換的計算。但實際中發現，在片上進行通道轉換意味著要將原始三通道圖像數據傳輸到設備上，不僅會增加多主機與設備間需要傳輸的數據量，而且會減少單次傳輸的圖像數量，反而降低了總體計算性能。更合理的方案是在主機端CPU上進行通道轉換，然后在GPU上處理單通道灰度圖。

在對視頻進行特征計算時，不同于對單一圖像進行計算。首先，由于GPU片上內存空間的限制，大部分情況下無法將整個視頻的幀序列一次性拷貝到GPU的片上內存中。而采取處理單張圖像的方式逐幀傳輸與計算，則會大大增加主機與GPU設備之間的數據傳輸次數，嚴重影響整體的計算優化效果?？紤]到每幀在計算特征的同時需要使用歷史數據，本文采用類似滑動窗口的機制。首先根據GPU的存儲大小﹑視頻分辨率決定窗口大小，在GPU的全局存儲空間內維護一個圖像序列。當序列中一定數量的圖像計算完成后，則拷貝進新的圖像覆蓋舊數據。為了避免進行新數據覆蓋時過多的數據移動操作，另用一個數組維護圖像序列的索引。這個過程用偽代碼表示為：

在單幀圖像上執行計算時，也可以采取一定的措施提高數據的傳輸速率。將數據從全局內存中載入讀寫速度更快的共享內存，然后通過共享內存進行數據讀取，減少從較慢的全局內存讀取數據，提高了數據讀取速度。用CUDA提供的share 標識符聲明二維數組，使其作為共享變量來通過共享內存存取數據，從全局內存中讀入線程塊所需的數據后，所有線程通過此數組讀取數據而不再通過全局內存。

2.3.2 計算優化

計算過程的優化圍繞GPU的線程指令執行方式展開，GPU的架構圍繞流式多處理器（StreamingMultiprocessor，SM）的陣列搭建。CUDA的線程模型是一種兩層結構，第一層是最多由二維線程塊組成的線程網格，第二層是最多由三維線程組成的線程塊。線程塊是SM的調度單位。SM在線程塊上執行指令時，將32個線程劃分成一個基本執行單元——線程束。為了最大化利用線程束，在啟動核函數時，應將線程塊大小設置為32的整數倍，避免線程束出現空缺。

在線程束中，所有線程執行相同的指令。如果使用條件判斷使不同線程執行不同指令路徑，會造成線程束分化，導致所有線程無法同時執行，嚴重削弱性能。所以，應盡量避免條件分支。若無法避免條件分支，應盡量使分支粒度跨線程束，如設置判斷條件為if((tid/32)%2==0)。

計算中還應注意的是指令執行延遲。當每個時鐘周期中所有線程調度器都有線程束執行時，可以使計算資源充分利用。當一個線程束阻塞時，應當保證有其他滿足條件的線程束供調度器調度。根據利特爾法則（Little’s Law），保證充足的線程束數量可以達到延遲隱藏的目的。

利用線程模型進行計算資源的優化，主要方法為：合理設置線程塊大小，保證其是線程束大小的整數倍，保證線程塊中有足夠多的線程束，規避線程束分化問題。

2.3.3 總體流程與結果

使用GPU計算視頻幀序列的通用優化流程如圖4所示。依照該流程，系統實現了優化的特征計算替換原先算法實現中的相應部分。

依據優化流程取代原先實現的特征計算部分，在NvidiaGeforceGTX850M（計算能力5.0），編譯環境VisualStudioCommunity 2015﹑CUDA8.0下，LK光流和NTF初步表現結果如表1﹑表2所示。

圖4 GPU優化過程

表1 LK光流平均每幀計算時間

表2 NTF平均每幀計算時間

LK光流引入OpenCV實現的GPU模塊，對滑窗載入幀序列的效果進行簡要比對。OpenCV提供的LK光流的GPU API執行的是逐幀計算。可以看出，對內存存取和計算流程都采取合理的方法進行優化后，可以大幅縮短特征計算時間，對大部分非高清視頻實現了篡改檢測總體流程完成時間低于視頻的播放時間。此外，盡管每幀數據量下降了3倍，但計算時間并沒有呈現3倍下滑。究其原因，一是角點檢測選取的特征點數量并沒有呈現倍數下降，二是數據傳輸在異構計算中依舊占據著大部分時間。所以，在進行GPU優化時更應關注片上內存讀寫的優化。

3 結 語

通過對實際需求的分析，結合傳統的系統架構設計，完成了針對監控視頻的幀間篡改檢測系統的設計和實現。在有效實現檢測算法并使用CUDA對特征計算過程進行合理優化后，系統的核心功能表現良好，提供的數據管理和結果展示等功能也保證了數據交互和用戶體驗。但是，在解碼階段，系統依靠FFmpeg開源庫，在應對一些稀少的視頻格式時系統無法有效處理。因此，后期會考慮優化解碼器部分，以提高系統應對多種格式視頻的能力。

[1] 謝豐,蔣興浩,孫錟鋒.視頻雙壓縮檢測技術綜述[J].通信技術,2017,50(03):393-399.

XIE Feng,JIANG Xing-hao,SUN Tan-feng.Overview of Video Double Compression Detection[J].Communications Technology,2017,50(03):393-399.

[2] Chao J,Jiang X,Sun T.A Novel Video Inter-frame Forgery Model Detection Scheme based on Optical Flow Consistency[C].International Conference on Digital Forensics and Watermaking,2012:267-281.

[3] Lucas B D,Kanade T.An Iterative Image Registration Technique with an Application to Stereo Vision[C].International Joint Conference on Artificial Intelligence,1981:674-679.

[4] Wang W,Jiang X,Wang S,et al.Identifying Video Forgery Process Using Optical Flow[C].Digital-Forensics and Watermarking,2013:244-257.

[5] Wu Y,Jiang X,Sun T,et al.Exposing Video Inter-frame Forgery based on Velocity Field Consistency[C].IEEE International Conference on Acoustics,Speech and Signal Processing,2014:2674-2678.

[6] Wang Q,Li Z,Zhang Z,et al.Video Inter-Frame Forgery Identification Based on Consistency of Correlation Coefficients of Gray Values[J].Journal of Computer & Communicatio ns,2014,2(04):51-57.

[7] Yin L,Bai Z,Yang R.Video Forgery Detection based on Nonnegative Tensor Factorization[C].IEEE International Conference on Information Science and Technology,2014:148-151.

[8] 程潤偉,馬克斯·格羅斯曼,泰·麥克切爾.CUDAC編程權威指南[M].北京:機械工業出版社,2017.

CHENG Run-wei,Max G,Ty M.Professional CUDAC Programming[M].Beijing:China Machine Press,2017.

[9] 梁軍,賈海鵬.視頻圖像處理與性能優化[M].北京:機械工業出版社,2017.

LIANG Jun,JIA Hai-peng.Video Image Processing And Performance Optimization[M].Beijing:China Machien Press,2017.