視頻幀率上轉(zhuǎn)換檢測(cè)技術(shù)綜述

何天琦，蔣興浩,2，孫錟鋒,2

?

視頻幀率上轉(zhuǎn)換檢測(cè)技術(shù)綜述

何天琦1，蔣興浩1,2，孫錟鋒1,2

（1. 上海交通大學(xué)電子信息與電氣工程學(xué)院，上海 200240； 2. 信息內(nèi)容分析技術(shù)國(guó)家工程實(shí)驗(yàn)室，上海 200240）

視頻幀率上轉(zhuǎn)換檢測(cè)技術(shù)是視頻取證技術(shù)的一種。為了系統(tǒng)闡述視頻上轉(zhuǎn)換檢測(cè)領(lǐng)域現(xiàn)狀，合理導(dǎo)向后續(xù)研究，對(duì)相關(guān)技術(shù)進(jìn)行了綜述。首先對(duì)相關(guān)研究歷史和發(fā)展進(jìn)程進(jìn)行闡述，總結(jié)上轉(zhuǎn)換概念及技術(shù)框架。然后根據(jù)檢測(cè)技術(shù)的目的，對(duì)現(xiàn)有算法分類闡述。最后匯總介紹了視頻幀率上轉(zhuǎn)換檢測(cè)領(lǐng)域的主要研究團(tuán)隊(duì)及其研究成果。從算法框架、檢測(cè)結(jié)果等方面對(duì)比現(xiàn)有檢測(cè)技術(shù)，提出了兩點(diǎn)展望。視頻幀率上轉(zhuǎn)換作為視頻后處理技術(shù)的重要組成部分，目前仍需進(jìn)一步研究。

視頻篡改取證；幀率上轉(zhuǎn)換；幀率上轉(zhuǎn)換檢測(cè)；周期性分析；篡改算法分類識(shí)別

1 引言

近年來，隨著互聯(lián)網(wǎng)飛速發(fā)展，人們獲取信息的途徑有了巨大的改變，從文字、書本擴(kuò)展到了圖像、聲音、圖形、視頻等感覺媒體，而在網(wǎng)絡(luò)時(shí)代，它們通過網(wǎng)絡(luò)傳播、分享，被統(tǒng)稱為數(shù)字媒體信息。大部分?jǐn)?shù)字媒體信息從產(chǎn)生到傳播，經(jīng)歷獲取、處理、存儲(chǔ)、管理、輸出5個(gè)部分。隨著數(shù)字媒體信息的廣泛傳播，上述每個(gè)環(huán)節(jié)都存在安全風(fēng)險(xiǎn)。

在諸多數(shù)字媒體中，圖像以點(diǎn)陣的形式承載了二維空間上的所有信息，在數(shù)字媒體早期就成為主要傳播媒介；而視頻的傳輸需要更多的帶寬資源[1]，所以傳播稍稍遲后，隨著技術(shù)手段的更新、網(wǎng)絡(luò)流量資費(fèi)的下降，具備三維時(shí)空信息的視頻格式得以廣泛傳播。正是由于視頻領(lǐng)域的快速發(fā)展，數(shù)字媒體篡改的重心也隨之傾斜，當(dāng)前視頻篡改的技術(shù)手段層出不窮，其真實(shí)性、可靠性時(shí)刻面臨諸多風(fēng)險(xiǎn)，對(duì)社會(huì)造成了很多不利影響。視頻幀率作為視頻的基礎(chǔ)組成，保證幀率的真實(shí)可靠是保證視頻真實(shí)可靠的前提，因此，針對(duì)視頻幀率的篡改檢測(cè)研究[2]尤為重要。

一方面，人們追求更高質(zhì)量的觀感體驗(yàn)，視頻幀率越高越好，出現(xiàn)了多種上轉(zhuǎn)換技術(shù)，篡改者利用該技術(shù)提升幀率，消除低幀率帶來的停滯感[3]；另一方面，隨著監(jiān)控視頻成為重要證據(jù)，不法分子可以通過上轉(zhuǎn)換技術(shù)消除截?cái)嘁曨l中畫面的跳躍感，讓檢查者忽視篡改痕跡。因此，針對(duì)視頻幀率上轉(zhuǎn)換技術(shù)的檢測(cè)迫在眉睫。

研究證明，數(shù)字圖像或者視頻進(jìn)行篡改時(shí)，一般作用于非編碼域?qū)用妫虼藢?duì)于壓縮編碼的視頻，幀率上轉(zhuǎn)換篡改至少會(huì)引起2次重新編碼，即雙壓縮[4]效應(yīng)。為了實(shí)現(xiàn)應(yīng)用場(chǎng)景更廣、能夠區(qū)分雙壓縮痕跡和上轉(zhuǎn)換痕跡的檢測(cè)方法，后來的研究人員致力于提取更加明顯的痕跡來增加檢測(cè)的頑健性，如幀間相似度的異常、邊緣密度的異常等，根據(jù)這些人眼難以捕捉的痕跡，手工提取特征，不斷完善上轉(zhuǎn)換檢測(cè)算法。這些方法的局限性在于僅判斷視頻是否經(jīng)歷過上轉(zhuǎn)換，而并沒有對(duì)篡改采用的上轉(zhuǎn)換方法進(jìn)行進(jìn)一步劃分。細(xì)致的分類可以針對(duì)性抵抗篡改攻擊。直到2017年，Ding等[5]提出檢測(cè)上轉(zhuǎn)換篡改的同時(shí)，對(duì)采用的篡改算法進(jìn)行分類，實(shí)現(xiàn)了進(jìn)一步的檢測(cè)。

針對(duì)不同的檢測(cè)手段，國(guó)內(nèi)外團(tuán)隊(duì)的研究成果如表1所示。

綜合上述分析，國(guó)內(nèi)外研究團(tuán)隊(duì)針對(duì)視頻幀率上轉(zhuǎn)換檢測(cè)技術(shù)領(lǐng)域取得了不錯(cuò)的進(jìn)展[6]。近些年來，該領(lǐng)域主要研究以國(guó)內(nèi)團(tuán)隊(duì)為主，包括中山大學(xué)[7]、湖南大學(xué)[5,8-10]、南京信息工程大學(xué)[9]、中國(guó)礦業(yè)大學(xué)[10]，國(guó)外研究團(tuán)隊(duì)包括韓國(guó)國(guó)防科學(xué)研究所[11]它們通過改進(jìn)算法準(zhǔn)確性、豐富實(shí)驗(yàn)樣本、拓展細(xì)粒度檢測(cè)，為上轉(zhuǎn)換檢測(cè)領(lǐng)域貢獻(xiàn)了豐富的研究成果和數(shù)據(jù)。但由于視頻上轉(zhuǎn)換技術(shù)不斷更新，上述團(tuán)隊(duì)未對(duì)不同的上轉(zhuǎn)換算法進(jìn)行研究，所以還需要進(jìn)一步完善；同時(shí)由于上轉(zhuǎn)換領(lǐng)域缺乏系統(tǒng)的樣本數(shù)據(jù)庫(kù)，難以全面衡量算法的可靠性和有效性。

表1 國(guó)內(nèi)外團(tuán)隊(duì)研究成果

為了更好地完善上轉(zhuǎn)換檢測(cè)研究，本文涵蓋了對(duì)上轉(zhuǎn)換技術(shù)的介紹，匯總了典型的上轉(zhuǎn)換技術(shù)。并且，通過查閱大量文獻(xiàn)對(duì)近15年視頻幀率上轉(zhuǎn)換檢測(cè)領(lǐng)域的研究成果進(jìn)行了匯總總結(jié)。

2 上轉(zhuǎn)換篡改技術(shù)簡(jiǎn)述

2.1 上轉(zhuǎn)換概念

在理論研究中，假設(shè)未經(jīng)過上轉(zhuǎn)換的視頻原始幀率為15幀/秒，當(dāng)篡改2倍、4倍至幀率為30幀/秒、60幀/秒時(shí)，本質(zhì)上是以2倍速、4倍速來播放，所以，為使新視頻流暢播放，需要通過技術(shù)手段增加視頻的幀數(shù)，即插幀技術(shù)，也稱作幀率上轉(zhuǎn)換技術(shù)。

2.2 上轉(zhuǎn)換篡改算法框架

視頻幀率上轉(zhuǎn)換篡改技術(shù)難點(diǎn)和關(guān)鍵點(diǎn)在于生成插值幀。目前有2類主要的生成算法：基于非運(yùn)動(dòng)補(bǔ)償?shù)乃惴ê突谶\(yùn)動(dòng)補(bǔ)償?shù)乃惴ǎ鼈儏^(qū)分明顯。下文分別對(duì)2類算法進(jìn)行闡述。

2.2.1 基于非運(yùn)動(dòng)補(bǔ)償?shù)乃惴?/p>

基于非運(yùn)動(dòng)補(bǔ)償?shù)乃惴╗1,12-14]是指采用幀復(fù)制或幀平均方式獲得插值幀，如圖1所示，插值幀獲得公式如下。

圖1 基于非運(yùn)動(dòng)補(bǔ)償算法圖解

2.2.2 基于運(yùn)動(dòng)補(bǔ)償?shù)乃惴?/p>

如圖2所示，基于運(yùn)動(dòng)補(bǔ)償?shù)乃惴紤]幀間運(yùn)動(dòng)信息[15~23]，具體包括2個(gè)部分：運(yùn)動(dòng)估計(jì)（ME，motion estimation）以及運(yùn)動(dòng)補(bǔ)償插值（MCI，motion compensation interpolation）。運(yùn)動(dòng)補(bǔ)償指的是：假定視頻的特定宏塊（互不重疊）內(nèi)的每個(gè)像素有相同位移，根據(jù)第1幀的宏塊信息在第幀中找到與之最匹配的匹配塊，兩者之間的位移即是2個(gè)宏塊之間的運(yùn)動(dòng)向量。接下來進(jìn)行運(yùn)動(dòng)補(bǔ)償插值，在已估計(jì)的運(yùn)動(dòng)向量基礎(chǔ)上，根據(jù)特定的插值方法生成插值幀。由于估計(jì)方法和插值方式的多樣性，形成了不同的幀率上采樣算法。基于運(yùn)動(dòng)補(bǔ)償?shù)纳限D(zhuǎn)換算法可以實(shí)現(xiàn)更加自然的篡改視頻；該算法缺點(diǎn)在于計(jì)算復(fù)雜度高。上述2類篡改算法均改變了原始視頻的信息，在時(shí)空域上會(huì)產(chǎn)生篡改痕跡，可作為檢測(cè)是否經(jīng)過上轉(zhuǎn)換的依據(jù)。

2.3 上轉(zhuǎn)換典型技術(shù)

目前，較為典型的基于運(yùn)動(dòng)補(bǔ)償方式的幀率上轉(zhuǎn)換算法有以下幾種，這些算法由不同的運(yùn)動(dòng)估計(jì)和補(bǔ)償差值方式構(gòu)成，下面從兩方面進(jìn)行介紹。

圖2 基于運(yùn)動(dòng)補(bǔ)償算法圖解

1) 擴(kuò)展雙邊運(yùn)動(dòng)估計(jì)模式（EBME，extended bilateral motion estimation）[24]：該方法采用擴(kuò)展運(yùn)動(dòng)軌跡范圍的雙向估計(jì)以提高運(yùn)動(dòng)估計(jì)部分的準(zhǔn)確度，并利用運(yùn)動(dòng)向量修正模塊對(duì)錯(cuò)誤的運(yùn)動(dòng)向量加以修正、運(yùn)動(dòng)平滑模塊對(duì)運(yùn)動(dòng)向量進(jìn)行平滑處理，在運(yùn)動(dòng)補(bǔ)償部分，采用基于加權(quán)的雙向運(yùn)動(dòng)補(bǔ)償差值模塊來獲取插值信息，即重疊塊運(yùn)動(dòng)補(bǔ)償模式（OBMC, overlapped block motion compensation）[25]，最后獲得插值幀。

2) 自適應(yīng)重疊塊運(yùn)動(dòng)補(bǔ)償模式（AOBMC, adaptive overlapped block motion compensation）[26]：該方法在重疊塊運(yùn)動(dòng)補(bǔ)償模式基礎(chǔ)上，根據(jù)鄰近運(yùn)動(dòng)向量的相關(guān)性自適應(yīng)調(diào)整重疊窗口的權(quán)重系數(shù)，即采用自適應(yīng)重疊塊運(yùn)動(dòng)補(bǔ)償技術(shù)獲得效果更好的插值信息。相比傳統(tǒng)的重疊塊運(yùn)動(dòng)補(bǔ)償技術(shù)，此方法克服了過渡平滑和差分塊的限制。

3) 雙重運(yùn)動(dòng)估計(jì)模式（DualME, dual motion estimation）[27]：在本方法中，通過調(diào)整上一幀與當(dāng)前幀中單雙向塊的比例，獲得更高準(zhǔn)確度的運(yùn)動(dòng)估計(jì)信息，從而得到高質(zhì)量的插值信息，在雙重運(yùn)動(dòng)估計(jì)基礎(chǔ)上，結(jié)合動(dòng)態(tài)紋理表征的視頻顯著性模式[28]進(jìn)一步提升上轉(zhuǎn)換效果。

4) 多通道混合模式（MCMP, multi-channel mixed pattern）[29]：在運(yùn)動(dòng)估計(jì)模塊中，首先計(jì)算了圖像塊的亮度和色度多通道信息，計(jì)算前后向運(yùn)動(dòng)向量場(chǎng)，并利用時(shí)空域修正模塊對(duì)獲得的運(yùn)動(dòng)向量進(jìn)一步修正。最后采用雙權(quán)重重疊塊運(yùn)動(dòng)補(bǔ)償模塊進(jìn)行補(bǔ)償，獲得插值幀信息。該方法的優(yōu)點(diǎn)在于，在保障插值幀質(zhì)量的同時(shí)降低計(jì)算復(fù)雜度。

5) 選擇方向運(yùn)動(dòng)估計(jì)模式（DSME, direction select motion estimation）[30]：本文方法優(yōu)化運(yùn)動(dòng)估計(jì)模塊來獲得更好的插值幀。通過評(píng)估前后向運(yùn)動(dòng)向量的可靠性，選擇其中最優(yōu)的方向產(chǎn)生用于插值幀的運(yùn)動(dòng)信息。該方法的平均峰值信噪比提高了5.31 dB，且將插值幀的平均結(jié)構(gòu)相似度降低至0.053。

同時(shí)，隨著視頻市場(chǎng)不斷擴(kuò)大，視頻幀率上轉(zhuǎn)換領(lǐng)域有了很多效果不錯(cuò)的商業(yè)軟件，如MSU、MVTools2、YUVsoft、Respeedr Motion Perfect等，其中，MSU與YUVosft僅支持整數(shù)倍幀率上轉(zhuǎn)換操作。

3 上轉(zhuǎn)換篡改檢測(cè)算法簡(jiǎn)述

3.1 篡改檢測(cè)算法匯總

近年來，國(guó)內(nèi)外的上轉(zhuǎn)換檢測(cè)技術(shù)主要依據(jù)手工提取視頻特征。到目前為止，幀率上轉(zhuǎn)換檢測(cè)領(lǐng)域文獻(xiàn)匯總情況如表2所示。

表2 幀率上轉(zhuǎn)換檢測(cè)領(lǐng)域文獻(xiàn)匯總

可以看出，針對(duì)運(yùn)動(dòng)補(bǔ)償?shù)臋z測(cè)算法數(shù)量遠(yuǎn)超過針對(duì)非運(yùn)動(dòng)補(bǔ)償?shù)臋z測(cè)算法數(shù)量，這與現(xiàn)有的上轉(zhuǎn)換算法重點(diǎn)研究提升運(yùn)動(dòng)補(bǔ)償效果相吻合。

3.2 篡改檢測(cè)算法框架和分類

3.2.1 篡改檢測(cè)算法框架

上轉(zhuǎn)換檢測(cè)算法中，正確描述和提取篡改痕跡是檢測(cè)算法的難點(diǎn)。算法框架分為3個(gè)部分。

1) 視頻預(yù)處理。對(duì)獲得的篡改視頻的幀數(shù)、分辨率等進(jìn)行預(yù)處理。

2) 時(shí)空域特征提取及預(yù)處理。根據(jù)上述對(duì)幀率上轉(zhuǎn)換算法的闡述可知，篡改過程主要是插值幀的構(gòu)造過程，其信息來源于原始視頻中前后幀信息，該操作不可避免地會(huì)在時(shí)空域帶來強(qiáng)的相關(guān)性，這種相關(guān)性即成為篡改檢測(cè)的痕跡特征。為去除特征的稀疏性、強(qiáng)化特征數(shù)值的差異性，對(duì)特征進(jìn)行預(yù)處理。

3) 基于特征的檢測(cè)算法。檢測(cè)算法分為2種。第一種是周期性檢測(cè)[31]：插值幀的某些特征與相鄰原始幀不同，當(dāng)連續(xù)對(duì)某段視頻進(jìn)行插值時(shí)，該特征會(huì)出現(xiàn)周期性的極大值或者極小值，可以通過判斷特征是否具有周期性來檢測(cè)篡改。同時(shí)，特征出現(xiàn)極值表明當(dāng)前幀是插值幀，并通過統(tǒng)計(jì)極值周期推斷原始幀率。第二種是基于特征相似性的匹配：由于不同上轉(zhuǎn)換算法生成的篡改視頻的特征各自不同，因此根據(jù)特征信息的匹配度進(jìn)行檢測(cè)。

3.2.2 篡改檢測(cè)算法分類

總體來說，視頻幀率上轉(zhuǎn)換檢測(cè)算法根據(jù)實(shí)現(xiàn)的目標(biāo)不同可以分成2類。

1) 檢測(cè)目標(biāo)不包含對(duì)篡改方式的分類識(shí)別。如圖3所示，典型算法主要包括：基于殘差序列分布的檢測(cè)算法、基于幀間相似度分布的檢測(cè)算法、基于邊緣密度分布的檢測(cè)算法、基于平均紋理變化分布的檢測(cè)算法及基于運(yùn)動(dòng)效應(yīng)分布的檢測(cè)算法。

圖3 第一類檢測(cè)算法

2) 檢測(cè)目標(biāo)包含對(duì)篡改方式進(jìn)行分類識(shí)別。典型算法包括基于差值信息分布和集成分類器的檢測(cè)算法。

下文首先闡述典型篡改檢測(cè)算法，然后從樣本選擇和檢測(cè)準(zhǔn)確率方面進(jìn)行匯總總結(jié)。

3.3 檢測(cè)目標(biāo)不包含篡改方式識(shí)別

3.3.1 基于殘差序列的算法

3.3.2 基于幀間相似度分布

為了更清晰地描述篡改痕跡，Bian[7]等將描述相鄰兩幀的結(jié)構(gòu)相似性衡量指數(shù)[32]特征應(yīng)用到上轉(zhuǎn)換檢測(cè)領(lǐng)域，通過檢測(cè)視頻結(jié)構(gòu)相似性特征對(duì)應(yīng)的相似性序列的周期性，實(shí)驗(yàn)發(fā)現(xiàn)在插值幀處出現(xiàn)相似度尖峰。由于運(yùn)動(dòng)緩慢的視頻中可能存在臨近幀相似度值與插值幀相似度相近，造成對(duì)尖峰周期識(shí)別困難，所以該方法分別對(duì)原始視頻相似度和篡改視頻相似度進(jìn)行分析，得出經(jīng)驗(yàn)化參數(shù)，作為區(qū)分原始幀與插值幀的閾值。同時(shí)研究發(fā)現(xiàn)，與數(shù)字圖像的插值特性[33-38]類似，插值參數(shù)（即上轉(zhuǎn)換倍率）和經(jīng)過離散傅里葉變換（DFT，discrete Fourier transform）后相似度在頻域上的尖峰之間有如下關(guān)系。

其中，1為原始幀率，2為篡改后幀率，f為相似度信息在頻域中峰值坐標(biāo)；由此可以計(jì)算插值參數(shù)并推斷原始幀率。

Bian團(tuán)隊(duì)在Bestagini團(tuán)隊(duì)的基礎(chǔ)上全面對(duì)各類視頻進(jìn)行探究，分辨率從176×144到1 920×1 080不等，并且實(shí)驗(yàn)了6種幀率的上轉(zhuǎn)換視頻，分別為15幀/秒、20幀/秒、24幀/秒、25幀/秒、30幀/秒、60幀/秒，共計(jì)15種上轉(zhuǎn)換組合方式，其中，上轉(zhuǎn)換視頻作為正樣本有3 000個(gè)，原始視頻作為負(fù)樣本有1 000個(gè)。

該方法首次全面采集了各種內(nèi)容的視頻樣本，考慮了整數(shù)倍率和非整數(shù)倍率上轉(zhuǎn)換，以及含噪樣本，檢測(cè)結(jié)果的置信度較高。而缺點(diǎn)為僅采用ImTOO[10]單一轉(zhuǎn)換軟件產(chǎn)生正樣本，且僅采用幀復(fù)制方式，算法的檢測(cè)范圍單一，針對(duì)其他篡改手段的檢測(cè)效果沒有合理保障。

3.3.3 基于邊緣密度的算法

2015年，Yao[9]團(tuán)隊(duì)研究發(fā)現(xiàn)，幀率上轉(zhuǎn)換篡改行為會(huì)破壞連續(xù)幀邊緣密度在時(shí)域上的一致性，使插值幀的邊緣密度明顯少于相鄰原始幀，當(dāng)視頻序列多倍率上轉(zhuǎn)換時(shí)，將引起邊緣密度周期性的低谷，根據(jù)上述研究，該團(tuán)隊(duì)提出利用邊緣密度特征來描述篡改痕跡。為獲得每幀的邊緣信息，該方法首先將視頻序列解成連續(xù)幀，采用Kirsch邊緣檢測(cè)器[39]提取幀的亮度邊緣信息。

圖4 不同邊緣檢測(cè)算子效果比對(duì)

邊緣密度特征在插值幀處形成低谷是相對(duì)于鄰近原始幀而言的，而不同插值幀的邊緣密度特征并不相同，固定的閾值參數(shù)不能滿足自動(dòng)化檢測(cè)的要求。因此，引入Kaufman[40]自適應(yīng)移動(dòng)均值方法綜合考慮當(dāng)前低谷和歷史低谷的特征信息，形成自適應(yīng)閾值曲線，區(qū)分插值幀和原始幀。該方法的優(yōu)點(diǎn)在于不僅能夠檢測(cè)采用幀復(fù)制、幀平均方式的篡改行為，還能夠有效檢測(cè)出基于運(yùn)動(dòng)補(bǔ)償方式的篡改行為，其平均檢測(cè)準(zhǔn)確率可以達(dá)到94.5%。

3.3.4 基于平均紋理變化的算法

不同于上述方法，Xia[10]團(tuán)隊(duì)從視頻畫面紋理的變化中發(fā)現(xiàn)了篡改痕跡。該團(tuán)隊(duì)分析發(fā)現(xiàn)，在基于運(yùn)動(dòng)補(bǔ)償?shù)膸噬限D(zhuǎn)換篡改過程中，運(yùn)動(dòng)向量補(bǔ)償模塊中的權(quán)重選擇機(jī)制本質(zhì)上是選擇相鄰幀中最相似的圖像塊，該機(jī)制類似于圖像去噪應(yīng)用中的圖像平均機(jī)制，均在提高視覺質(zhì)量的同時(shí)消除了高頻成分，因此會(huì)在插值幀紋理豐富的區(qū)域造成模糊，當(dāng)采用幀平均紋理差值（ATV，average texture variation）[10]來量化模糊程度時(shí)，發(fā)現(xiàn)插值幀的平均紋理差值普遍小于原始幀。

具體來說，首先對(duì)待檢測(cè)的壓縮編碼視頻解壓，獲得幀序列，然后針對(duì)幀序列提取亮度信息，并計(jì)算每幀的平均紋理差值，從而描繪全部視頻的對(duì)應(yīng)差值曲線。如圖5所示，以Foreman視頻為例，實(shí)驗(yàn)分析發(fā)現(xiàn)，原始視頻的平均紋理差值曲線趨勢(shì)平滑且不具備周期性，其變化區(qū)間僅為［0.022 8，0.026 5］，而上轉(zhuǎn)換篡改后視頻的曲線具有明顯周期性波動(dòng)，其中，采用基于運(yùn)動(dòng)補(bǔ)償方式獲得的上轉(zhuǎn)換視頻的差值變化區(qū)間最大，為［0.008 4，0.026 5］。

圖5 ATV曲線效果（以Foreman序列為例）

為了估計(jì)原始幀率，通過對(duì)幀平均紋理差值曲線進(jìn)行離散傅里葉變換得到頻譜曲線，再采用高通濾波器去除低頻分量，獲得的高頻尖峰坐標(biāo)即為原始幀率。同樣，該算法通過設(shè)計(jì)合理的自適應(yīng)閾值來區(qū)分原始幀段和插值幀，從而定位插值幀。

該方法重點(diǎn)考慮了基于運(yùn)動(dòng)補(bǔ)償?shù)膸噬限D(zhuǎn)換篡改行為，當(dāng)上轉(zhuǎn)換倍率小于4時(shí)，檢測(cè)準(zhǔn)確率大于93.5％，但當(dāng)上轉(zhuǎn)換倍率超過4時(shí)，檢測(cè)準(zhǔn)確率會(huì)產(chǎn)生不穩(wěn)定波動(dòng)。其優(yōu)點(diǎn)在于可以從原始幀序列中自動(dòng)區(qū)分上轉(zhuǎn)換視頻序列，并且有較低的時(shí)間復(fù)雜度。其缺點(diǎn)在于，當(dāng)待檢測(cè)視頻序列包含快速場(chǎng)景切換時(shí)，平均紋理差值的異常會(huì)導(dǎo)致插值幀誤判為原始幀，降低了檢測(cè)準(zhǔn)確率。

3.3.5 基于運(yùn)動(dòng)效應(yīng)的算法

在國(guó)內(nèi)對(duì)幀率上轉(zhuǎn)換領(lǐng)域持續(xù)取得研究進(jìn)展的同時(shí)，2017年韓國(guó)國(guó)防科學(xué)研究所的Jung[11]團(tuán)隊(duì)提出了一種新的檢測(cè)算法：基于運(yùn)動(dòng)軌跡周期性的檢測(cè)，他們注意到上轉(zhuǎn)換插值信息周期性體現(xiàn)在像素塊位置的移動(dòng)上，而基于運(yùn)動(dòng)補(bǔ)償?shù)纳限D(zhuǎn)換篡改視頻的運(yùn)動(dòng)向量（如圖6所示）滿足特征要求。

圖6 運(yùn)動(dòng)補(bǔ)償中的運(yùn)動(dòng)向量

3.4 檢測(cè)目標(biāo)包含篡改方式識(shí)別

迄今為止，針對(duì)視頻是否經(jīng)過幀率上轉(zhuǎn)換篡改問題，最高可實(shí)現(xiàn)接近100%的準(zhǔn)確率。另外，在幀率上轉(zhuǎn)換篡改領(lǐng)域，針對(duì)基于運(yùn)動(dòng)補(bǔ)償方式的研究越來越多，為了更細(xì)粒度的檢測(cè)篡改，需要對(duì)篡改方式進(jìn)行分類識(shí)別。

基于運(yùn)動(dòng)補(bǔ)償?shù)纳限D(zhuǎn)換篡改算法由2部分組成：運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，不同的運(yùn)動(dòng)補(bǔ)償算法主要差異在于上述2個(gè)部分的不同，其中運(yùn)動(dòng)估計(jì)包括4類：?jiǎn)蜗蜻\(yùn)動(dòng)估計(jì)[25,41]、雙重運(yùn)動(dòng)估計(jì)[24,26-27]、單雙向運(yùn)動(dòng)估計(jì)[29-30,42]、多假設(shè)運(yùn)動(dòng)估計(jì)[43]；運(yùn)動(dòng)補(bǔ)償主要包括以下5類：直接運(yùn)動(dòng)補(bǔ)償[44]、重疊塊運(yùn)動(dòng)補(bǔ)償[25]、自適應(yīng)重疊塊運(yùn)動(dòng)補(bǔ)償[26]、多通道混合模式[29]和選擇方向運(yùn)動(dòng)估計(jì)模式[30]，其中，重疊塊運(yùn)動(dòng)補(bǔ)償能有效減輕塊效應(yīng)，應(yīng)用廣泛。

由于上述不同運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償方式的不同組合，理論上可以對(duì)不同上轉(zhuǎn)換篡改算法進(jìn)行分類。該方法中，團(tuán)隊(duì)創(chuàng)新性地對(duì)11種不同的基于運(yùn)動(dòng)補(bǔ)償?shù)纳限D(zhuǎn)換篡改算法進(jìn)行分類，采用基于12類集成分類器的誤差糾錯(cuò)碼[32]將多維分類轉(zhuǎn)化成66個(gè)二進(jìn)制分類問題，一階馬爾可夫特征對(duì)應(yīng)二進(jìn)制向量，根據(jù)輸出向量與碼字之間的最小漢明距離實(shí)現(xiàn)分類。

4 檢測(cè)算法對(duì)比與總結(jié)

4.1 樣本匯總對(duì)比

算法樣本匯總?cè)绫?所示。

綜上所述，在視頻幀率上轉(zhuǎn)換檢測(cè)領(lǐng)域，樣本分辨率范圍較一致，所選取的原始幀率和上轉(zhuǎn)換幀率也較一致，但至今沒有標(biāo)準(zhǔn)樣本庫(kù)，仍存在多種參數(shù)配置不一致的情形，不僅影響了各類算法的檢測(cè)準(zhǔn)確率，更阻礙了上轉(zhuǎn)換檢測(cè)領(lǐng)域的后續(xù)研究。因此，建立一個(gè)標(biāo)準(zhǔn)樣本庫(kù)顯得尤為迫切。

4.2 算法準(zhǔn)確率對(duì)比

由于缺乏統(tǒng)一標(biāo)準(zhǔn)的樣本庫(kù)，各類檢測(cè)算法的檢測(cè)準(zhǔn)確率無法公正地對(duì)比衡量，本文分別對(duì)各類方法準(zhǔn)確率進(jìn)行匯總，具體如表4所示。

根據(jù)表4，可得如下結(jié)論。

1) 針對(duì)未壓縮視頻：基于幀間相似度分布的檢測(cè)準(zhǔn)確率最高，為99%。

2) 針對(duì)H.264/AVC壓縮視頻：基于幀間相似度分布的檢測(cè)準(zhǔn)確率最高，為97%。

3) 針對(duì)MPEG-2壓縮視頻：基于差值信息分布的檢測(cè)準(zhǔn)確率最高，為83.24%。

4) 針對(duì)幀復(fù)制篡改：基于運(yùn)動(dòng)效應(yīng)分布的檢測(cè)準(zhǔn)確率最高，為97%。

5) 針對(duì)幀平均篡改：基于運(yùn)動(dòng)效應(yīng)分布的檢測(cè)準(zhǔn)確率最高，為93.2%。

6) 針對(duì)運(yùn)動(dòng)補(bǔ)償篡改：基于運(yùn)動(dòng)效應(yīng)的檢測(cè)準(zhǔn)確率最高，為95.2%。

7) 針對(duì)分類識(shí)別篡改方式：基于差值信息分布的分類準(zhǔn)確率最高，為81.27%。

表3 算法樣本匯總

表4 平均檢測(cè)準(zhǔn)確率列表

表5 優(yōu)缺點(diǎn)分析?檢測(cè)目標(biāo)不包含篡改方式識(shí)別

表6 優(yōu)缺點(diǎn)分析?檢測(cè)目標(biāo)包含篡改方式識(shí)別

4.3 算法優(yōu)缺點(diǎn)對(duì)比

檢測(cè)目標(biāo)不包含篡改方式識(shí)別和包含篡改方式識(shí)別的優(yōu)缺點(diǎn)分析分別如表5和表6所示。

總體來說，上述各類篡改檢測(cè)算法有各自的適用場(chǎng)景和優(yōu)缺點(diǎn)；在上轉(zhuǎn)換檢測(cè)領(lǐng)域，未來可以針對(duì)識(shí)別篡改方式進(jìn)行深入研究，擴(kuò)大算法的適用場(chǎng)景、提升分類識(shí)別的準(zhǔn)確率。

5 結(jié)束語(yǔ)

5.1 總結(jié)

隨著視頻成為主要的信息傳播媒介，幀率上轉(zhuǎn)換領(lǐng)域逐漸興起。在引言部分，介紹了幀率上轉(zhuǎn)換技術(shù)的研究發(fā)展過程、國(guó)內(nèi)外主要研究團(tuán)隊(duì)及其研究情況。在視頻幀率上轉(zhuǎn)換概念與分類部分，介紹了上轉(zhuǎn)換算法的概念，詳細(xì)闡述了3類上轉(zhuǎn)換算法框架與思路，匯總了目前典型的上轉(zhuǎn)換算法，相較基于非運(yùn)動(dòng)補(bǔ)償?shù)纳限D(zhuǎn)換算法，基于運(yùn)動(dòng)補(bǔ)償?shù)纳限D(zhuǎn)換算法研究體系更加完善，所以針對(duì)后者的檢測(cè)算法成為上轉(zhuǎn)換檢測(cè)領(lǐng)域的研究重點(diǎn)。在第4節(jié)，根據(jù)是否包括對(duì)上轉(zhuǎn)換算法的分類檢測(cè)分別對(duì)近15年該領(lǐng)域的算法思路展開框架分析、優(yōu)缺點(diǎn)分析、樣本分析等。

本文創(chuàng)新性有兩點(diǎn)。一方面，本文聚焦視頻幀率上轉(zhuǎn)換檢測(cè)領(lǐng)域，系統(tǒng)綜合全面地分析了該問題出現(xiàn)的背景及現(xiàn)狀。從算法邏輯、檢測(cè)范圍、檢測(cè)準(zhǔn)確率等方面對(duì)現(xiàn)有檢測(cè)算法進(jìn)行了深度比較。另一方面，本文作為幀率上轉(zhuǎn)換檢測(cè)領(lǐng)域的綜述性文章，總結(jié)概括了前人的研究成果，為后來研究人員知悉該領(lǐng)域現(xiàn)狀提供了巨大的便捷，并且在參考文獻(xiàn)部分，囊括了上轉(zhuǎn)換領(lǐng)域的絕大部分文章，為后來者節(jié)省大量的資料搜集時(shí)間。

5.2 展望

雖然幀率上轉(zhuǎn)換檢測(cè)已經(jīng)取得了相當(dāng)高的準(zhǔn)確率，但由于應(yīng)用場(chǎng)景的變化多樣，需要的檢測(cè)指標(biāo)也日趨復(fù)雜，上轉(zhuǎn)換檢測(cè)領(lǐng)域仍有很多需要分析解決的問題。

1) 到目前為止，全部的檢測(cè)算法均依賴手工特征，而手工特征更多地依賴專家經(jīng)驗(yàn)，這使上轉(zhuǎn)換痕跡的提取過高地受專家知識(shí)限制，忽略其他的潛在特征。

如今，處理器等硬件設(shè)備不斷發(fā)展、日趨革新，這使智能的學(xué)習(xí)上轉(zhuǎn)換痕跡成為可能。實(shí)驗(yàn)證明神經(jīng)網(wǎng)絡(luò)具備擬合任意復(fù)雜函數(shù)的特點(diǎn)，可以構(gòu)造相當(dāng)復(fù)雜的非線性映射，并且深度神經(jīng)網(wǎng)絡(luò)能產(chǎn)生足夠高的假設(shè)空間維度，具有強(qiáng)大的信息表征能力，更重要的是，其提取的特征比人工提取的特征具備更優(yōu)的泛化性能，可以學(xué)習(xí)深層痕跡信息。將神經(jīng)網(wǎng)絡(luò)與上轉(zhuǎn)換檢測(cè)相結(jié)合，不但能夠?qū)W習(xí)到人類難以發(fā)現(xiàn)的信息，還能夠保證檢測(cè)的頑健性，因此，如何將神經(jīng)網(wǎng)絡(luò)應(yīng)用到上轉(zhuǎn)換篡改痕跡的提取上具有重要意義。

2) 運(yùn)動(dòng)補(bǔ)償方式各式各樣，使基于運(yùn)動(dòng)補(bǔ)償方式的上轉(zhuǎn)換算法也各具特點(diǎn)。對(duì)于需要獲得原始視頻的人而言，知道篡改者采用的篡改方法會(huì)大幅度降低恢復(fù)原始視頻的難度，因此，分類識(shí)別篡改方式顯得尤為重要。實(shí)驗(yàn)證明，深度學(xué)習(xí)在圖像識(shí)別分類領(lǐng)域有著卓越的表現(xiàn)，對(duì)于上轉(zhuǎn)換篡改方式的分類問題，可以構(gòu)造篡改痕跡特征圖作為圖像樣本，針對(duì)不同上轉(zhuǎn)換算法，構(gòu)造的特征圖各不相同，通過對(duì)特征信息的深層學(xué)習(xí)實(shí)現(xiàn)更加智能準(zhǔn)確的分類結(jié)果。由于深度學(xué)習(xí)是通過對(duì)訓(xùn)練樣本的學(xué)習(xí)得到分類模型，這意味著需要足夠大的樣本量。對(duì)于上轉(zhuǎn)換算法分類問題，匯集各類篡改方式的視頻，建立專用視頻樣本庫(kù)顯得尤為重要，另外，通過視頻解成幀等方法也是擴(kuò)大樣本量的有效途徑。

[1] GIRONI A, FONTANI M, BIANCHI T. A video forensic technique for detecting frame deletion and insertion[J]. IEEE International Conference on Acoustics, Speech and Signal Processing. 2014:6226-6230.

[2] LUO W, QU Z, PAN F, et al. A survey of passive technology for digital image forensics[J]. Frontiers of Computer Science in China. 2008, 1(2):166–179.

[3] 黃昆侖，白蔚. 視頻幀率上轉(zhuǎn)換技術(shù)綜述[J]. 數(shù)字通信世界，2011(5):82-84.HUANG K L, BAI W. Overview of video frame rate up-conversion technology[J]. Digital communication world, 2011(5):82-84.

[4] LUO W, WU M, HUANG J. MPEG recompression detection based on block artifacts[J]. Proceedings of SPIE-The International Society for Optical. 2008, 6819: 68190X -68190X-12.

[5] DING X, YANG G, Li R. Identification of motion-compensated frame rate up-conversion based on residual signal[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2017, PP(99):1-1.

[6] BESTAGINI P, BATTAGLIA S, MILANI S, et al. Detection of temporal interpolation in video sequences[C]// IEEE International Conference on Acoustics, Speech and Signal Processing. 2013:3033-3037.

[7] BIAN S, LUO W, HUANG J. Detecting video frame-rate up-conversion based on periodic properties of inter-frame similarity[J]. Multimedia Tools & Applications, 2014, 72(1):437-451.

[8] 夏明, 楊高波, 黃勤珍. 使用PSNR周期特性檢測(cè)視頻幀率上轉(zhuǎn)偽造[J]. 計(jì)算機(jī)應(yīng)用研究, 2016, 33(8): 2409-2412.XIA M, YANG G B, HUANG Q Z. Detecting frame-rate up-conversion forgery in videos using periodicity of PSNR change[J]. Application Research of Computers, 2016, 33(8): 2409-2412.

[9] YAO Y, YANG G, SUN X. Detecting video frame-rate up-conversion based on periodic properties of edge-intensity[J]. Journal of Information Security & Applications, 2016, 26(C):39-50.

[10] XIA M, YANG G, LI L. Detecting video frame rate up-conversion based on frame-level analysis of average texture variation[J]. Multimedia Tools & Applications, 2017, 76(6):8399-8421.

[11] JUNG D J, LEE H K. Frame-rate conversion detection based on periodicity of motion artifact[J]. Multimedia Tools & Applications, 2017(1):1-22.

[12] CHAO J, JIANG X, SUN T. A novel video inter-frame forgery model detection scheme based on optical flow consistency[M]. Digital Forensics and Watermarking. Springer Berlin Heidelberg, 2013:267-281.

[13] WU Y, JIANG X, SUN T. Exposing video inter-frame forgery based on velocity field consistency[C]//IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2014: 2674-2678.

[14] LIU Y, HUANG T. Exposing video inter-frame forgery by Zernike opponent chromaticity moments and coarseness analysis[J]. Multimedia Systems, 2017, 23(2):223-238.

[15] ORCHARD M T, SULLIVAN G J. Overlapped block motion compensation: an estimation-theoretic approach.[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 1994, 3(5):693-9.

[16] KANG S J, CHO K R, KIM Y H. Motion compensated frame rate up-conversion using extended bilateral motion estimation[J]. IEEE Transactions on Consumer Electronics, 2008, 53(4):1759-1767.

[17] CHOI B D, HAN J W, KIM C S. Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2007, 17(4):407-416.

[18] KANG S J, YOO S, KIM Y H. Dual motion estimation for frame rate up-conversion[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2011, 20(12):1909-1914.

[19] LI R, GAN Z, CUI Z. Multi-channel mixed-pattern based frame rate up-conversion using spatio-temporal motion vector refinement and dual-weighted overlapped block motion compensation[J]. Journal of Display Technology, 2014, 10(12):1010-1023.

[20] YOO D G, KANG S J, KIM Y H. Direction-select motion estimation for motion-compensated frame rate up-conversion[J]. IEEE/ OSA Journal of Display Technology, 2013, 9(10):840-850.

[21] LIN H Y, TSAI T H. High visual quality particle based frame rate up conversion with acceleration assisted motion trajectory calibration[J]. Journal of Display Technology, 2012, 8(6):341-351.

[22] LIU H, XIONG R, ZHAO D. Multiple hypotheses bayesian frame rate up-conversion by adaptive fusion of motion-compensated interpolations[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2012, 22(8):1188-1198.

[23] 陳偉. 基于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膸噬限D(zhuǎn)換算法研究[D]. 哈爾濱工業(yè)大學(xué), 2016. CHEN W. Research on frame rate up-conversion algorithm based on motion estimation and motion compensation[D]. Harbin Institute of Technology, 2016.

[24] KANG S J, CHO K R, KIM Y H. Motion compensated frame rate up-conversion using extended bilateral motion estimation[J]. IEEE Transactions on Consumer Electronics, 2008, 53(4):1759-1767.

[25] ORCHARD M T, SULLIVAN G J. Overlapped block motion compensation: an estimation-theoretic approach[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 1994, 3(5):693-9.

[26] CHOI B D, HAN J W, Kim C S, et al. Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2007, 17(4):407-416.

[27] KANG S J, YOO S, KIM Y H. Dual motion estimation for frame rate up-conversion[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2011, 20(12):1909-1914.

[28] 胡圓圓. 基于視覺顯著性的視頻關(guān)鍵幀提取與幀速率上轉(zhuǎn)換[D]. 南京郵電大學(xué), 2016.HU Y Y. Video key frame extraction and frame rate up conversion based on vision saliency[D]. Nanjing University of Posts and Telecommunications, 2016.

[29] LI R, GAN Z, CUI Z. Multi-channel mixed-pattern based frame rate up-conversion using spatio-temporal motion vector refinement and dual-weighted overlapped block motion compensation[J]. Journal of Display Technology, 2014, 10(12):1010-1023.

[30] YOO D G, KANG S J, KIM Y H. Direction-select motion estimation for motion-compensated frame rate up-conversion[J]. IEEE/ OSA Journal of Display Technology, 2013, 9(10):840-850.

[31] MAHDIAN B, SAIC S. Blind authentication using periodic properties of interpolation[J]. IEEE Transactions on Information Forensics & Security, 2008, 3(3):529-538.

[32] DIETTERICH T G, BAKIRI G. Solving multiclass learning problems via error correcting output codes[J]. Journal of Artificial Intelligence Research, 1995, 2(1):263--286.

[33] POPESCU A C, FARID H. Exposing digital forgeries by detecting traces of resampling[J]. IEEE Transactions on Signal Processing, 2005, 53(2):758-767.

[34] VAZQUEZ-PADIN D, COMESANA P. ML estimation of the resampling factor[C]// IEEE International Workshop on Information Forensics and Security. IEEE, 2012:205-210.

[35] KIRCHNER M. Fast and reliable resampling detection by spectral analysis of fixed linear predictor residue[C]// The Workshop on Multimedia & Security. ACM, 2008:11-20.

[36] HUANG H C, FANG W C. Metadata-based image watermarking for copyright protection[J]. Simulation Modelling Practice & Theory, 2010, 18(4):436-445.

[37] KOBAYASHI M, OKABE T, SATO Y. Detecting forgery from static-scene video based on inconsistency in noise level functions[J]. IEEE Transactions on Information Forensics & Security, 2010, 5(4):883-892.

[38] LIAO D, YANG R, LIU H. Double H.264/AVC compression detection using quantized nonzero AC coefficients[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2011, 7880(2):78800Q-78800Q-10.

[39] TEKALP A M. Digital video processing[M]. Englewood Cliffs, NJ: Prentice Hall; 1995.

[40] KAUFMAN P J. Smarter Trading: Improving Performance in Changing Markets[M]. McGraw-Hill; 1995: p. 138–51.

[41] KIM U S, SUNWOO M H. New frame rate up-conversion algorithms with low computational complexity[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2014, 24(3):384-393.

[42] TSAI T H, Lin H Y. High visual quality particle based frame rate up conversion with acceleration assisted motion trajectory calibration[J]. Journal of Display Technology, 2012, 8(6):341-351.

[43] LIU H, XIONG R, Zhao D. Multiple hypotheses Bayesian frame rate up-conversion by adaptive fusion of motion-compensated interpolations[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2012, 22(8):1188-1198.

[44] DAR Y, BRUCKSTEIN A M. Motion-compensated coding and frame rate up-conversion: models and analysis[J]. IEEE Transactions on Image Processing, 2015, 24(7): 2051-2066.

Review of video frame rate up conversion detection

HE Tianqi1, JIANG Xinghao1, 2, SUN Tanfeng1, 2

1. School of Electronic Information and Electrical Engineering, Shanghai Jiaotong University, Shanghai 200240, China 2. National Engineering Lab on Information Content Analysis Techniques, Shanghai 200240, China

Video frame rate up-conversion detection technology is a kind of video forensics technology. In order to systematically elaborate the research progress in the field of video up-conversion detection and guide the follow-up research of video up-conversion detection algorithms, the main algorithms of up-conversion detection technology are summarized. First of all, elaborate the relevant research history and development process and summarize the up-conversion concept and technical framework. According to the purpose of the detection technology, classify and explain the existing algorithms. Finally, the main research teams in the field and their research results were summarized. From the aspects of algorithm framework and test results, compare the existing detection techniques and propose two prospects. Video frame rate up-conversion is an important part of video post-processing technology, and still need further research.

video forensics, frame rate up conversion, frame rate up conversion detection, periodic analysis, tamper algorithm identification and classification

TP391

A

10.11959/j.issn.2096-109x.2018085

何天琦（1995-），女，安徽池州人，上海交通大學(xué)碩士生，主要研究方向?yàn)橐曨l幀率上轉(zhuǎn)換篡改檢測(cè)。

蔣興浩（1976-），男，上海人，上海交通大學(xué)教授、博士生導(dǎo)師，主要研究方向?yàn)榛ヂ?lián)網(wǎng)內(nèi)容安全、視頻內(nèi)容智能理解與網(wǎng)絡(luò)傳播控制、多媒體篡改檢測(cè)分析取證技術(shù)、網(wǎng)絡(luò)協(xié)議內(nèi)容分析。

孫錟鋒（1975-），男，上海人，上海交通大學(xué)副教授，主要研究方向?yàn)橐曨l篡改分析視頻水印技術(shù)。

2018-08-07；

2018-09-17

何天倚，htq_2011@163.com