基于結(jié)構(gòu)張量的視頻超分辨率算法

嚴(yán)宏海 卜方玲 徐新

摘要：針對(duì)傳統(tǒng)正則化超分辨率（SR）重建模型中，正則化參數(shù)選擇過(guò)大會(huì)使重建結(jié)果模糊，導(dǎo)致邊緣和紋理等細(xì)節(jié)丟失，選擇過(guò)小模型去噪能力又不足的問(wèn)題，提出一種基于結(jié)構(gòu)張量的雙正則化參數(shù)的視頻超分辨率重建算法。首先，利用局部結(jié)構(gòu)張量對(duì)圖像進(jìn)行平滑區(qū)域和邊緣的檢測(cè)；然后，利用差異曲率對(duì)全變分（TV）進(jìn)行先驗(yàn)信息加權(quán)；最后，對(duì)平滑區(qū)域和邊緣采用不同的正則化參數(shù)進(jìn)行超分辨率重建。實(shí)驗(yàn)數(shù)據(jù)顯示提出的算法將峰值信噪比（PSNR）提高了0.033～0.11dB，具有較好的重建效果。實(shí)驗(yàn)結(jié)果表明：該算法能夠有效地提升低分辨率（LR）視頻幀重建效果，可應(yīng)用于低分辨率視頻增強(qiáng)、車牌識(shí)別和視頻監(jiān)控中感興趣目標(biāo)增強(qiáng)等方面。

關(guān)鍵詞：

超分辨率；幀序列；結(jié)構(gòu)張量；雙正則化參數(shù)；全變分加權(quán)

中圖分類號(hào)： TP301.6； TP391.413 文獻(xiàn)標(biāo)志碼：A

0引言

超分辨率（Super Resolution， SR）是利用一幀或多幀退化的低分辨率（Low Resolution， LR）圖像，通過(guò)相應(yīng)算法進(jìn)行重建、融合形成一幅高分辨率（High Resolution， HR）圖像的技術(shù)，在醫(yī)學(xué)、遙感、刑事偵查、軍事等領(lǐng)域有著廣泛應(yīng)用[1]，尤其是在視頻監(jiān)控中。視頻監(jiān)控中常常會(huì)出現(xiàn)因攝像頭分辨率低、攝像頭距離目標(biāo)較遠(yuǎn)、帶寬不足等原因?qū)е庐?huà)面中感興趣目標(biāo)模糊不清，如車牌難以辨識(shí)、人臉不清晰等，因此，隨著智能安防、智慧城市的發(fā)展，近幾年來(lái)，視頻超分辨率成為圖像處理領(lǐng)域的研究熱點(diǎn)。

視頻超分辨率是由LR幀序列重建形成HR幀序列的技術(shù)。超分辨率技術(shù)可以分為基于插值的、基于重建的和基于學(xué)習(xí)的三種。其中基于重建的正則化法是SR的研究重點(diǎn)。由于超分辨率重建問(wèn)題是一個(gè)病態(tài)反演問(wèn)題，重建的結(jié)果不確定，而將引入先驗(yàn)信息約束項(xiàng)的正則化法用于SR重建，可以得到確定的唯一解[2]，因此，一些基于正則化的SR重建方法相繼被提出，常用的正則化法有Tikhonov[3]、全變分（Total Variation， TV）[4]、雙邊濾波全變分（Bilateral Total Variation， BTV）[5]、空域信息加權(quán)的全變分（Spatial Weight Total Variation， SWTV）[6]、自適應(yīng)全變分[7-9]等。Tikhonov正則化法可以增強(qiáng)重建圖像的平滑度，但丟失了LR圖像的細(xì)節(jié)信息，導(dǎo)致重建圖像邊緣模糊；TV正則化法引入先驗(yàn)信息約束項(xiàng)，可以在抑制噪聲的同時(shí)，很好地保持邊緣和細(xì)節(jié)信息，但當(dāng)正則化參數(shù)過(guò)大時(shí)，在平滑區(qū)域降噪的同時(shí)易形成階梯效應(yīng)[10]；BTV正則化能更好地保持邊緣細(xì)節(jié)，但未能考慮圖像的局部平滑信息，且自適應(yīng)能力有限；SWTV算法則提出利用圖像空域的先驗(yàn)信息對(duì)全變分進(jìn)行加權(quán)，該方法在平滑區(qū)域給予全變分較大的權(quán)重，在邊緣區(qū)域（包括紋理細(xì)節(jié)部分）給予全變分較小的權(quán)重，以此達(dá)到全局正則化參數(shù)在平滑區(qū)域和邊緣區(qū)域起到不同的控制作用，但其正則化參數(shù)仍為全局參數(shù)，不能很好地平衡降噪和保持細(xì)節(jié)。本文提出一種改進(jìn)的全變分正則化視頻SR重建算法，首先利用局部結(jié)構(gòu)張量對(duì)圖像進(jìn)行平滑區(qū)域和邊緣的檢測(cè)，同時(shí)引入比梯度信息更有效的差異曲率[11]進(jìn)行正則化項(xiàng)加權(quán)；然后利用兩個(gè)不同的正則化參數(shù)控制平滑區(qū)域和邊緣的正則化項(xiàng)；最后利用最速下降法迭代求解重建后的HR幀。實(shí)驗(yàn)結(jié)果表明本文算法具有較好的重建效果，在抑制噪聲的同時(shí)能夠較好地保持細(xì)節(jié)信息。

1全變分正則化SR模型

超分辨率重建是個(gè)典型的反演問(wèn)題，在由已知的LR幀獲取HR幀時(shí)，LR幀可以看作是HR幀經(jīng)過(guò)圖1的觀測(cè)模型退化而來(lái)，即LR幀是由HR幀經(jīng)過(guò)幾何運(yùn)動(dòng)、模糊、降采樣和附加噪聲產(chǎn)生的。這一過(guò)程可用式（1）來(lái)表示：

yk=DkBkFkxk+nk（1）

其中：yk表示LR幀序列的第k幀；Dk、Bk、Fk和nk分別表示降采樣矩陣、模糊矩陣、幾何運(yùn)動(dòng)矩陣和噪聲。由式（1）反演求得的解是不確定的，而將引入先驗(yàn)信息約束項(xiàng)的正則化法用于SR重建，可以得到穩(wěn)定解。TV正則化是一種有效的先驗(yàn)?zāi)Ｐ停Ｓ脕?lái)解決病態(tài)反演問(wèn)題，可以用于去噪、去模糊、邊緣增強(qiáng)等[3]。假設(shè)LR幀是由同一設(shè)備獲得，則Dk相同，Bk也相同。由LR幀序列估計(jì)HR幀序列的正則化模型可以表示為：

其中：t表示幀序列的時(shí)間索引；t表示最終的HR圖像；xt表示當(dāng)前的HR圖像，k∈（t-N/2，t+N/2），t時(shí)刻的HR幀，由（t-N/2，t+N/2）內(nèi)的N幀LR幀反演重建求得。式（2）中∑t+N/2k=t-N/2‖yk-DBFkxt‖22為數(shù)據(jù)保真度項(xiàng)，描述當(dāng)前所求的HR圖像與原始HR圖像的誤差；φ（xt）為正則化項(xiàng)，表示先驗(yàn)信息模型，對(duì)于HR幀，當(dāng)正則化項(xiàng)為TV時(shí)，得到：

其中：Δux、Δuy分別表示圖像的梯度信息，即一階差分；Ω表示圖像區(qū)域；xt表示重建過(guò)程中當(dāng)前的HR幀。λ是正則化參數(shù)，用于平衡數(shù)據(jù)保真度項(xiàng)和正則化項(xiàng)，圖2說(shuō)明了λ的作用，在平滑區(qū)域，可以通過(guò)較大的λ抑制噪聲；在紋理及邊緣部分，可以通過(guò)較小的λ保持細(xì)節(jié)信息；但單一的λ難以平衡去噪和保留細(xì)節(jié)。圖2（b）框2內(nèi)比圖2（c）中框2內(nèi)細(xì)節(jié)豐富；但圖2（b）右上角的框1較模糊、噪聲較大，而圖2（c）框1內(nèi)則較平滑，去噪效果好，且當(dāng)噪聲和模糊較大時(shí)，雖然可以通過(guò)選取較大的λ來(lái)抑制噪聲；但λ過(guò)大時(shí)在平滑區(qū)域易形成“階梯效應(yīng)”，因此研究圖像的結(jié)構(gòu)信息，根據(jù)不同的結(jié)構(gòu)選擇不同的λ非常重要。

2基于結(jié)構(gòu)張量的雙參數(shù)正則化

2.1結(jié)構(gòu)張量

在基于正則化的SR重建中，對(duì)當(dāng)前的HR圖像采用單一的全局正則化參數(shù)未能充分利用圖像的結(jié)構(gòu)信息，而結(jié)構(gòu)張量作為一種圖像局部描述符，包含鄰域內(nèi)信號(hào)改變的大小和方向等信息，利用像素點(diǎn)結(jié)構(gòu)張量[12]的“特征值—特征向量”可以區(qū)分圖像的平滑、邊緣和角點(diǎn)區(qū)域，因此本文首先利用結(jié)構(gòu)張量對(duì)SR重建的初始值（也即由LR序列插值得到的初始HR幀）進(jìn)行結(jié)構(gòu)分析，提取出平滑部分和邊緣部分（角點(diǎn)主要是保持細(xì)節(jié)劃分在此部分），進(jìn)而用兩個(gè)不同的正則化參數(shù)分別作用于平滑和邊緣部分，這樣既能保證在平滑區(qū)域利用較大的參數(shù)進(jìn)行降噪，又能在邊緣部分利用較小的參數(shù)保持細(xì)節(jié)信息。

2.2全變分加權(quán)系數(shù)

全變分是基于圖像的梯度信息的，在噪聲及模糊比較大時(shí)，一階差分難以有效地區(qū)分邊緣和斜坡，而選擇一個(gè)良好的、能夠充分表達(dá)圖像空域信息的指標(biāo)，在正則化中是非常重要的，這個(gè)空間信息指標(biāo)應(yīng)能較好地檢測(cè)邊緣信息。而由文獻(xiàn)[11]提出的差異曲率（difference curvature）被證明是一種能夠有效區(qū)分并表達(dá)平滑、邊緣和斜坡的指標(biāo)，所以本文將其用于TV正則化加權(quán)。

2.3雙參數(shù)正則化視頻超分辨率算法

2.2節(jié)中基于差異曲率改進(jìn)的全變分，在全局正則化參數(shù)的情況下，可以較好地平衡重建過(guò)程中抑制噪聲和保持邊緣細(xì)節(jié)的問(wèn)題；但單一的正則化參數(shù)自適應(yīng)能力仍然有限，因此本文提出一種雙參數(shù)的HR視頻幀序列重建模型。

t=arg min{∑t+N/2k=t-N/2‖yk-DBFkxt‖22+λxφ（xt）}（13）

對(duì)于圖像中不同部分正則化，參數(shù)如式（14）：

λx=λP，平滑區(qū)域 λE，邊緣和角點(diǎn) （14）

其中：λP、λE分別表示平滑區(qū)域和邊緣區(qū)域的正則化參數(shù)；φ（xt）表示結(jié)合差異曲率的全變分。在式（13）中，HR幀在重建過(guò)程中，對(duì)于平滑區(qū)域，主要目的是降噪，λP可以選擇較大的值；且對(duì)2.2節(jié)中引入差異曲率的式（8）和（9）分析可知，對(duì)于平滑區(qū)域的像素點(diǎn)，在水平和垂直方向的變化基本一致，所以Ci較小，接近于0，所以Wi接近于1，上述結(jié)合差異曲率的全變分具有傳統(tǒng)TV平滑區(qū)域降噪的功能。對(duì)于邊緣和紋理細(xì)節(jié)等高頻分量，主要目的是保持其細(xì)節(jié)信息，所以λE可以選擇小的值；而對(duì)于邊緣和紋理部分，由于像素值（灰度值）在一個(gè)方向變化較大，另一個(gè)方向變化較小，所以Ci較大，相應(yīng)地Wi較小甚至接近于0，相當(dāng)于對(duì)于邊緣區(qū)域的正則化項(xiàng)數(shù)值給予較小的權(quán)重，可以更好地保持細(xì)節(jié)信息。所以，采用雙參數(shù)正則化并引入差異曲率的正則化項(xiàng)可以更好地平衡傳統(tǒng)TV去噪和保持細(xì)節(jié)的問(wèn)題，因此本文提出的重建模型具有如下特點(diǎn)：

1）利用結(jié)構(gòu)張量分析圖像結(jié)構(gòu)，對(duì)平滑區(qū)域采用較大的正則化參數(shù)，對(duì)非平滑區(qū)域采用較小的正則化參數(shù)，利用不同的正則化參數(shù)對(duì)圖像不同區(qū)域進(jìn)行重建；同時(shí)起到去噪和保留細(xì)節(jié)的作用。

2）結(jié)合差異曲率，在1）的基礎(chǔ)上對(duì)平滑區(qū)域和非平滑區(qū)域給予大小不同的權(quán)重，較好地平衡了重建過(guò)程中降噪和保留細(xì)節(jié)。

由于式（13）的最小泛函求解問(wèn)題是一個(gè)非線性問(wèn)題，且D、Bk、Fk的轉(zhuǎn)置及求解數(shù)據(jù)保真度項(xiàng)和正則化項(xiàng)梯度函數(shù)中計(jì)算量極大，所以本文采用最速下降法按照式（15）的模型迭代求解式（13），逐步逼近最小化最優(yōu)化解，當(dāng)?shù)鷹l件滿足式（16）或達(dá)到預(yù)設(shè)的最大迭代次數(shù)時(shí)，當(dāng)前的結(jié)果即是所重建的HR幀：

xn+1t=xnt-β（G1（t）+λxG2（t））（15）

其中：xn+1t、xnt分別表示幀時(shí)間索引為t時(shí)，第n+1次和第n次的重建的HR圖像；G1 （t） = FTk BTDT（DBFk t-yk ）表示數(shù)據(jù)保真度項(xiàng)對(duì)圖像x的梯度；FTK、BT和DT分別表示Fk、B和D的逆操作即逆幾何運(yùn)動(dòng)、去模糊和上采樣矩陣。λx如式（14）所示；G2（t）=Xuu（X2v+eps此處的變量是否應(yīng)該為ε？若不是，是否需要在正文中對(duì)“eps”變量進(jìn)行說(shuō)明？請(qǐng)明確。回復(fù)：式16中的 eps在此處表示一個(gè)很小的接近于0的變量，避免分母出現(xiàn)0的情況。不是ε。）-2XuXvXuv+Xvv（Xu+eps）（X2u+X2v+eps）3/2表示正則化項(xiàng)對(duì)圖像x的梯度。

迭代終止條件為：

‖xn+1t-xnt‖2/‖xnt‖2<ε（16）

本文算法步驟如下：

1）提取視頻幀，確定重建每一幀HR圖像所需的LR幀數(shù)N，設(shè)置最大迭代次數(shù)和迭代終止條件ε。

2）選取低分辨率的參考幀，通過(guò)LucasKanade光流法[13]對(duì)N幀LR幀進(jìn)行配準(zhǔn)，求得其他N-1幀相對(duì)于參考幀的運(yùn)動(dòng)參數(shù)，構(gòu)建運(yùn)動(dòng)矩陣F。

3）利用結(jié)構(gòu)張量檢測(cè)平滑區(qū)和邊緣，求解數(shù)據(jù)保真度項(xiàng)的梯度函數(shù)G1（t）和正則化項(xiàng)的梯度函數(shù)G2（t），選擇合適的正則化參數(shù)λP和λE，按照式（15）迭代求解。

4）如果迭代終止條件滿足式（16）或迭代次數(shù)達(dá)到預(yù)設(shè)的最大迭代次數(shù)，則當(dāng)前的xt即為最終的重建結(jié)果，轉(zhuǎn)到步驟5；否則轉(zhuǎn)到步驟3）。

5）輸出HR幀。

3實(shí)驗(yàn)與分析

為了驗(yàn)證本文提出的基于局部結(jié)構(gòu)張量的雙正則化參數(shù)超分辨算法的有效性，分別進(jìn)行仿真實(shí)驗(yàn)和實(shí)際視頻幀序列的實(shí)驗(yàn)，并與Tikhonov、TV、BTV、SWTV四種算法對(duì)比。實(shí)驗(yàn)平臺(tái)為：Windows 7系統(tǒng)、Matlab 2010a、C++和Matlab混合編程。實(shí)驗(yàn)數(shù)據(jù)分為兩部分，仿真數(shù)據(jù)為L(zhǎng)ena灰度圖和cameraman灰度圖。Lena圖大小為256×256，格式為bmp；cameraman圖大小為256×256，格式為tif。實(shí)際視頻數(shù)據(jù)來(lái)源于Multidimensional Signal Processing （MDSP） Research Group of UCSC （http：//users.soe.ucsc.edu/milanfar/software/srdatasets.html）的text視頻（大小為57×49，共30幀）和武漢大學(xué)無(wú)線傳感器網(wǎng)絡(luò)實(shí)驗(yàn)室的監(jiān)控視頻集成平臺(tái)（http：//wsnlwhu.sinaapp.com/）的一段監(jiān)控視頻（時(shí)間為20150929，大小為1920×1080，幀率為25frame/s，共50幀）。設(shè)置最大迭代次數(shù)為30次，式（12）中的收斂條件ε設(shè)為10-6。在仿真實(shí)驗(yàn)中選用常用的峰值信噪比（Peak SignaltoNoise Ratio，PSNR）[14]、結(jié)構(gòu)相似性指數(shù)（Structural Similarity Index，SSIM）[15]和特征相似性指數(shù)（Feature Similarity Index，F(xiàn)SIM）[16]用于評(píng)價(jià)指標(biāo)，PSNR越大表示重建的圖像與原始HR圖像越接近。SSIM和FSIM在（0，1）區(qū)間，用于衡量?jī)煞鶊D像的相似度，越大表示兩幅圖像越相似。實(shí)際視頻幀序列的評(píng)價(jià)主要依據(jù)視覺(jué)效果和細(xì)節(jié)信息。

3.1仿真實(shí)驗(yàn)

按照第1章中的視頻幀序列觀測(cè)模型，對(duì)已知的高分辨率Lena圖和cameraman圖進(jìn)行降質(zhì)處理。對(duì)其進(jìn)行不同參數(shù)的平移、模糊（使用5×5高斯模糊，方差為1，模擬點(diǎn)擴(kuò)散函數(shù)），在水平和垂直方向降采樣，降采樣因子為2，得到四個(gè)LR序列，再加上一系列零均值的高斯白噪聲，噪聲標(biāo)準(zhǔn)差分別為8，11.4，14，16和18。

對(duì)于Lena圖和cameraman圖，Tikhonov正則化、TV正則化、BTV、SWTV和本文算法得到的PSNR、SSIM和FSIM曲線分別如圖3～53、圖6～84所示。由圖3～53和圖6～84可知，在同一噪聲水平下，本文算法相比其他4種算法具有更高的PSNR、SSIM和FSIM，與文獻(xiàn)[6]的SWTV相比，本文算法的PSNR提高了約0.033～0.11dB。雖然隨著噪聲標(biāo)準(zhǔn)差的加大，各種算法重建后的HR圖像的3種指標(biāo)都下降，但是本文算法的3種指標(biāo)依然比其他4種算法高。與SWTV算法利用單一的全局正則化參數(shù)相比，本文利用結(jié)構(gòu)張量對(duì)圖像進(jìn)行結(jié)構(gòu)分析，對(duì)平滑區(qū)域和邊緣采用兩個(gè)不同的正則化參數(shù)，一個(gè)較大的參數(shù)控制平滑區(qū)域，主要用于去噪；一個(gè)較小的參數(shù)控制邊緣部分的正則化項(xiàng)，主要用于細(xì)節(jié)保持，更能平衡抑制噪聲和保留細(xì)節(jié)信息。噪聲標(biāo)準(zhǔn)差為18（歸一化方差為0.005）時(shí)，Lena圖和cameraman圖的各種SR算法的重建效果如圖9～105～6所示，從圖95和圖106也可以看出本文算法在視覺(jué)上比其他4種算法效果要好。

3.2實(shí)際視頻幀序列

在實(shí)際視頻的實(shí)驗(yàn)中，由于攝像設(shè)備的點(diǎn)擴(kuò)散函數(shù)未知，假設(shè)攝像頭的點(diǎn)擴(kuò)散函數(shù)為模板大小5×5、方差為1的高斯模糊核。由圖117的text視頻重建結(jié)果可知：雖然圖117（c）BTV看起來(lái)較亮，細(xì)節(jié)信息保留較多，但字母周圍明顯仍然存在較大噪聲，去噪能力不足；而圖117（f）中字母清晰可見(jiàn)，字母周圍較為平滑，在保留細(xì)節(jié)的同時(shí)，抑制了大部分噪聲，且比圖117（e）更清晰。綜合來(lái)看，本文算法較好地平衡了抑制噪聲和保留細(xì)節(jié)。

由于圖128中三個(gè)感興趣目標(biāo)在第5幀中所處位置和距離攝像頭（攝像頭距地面約8m，目標(biāo)3距離攝像頭最遠(yuǎn)，水平距離約35m）的距離不同，所以3個(gè)目標(biāo)的重建結(jié)果，視覺(jué)效果上并不一致。由圖139和圖1410可知，本文算法對(duì)目標(biāo)1和目標(biāo)2的重建結(jié)果較為清晰，車牌和車標(biāo)細(xì)節(jié)信息保留較多。雖然圖1511中本文算法和其他4種算法重建結(jié)果都不能清晰地辨別車牌，原因是與攝像頭的距離甚遠(yuǎn)，車牌部分像素較少，但從車牌前兩個(gè)字母“W”和“F”上看，本文算法視覺(jué)效果依然較好，因?yàn)楸疚妮^好地利用了圖像的結(jié)構(gòu)信息，且采用兩個(gè)大小不同的正則化參數(shù)，在重建的過(guò)程中對(duì)圖像不同區(qū)域起到了不同的作用，較好地統(tǒng)一了去噪和保留細(xì)節(jié)。因?yàn)槿兎帧⒔Y(jié)構(gòu)張量描述的是圖像的一階梯度信息，差異曲率描述的是圖像的二階梯度信息，所以本文算法在每次迭代求解過(guò)程中先利用結(jié)構(gòu)張量進(jìn)行圖像檢測(cè)，再利用差異曲率對(duì)全變分進(jìn)行加權(quán)，使得耗時(shí)相對(duì)于傳統(tǒng)的基于全變分（TV）的正則化超分辨率算法有所增加。

4結(jié)語(yǔ)

在分析全變分模型的基礎(chǔ)上，利用結(jié)構(gòu)張量對(duì)圖像進(jìn)行結(jié)構(gòu)分離，提取平滑和邊緣區(qū)域，本文提出一種雙正則化參數(shù)的視頻超分辨率重建算法。一個(gè)較大的正則化參數(shù)控制平滑區(qū)域的正則化項(xiàng)，主要用于去噪；一個(gè)較小的正則化參數(shù)控制邊緣部分的正則化項(xiàng)，主要用于保留細(xì)節(jié)信息。同時(shí)利用差異曲率對(duì)全變分進(jìn)行先驗(yàn)信息加權(quán)，進(jìn)一步地平衡了去噪和保留細(xì)節(jié)的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，本文算法比Tikhonov、TV、BTV和SWTV重建效果好。引入結(jié)構(gòu)張量和差異曲率使得本文算法的耗時(shí)相對(duì)于傳統(tǒng)的基于全變分（TV）的正則化超分辨率算法有所增加，如何提高計(jì)算效率以及自適應(yīng)選取參數(shù)，將是下一步的研究重點(diǎn)。

參考文獻(xiàn)：

[1]

PARK S C， PARK M K， KANG M G. Superresolution image reconstruction： a technical overview [J]. IEEE Signal Processing Magazine， 2003， 20（4）： 21-36.

[2]

BLOMGREN P， CHAN T F， MULET P， et al. Total variation image restoration： numerical methods and extensions [C]// Proceedings of IEEE 1997 International Conference on Image Processing. Piscataway， NJ： IEEE， 1997， 3： 384-387.

[3]

ELAD M， FEUER A. Restoration of a single superresolution image from several blurred， noisy， and undersampled measured images [J]. IEEE Transactions on Image Processing， 1997， 6（12）： 1646-1658.

[4]

CHAN T F， OSHER S， SHEN J. The digital TV filter and nonlinear denoising [J]. IEEE Transactions on Image Processing， 2001， 10（2）： 231-241.

[5]

FARSIU S， ROBINSON M D， ELAD M， et al. Fast and robust multiframe super resolution [J]. IEEE Transactions on Image Processing， 2004， 13（10）： 1327-1344.

[6]

YUAN Q， ZHANG L， SHEN H. Multiframe superresolution employing a spatially weighted total variation model [J]. IEEE Transactions on Circuits & Systems for Video Technology， 2012， 22（3）： 379-392.

[7]

SONG H， QING L， WU Y， et al. Adaptive regularizationbased spacetime superresolution reconstruction [J]. Signal Processing： Image Communication， 2013， 28（7）： 763-778.

[8]

BERTACCINI D， CHAN R H， MORIGI S， et al. An adaptive norm algorithm for image restoration [C]// SSVM11： Proceedings of the Third International Conference on Scale Space and Variational Methods in Computer Vision， LNCS 6667. Berlin： Springer， 2011： 194-205.

[9]

ZHANG X， XIONG R， MA S， et al. Video superresolution with registrationreliability regulation and adaptive total variation [J]. Journal of Visual Communication and Image Representation， 2015， 30： 181-190.（無(wú)期號(hào)）

[10]

LI X， HU Y， GAO X， et al. A multiframe image superresolution method [J]. Signal Processing， 2010， 90（2）： 405-414.

[11]

QIANG C， MONTESINOS P， QUAN S S， et al. Adaptive total variation denoising based on difference curvature [J]. Image & Vision Computing， 2010， 28（3）： 298-306.

[12]

BROX T， WEICKERT J， BURGETH B， et al. Nonlinear structure tensors [J]. Image & Vision Computing， 2006， 24（1）： 41-55.

[13]

BOUGUET J Y. Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm [EB/OL]. [20151210]. http：//robots.stanford.edu/cs223b04/algo_tracking.pdf.

[14]

HUYNHTHU Q， GHANBARI M. Scope of validity of PSNR in image/video quality assessment [J]. Electronics Letters， 2008， 44（13）： 800-801.

[15]

WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[16]

LIN Z， LEI Z， XUANQIN M， et al. FSIM： a feature similarity index for image quality assessment [J]. IEEE Transactions on Image Processing， 2011， 20（8）： 2378-2386.