基于凸集投影的視頻序列單幀增強算法研究

徐夢雨

（南京理工大學紫金學院，江蘇 南京 210046）

1 引言

在科學技術飛速發展的時代，通過監控系統和閉路電視系統來獲取視頻圖像在醫院、商場、銀行、小區、寫字樓等眾多公共場所都有廣泛應用。但在某些成像領域，由于受頻譜混疊、光學系統相差、運動引起的模糊以及噪聲等諸多因素的影響，圖像往往會出現模糊和失真，難以滿足某些特定領域的實際需求。改進成像設備的硬件水平是提高圖像分辨率經常使用的方法，但硬件改進的成本較高，在采集視頻的實際過程中難以發揮其應有的作用，就使得人們提出了利用圖像增強這種軟件方法來改善圖像的分辨率。

在醫學成像、遙感成像、人物攝影等領域，圖像增強技術都有著廣泛的應用[1]。傳統的圖像增強算法通常分為空域法和頻域法兩大類。例如空域法中的灰度變換、直方圖均衡化和規定化等，頻域法中的濾波、傅里葉變換、小波變換等[2-3]。但這些增強算法在調節圖像對比度和局部增強圖像細節時并沒有抑制噪聲的影響，獲得的圖像效果不能滿足人們的需求。因此，研究人員提出從多個低分辨率圖像序列中重建出高分辨率圖像的方法，即圖像超分辨率重建。1984 年，Tsai和Huang[4]首次提出了基于頻率域的超分辨率重建方法。但由于模型沒有考慮運動模糊、光學模糊、噪聲等多種因素的影響，具有較強的局限性，這使得基于空間域的超分辨率重建算法逐漸成為研究的重點。空間域算法考慮了圖像數據的空間相關性，將圖像的全局或非全局運動、運動模糊、光學模糊、噪聲、降采樣等放入線性退化模型中考慮，因而適應性更強，適用范圍更廣，成為當前重建技術中的主流方法。常用的空間域圖像重建方法主要有：迭代反投影法[5]、非均勻間隔樣本插值法、凸集投影法(Projection Onto Convex Set,POCS)、最大后驗概率估計法[6]等。

本文在對圖像退化過程的建模中，針對光流場運動估計的局限性，提出采用光流場與仿射模型結合的方法進行運動的估計與配準，并采用分層高斯金字塔模型提高配準精度。針對傳統凸集投影算法采用雙線性插值法構建參考幀中存在的細節模糊問題，提出采用三次卷積插值和小波去噪的方法來構建參考幀，使重建后的圖像具有更好的視覺效果。

2 傳統的圖像增強算法

2.1 分段線性灰度變換

分段線性灰度變換通過將圖像的灰度區間劃分為多段并分別進行線性變換，拉伸所關心部分的灰度范圍，增強其對比度，壓縮不關心部分的灰度范圍來突出圖像中用戶感興趣的灰度區間。本文采用三段線性變換，其數學表達式如公式(1)所示：

對公式(1)中灰度區間[a,b]進行拉伸，則區間[0,a]和[b,Mf]受到壓縮，這兩部分的圖像會受到一定程度的損失。通過調節函數分段點的位置，改變直線斜率，可以對圖像的灰度區間進行調節。圖1給出了經過分段線性變換后的實驗效果圖，從圖中可以看出分段線性變換在滿足人們對目標區域灰度區間拉伸的同時，壓縮了其他灰度區間，導致一些圖像細節的損失，造成一定的圖像模糊。

2.2 直方圖均衡化

設r表示原圖像灰度值，S表示經直方圖均衡化后的圖像灰度值，Pr(r)表示原圖像的灰度級概率密度函數，Ps(s)表示變換后的圖像灰度級概率密度函數。從S到r的反變換如公式(2)所示：

對式(2)積分并得到式(3)：

其中，Ps(s)通常為常數。圖2給出了直方圖均衡化的實驗效果圖。直方圖均衡化方法通過調節圖像的灰度級分布進行增強處理，增強后的圖像對比度有一定的提高，但圖像中存在的運動模糊和噪聲問題并沒有改善，在圖像增強的同時降低了有用信號的對比度，從而產生了不同程度的負效應。

3 改進的光流場運動估計與配準算法

3.1 圖像的退化模型

在獲取數字圖像的過程中，由于成像系統自身物理特性的限制或外界因素的干擾導致圖像質量下降，稱為圖像的退化。在圖像超分辨率重建中，要利用圖像退化過程的先驗知識來重建退化后的圖像。因此，圖像重建的首要任務就是正確建立圖像的退化模型。本文采用圖像序列的退化模型，如圖3所示，這是一種比較常用的圖像退化模型。在圖像的退化模型中，將光學系統、傳感器等多種模糊因素用擴散函數(PSF)來表示，確定PSF的類型和參數是圖像超分辨率重建的基礎。

3.2 基于分層迭代的光流場和仿射變換的圖像配準

光流是圖像灰度模式的運動表現形式，能夠準確反映圖像像素點的灰度變化趨勢，所有的光流按空間位置排列便形成光流場。在理想的情況下，光流場可視為像素點在圖像上運動而產生的瞬時速度場，因而觀測者可以利用光流場來進行運動目標檢測。但由于光流法是通過研究圖像序列中各個像素點灰度值的時域變化來進行運動估計，因此，使用光流法應滿足相鄰幀亮度恒定，相鄰視頻幀的取幀時間連續和同一子圖像的像素點具有相同運動這三個前提假設。

設I(x,y,t)表示圖像像素點(x,y)在時間t處的灰度值，vx(x,y)和vy(x,y)分別表示圖像在該點處的水平和垂直速度分量，在t+dt時刻該點運動到(x+dx,y+dy) ，其中dx=vxdt，dy=vydt。根據亮度恒定的假設有：

當dx、dy、dt很小時，對公式(4)進行一階泰勒展開得公式(5)：

忽略高階無窮小o(?)，將公式(4)和公式(5)合并且同時除以后得到如下光流約束方程：

利用離散圖像估計光流約束方程中的偏微分參數，通常采用有限差分逼近的方法。由于要保證Ix、Iy、It估計值的一致性，因此，估計時必須以同一時刻圖像上的同一個像素點作為參照。Ix、Iy、It估計值如公式(7)所示：

序列圖像的配準方法包括基于形狀的配準和基于運動預測的配準。在基于形狀的配準方法中，仿射變換法是最常用的方法，但當圖像發生扭曲形變時，該方法會產生較大的配準誤差。基于運動預測的配準方法主要包括光流法和塊匹配法等。其中，光流法能有效克服形狀匹配中物體剛性運動的局限性，但對于灰度不變的區域，無法進行光流估計。本文利用光流場和仿射變換模型相結合的方法對序列圖像進行運動估計與配準，在一定程度上能有效提高運動圖像的匹配精確度。

將通用的仿射六參數模型轉化為易于計算的參數模型，表示如下：

其中，θ表示旋轉角，(x,y)表示平動量。為了后續求解方便，令a1=cosθ,a2=sinθ,b1=x,b2=y，并分別代入公式(8)，整理后代入公式(7)得：

計算公式(9)中的參數a1、a2、b1、b2并代入公式(8)就可以估計全局運動參數x、y、θ。

當相鄰幀運動位移較小時，光流估計法能較好地描述物體的實際運動情況，計算精度比較高，抗噪聲能力強。在大的運動速度場中，計算量隨著圖像像素的增多而增大，配準的速度和穩定性隨之降低。因此，本文采用4層高斯金字塔進行圖像處理，實現由粗到精的參數估計。如圖4所示，通過降采樣分別得到原圖像的1/2、1/4、1/8 倍的采樣結果。然后從低分辨率層的圖像開始按上述的配準算法進行參數估計，并將低分辨率圖像的位移矢量估計值傳遞到下一級分辨率層上，作為該層配準的初始值，逐級配準，直至完成全分辨率圖像的配準。由于低分辨率層的圖像像素點較少，該方法能有效減少計算量，并且低分辨率圖像間的位移量小于原分辨率圖像間的位移量，因此，分層迭代法能用于大位移量的圖像配準。

4 改進的POCS圖像超分辨率重建算法

4.1 三次卷積插值法

超分辨率重建算法的實現可以分為圖像序列的運動估計與配準、建立重建模型、計算高分辨率圖像這三步。其中，建立重建模型就是將選取的參考幀進行初始估計。通常為了加快收斂速度，減少算法的計算量，降低對參考幀修正的次數，構造的參考幀與最終重建結果越接近越好。由于POCS算法對參考幀的初始估計依賴性較大，因此，初始估計的圖像質量直接影響了POCS算法重建后的圖像效果。在本文中使用三次卷積插值法來構造參考幀。

設f(x,y)表示輸入圖像上坐標為(x,y)的像素點的灰度值，g(x',y')表示輸出圖像上坐標為(x',y')像素點的灰度值。為了得到更精確的g(x',y')，三次卷積插值法使用f(x,y)周圍16個鄰近點進行計算。由連續信號的采樣定理可知，采用插值函數s(x)=sin(πx)/(πx)對采樣值進行插值，在一定程度上可以準確的恢復原函數，而三次卷積插值法采用三次多項式來近似理論上的插值函數s(x)，如公式(10)：

目標像素點的灰度值f(i+u,j+v)可由如下插值公式得到：

三次卷積插值法與最鄰近域插值法和雙線性插值法相比，能有效抑制插值后圖像邊緣的鋸齒和馬賽克現象。圖5給出了對單幀低分辨率圖像采用三次卷積插值法進行插值后的實驗效果圖。通過觀察可以發現，利用三次卷積插值法能夠較好保持圖像灰度的連續性，保留高頻部分的細節信息，有效抑制邊緣的失真。

4.2 基于硬閾值的小波去噪法

由序列圖像的退化模型可知，在圖像采集和傳輸的過程中，受諸多因素的影響，圖像中會含有不同程度的噪聲，從而影響畫面質量。傳統的圖像去噪方法通常采用濾波器來過濾噪聲頻率，但這種方法在低信噪比的情況下去噪效果并不理想，容易丟失圖像的細節信息，從而造成圖像模糊，因此，本文采用基于閾值的小波去噪方法。

小波閾值去噪方法涉及的問題主要包括三個方面：小波基的選擇、閾值函數的選擇、閾值的選擇。通常情況下，在對圖像進行小波分解時需要選取的小波具有緊支性、正交性，因此，本文選擇Haar小波來對圖像進行三層分解。在閾值函數的選擇方面，硬閾值函數在閾值點上是不連續的，軟閾值函數的原系數和分解得到的小波系數總存在常數項的偏差，在信號恢復時會損壞一些有用的高頻信息，影響重構的精度。因此，本文采用基于硬閾值的小波去噪方法。在閾值選擇方面，需要根據圖像中具體噪聲的大小合理選取閾值。在本文實驗中，先對原始高分辨率圖像加入模板為5×5 且方差為2的高斯低通濾波，然后加入均值為0且方差為0.002的加性高斯白噪聲，從而形成降質圖像。選取閾值為25.0的硬閾值函數對降質圖像進行去噪處理，去噪效果如圖6 所示。利用峰值信噪比(PSNR)和均方誤差(MSE)來判斷去噪后的圖像質量，如表1所示，經過小波去噪后的圖像PSNR值與降質圖像的PSNR 值相比有所提高，而MSE 的值有所降低，這說明小波去噪后的圖像質量與原圖相比有一定提高。

表1 圖像PSNR和MSE比較

4.3 改進的POCS算法實現

利用POCS算法進行超分辨率重建的過程中需要將多幀經過運動估計和配準的低分辨率圖像上的像素點投影到參考幀中正確的位置上，根據構造的參考幀在某一區域內的像素點，利用點擴散函數計算在對應的低分辨率圖像中的像素估計值。若殘差(估計值與實際值的誤差)超過給定的閾值，就對參考幀中相應位置的像素值進行修正，經多次迭代后獲得高分辨率的圖像。點擴散函數PSF是凸集投影的基函數，通常假設PSF為光學成像系統中最常見的高斯函數。

設PSF 作用范圍為±1 個像素點，低分辨率圖像中的點(m,n)在參考幀上的對應位置為(x0,y0)，PSF進行歸一化后可表示為如下形式：

設fref(x,y)表示參考幀中像素點的灰度值，y(m,n)表示低分辨率圖像中像素點的灰度值，則投影像素的估計值如公式(14)所示：

投影像素點的估計值與低分辨率圖像像素點的灰度值的殘差r表示為：

設修正閾值為δ，fref表示如下：

將參考幀上像素點的灰度值全部修正到誤差允許范圍內，該過程經過N次迭代后能獲得較好的高分辨率圖像。圖7給出了改進的POCS算法實現的基本思想。選擇一幀低分辨率圖像作為參考幀，通過插值和去噪對參考幀進行初始估計，根據觀察圖像序列對初始估計值進行循環修正，直到得到較好的重建結果。

如圖8 所示，取YUV 格式視頻中連續的四幀圖像(352×288)進行仿真實驗，第一幀圖像作為參考幀，使用方差為2的5×5 高斯低通濾波核，降采樣因子為2，加入均值為0，方差為0.002 的高斯白噪聲，采用三次卷積插值法插值后進行基于硬閾值的小波去噪，去噪閾值設置為25.0。后三幀圖像作為觀察圖像，使用方差為1 的5×5 高斯低通濾波核，降采樣因子為2。參考幀修正閾值為1，手動設置迭代次數為6次。

圖9 給出了基于改進POCS 算法的仿真實驗結果，從圖中可以看出經POCS 算法重建出的圖像效果與降質圖像相比，圖像的清晰程度有明顯改善，并且有效抑制了原有圖像中的噪聲影響。與上文中直方圖均衡化算法和分段線性變換算法相比，利用POCS算法進行圖像的超分辨率重建能夠得到更高分辨率的圖像。

5 結論

本文針對視頻中的低分辨圖像，提出一種改進的POCS超分辨率重建算法，系統地研究和分析了POCS算法中運動估計與配準、構造參考幀、修正參考幀這幾個重要步驟。采用金字塔結構的光流場與仿射模型結合的運動估計與配準方法對大位移圖像進行精確配準。在構造參考幀中采用三次卷積插值法，避免插值后圖像邊緣失真，并利用基于硬閾值的小波去噪方法對插值后的圖像進行去噪處理。實驗證明，經小波去噪后的圖像與原始降質圖像相比，圖像質量有一定改善。將超分辨率重建后的圖像與利用傳統的空域圖像增強算法增強后的圖像進行對比，表明通過超分辨率重建技術得到的圖像具有更好的視覺效果，圖像質量有更加明顯的改善。