基于POCS的超分辨率重建算法研究*

楊大偉，李 丹,李 健

(哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱150001)

凸集投影(POCS)超分辨率重建中,對高分辨率初始圖像的預估直接影響該算法是否可行，并決定重構圖像的質量。超分辨率重建技術可以在不改變成像條件的前提下克服圖像系統原有的分辨率限制，提高圖像的輸出尺寸和質量，在視頻監控、物聯網、視頻娛樂、衛星通信和遠程醫療等領域都具有重要的應用價值[1]。

POCS超分辨率重建算法能夠有效地結合先驗信息，具有高度的靈活性和良好的可擴展性。國內外很多學者對該算法進行了大量的研究，1982年，Loyal和Webb最先將POCS理論應用于影像復原；Stark和Oskoui首次提出了最早的基于POCS的超分辨率重建算法，該算法簡單且運算速度快，但沒有考慮噪聲的影響，得到的圖像質量較差;Toecap和Sezan在此基礎上提出了包含系統矩陣的運動模型，將點擴散函數引入POCS算法中,該算法可以模擬圖像在傳輸過程中產生的模糊[2];參考文獻[3]提出了通過雙3次插值法獲取高分辨率初始估計圖像，相對于傳統方法，該方法改善了圖像的峰值信噪比。

本文針對傳統的POCS算法存在的邊緣模糊現象，通過小波變換與分形插值相結合的方法獲取高分辨率圖像的初始估計圖像。該方法可以有效地改善圖像的重建效果，與傳統的POCS算法相比，提高了圖像的峰值信噪比，改善了圖像邊緣質量。

1 POCS算法原理

POCS算法是基于集合理論提出的。在POCS算法中，把限制集定義為超分辨率解空間中可行解的限制條件(如數據一致性、能量有界性、正定性等)，把每一個限制條件定義為向量空間中的凸集合，與每一個約束集合聯系在一起的是一個投影算子P，P把空間內的任意一點映射到該集合內離這一點最近的點上。定義凸約束集合時，每個集合應該對應低分辨率圖像序列f(i,j)內的一個像素點，即：

圖1 本文的初始圖像估計方法

其中，

其中，θ(l)表示第l幅低分辨率圖像的支撐域,δ(l)(i,j)表示模型的統計不確定性，y(l)(i,j)表示第l幅觀測圖像的像素點，z(k)(r,s)表示第k幅高分辨率圖像的像素點，A(l,k)(r,s;i,j)表示從第k幅高分辨率圖像到第l幅低分辨率圖像的降質模型，r(l)(i,j)表示高分辨率圖像z(k)(r,s)經過降質模型后與低分辨率圖像之間的偏差。

通過對這些限制集合進行求交，形成超分辨率重建問題的解空間，超分辨率重構圖像的可能解空間一定位于所有這些約束集的交集中。凸集投影過程指的是從給定向量空間中的任何點開始不斷搜索，直到找到滿足所有凸約束集的解的過程[4-6]。POCS超分辨率重建算法實現的基本流程是，首先通過超分辨率圖像降質模型得到低分辨率圖像序列，選定其中一幀圖像作為參考幀，對參考幀圖像插值建立高分辨率圖像的初始估計圖像，然后對低分辨率圖像序列進行運動估計，最后基于PSF模糊函數對初始估計圖像進行修正，直到得到可以接受的結果[7-8]。

2 改進的POCS算法

傳統的POCS算法通過對低分辨率圖像序列中的一幀圖像進行雙線性插值得到高分辨率圖像的初始值[6],而傳統的插值方法具有低通濾波器的性質，會使高頻信息受損，使圖像的邊緣變得模糊。針對這一缺點，對高分辨率初始圖像的獲取方法作出改進，將小波變換與分形插值結合，有效地保留了圖像的紋理及邊緣等高頻信息。本文改進的方法框圖如圖1所示。

對低分辨率序列圖像中的一幀圖像進行Haar小波分解，可以得到3個高頻子圖和1個低頻子圖，然后分別對3個高頻子圖和1個低頻子圖進行重構，得到低頻重構圖像fL和高頻重構圖像fH。由能量守恒定律可知，圖像fL與圖像fH的能量之和等于原圖像的能量，即：

并且在相同像素點位置(i,j)上的灰度值關系為：

其中，fL(i,j)代表圖像fL在(i,j)位置上的像素值，fH(i,j)代表圖像fH在(i,j)位置上的像素值,f(i,j)代表原圖像f在(i,j)位置上的像素值。

由于傳統的插值方法的作用是保留圖像的低頻信息，因此只需通過對低頻部分進行雙3次插值即可得到低頻插值圖像(i,j)。而fH是由原圖像的高頻信息重構得到的,小波濾波器的作用主要是將高頻信息保留，將低頻信息濾掉，保留的這些信息主要是圖像的紋理及邊緣等細節部分，這些部分相鄰像素點間的變化迅速，具有分形特點，所以采用隨機分形插值即可得到重構的高頻 插 值 圖 像(i,j)。

最后將低頻插值圖像和高頻插值圖像按式(5)合并，即可得到高分辨率圖像的初始估計f?(i,j)。

通過改進的方法得到初始估計圖像后，采用塊匹配的運動估計方法估計出低分辨率圖像序列信息在待恢復的高分辨率圖像中的對應位置，確定由低分辨率圖像的子像素運動所形成的位移算子[9]。使用運動估計的結果對低分辨率圖像和初始估計圖像進行運動補償，然后基于PSF點擴散函數對初始估計圖像進行修正，不斷迭代圖像殘差項，直到得到滿意的結果。為了改善重構圖像的齒輪現象，在迭代過程中加入一次巴特沃斯濾波進行少許平滑。本文的POCS算法框圖如圖2所示。

3 仿真結果及分析

為測試本文方法的性能，在MATLAB R2012b仿真平臺上分別對 lena(256×256)、 typewrtr(256×256)、Car_1(512×512)、Car_2(512×512)和 Car_3(512×512)等多幅 JPEG圖像進行仿真，將本文所提方法與傳統的POCS算法進行比較。

通過lena圖像介紹仿真的具體過程。對lena圖像進行仿真時，采用的低分辨率圖像序列由原始高分辨率256×256的圖像經過圖像降質模型獲取，降質過程主要包括模糊、全局平移、下采樣和噪聲等操作。低分辨率圖像幀數選為4幀，運動模型選擇仿射運動模型，點擴散函數選用標準差為 1，支撐域為5×5的高斯函數，各幀低分辨率圖像的大小均為128×128，重建后的圖像大小為 256×256。

如圖3所示，圖3(b)中的4幅低分辨率圖像序列是由圖3(a)中的原始高分辨率圖像經過降質模型生成的，選擇低分辨率圖像序列中的第一幀作為重構高分辨率圖像的參考幀，即由該圖來得到高分辨率圖像的初始估計。為了比較結果，仿真實驗分為兩種情況進行：第1種情況，選用雙線性插值，分辨率提高2倍，迭代次數選為10，得到的初始估計細節部分圖像如圖4(a)所示，高分辨率圖像如圖5(a)所示；第2種情況，使用本文提出的方法，分辨率提高 2倍，迭代次數為 10，得到的初始估計細節部分圖像結果如圖4(b)所示，高分辨率圖像如圖5(b)所示。

圖2 本文算法框圖

圖3 原始高分辨率圖像及低分辨率圖像序列

圖4 傳統插值與本文方法初始估計圖像對比

圖5 傳統POCS與改進POCS得到的高分辨圖像對比

對比圖 4(a)和圖 4(b)可以看出，在對參考幀圖像進行雙線性插值放大之后，眼睛和帽檐的細節變得模糊，邊緣的齒輪狀明顯，而在圖4(b)中，明顯看出這些部分可以較清晰地重建，邊緣質量得到很好的改善。對比圖5(a)和圖5(b)也可看出，本文算法得到的圖像清晰度優于傳統的算法。

從圖6的仿真結果可以看出，本文的方法得到了很好的主觀視覺效果，改進后的重構圖像整體質量得到了改善。本文采用峰值信噪比的客觀評價標準來評價算法，表1給出了峰值信噪比結果，改進后的方法較傳統的POCS算法峰值信噪比平均提高了0.308 dB，其中Car-2圖像雖然僅提高了0.14 dB,但是其重構后圖像的視覺效果得到顯著提高。

圖6 仿真結果對比

表1 峰值信噪比結果對比(dB)

本文通過對高分辨率初始圖像的估計方法進行改進，通過改善初始值的細節及邊緣質量，使得最終重構圖像的質量得到提高。通過MATLAB對該算法進行了仿真，結果表明，該算法與傳統的POCS算法相比，提高了峰值信噪比，改善了圖像的邊緣模糊現象，得到了良好的視覺效果。該方法對超分辨率重建技術在其他領域的應用也具有一定的意義。

[1]PARK S C,PARK M K,KANG M G.Super-resolution image reconstruction：a technical overview[J].IEEE Signal Processing Magazine,2003，20(3)：21-36.

[2]陳光盛,李樹濤.空域超分辨率圖像融合算法研究[D].長沙：湖南大學，2006.

[3]禹晶,蘇開納.一種改善超分辨率重建中邊緣質量的方法[J].自 動 化 學 報,2007,33(6)：577-582.

[4]李慧芳,杜明輝.基于改進的 POCS算法的超分辨率圖像恢復[J].華南理工大學學報(自然科學版),2003,31(10)：24-27.

[5]OGAWA T,HASEYAMA M.Semantic image retrieval based on POCS algorithm using kernel PCA and its performance verification[C].IEEE 13th International Symposium on Consumer Electronics,2009：582-583.

[6]Zhang Fan,Zhu Qidan.Super-resolution image reconstruction for omni-vision based on POCS[C].Proceedings of Control and Decision Conference,2009：5045-5049.

[7]黃華,孔玲莉,齊春.基于凸集投影和線性過程模型的超分辨率圖像重建[J].西安交通大學學報，2003,10(37)：1059-1062.

[8]PROTTER M,ELAD M.Super resolution with probabilistic motion estimation[J].IEEE Transactions on Image Processing,2009,18(8)：1899-1944.

[9]TONG C S,LEUNG K T.Super-resolution reconstruction based on linear interpolation of wavelet coefficients[J].Multidimensional Systems and Signal Processing,2007,18(2-3)：153-171.

[10]浦劍,張軍平,黃華.超分辨率算法研究綜述[J].山東大學 學 報,2009,39(1)：27-32.