數字攝影運動模糊圖像超分辨率重建方法仿真

程 亮

(內蒙古農業大學教務處，內蒙古 呼和浩特 010020)

1 引言

數字時代的到來，在信息傳播的潮流中，圖像為其中最為關鍵的媒介，一直被廣泛應用于各種場景。在眾多領域中，人們對于圖像的畫質有較高的需求，比如醫療圖像領域、衛星遙感領域等。圖像是最直觀的信息可視化表達方式，但在實際應用中數字攝影技術面臨諸多問題，例如拍攝高速運動的物體等，在這種特定場景中，大多數圖像都是模糊圖像，需要進行清晰化處理，即圖像重建。目前，針對該領域問題也有很多專家參與討論，得出了很多成果。但這些傳統方法對運動模糊圖像進行的重建結果，存在重建效果差、細節不清晰等問題，現階段，相關學者獲得如下解決方法。

文獻[1]提出基于遙感圖像的MAP超分辨重建方法，該方法構建了基于模擬擬合的現實成像模型系統，利用最大后驗概率系統理論，獲取在實際環境中運動模糊、噪聲等相關數據，基于MAP理論，引入超分辨重建算法。但該方法不能有效提高模糊圖像的質量，且應用范圍有限。文獻[2]提出基于層次聚類的圖像超分辨率重建方法，該方法對圖像塊進行特征層次聚類，利用高斯混合模型聚類方法，將測試圖像裁剪成若干圖像塊，引入K均值聚類方法優化圖像，實現全面重建圖像的目的。但該方法圖像重建效果較差，并且運行過程不夠穩定。文獻[3]提出基于改進超分辨率卷積神經網絡和字典學習的圖像超分辨率重建方法，利用卷積神經網絡技術構建圖像超分辨率重建模型，采用字典學習模型，補償圖像殘差部分的高頻信息，從而獲得具有更好視覺效果和峰值信噪比的高分辨率圖像。但該方法重建后圖像結構相似度較低，應用效果不理想。

針對以上傳統方法存在的不足，本研究提出一種數字攝影運動模糊圖像超分辨重建方法。構建圖像降質退化模型，從根本上控制圖像質量。利用超分辨重建中的空域方法，即基本插值法重建圖像。通過實驗對研究方法進行驗證。結果顯示所研究方法效果好，細節保留完整。

2 數字攝影運動模糊圖像分析

2.1 圖像降質退化模型構建

圖像的退化復原過程能夠簡化成一個退化函數與一個復原濾波[4]。如圖1所示。

圖1 圖像退化復原具體過程示意圖

圖1中，初始圖像u(x，y)采用退化函數H后，引入噪聲n(x，y)，構成一幅被退化過的圖像g(x，y)。

相對線性移不變的運動模糊圖像，其模糊圖像g(x，y)是原圖像f(x，y)與擴展函數h(x，y)的卷積公式

(1)

式中：n(x，y)為可加性噪聲；ξ和η表示原圖像的運動參數；t表示圖像運動時間。將上公式的兩邊取傅立葉的變換，即公式為

Gi(u，v)=F(u，v)hi(u，v)+Ni(u，v)

(2)

CCD傳感陣列曝光實現光電轉換以后，會連續圖像的離散化，即公式為

Gi(m1，m2)=

=F(n1，n2)hi(m1，m2;n1，n2)+Ni(m1，m2)

(3)

為提高表達效果，利用矩陣的形式進行表示

(4)

上式即為圖像降質退化模型的構建原理，多數重建方法都是在此模型基礎上構建的[5]。

2.2 運動模糊本質

運動模糊圖像的運動目標與成像系統之間的關系如圖2所示。

圖2 運動個體和成像系統之間的關系示意圖

圖2中：若圖像f(m，n)相對CCD相機沿著某個方向做二維均勻直線運動，即在x，y的方向上同時做勻速運動，就可以說明模糊本質在于成像曝光的時間，目標圖像點的積分卷積過程，即為CCD圖像上多個像素點灰度值的疊加過程，可以實現模糊圖像g(m，n)的構建。

將圖像沿45度的方向作勻速直線運動，f(m，n)選為方形圖像，其目標平面為xy，鏡像平面為uv。即它們在x，y的方向上面勻速移動的采樣點個數是相等點的，將其假設成N。與此同時假設圖像的采樣點一公有M×M個，在x，y的方向上分別選取N×N個采樣點。將CCD曝光的時間設定成T，那么在曝光時間T內，將圖像沿著45度方向移動N個像素點。且圖像在運動時，每一個采樣點的曝光時間都和運動的速度之間成反比，并且運動期間的任意一點灰度值都要小于靜止時的灰度值，說明圖像在運動的過程中，所有采樣點在CCD內的像素點曝光時間均為1/T。即采樣點位置的灰度值是其運動距離的倒數[6]，具體數值為1/N。

在本文的曝光時間T中可以分成N個等間隔的時間段t0、t1、…、tN-1，即圖像在某一時間段ti，沿著45度的方向所移動一個采樣，即指圖像在x，y的方向中分別移動一個采樣點，將其設定在t0時刻的xy平面(0，0)處，在tN-1時刻f(N-1，N-1)運動至xy平面中(0，0)時，即成像CCD在uv平面像素(0，0)的位置。在曝光時間T中，其CCD在uv平面像素點(0，0)的位置上，不僅接收f(0，0)信息，還有在N采樣位置上的疊加信息[7]，具體公式為

g(0，0)=f(0，0)+f(1，1)+…+f(N-2，N-2)

+f(N-1，N-1)

(5)

考慮所有像素點在CCD上的曝光率，其公式可以具體寫成

+f(N-2，N-2)+f(N-1，N-1)]

(6)

同樣在CCD像素點(1，1)中接收信息公式為

+f(N-1，N-1)+f(N，N)]

(7)

對于CCD上某一像素點(m，n)來說，它的g(m，n)公式為

f(m+N-2，n+N-2)+f(m+N-1，n+N-1)]

(8)

能夠看出，退化模型構建的重點為，利用擴散函數PSF獲取退化矩陣H[8]。

2.3 運動模糊圖像退化模型構建

獲取垂直光軸方向運動點光源線擴展函數LSF，采用對線擴展函數，以及一維傅立葉變換得到調制傳遞函數[9]。

設探測器曝光時間te中，x(t)代表目標物體和探測器兩者之間的相位位移，其運動線擴展函數LSF是x(t)的概率密度函數。像素點會造成線擴展函數的運動，此運動能夠利用線擴展函數的概率密度進行描述，相對于一個給定位移值x(t)概率，可以敘述為探測器積分響應時間中，相對位移x的函數。說明位移函數能夠采用時間函數x=x(t)來表示，用時間t的概率密度fte(t)敘述位移x的概率密度fx(x)。

先利用隨機變量x的概率密度確定y=g(x)的概率密度，根據給定的y值，獲取fy(y)。現階段通過解方程y=g(x)，采用xn來代表它的實根，即

y=g(x1)=g(x2)=……=g(xn)

其公式為

(9)

式中，g′(x)是g(x)的導數

所以，在x=x(t)時，采用時間t的概率密度fte(t)描述位移x的概率密度fx(x)，公式為

fx(x)=

(10)

曝光的起始時間是一個隨意變量，且由于時間軸服從均勻分布，因此，所有能夠實現給定相對位移x的時間t的概率是相等的，其具體表示是fte(t)，且時間t均勻分布于[0，te]中，因此概率密度的函數fte(t)=1/te。其公式為

(11)

光學傳遞函數公式為

(12)

調制傳遞函數公式為

MTF(f)=|OTF(f)|

(13)

因為logMTF與相位傳遞函數PTF之間是彼此的Hilbert變換，所以PTF能夠采用MTF表示為

(14)

此時的退化函數H公式為

H=MTFexp(jPTF)

(15)

3 模糊圖像超分辨重建

信息的提取與融合過程，可以采用空域方法與頻域方法兩種[10]。頻域是利用傅里葉變換將圖像的信息進行變換到頻域，再利用其位移的特性來消除頻譜混疊特性，但該方法的退化模型在映射至頻域時會受到限制，通道其自身特性導致很難獲取先驗信息。而空域方法可以充分考慮退化模型中的復雜因素，有效彌補頻域方法的不足。

引入基本插值法，如雙三插值，是通過16個相鄰點來完成三次插值的方法[11]，該方法不僅要考慮相鄰4個點之間的灰度影響，同時還要考慮所有相鄰點之間的灰度值變化率問題，其具體的算法是通過插值基函數的方式來完成擬合數據，插值基函數是三次多項式S(ω)、ω為輸入參數，S(ω)如下列公式所示

(16)

雙三次的插值所得到的插值結果公式為

f(i+u，j+v)=[A]×[B]×[C]

(17)

式中：u與v分別代表目標像素點對應位置(i，j)在橫隊與縱隊的偏移值，[A]、[B]、[C]均是矩陣，具體的公式如下所示

[A]=[S(1+v)S(v)S(1-v)S(2-v)]

(18)

(19)

(20)

式中：f(i，j)代表原像素點。通過此方法就可以得到超分辨率重建后的圖像，在此圖像上，將數值放大到一定的程度，肉眼觀察其具體的效果圖，當圖像不會隨著相關幀的增加而改變時，說明該時刻的運動模糊圖像分辨率重建效果達到最好[12]。

4 實驗分析

實驗平臺選擇在服務器上安裝Tensor Flow平臺。服務器為Ubuntu16.04系統，如圖3所示，為服務器的GPU，且平臺采用SSD硬盤，在SSD緩存中訓練數據能夠提高訓練速度。

圖3 服務器平臺

4.1 客觀指標評價效果測試

本次試驗是通過客觀指標來驗證所提方法性能，對算法的測試主要包含Protter方法、SR方法以及本文方法。

首先選取高分辨率視頻序列的前30幀，進行圖像降質，即3×3的均勻模糊，接著在垂直與水平方向進行3以下的采樣。再對模糊圖像添加標準偏差std為2的噪聲，利用本文方法與SR方法對降質序列進行重建利用峰值信噪比(PSNR)與均方誤差(MSE)兩種圖像的客觀評價方法的性能。

3種方法的重建30幅圖像的平均PSNR與MSE如表1所示。

表1 不同方法效果參數對比表格

不同算法的所有幀重建結果PSNR圖像參數曲線如圖4所示。

圖4 不同的PSNR的對比

根據結果表明，Protter和SR方法下的圖像重建信噪比是更低的，且Protter方法的圖像信噪比是不穩定的，說明該方法不具備較好的應用性能。SR方法與本次研究方法的信噪比趨勢更相近，但是相比之下，研究所設計方法信噪比更高。

4.2 視覺效果測試

測試序列所采用的是分辨率為128×128的實際視頻序列，具體的實驗取前10幀。圖4給出了第3幀Protter方法、SR方法和本研究方法的重建圖像。

圖5為參考圖像，圖6(a)為利用Protter方法局部重建后圖像，圖6(b)為利用SR方法局部重建后圖像，圖6(c)為利用本文方法局部重建后的圖像。圖7為三種方法的圖像整體重建效果。

圖5 實驗樣本圖像

圖6 局部重建效果

圖7 整體重建效果

通過上述圖像能夠明顯看出，Protter方法重建后的圖像效果較差，表面依舊存在模糊區域，而SR方法方法與本文方法，都可以對任意動作所產生降質嚴重的區域進行處理，不過本文方法在對圖像模糊重建的同時，還能完成保留圖像中的細節和紋理，目標特征保存較為完整。

5 結束語

在實際拍攝過程中，運動圖像模糊問題十分常見，因此國內外不少學者對此進行研究，提出圖像重建方法，使圖像重新變得清晰。但是在科技不發達時代，就造成了圖像重建技術效果質量差，存在很多的弊端。

1)本次研究提出的數字攝影運動模糊圖像超分辨重建方法。對運動模糊圖像的本質進行分析。控制圖像質量。根據基本插值法來完成運動模糊圖像的超分辨率重建。

2)為驗證研究方法的有效性，進行一次實驗。實驗表明：利用客觀指標進行評價，結果證明研究方法具有更高的信噪比。整體重建效果對比圖則進一步說明了研究方法的優勢。

3)雖然研究方法能夠很好的對運動模糊圖像進行重建，但是處理過程耗時長，且對數字攝影器材要求較高，具有局限性，無法大范圍推廣使用。但是隨著科技的發展，圖像重建技術也要隨著科技發展逐漸被完善。下一步，將嘗試使用人工智能技術建立新的重建模型，使得圖像在拍攝的同時就完成分辨率重建，大大縮短運算時間。