一種基于深度學(xué)習(xí)模型的圖像模糊自動分析處理算法

陳 陽,周 圓

(天津大學(xué) 電子信息工程學(xué)院,天津 300072)

1 引 言

圖像中的局部運動模糊由拍攝場景中目標(biāo)物體的運動造成.利用有效的手段對圖像中的模糊區(qū)域和清晰區(qū)域進(jìn)行分析和處理是一項非常實際的技術(shù),可以作為諸如圖像運動目標(biāo)提取、圖像分割、圖像去模糊、圖像檢索等工作的前提基礎(chǔ).但是,現(xiàn)存的圖像模糊處理技術(shù)致力于解決盲和非盲去模糊問題.Fergus等人[1]使用一個統(tǒng)計分布模型來擬合圖像模糊內(nèi)核.Cho等人[2]指出一些受到模糊的強(qiáng)邊緣包含豐富的信息,可以被用來輔助模糊內(nèi)核的估計和圖像的重建.Perrone等人[3]指出在進(jìn)行圖像重建時,對模糊內(nèi)核進(jìn)行歸一化約束可以保證正則優(yōu)化模型的快速收斂.Hu等人[4]指出存在于圖像中的結(jié)構(gòu)信息可以用來估計模糊內(nèi)核,他們提出一個基于條件隨機(jī)場(CRF)的學(xué)習(xí)模型,該模型能夠自動地選取出圖像中一些包含豐富結(jié)構(gòu)信息的圖像區(qū)域來估計模糊內(nèi)核.這些工作的重點是消除圖像中的全局運動模糊并重建出潛在清晰圖像.但是這些算法只能進(jìn)行全局一致的模糊內(nèi)核估計和圖像去模糊,無法對局部運動模糊圖像進(jìn)行有效的去模糊處理.這是因為這些算法并沒有事先分割出圖像的模糊區(qū)域,而是對局部運動模糊圖像進(jìn)行全局統(tǒng)一的去模糊處理,這樣會導(dǎo)致圖像中原本清晰的區(qū)域出現(xiàn)失真.

為了有效去除圖像中的局部運動模糊,應(yīng)該首先檢測出輸入圖像的運動模糊區(qū)域,然后僅對這些模糊區(qū)域進(jìn)行去模糊處理,最終得到更符合人眼感官的去模糊圖像.但是研究發(fā)現(xiàn),圖像模糊區(qū)域的檢測和分類,尤其是圖像局部運動模糊的檢測很少被涉及.先前有一些算法[5,6]使用單一模糊特征對局部模糊圖像進(jìn)行檢測,但是僅僅采用單一指標(biāo)很難對圖像的模糊區(qū)域進(jìn)行準(zhǔn)確檢測.

為了實現(xiàn)精確的局部模糊檢測,應(yīng)該將不同的模糊特征指標(biāo)結(jié)合成一個整體進(jìn)行圖像模糊程度的衡量.Liu等人[7]基于三種局部模糊特征構(gòu)建出一個貝葉斯分類器,并使用該分類器進(jìn)行局部模糊區(qū)域檢測.Chakrabarti等人[8]提出一種在非均勻模糊情況下進(jìn)行局部運動模糊分析的新方法.Su等人[9]首次根據(jù)圖像塊模糊程度和對應(yīng)奇異分解值之間的關(guān)系來判別圖像的模糊區(qū)域.Shi等人[10]結(jié)合四種高效的模糊特征對圖像的模糊區(qū)域進(jìn)行檢測,這四種特征分別為:峭度特征、高斯混合模型、累積平均功率譜和局部線性濾波器特征.

雖然上述方法能夠獲得不錯的圖像局部模糊區(qū)域檢測結(jié)果,但是這些方法有一個很明顯的限制,即這些方法僅僅使用低維模糊特征,沒有充分利用圖像的潛在特征描述,導(dǎo)致算法的檢測結(jié)果存在一些誤判別現(xiàn)象.然而圖像局部模糊區(qū)域檢測是對局部運動模糊圖像進(jìn)行去模糊的至關(guān)重要的一步,為了更加有效地去除圖像中的局部運動模糊,必須準(zhǔn)確地檢測出圖像的局部模糊區(qū)域.并以此為基礎(chǔ),將圖像局部模糊區(qū)域檢測和圖像去運動模糊這兩項技術(shù)進(jìn)行有效結(jié)合,實現(xiàn)局部運動模糊圖像的去模糊.

圖1 局部運動模糊圖像去模糊模型的整體結(jié)構(gòu)圖Fig.1 Outline of the proposed partially blurred image deblurring algorithm

基于上述分析,本文提出一種基于深度學(xué)習(xí)的局部運動模糊圖像的去模糊框架.圖1是算法的整體結(jié)構(gòu)圖,分為兩個部分:圖像局部運動模糊區(qū)域檢測以及對局部運動模糊區(qū)域進(jìn)行去模糊.首先,本文提出一種針對局部運動模糊區(qū)域的檢測算法,該算法能夠從局部運動模糊圖像中準(zhǔn)確地檢測出模糊區(qū)域和清晰區(qū)域,并將模糊區(qū)域進(jìn)行標(biāo)記,以便于進(jìn)行局部運動模糊圖像的去模糊.然后,選定出待處理的運動模糊區(qū)域,僅對這些區(qū)域進(jìn)行去模糊處理,最終實現(xiàn)局部運動模糊的有效去除,獲得清晰的場景圖像.本文工作主要有兩個創(chuàng)新點:首先,本文提出一個深度學(xué)習(xí)框架來執(zhí)行圖像局部模糊區(qū)域檢測.其次,本文將圖像局部模糊區(qū)域檢測和圖像去運動模糊這兩項技術(shù)進(jìn)行有效結(jié)合,利用檢測出的局部模糊區(qū)域?qū)D像去模糊過程進(jìn)行指導(dǎo),最終能夠從局部運動模糊圖像中重建出潛在的清晰圖像.

2 圖像局部運動模糊區(qū)域檢測

本文提出一種基于棧式自編碼神經(jīng)網(wǎng)絡(luò)的圖像局部模糊區(qū)域檢測算法.算法分為兩個階段,首先構(gòu)建訓(xùn)練樣本集對自編碼神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值參數(shù)訓(xùn)練,然后利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對待測試圖像的運動模糊區(qū)域進(jìn)行準(zhǔn)確地檢測.

2.1 對棧式自編碼神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練

本文首先對算法涉及的四種低維模糊特征進(jìn)行簡要介紹,然后對構(gòu)建出的深度學(xué)習(xí)框架進(jìn)行分析,最后對棧式自編碼神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程進(jìn)行說明.

2.1.1 低維模糊特征

本文綜合多種低維模糊特征對圖像中的模糊區(qū)域進(jìn)行檢測,現(xiàn)對這幾種模糊特征進(jìn)行簡要介紹.

(1)峭度特征

Shi等人[10]提出利用峭度特征K(a)來衡量一個輸入圖像塊梯度分布的峰度,將其定義為:

(1)

其中E[·]表示期望算子,a表示輸入的數(shù)據(jù)向量.

給定一個清晰圖像塊F,模糊圖像塊D可以表示為:

D=F*h

(2)

其中h是局部模糊內(nèi)核.Shi等人[10]證明,模糊過程會降低輸入圖像塊的峭度值,即:

K(Dx)

(3)

K(Dy)

(4)

其中(Fx,Fy)和(Dx,Dy)是清晰圖像塊F和模糊圖像塊D沿x軸和y軸方向的梯度.在實際執(zhí)行中,本文算法使用文獻(xiàn)[10]定義的模糊特征:

αKF=min(ln(K(ax)),ln(K(ay)))

(5)

其中a是輸入圖像塊.算法將特征αKF作為網(wǎng)絡(luò)訓(xùn)練樣本集的第1維特征,用來對圖像數(shù)據(jù)進(jìn)行模糊特征提取.

(2)累積平均功率譜

在頻域,圖像的平均功率譜J(ω)定義為如下形式[11]:

(6)

其中(ω,θ)是像素點(i,j)的極坐標(biāo)形式,n是角度θ的取值數(shù)目,A是一個幅值常量.

本文采用Shi等人[10]提出的累積平均功率譜特征,其定義如下:

αCAPS=∑ωlog(J(ω))

(7)

可以證明[10],模糊圖像塊的累積平均功率譜特征值要小于清晰圖像塊對應(yīng)的值:

∑ωlog(JD(ω))≤∑ωlog(JF(ω))

(8)

從公式(8)可以看出,累積平均功率譜是一種有區(qū)別力的模糊特征,因此本文算法將累積平均功率譜作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集的第2維輸入特征.

(3) 奇異值向量和奇異值特征

Su等人[9]首次提出使用奇異值特征[9]來檢測圖像的模糊區(qū)域.給定一幅清晰圖像f∈n×n,存在正交矩陣U=[u1,u2,…,un]∈n×n和V=[v1,v2,…,vn]∈n×n,能夠?qū)表示為:

f=UΣVT

(9)

(10)

其中ui和vi分別是U和V的第i列,Ei∈n×n是特征圖像.圖像f對應(yīng)的特征圖像Ei是對該圖像在不同尺度空間的分析[12],其中前k個主要特征圖像(E1,…,Ek)代表大的尺度空間,能夠表征圖像的結(jié)構(gòu)輪廓;其余的次要特征圖像(Ek+1,…,Er)代表小的尺度空間,表征圖像的紋理信息.

對于一幅模糊圖像d,可以看成是其對應(yīng)的潛在清晰圖像f和模糊內(nèi)核h的卷積:

(11)

本文從圖像中提取大小為8*8的圖像塊,并分別計算RGB三個通道對應(yīng)的奇異值,記為MR=(σ1,σ2,…,σ8) ,MG=(σ9,σ10,…,σ16),MB=(σ17,σ18,…,σ24).接下來分別針對RGB三個通道計算前4個奇異值占全部8個奇異值的比值,將其定義為圖像的奇異值特征αR,αG,αB:

(12)

本文對每個圖像塊進(jìn)行奇異值分解,得到RGB三個通道的奇異值向量MR,MG,MB和奇異值特征αR,αG,αB.然后將上述特征向量按照(αR,MR,αG,MG,αB,MB)的形式組合成一個27維向量,將其作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本集的第3至第29維輸入特征.

至此,本文已經(jīng)介紹了涉及的四種低維模糊特征.下文將對構(gòu)建的深度學(xué)習(xí)框架進(jìn)行分析.

2.1.2 基于棧式自編碼神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)框架設(shè)計

圖2 單層自編碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Illustration of an auto-encoder

單層自編碼神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層三層組成.圖2展示了一個單層自編碼神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖.其中X={xi∈SI}(i=1,2,…,N)表示原始的低維輸入特征向量,SI}(i=1,2,…,N)表示神經(jīng)網(wǎng)絡(luò)的理論輸出值,SI表示原始輸入特征向量的維數(shù),N表示訓(xùn)練樣本集合中的樣本個數(shù),W(1),b(1)分別表示自編碼神經(jīng)網(wǎng)絡(luò)隱藏層的網(wǎng)絡(luò)參數(shù)和對應(yīng)的偏置項,W(2),b(2)分別表示自編碼神經(jīng)網(wǎng)絡(luò)輸出層的網(wǎng)絡(luò)參數(shù)和偏置項.

在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)置上,輸入層和輸出層的節(jié)點個數(shù)等于輸入特征向量的維數(shù),隱藏層節(jié)點個數(shù)小于輸入特征向量的維數(shù).即通過迭代訓(xùn)練,自編碼神經(jīng)網(wǎng)絡(luò)會發(fā)現(xiàn)輸入數(shù)據(jù)之間的相關(guān)性,學(xué)習(xí)出一個原始輸入數(shù)據(jù)的壓縮表示.

棧式自編碼神經(jīng)網(wǎng)絡(luò)是一個由多層稀疏自編碼器組成的神經(jīng)網(wǎng)絡(luò),其中高層自編碼器的輸入值等于其前一層自編碼器的激活度向量.棧式自編碼神經(jīng)網(wǎng)絡(luò)能夠處理更復(fù)雜的輸入特征,因為每一個隱藏層可以對前一個隱藏層的輸出進(jìn)行非線性變換,從而能夠發(fā)現(xiàn)輸入特征之間更深層次的聯(lián)系,學(xué)習(xí)到高度非線性和更加復(fù)雜的函數(shù)關(guān)系.

圖3是本文構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)圖,由輸入層、隱藏層Ⅰ、隱藏層Ⅱ和分類器層組成.其中W(1),b(1)表示神經(jīng)網(wǎng)絡(luò)隱藏層Ⅰ對應(yīng)的網(wǎng)絡(luò)參數(shù)和偏置項,W(2),b(2)表示神經(jīng)網(wǎng)絡(luò)隱藏層Ⅱ?qū)?yīng)的網(wǎng)絡(luò)參數(shù)和偏置項,W(3),b(3)表示神經(jīng)網(wǎng)絡(luò)分類器層對應(yīng)的網(wǎng)絡(luò)參數(shù)和偏置項.

圖3 深層棧式自編碼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 A deep architecture of our stacked auto-encoder

為了更好地描述這種通過棧式自編碼神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)得到的非線性潛在特征,本文通過公式對其進(jìn)行表示:

(13)

(14)

為了對構(gòu)建的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行有效的參數(shù)訓(xùn)練,使得該網(wǎng)絡(luò)能夠?qū)斎雸D像塊的模糊程度進(jìn)行準(zhǔn)確判別,我們將針對上述目標(biāo)為深度學(xué)習(xí)網(wǎng)絡(luò)制作相應(yīng)的訓(xùn)練樣本集.下文開始對訓(xùn)練樣本集合的構(gòu)建方式以及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程進(jìn)行說明.

2.1.3 棧式自編碼神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程簡述

為了對自編碼網(wǎng)絡(luò)進(jìn)行高效訓(xùn)練,本文要構(gòu)建一個包含大量模糊和清晰圖像塊的訓(xùn)練樣本集.首先,隨機(jī)選取30幅清晰圖像和30幅運動模糊圖像組成一個數(shù)據(jù)集.然后從數(shù)據(jù)集清晰圖像樣本中隨機(jī)截取20000個8*8的圖像塊組成神經(jīng)網(wǎng)絡(luò)訓(xùn)練集的正樣本,并為每一個圖像塊加上正樣本標(biāo)簽1;接著從運動模糊圖像樣本中隨機(jī)截取20000個8*8的圖像塊組成訓(xùn)練集的負(fù)樣本,同時為每一個圖像塊加上負(fù)樣本標(biāo)簽2.最后,將所有正、負(fù)樣本圖像塊連同附加的標(biāo)簽按照矩陣形式進(jìn)行組合,能夠獲得一個初始訓(xùn)練樣本集.

為了實現(xiàn)精確的圖像局部運動模糊檢測,本文使用峭度特征[10]、累積平均功率譜[10]、奇異值向量和奇異值特征[9]四種模糊特征對初始訓(xùn)練樣本集進(jìn)行進(jìn)一步的特征提取,并將這四種低維模糊特征的提取結(jié)果組合成一個新的訓(xùn)練樣本矩陣.本文算法利用逐層貪婪方法訓(xùn)練棧式自編碼神經(jīng)網(wǎng)絡(luò).首先將這個訓(xùn)練樣本矩陣送入自編碼神經(jīng)網(wǎng)絡(luò),然后采用無監(jiān)督方式對神經(jīng)網(wǎng)絡(luò)進(jìn)行逐層的預(yù)訓(xùn)練,學(xué)習(xí)得到所有隱藏層的最佳初始權(quán)重.接著使用上一階段訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)和有標(biāo)簽的訓(xùn)練樣本,采用反向傳播算法對網(wǎng)絡(luò)參數(shù)進(jìn)行有監(jiān)督地微調(diào),從而進(jìn)一步提高分類器的性能.

至此已經(jīng)完成了訓(xùn)練樣本集合的構(gòu)建以及棧式自編碼神經(jīng)網(wǎng)絡(luò)的權(quán)值參數(shù)訓(xùn)練過程.為了準(zhǔn)確地檢測出圖像中的局部運動模糊區(qū)域,本文設(shè)計了一個針對局部運動模糊圖像的具體檢測流程.下文將對上述檢測過程進(jìn)行詳細(xì)介紹.

2.2 對待測試圖像模糊區(qū)域進(jìn)行檢測

這一部分將使用已經(jīng)訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)對一幅新的輸入圖像進(jìn)行局部模糊區(qū)域檢測,具體流程如下.

2.2.1 對待測試圖像模糊區(qū)域進(jìn)行初始檢測

在圖像模糊區(qū)域的初始檢測階段,首先將一幅待檢測模糊圖像分成互不重疊、大小為8*8的圖像塊.針對每一個圖像塊,使用四種模糊特征對原始圖像塊進(jìn)行特征提取,并將運算結(jié)果組成一個新的特征向量矩陣.接下來使用預(yù)先訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)對該特征向量矩陣進(jìn)行進(jìn)一步的特征提取,尋找輸入特征之間更深層次的聯(lián)系,學(xué)習(xí)到高度非線性和更加復(fù)雜的潛在特征描述.然后將這些特征描述送入分類器進(jìn)行決策,神經(jīng)網(wǎng)絡(luò)的分類器層會輸出每一個原始圖像塊對應(yīng)的預(yù)測類標(biāo)簽,從而實現(xiàn)對每一個圖像塊模糊程度的判別與分類,得到一幅初始的分類結(jié)果圖.

2.2.2 初始分類結(jié)果圖的插值和閾值分割

為了更精確地檢測出一幅圖像的模糊區(qū)域,本文使用插值算法[13]將初始分類結(jié)果圖插值成完全分類結(jié)果圖.

本文采用基于拉普拉斯的插值方法[13]對初始分類結(jié)果圖進(jìn)行插值,該插值方法的詳細(xì)推導(dǎo)請參見文獻(xiàn)[13].圖4展示了一些局部模糊圖像的初始分類結(jié)果、對應(yīng)的插值和閾值分割結(jié)果.從圖4中可以看到插值算法能夠很好地處理圖像中的平滑區(qū)域.

3 對檢測出的局部運動模糊區(qū)域進(jìn)行去模糊

為了有效地去除圖像中的局部運動模糊,本文算法將圖像局部運動模糊區(qū)域檢測和圖像去運動模糊這兩項技術(shù)進(jìn)行有效結(jié)合.在對待測試圖像執(zhí)行模糊區(qū)域檢測之后,將這些檢測出的局部模糊區(qū)域作為遮罩層,僅對這些區(qū)域進(jìn)行去模糊處理,這樣就能夠在有效去除局部運動模糊的同時不發(fā)生圖像失真,最終實現(xiàn)局部運動模糊圖像的去模糊.

圖4 初始結(jié)果圖的插值和閾值分割Fig.4 Initial map interpolation and thresholding segmentation

圖5給出一個局部運動模糊圖像去模糊的示意圖.首先,對輸入圖像執(zhí)行模糊區(qū)域的檢測與分類,得到一幅分類結(jié)果圖.在分類結(jié)果圖中,我們使用白色表示圖像的運動模糊區(qū)域,使用黑色表示圖像的清晰區(qū)域.然后,使用學(xué)習(xí)出的分類結(jié)果圖將原始圖像分割成模糊區(qū)域和清晰區(qū)域.接下來,將這些標(biāo)記出的局部模糊區(qū)域作為遮罩層,先對輸入圖像進(jìn)行去模糊處理,得到初始去模糊結(jié)果圖.最后,再將原始圖像的清晰區(qū)域還原到初始去模糊結(jié)果圖中,得到最終的去模糊圖像.

圖5 針對局部運動模糊圖像進(jìn)行去模糊的示意圖Fig.5 An illustration of the proposed partially blurred image deblurring algorithm

本文算法采用基于小波緊框架的圖像去模糊方法[14]對原始輸入圖像進(jìn)行去模糊,該算法將框架理論應(yīng)用到小波分析中,在一個小波緊框架中對原始圖像和模糊內(nèi)核的稀疏性進(jìn)行約束.給定原始模糊圖像d,模糊過程可以建模為:

d=f?h+r

(15)

其中f是潛在的清晰圖像,h是圖像的模糊內(nèi)核,r是加性噪聲.算法[14]提出一個基于正則優(yōu)化的方法來對潛在清晰圖像f和模糊內(nèi)核h進(jìn)行估計.令h(0)表示模糊內(nèi)核h的初始估計,可以用交替迭代的策略對算法[14]提出的正則優(yōu)化問題進(jìn)行求解,具體求解步驟見下頁表1.

通過對算法進(jìn)行交替迭代地求解,當(dāng)正則優(yōu)化模型收斂時,可以得到潛在清晰圖像fk+1,此時的fk+1即為初始去模糊圖像.然后,如圖5所示,將原始圖像的清晰區(qū)域還原到初始去模糊圖像中,能夠得到最終的去模糊圖像.相比于現(xiàn)存的圖像去模糊算法,由于本文算法能夠預(yù)先檢測出圖像的模糊區(qū)域,然后僅對這些模糊區(qū)域執(zhí)行去模糊處理,這樣就能夠在有效去除局部運動模糊的同時不發(fā)生圖像失真,最終得到更高質(zhì)量的去模糊圖像.

表1 交替最小化方法
Table 1 An alternating minimization method

輸入：原始模糊圖像d1．初始化：h=h(0)．2．fork=0，1，2，…，500，do 1)固定h(k)，使用下式計算f(k+1)： f(k+1)=argminf12‖h(k+1)?f-d‖22+μ1‖Wf‖1 其中μ1是正則化參數(shù)，W是框架變換矩陣； 2)固定f(k+1)，使用下式計算h(k+1)： h(k+1)=argminh12‖f(k+1)?h-d‖22+μ2‖Wh‖1+τ2‖h‖22() 其中μ2和τ是正則化參數(shù)，h是圖像的模糊內(nèi)核．3．endfor輸出：潛在清晰圖像f=fk+1

4 實驗結(jié)果和分析

本文實驗參數(shù)設(shè)置如下:在自編碼神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段,本文從數(shù)據(jù)集清晰圖像樣本中隨機(jī)截取20000個圖像塊組成訓(xùn)練集的正樣本,并為每一個圖像塊加上正樣本標(biāo)簽1;接著從運動模糊圖像樣本中隨機(jī)截取20000個圖像塊組成訓(xùn)練集的負(fù)樣本,同時為每一個圖像塊加上負(fù)樣本標(biāo)簽2.本文算法隨機(jī)截取的40000個圖像塊的大小均為8*8像素.接下來將正、負(fù)樣本按矩陣形式進(jìn)行拼接,矩陣總大小為192*40000,其中矩陣的每一列為一個圖像塊RGB通道的像素值.此外,在模糊特征提取階段,將對每一個圖像塊提取出29維的特征向量,最終組成一個大小為29*40000的訓(xùn)練樣本特征矩陣.

4.1 圖像局部模糊區(qū)域檢測結(jié)果

本文提出的圖像局部模糊區(qū)域檢測框架分為訓(xùn)練和檢測兩個階段.為了驗證圖像局部模糊區(qū)域檢測的準(zhǔn)確性,將本文算法與四種現(xiàn)存的圖像模糊區(qū)域檢測算法[7-10]進(jìn)行比較,其中對比實驗采用算法[10]中的圖像集.圖6展示出這5種算法的精確度-查全率曲線[7,10],通過對比,本文算法實現(xiàn)了最高的準(zhǔn)確率.這表明,對于一幅待處理的局部運動模糊圖像,本文算法得到的模糊區(qū)域檢測結(jié)果比其余四種方法的結(jié)果更加精確,并且更接近于真值圖像.

圖6 不同算法基于精確度-查全率曲線的定量比較Fig.6 Quantitative comparison via precision-recall curves for different methods

圖8是模糊區(qū)域檢測算法的檢測結(jié)果圖和對應(yīng)的真值圖,從左至右依次為輸入圖像、算法[8,7,9,10]的實驗結(jié)果、本文算法的結(jié)果和真值圖像.從圖中能夠看出,前四種算法得到的結(jié)果存在誤檢測.通過對比發(fā)現(xiàn),本文算法能夠?qū)Ω鞣N復(fù)雜的運動場景進(jìn)行處理,并且能夠準(zhǔn)確地檢測出圖像中的運動模糊區(qū)域,幾乎不存在誤檢測的現(xiàn)象.此外,本文算法的檢測結(jié)果更接近于真值圖像.

4.2 圖像模糊區(qū)域分割結(jié)果

基于學(xué)習(xí)得到的分類結(jié)果圖,本文能夠進(jìn)行圖像運動模糊區(qū)域分割.圖7為本文算法與Levin[5]和Liuetal.[7]算法得到的分割實驗結(jié)果.通過對比,本文算法提取出的運動目標(biāo)區(qū)域更加精確,并且不需要預(yù)先估計出圖像的模糊內(nèi)核.

圖7 局部運動模糊區(qū)域的分割結(jié)果.從左至右依次為:原始輸入圖像,算法[5]的實驗結(jié)果,算法[7]的實驗結(jié)果,以及本文算法的實驗結(jié)果Fig.7 Comparison of blur region segmentation for partially blurred images.From left to right are the blurred images,the results by Levin [5],Liu et al.[7],and by our method

4.3 局部運動模糊圖像去模糊實驗結(jié)果

本文著重對所提出的圖像去模糊算法進(jìn)行實驗,并與現(xiàn)存圖像去模糊算法進(jìn)行對比分析.在對局部運動模糊圖像進(jìn)行去模糊的過程中,由于現(xiàn)存的圖像去模糊算法并不能事先分割出圖像的模糊區(qū)域,而是對局部運動模糊圖像進(jìn)行全局統(tǒng)一的去模糊處理,這樣會導(dǎo)致圖像中原本清晰的區(qū)域出現(xiàn)失真.

為了更加有效地去除圖像中的局部運動模糊,應(yīng)該首先估計出輸入圖像的運動模糊區(qū)域,然后僅對這些模糊區(qū)域進(jìn)行去模糊處理,最終能夠得到更符合人眼感官的去模糊圖像.下頁圖9是局部運動模糊圖像去模糊的實驗結(jié)果,從左至右依次為原始輸入圖像、算法[2,3]的實驗結(jié)果和本文算法的結(jié)果.在第二列圖像中,算法[2]雖然能夠去除背景位置的運動模糊,但是對于圖像中的清晰區(qū)域,算法[2]也對其進(jìn)行了去模糊處理,這會導(dǎo)致圖像中原本清晰的區(qū)域出現(xiàn)失真.而本文算法會事先標(biāo)記出輸入圖像中的模糊區(qū)域,僅對這些模糊區(qū)域進(jìn)行去模糊,因此能夠在有效去除局部運動模糊的同時不發(fā)生圖像失真.比如這三幅圖像的運動目標(biāo)位置,算法[2]的重建結(jié)果都會產(chǎn)生圖像失真,通過對比,本文算法的實驗結(jié)果更加自然.第三列圖像是算法[3]的實驗結(jié)果,該算法的結(jié)果出現(xiàn)很明顯的偽影,比如第二幅圖像的車窗部分和第三幅圖像的車門部分均出現(xiàn)偽影,圖像重建效果不夠理想.通過對比發(fā)現(xiàn),本文算法的實驗結(jié)果含有較少的圖像失真.值得一提的是,本文算法在保持圖像更加自然的情況下,對于模糊區(qū)域的處理效果也優(yōu)于上述算法,比如最后一行圖像的文字區(qū)域,本文算法的重建結(jié)果比算法[2,3]的結(jié)果更加清晰自然.

圖8 不同算法的局部模糊區(qū)域檢測結(jié)果Fig.8 Sample detection results of partially blurred images between different methods

圖9 局部運動模糊圖像去模糊實驗結(jié)果Fig.9 Sample deblurring results of partially blurred images

5 結(jié) 論

本文提出一種基于深度學(xué)習(xí)的圖像去模糊算法,該算法針對圖像塊進(jìn)行分析和處理,是一種基于圖像局部區(qū)域的模糊處理方法.針對現(xiàn)存圖像去模糊算法的不足之處,本文首先對現(xiàn)存圖像局部模糊區(qū)域檢測算法進(jìn)行改進(jìn),提出一個基于自編碼神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)框架,該框架能夠準(zhǔn)確檢測并分類出圖像的局部模糊區(qū)域.然后,本文創(chuàng)新性地將圖像局部模糊區(qū)域檢測與圖像去模糊兩項技術(shù)進(jìn)行有效結(jié)合,利用檢測出的局部模糊區(qū)域?qū)D像去模糊過程進(jìn)行指導(dǎo),最終實現(xiàn)局部模糊圖像的去模糊.實驗結(jié)果表明,在定性和定量比較兩個方面,本文相較于現(xiàn)有算法均表現(xiàn)出顯著優(yōu)勢.

[1] Fergus R,Singh B,Hertzmann A,et al.Removing camera shake from a single photograph[C].ACM Transactions on Graphics(TOG),Boston:Association for Computing Machinery,2006,25(3):787-794.

[2] Cho S,Lee S.Fast motion deblurring[C].ACM Transactions on Graphics (TOG),New Orleans:Association for Computing Machinery,2009,28(5):145-152.

[3] Perrone D,Favaro P.Total variation blind deconvolution:The devil is in the details[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Columbus:Institute of Electrical and Electronics Engineers (IEEE),2014:2909-2916.

[4] Hu Z,Yang M H.Learning good regions to deblur images[J].International Journal of Computer Vision (IJCV),2015,115(3):345-362.

[5] Levin A.Blind motion deblurring using image statistics[C].Proceedings of the 20th Annual Conference on Neural Information Processing Systems (NIPS),2006:841-848.

[6] Da J Rugna H.Konik.Automatic blur detection for meta-data extraction in content-based retrieval context[C].International Society for Optics and Photonics (SPIE),Proceedings,vol.5304,2003:285-294.

[7] Liu R,Li Z,Jia J.Image partial blur detection and classification[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),Institute of Electrical and Electronics Engineers (IEEE),2008:1-8.

[8] Chakrabarti A,Zickler T,Freeman W T.Analyzing spatially-varying blur[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Institute of Electrical and Electronics Engineers (IEEE),2010:2512-2519.

[9] Su B,Lu S,Tan C L.Blurred image region detection and classification[C].Proceedings of the 19th ACM International Conference on Multimedia,Association for Computing Machinery (ACM),2011:1397-1400.

[10] Shi J,Xu L,Jia J.Discriminative blur detection features[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),Institute of Electrical and Electronics Engineers (IEEE),2014:2965-2972.

[11] Van A der Schaaf,J H van Hateren.Modelling the power spectra of natural images:statistics and information[J].Vision Research,1996,36(17):2759-2770.

[12] Andrews H,Patterson C.Singular value decompositions and digital image processing[J].IEEE Transactions on Acoustics,Speech,and Signal Processing,1976,24(1):26-53.

[13] Levin A,Lischinski D,Weiss Y.A closed-form solution to natural image matting[J].IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI),2008,30(2):228-242.

[14] Cai J F,Ji H,Liu C,et al.Framelet-based blind motion deblurring from a single image[J].IEEE Transactions on Image Processing,2012,21(2):562-572.