基于清晰度信息與灰度差異熵的圖像修復算法

劉 俊，莊麗華，薛彩霞

(1.常州大學阿里云大數據學院，江蘇 常州 213164；2.常州大學信息科學與工程學院，江蘇 常州 213164)

1 引言

在當下信息技術飛速發展的時代，數字圖像已被人們廣泛接受，用于信息的傳播。在數字圖像的傳播過程中，難免會出現圖像的損壞[1-2]。損壞的圖像視覺效果較差，不能較好的適應人們對信息傳播的需求。對此，人們對圖像修復技術進行了研究。利用一定的方法和手段，采用圖像中的已有信息，對損壞內容進行修補，以獲取視覺效果較好的圖像[3]。目前圖像修復技術已被廣泛應用到了包含廣告制作、藝術品復原等多個生活領域[4]。

經過人們對圖像修復技術的研究，出現了多種圖像修復方法。如Wang等人[5]采用圖像的結構信息來計算待修復塊的優先權，并通過結構一致方法來獲取最優匹配塊，利用空間變化方法對置信項進行更新，完成圖像修復。由于該算法是通過圖像的結構信息計算待修復塊的優先權，沒有考慮圖像的清晰度信息，而且算法采用固定大小的樣本塊來獲取最優匹配塊，從而使得修復圖像中含有振鈴現象。Qian等人[6]在圖像結構信息的基礎上，優化了優先權計算過程，并采用圖像的稀疏特征，對樣本塊大小進行自適應的調整，利用圖像的旋轉不變特性，獲取最佳相似塊，以修復圖像。雖然該方法對優先權計算過程進行了優化，但優化過程沒有考慮圖像的清晰度信息，使得修復圖像中含有模糊現象。He等人[7]為了避免置信度的快速衰減，設計了置信度更新函數，將統計變換匹配準則與SSD模型相結合，獲取最佳匹配塊，用于修復損壞區域。雖然該方法中規避了置信度的快速衰減引起的優先權計算錯誤，但其忽略了圖像的清晰度信息，而且該方法中的樣本塊為統一尺寸，不能較好的適應圖像中的紋理變化，從而使得其修復圖像中含有塊現象。又如Lai等人[8]采用圖像的等照度線信息，尋找優先修復塊，利用空間差分度量約束方法，獲取最適匹配塊，進而得到修復結果。由于利用等照度線信息尋找優先修復塊的過程，有考慮圖像的清晰度信息，而且空間差分度量約束方法缺少對圖像色彩信息的度量，從而使得修復圖像中具有偽吉布斯效應。

為了改善圖像信息的修復質量，本文利用空間頻率，測量了圖像的清晰度信息，并將其引入到優先修復塊的尋找過程中，使得圖像的修復順序更為準確。通過圖像的灰度差異信息，構造灰度差異熵模型，以修整樣本塊大小。結合SSD模型與灰度差異熵模型，準確的匹配出待修復塊的最優匹配塊，以完成像素缺失區域的填充。采用本文算法對多種損壞圖像進行了修復，通過觀察本文算法對損壞圖像的修復效果，分析了其有效性。

2 本文圖像修復算法

通過觀察圖1所示的本文圖像修復算法的過程可以發現，其通過優先權度量、確定樣本塊大小和計算最優匹配塊來實現。

圖1 本文圖像修復算法的過程

1)優先權度量。利用空間頻率模型，對待修復塊的清晰度信息進行度量，并將其引入到待修復塊的優先權度量過程，以準確合理的計算圖像的修復順序。

2)計算樣本塊大小。通過對樣本塊中像素點之間的灰度差異信息進行測量，構造灰度差異熵模型，從度量樣本塊紋理特征的角度出發，計算了樣本塊大小。

3)計算最優匹配塊。將灰度差異熵模型與SSD模型相結合，構造搜索函數，用于計算最優匹配塊，以修復圖像。

2.1 優先權度量

通過對待修復塊的優先權進行度量，選取優先修復塊，可確定圖像的修復順序。Criminisi算法度量優先權P(p)的方法為[9]

P(p)=C(p)D(p)

(1)

式中，D(p)、C(p)為數據項和置信度項，以p為待修復圖像I中損壞內容邊緣上的一個待修復點，D(p)與C(p)的計算過程為[10]：

(2)

(3)

由于隨著修復過程不斷深入，C(p)會逐漸趨于0，因此從式(1)可見，此時利用D(p)與C(p)做乘法運算求取P(p)的結果就會出錯，從而使得優先權的度量變得不合理。對此，本文將采用空間頻率模型，對待修復塊的清晰度信息進行度量，并將其引入優先權計算，使得優先權的度量過程變得更為準確、合理。

圖像的空間頻率模型RC，利用大小為M×N圖像塊W中像素點p(x，y)的灰度特征，計算了該圖像塊的清晰度信息，其計算過程如下[12]：

(4)

式中，RF、CF分別表示W在行、列上的空間頻率，其計算過程如下

(5)

(6)

(7)

以圖2(a)所提的待修復塊為樣本，利用式(7)來選取其優先修復塊，經過多次計算，選取了圖像塊Lp為優先修復塊，結果見圖2(b)。

圖2 優先修復塊的選擇

2.2 計算樣本塊大小

圖像修復的過程中，為了適應圖像的不同紋理特性，需要對樣本塊的大小進行計算調整。在圖像紋理較為簡單時，可適當擴大樣本塊的尺寸，以使得修復區域具有較好的整體一致性。在圖像紋理較為復雜時，可適當縮小樣本塊的尺寸，以減少塊現象的出現[13-14]。本文將利用樣本塊中像素點間的灰度差異信息，構造灰度差異熵模型，度量樣本塊的紋理信息，對樣本塊的大小進行計算，選取適宜的樣本塊大小用于圖像修復。

在圖像塊Q中，像素點p(x，y)與q(x+Δx，y+Δy)的灰度差異信息Δp為

Δp=|up(x，y)-uq(x+Δx，y+Δy)|

(8)

式中，up(x，y)及uq(x+Δx，y+Δy)分別表示點p與點q的灰度值，(Δx，Δy)為p(x，y)與q(x+Δx，y+Δy)的坐標差值。

將像素點p(x，y)在Q中移動，獲取Δp的直方圖，并通過直方圖求取Δp的概率Δp(i)。接著在Δp(i)的基礎上構造灰度差異熵模型ET(p)：

(9)

ET(p)反應了Δp對應直方圖的分散度，若則直方圖的分散度較大，則ET(p)值也隨之增大，Q的紋理特征就更為復雜。

利用ET(p)計算樣本塊大小的過程如下。

1)將樣本塊大小的起始值設為v×v，并利用式(9)求取此時樣本塊對應的灰度差異熵值ET(p)j。

2)將樣本塊大小增大兩個像素點為v=v+2。在利用式(9)求取此時樣本塊對應的灰度差異熵值ET(p)j+1。

3)求取ET(p)j與ET(p)j+1的差異度ΔET(p)

(10)

并將ΔET(p)與閾值φ進行比較，若ΔET(p)≥φ，則表示ET(p)j+1對應的樣本塊大小紋理過于復雜，不能采用其對應的樣本塊大小，應該采用增大前ET(p)j對應的樣本塊大小。若ΔET(p)<φ，則表示ET(p)j+1對應的樣本塊大小是合理的，此時重復步驟1和步驟2，直到ΔET(p)≥φ為止，方可確定適宜樣本塊大小。

圖3反應了樣本塊大小的調整過程，通過灰度差異熵函數所確定的樣本塊大小如圖3中的實線框內容所示。

圖3 樣本塊大小的調整

2.3 計算最優匹配塊

通過SSD模型可從度量圖像的色彩信息出發，計算出與待修復塊具有最優相似效果的匹配塊。但僅通過SSD模型來計算最優匹配塊，可能出現多個最優匹配塊的現象，從而使得修復質量下降。而且SSD模型不能較好的度量圖像的紋理特征，易造成修復圖像的紋理出現斷裂現象。對此，本文將SSD模型與灰度差異熵模型相結合，構造搜索函數，用于準確的搜索最優匹配塊。

令Lp為待修復塊，Mq為θ中的匹配塊，則Lp與Mq間SSD模型為[15]：

SSD(Lp，Mq)

(11)

式中，Rx、Gx、Bx為像素點x的R、G、B值。

將SSD模型與灰度差異熵模型相聯合，構造的搜索函數SE(Lp，Mq)為

SE(Lp，Mq)=SSD(Lp，Mq)+ΔU(Lp，Mq)

(12)

式中，ΔU(Lp，Mq)為Lp與Mq對應的灰度差異熵的差值，其計算過程如下

ΔU(Lp，Mq)=|ET(p)-ET(q)|

(13)

式中，ET(p)與ET(q)分別為Lp與Mq對應的灰度差異熵值。

利用式(12)搜索最優匹配塊的過程如下

Mq=arg minSE(Lp，Mq)

(14)

圖4顯示了最優匹配塊的確定過程以及修復效果。其中圖4(a)顯示了最優匹配塊的確定過程，利用式(14)經過多次計算后，將紅色實線框所示匹配塊視為了最優匹配塊。從圖4(b)可見，本文算法修復圖像質量較好。

圖4 基于最優匹配塊的圖像修復效果

3 實驗結果

實驗中采用本文算法、文獻[16]和文獻[17]算法對損壞圖像進行修復，以對各算法的修復效果進行測試。實驗平臺為IntelCore TM i3-2120 CPU500GB硬盤的LenovoPC機，實驗采用的仿真軟件為MATLAB R2014a。實驗分為修復效果測試與量化測試兩個部分進行。實驗時本文算法中閾值φ=0.4。

3.1 修復效果測試

不同算法修復劃痕損壞圖像的效果如圖5所示。觀察圖5(c)可見，其含有振鈴和殘留現象。從圖5(d)可見，其含有邊緣斷裂和塊現象。觀察圖5(e)可見，其僅含一處輕微的殘留現象。圖6展示了不同算法修復遮蔽損壞圖像的效果。對比各算法的修復效果可見，圖6(c)中含有模糊和塊現象，圖6(d)中含有含有偽吉布斯效應和殘留現象，圖6(e)中僅有輕微模糊現象。圖7為不同算法修復文字損壞圖像的效果，對比各算法修復區域可見，圖7(d)中含有塊現象和殘留現象，圖7(f)中含有振鈴和模糊現象，圖7(h)中僅存在一處輕微斷裂現象。由此可見，本文算法對多種損壞類型的破損圖像都具有較好的修復能力，修復圖像的清晰度較高、質量較好。因為本文算法利用空間頻率模型度量了圖像的清晰度信息，并將其引入到優先權的度量中，提高了修復順序的合理以及準確性。同時本文算法還通過計算樣本塊中像素點的灰度差異熵信息，修正樣本塊大小。從而提高了本文算法的修復能力，及對破損圖像的修復質量。

圖5 不同算法對劃痕損壞圖像修復效果

圖6 不同算法對遮蔽損壞圖像修復效果

圖7 不同算法對文字損壞圖像修復效果

3.2 量化測試

結構相似度(structural similarity index，SSIM)指標是一種較為常見的修復圖像度量指標。修復圖像的質量與SSIM指標成正比。本文在圖8所示源圖像的基礎上，獲取不同像素缺失比例的待修復圖像，并對其修復。利用修復圖像的SSIM指標對各算法的修復性能進行量化測試。

圖8 源圖像

各算法的SSIM指標量化測試值如圖9所示。從圖9可見，本文算法對大面積破壞程度為52%的像實施后，其對應的SSIM指標為0.892，而此時文獻[16]與文獻[17]修復圖像的SSIM指標為0.785、0.829。通過觀察圖9可知，本文算法對其它破壞程度的圖像修復后，其對應的SSIM指標較其它兩個算法的SSIM指標也較高。由此可見，本文算法的修復性能較好，修復圖像具有較高的SSIM指標。因為本文算法采用樣本塊中像素點之間的灰度差異信息，構造了灰度差異熵模型，從度量樣本塊紋理特征的角度出發，修正了樣本塊大小。同時本文算法還將灰度差異熵模型與SSD模型相結合，構造搜索函數，用以準確的計算出最優匹配塊，對圖像進行較好的修復。從而提高了本文算法的修復性能。文獻[16]算法中采用了正則化因子，以構造了優先權度量函數，計算圖像的修復順序，同時利用平方誤差和函數以及絕對差和函數來選擇最佳匹配塊，以修復圖像。然而，文獻[16]算法的優先權度量函數中，沒有考慮圖像的清晰度信息，而且選擇最佳匹配塊時，采用的是統一大小的樣本塊，使得算法不能較好的適應圖像的紋理特征，從而導致算法的修復性能不佳。文獻[17]算法中將圖像塊之間的相關特性引入到優先權的度量過程中，并利用樣本信息自適應的調整樣本塊大小，接著通過圖像的結構以及歐幾里得距離信息，得出最佳匹配塊，獲取修復圖像。但是，文獻[17]算法的優先權度量過程，忽略了圖像的清晰度信息，而且利用結構以及歐幾里得距離信息得出最佳匹配塊的過程，不能較好的度量圖像的紋理信息，從而降低了圖像的修復性能。

圖9 各算法的SSIM值測試結果

4 結論

本文利用空間頻率模型獲取了圖像的清晰度信息，并以此為基礎，構造了優先權度量函數。以樣本塊中像素點之間的灰度差異信息為依據，獲取了適應圖像紋理的樣本塊大小。將灰度差異熵模型與SSD模型相結合，以準確的搜索出最優匹配塊，對圖像進行修復。實驗中從修復效果和量化測試兩個維度對本文算法的修復性能進行了測試，測試結果顯示了本文算法具有優良的修復性能。