基于圖像修復的圖像編碼技術

蔣 偉， 楊俊杰

(上海電力學院 計算機與信息工程學院，上海 200090)

0 引言

圖像編碼壓縮技術是圖像存儲、處理和傳輸中的關鍵技術。目前，利用離散余弦變換(DCT)和離散小波變換(DWT)的圖像編碼技術已得到廣泛應用，它們都是基于波形的第一代圖像編碼。為了開發性能更優的圖像編碼技術，從上世紀后期，基于對象的第二代圖像編碼已成為圖像處理的熱點之一。

圖像修復最早來源于藝術領域，用于藝術字畫和舊照片中破損區域的完整恢復或目標物的移除和取代。2000年首次提出了基于三階偏微分方程(PDE)的修復模型，在計算機上實現了自動修復，標志著數字圖像修復的正式提出[1]。而在信息傳輸過程中人為的丟棄一些符合某種可修復條件的圖像信息，就可以實現圖像數據量的刪減，也就是實現了信息壓縮。以目前主流的靜態影像壓縮標準（JPEG，Joint Photographic Experts Group）為例，只要將圖像修復技術以8×8塊為單元進行處理，就可以將圖像修復方法所產生的信息壓縮與JPEG壓縮算法結合起來，實現JPEG圖像的二次壓縮。基于這一思路，就產生了將圖像修復技術和壓縮編碼相結合的基于圖像修復的圖像壓縮技術。該技術充分利用了人眼視覺特性，可有效去除視覺冗余信息，具有良好的壓縮性能。

1 圖像修復技術

圖像修復目的是恢復有信息缺損的圖像，并使觀察者無法察覺圖像曾經缺損或已被修復。目前對該領域的研究，國外正在蓬勃發展，國內尚處于起步階段。

1.1 圖像修復技術簡介

圖像修復是填補圖像中部分區域內的缺失數據的一種圖像恢復方法,最初用于藝術領域，由專業人員手工修復古代繪畫, 將作品中被損壞的部分補齊，以恢復其完整性。圖像修復主要研究如何利用已知內容來推測未知區域中的數據。圖像修復的效果主要由主觀評測，完整、自然、符合人們推想的結果是圖像修補的目標。隨著圖像修復技術在多個應用領域的拓展，包括文物保護、影視特技制作、障礙物剔除、圖像壓縮、視頻通信的錯誤掩蓋等，圖像修復技術也逐步成為學術界的研究熱點。

1.2 圖像修復技術分類

對圖像修復技術的研究，從方法上來看可分為三類。①基于偏微分方程，屬于圖像正則化領域；②基于計算機圖形學中的紋理合成；③是將前兩類方法結合起來。下面分別介紹這幾種方法。

(1)基于PDE的修復方法

這類方法的基本思想是模擬手工修復的原理，利用待修復區域周邊的有效信息，將已知區域內的圖像信息沿著等照度線的方向平滑地延拓傳播到缺失區域中。偏微分方程的階次和缺失區域的尺度有關，缺失區域越大，其中包含的結構信息越復雜，則所需的階次越高。基于偏微分方程的圖像修補方法能夠較好地修補小的圖像瑕疵；但是，對較大的缺失區域、不規則的結構信息或丟失區域包含紋理等情況，修補結果不理想[3]。

(2)基于樣本塊的紋理修復方法

紋理是物質構成成分的分布或特征反映。常用的紋理合成方法是非參數化方法，對紋理樣本不作參數提取，而直接進行采樣和復制粘貼得到與之類似的生成紋理。這種修補方法能夠處理較大的缺失區域，特別適合純紋理內容的圖像，但在圖像比較復雜或缺失區域應包含明顯的結構時，修補結果有時不自然。

(3)偏微分方程和紋理合成相結合的圖像修復方法

目前主要的結合方式有兩種。一種是根據缺失區域的鄰域中的圖像內容來推測缺失區域是否包含結構信息，并選擇偏微分方程或紋理合成方法進行修復[2-3]。一般地，對平滑區域和邊緣區域選用偏微分方程，而對紋理區域則選擇紋理合成。另一種是把圖像分解成結構部分和紋理部分，然后分別運用PDE修復和紋理合成修復方法進行缺失區域的修補，最后疊加成為一幅圖像。這類方法的難點是如何進行有效而正確的圖像分解。

除此之外，還有一些利用其它數學模型進行修復的方法，例如基于數理統計的模型，基于小波、離散余弦變換等變換的修復模型。

2 基于圖像修復的圖像壓縮技術

將圖像修復技術和壓縮編碼相結合的編碼方法是以去除視覺冗余為目的的第二代編碼技術[4-5]。在編碼端人為地丟棄部分圖像塊，而在解碼端利用丟失塊周邊的信息恢復丟失塊的信息。該技術可分為有輔助信息和無輔助信息兩類。有輔助信息的系統在編碼端除了進行區域分類，判定保留區域和丟棄區域外，還要進行圖像分析，提取特定的圖像特征，例如邊緣，梯度等，并將得到的圖像特征作為輔助信息傳輸給解碼端，幫助圖像修復算法更好的恢復缺失區域。而無輔助信息的系統在編碼端只進行區域分類，丟棄部分圖像塊，并不傳遞圖像特征給解碼端。因此無輔助信息的系統傳輸數據所需的比特更少；而有輔助信息的系統重建圖像質量更好。

以S. D. Rane[6]的算法為例，無輔助信息的基于修復的圖像壓縮系統的結構如圖1所示。首先在編碼端對圖像進行分析，劃分保留塊和丟棄塊，然后編碼保留塊，信道傳輸后，接收端對接收碼流解碼，得到不完整的圖像，最后使用圖像修復技術恢復出缺失區域的圖像，得到完整的重構圖像。下面將分別介紹各個模塊的設計方法。

圖1 基于修復的圖像壓縮系統的結構

塊丟棄模塊：該模塊將圖像塊分為保留塊和丟棄塊兩類。人眼對不同圖像區域的敏感度不同，根據這一特性選擇是丟棄塊還是保留塊。例如人眼視覺對邊緣很敏感，因此盡可能保留包含邊緣的圖像塊（結構信息塊）；而人眼視覺對紋理區域，高亮度和低亮度區域的噪聲不敏感，因此可以丟棄較多的紋理信息塊。

編/解碼模塊：對輸入數據進行正常的圖像編碼和解碼。

塊劃分模塊：對丟棄塊進一步分類，判定當前丟失塊是紋理信息塊還是結構信息塊，以選擇不同的圖像修復方法。考慮丟失塊的8-鄰域，如果鄰域中有一個塊是結構信息塊，就認為該丟失塊也是結構信息塊。具體的判斷方法如下：首先引入“粗糙度”作為度量參數。對于一個s×s大小的塊，粗糙度就是丟失塊鄰域中局部極值的個數。粗糙度的范圍在0(沒有極值)和s2(塊內所有的像素都是極值)之間。如果一個像素的灰度值，既是所在行的極值，又是所在列的極值．那么該像素就是這個這塊區域的局部極值；然后定義局部極值的門限n，若極值個數低于n，則認為該塊屬于包含結構信息的塊，反之，則為紋理信息塊。

紋理塊恢復模塊：按照上述的塊分類方法，如果一個塊屬于紋理信息塊，那么其周圍8-鄰域都含有紋理信息。因此，可以從其鄰域中尋找合適的信息填充丟失塊。如圖2所示，丟失塊中以像素為單位逐個填充。假設未知像素P左邊的模板為 It，在丟失塊的8-鄰域區域內搜索可用信息，找到一個模板，要求與模板 It的距離最小。找到這樣的模板，則尋找其右邊的像素M，然后對應模板 It右邊的像素P的位置填充。依此類推，直到把整個丟失塊修復完整。

圖2 8-鄰域紋理合成

結構塊恢復模塊：結構就是圖像中兩塊區域的邊界或者色彩和灰度的明顯變化區。如果丟失塊被分類為包含結構信息的塊，則用偏微分方程修復，基本思路為：沿著等照度線的走向把周邊信息平滑的傳遞到待修復區域。傳遞信息的過程，實際就是求偏微分方程的數值解。

其中?、Δ和 ?⊥上分別表示梯度、Laplacian算子、以及梯度的垂直方向(等照度線方向)。穩態時有 ? (Δ I ) ? ?⊥I= 0 ，意味著ΔI在?⊥I方向上已經是常數，所以在待修復區域內滿足Laplacian的平滑連續了。

綜上所述，結合修復技術的壓縮方法由于只編碼部分圖像數據，所以編碼速率低；圖像的丟棄和修復充分考慮了人眼視覺特性，因此編碼性能高。但是在編解碼端加入了大量的判斷分類過程，很大程度上增加了算法復雜度和編解碼所需的時間，不適于實時編碼的應用場合。

3 結語

數字圖像修復技術是圖像恢復領域的一個重要分支和圖像處理領域研究的熱點。隨著各種技術的不斷深入研究，修復的應用場合越來越廣。結合修復的圖像壓縮技術也成為壓縮領域的研究熱點。基于修復的壓縮技術充分考慮了圖像中的視覺冗余，并根據對人類視覺系統特性的研究，采用一些計算機視覺中的圖像分析方法，能夠有效壓縮圖像，但這類算法總是引入了大量的數據計算和閾值判斷，算法的復雜度較高。

[1] BERTALMIO M, SAPIRO G, CASELLES V,et al. Image Inpainting[C].New York： ACM, 2000： 417-424.

[2] CRIMINISI A, PEREZ P, TOYAMA K. Object Removal by Exemplar-based inpainting[C].Madison：Comp.Vision Pattern 2003： 1200-1212.

[3] 趙云龍,徐帥,李光. 基于廣義遞歸反演的超分辨率圖像恢復研究[J]. 通信技術,2008,41(11)：41-43.

[4] 趙向坡, 劉新. 下一代視頻標準H.264中的圖象的變換和量化[J].通信技術, 2003(10)：10-12.

[5] 賀詞.可伸縮視頻編碼標準中的差錯控制[J]. 通信技術,2010,43(03)：144-146.

[6] RANE S D, SAPIROO G, BERTALMIO M.Struture and Texture Filling—in of Missing Image Blocks in Wireless Transmission and Compression Applications[J].IEEE Transactions on Image Processing,2003(12)：296-303.