基于變分自編碼器的非規則缺失圖像修復仿真

胡秋生，胡 璋

(南昌大學科學技術學院，江西 共青城 332020)

1 引言

圖像是人們日常生活中，必不可缺的一種信息形式，也是人們獲取外界信息的主要來源之一[1]。但是，許多流傳至今的古老圖像，隨著時間的流逝，都會出現一定的殘缺現象，從而使人們無法獲取完整的圖像信息，所以，研究出了圖像修復技術。圖像修復技術，幾乎與藝術創作本身一樣古老，修復技術也從最初始的手工修復，形成一門包含光學系統、微電子技術、計算法科學、數學分析等領域的綜合性的邊緣學科[2]。目前，國內外對圖像修復技術的研究，主要可以分為小尺度缺損的圖像修復、大面積圖像補全技術和圖像修復技術三類。小尺度缺損的圖像修復，借用了畫家手工修復圖像的方法，采用迭代的方式，通過變分PDE模型，完成圖像修復。大面積圖像補全技術，其修復方法，大致可以分為基于樣本紋理合成和基于圖像分解兩種方式。前一種是通過匹配的方式，在圖像缺失部分，填入圖像缺失的樣本，完成圖像修復，該修復方法修復速度快，但是卻存在貪婪性；后一種方法則是將需要修復的圖像，進行分解，根據圖像的元素結構，分別修復圖像，最后將所有元素疊加，得到完整的修復圖像。圖像修復技術采用的是圖像稀疏表示理論，通過系數重構圖像，完成圖像修復[3-4]。綜合上述研究，可以發現國內外對于圖像修復的研究，多是根據圖像的紋理、結構、修復面積大小、稀疏性等特性，修復圖像。然而，存在非規則缺失圖像修復方法，卻未曾有學者深入研究，為此提出基于變分自編碼器的非規則缺失圖像修復仿真。

2 變分自編碼器的非規則缺失圖像修復

2.1 基于變分自編碼器預測圖像內容

由于修復非規則缺失圖像，需要讓圖像局部信息完全一致，從而避免修復后的圖像，出現圖像局部斷層、拼接不完全、顯示內容虛假等問題[5-6]。所以，采用變分自編碼器，利用其對圖像的編碼和解碼的過程，將圖像的主要特征放大，推測圖像中非規則缺失的部分，并預測圖像非規則缺失部分內容，從而降低非規則缺失圖像修復難度[7-8]。

采用變分自編碼器，提取圖像局部信息，完成圖像修復，需要在變分自編碼器中，給定輸入的非規則缺失圖像。為此，假設在變分自編碼器中，輸入的非規則缺失圖像為x，圖像的非規則缺失區域為R，圖像所反映的局部信息為h，采用h(·)定義在非規則區域中，取子圖像特征映射的操作，即h(x，R)返回R內x的局部信息內容。

此時，變分自編碼器提取非規則缺失圖像的局部信息，所采用的直接方法，是訓練一個回歸網絡h，使用x的響應h(x)來逼近R處的基本真值x1，其中h(x)表示自編碼器生成的缺失區域預測圖像；此時，在修復圖像過程中，所產生的圖像內容損失l定義為

(1)

式(1)中，h(x1，R)表示R區域x1的真實像素；l表示自編碼器網絡輸出和原始圖像之間的距離；h(x)-h(x1，R)表示自編碼器生成預測缺損區域的像素與該缺損區域真實像素的差距[9]。根據式(1)得到的損失函數l，即可對兩部分圖像進行訓練。通過損失函數l指導變分自編碼器訓練圖像，可以得到一個訓練好的自編碼網絡，提取圖像紋理和結構特征，并得到圖像特征的預測結果。

根據圖1所示的變分自編碼器的編碼和解碼過程，以及式(1)得到的圖像局部信息誤差函數，可以有效提取圖像中的局部信息，并預測非規則缺失部分，需要填充的圖像，此時，只要將預測到的圖像非規則缺失部分，與圖像相連接，就可以確保圖像的完整性和連貫性。

2.2 重建圖像

連接變分自編碼器預測到的圖像非規則缺失，與非規則缺失圖像兩部分，將采用循環矩陣和特普利茲矩陣，增強圖像特征，循環重建圖像，直至圖像非規則缺失與非規則缺失圖像兩部分完美重合，即停止圖像重建過程。則圖像重建的循環矩陣C為

(2)

式(2)中，c表示循環矩陣C的元素，即圖像的非規則缺失和非規則缺失圖像兩部分；n表示元素個數[10]。從式(2)中可以看出，循環矩陣中的每一列、每一行，都處于輪換的狀態，即上一列或上一行，輪換至上上一列或上上一行輪換得來的。因此，循環矩陣由矩陣的第一列元素決定，則有

c=(c0c1…cn-1)T

E=(e2e3…enen-1)T

(3)

式(3)中，E表示循環矩陣的單位陣；e表示單位陣中的元素，en表示單位陣第n個元素[11]。根據式(3)，將式(2)轉換為

C=(cEcE2c…En-1c)

(4)

根據式(4)，即可讓圖像非規則缺失部分與非規則缺失圖像，處于不斷循環重建狀態，直至兩張圖片完全重合，才會停止矩陣的運轉。但是，此時的圖像會存在圖像非規則定點、斷裂等現象，為此采用特普利茲矩陣，連接圖像的非規則缺失對角元素，避免非規則缺失圖像，在修復后，存在裂痕問題。由于修復非規則缺失圖像，在重建圖像時，兩幅圖像的對角線是相等的，所以，特普利茲矩陣，平行于主對角線上的元素也相等，即特普利茲矩陣，由矩陣的首行和首列決定。假設一個大小為N*N的矩陣，其共有2N-1個不同元素，則特普利茲矩陣T為

(5)

式(5)中，n和m分別表示矩陣的元素的位置。基于特普利茲矩陣相似的結構特性，將特普利茲矩陣的首行t1和首列t2分別記作

t1=[xm+n-1，xm+n-2，…，xm+1]T

t2=[xm，xm-1，…，x1]T

(6)

此時，利用循環矩陣和特普利茲矩陣相似的結構特性，將式(6)式代入式(4)，則有

c=[t2，0，…，0，t1]T

(7)

根據上述圖1所示的變分自編碼器的編碼和解碼過程，及7個公式計算過程，即可在MATLAB7.0仿真軟件，完成非規則缺失圖像修復仿真。

2.3 非規則缺失圖像修復仿真

基于上述內容，預測的非規則缺失圖像局部信息和圖像非規則缺失部分，以及計算的圖像重建過程，設計的非規則缺失圖像修復仿真流程，如圖1所示。

圖1 非規則缺失圖像修復仿真流程

在此次仿真研究的非規則缺失圖像修復方法，所選擇的MATLAB7.0仿真軟件上，設置此次仿真研究非規則缺失圖像修復方法，如圖1所示的仿真流程，并將上述2.1和2.2節所示的圖像修復過程代入圖1中，即完成非規則缺失圖像修復仿真。

3 仿真實驗

為驗證此次仿真研究的非規則缺失圖像修復方法，采用仿真對比實驗的方式，驗證非規則缺失圖像修復方法，修復非規則缺失圖像效果。此次仿真，在計算機上進行仿真，選擇MATLAB7.0仿真軟件，作為此次仿真的仿真平臺。仿真對比結果，采用主觀和客觀兩種評價方式。將此次仿真研究的非規則缺失圖像修復方法，記為實驗A組；兩種傳統的非規則缺失圖像修復方法，分別記為實驗B組和實驗C組。確定實驗對象及實驗環境，改變不規則圖像缺失面積，對比三組方法，圖像修復效果、信噪比、均方根誤差和修復時間。

3.1 實驗準備

此次仿真，選擇柯達圖像數據庫，作為此次仿真的研究對象。柯達圖像數據庫中，共有圖像100萬張，選擇其中一張圖像，作為此次仿真的修復圖像，如圖2所示，剩下的圖像，作為此次修復圖像的修復樣本。此次仿真，所使用的圖像大小，全部設置為128*128，分辨率設置為72dpi。

圖2 仿真修復圖像

如圖2所示的仿真修復圖像中，a圖像表示原始圖像，b圖像表示非規則缺失圖像，即待修復圖像。此次仿真，需要采用三組圖像修復方法，分別修復圖2中的b圖像。

基于此次實驗，選擇的實驗對象，采用MATLAB7.0仿真軟件，仿真三組圖像修復方法的仿真流程如下：①在MATLAB7.0仿真軟件中，輸入圖3中的b圖像；②輸入三組圖像修復方法，在仿真模型中，建立圖像修復程序；③設置三組方法圖像修復參數；④置圖像修復仿真參數，包括仿真開始時間和結束時間，仿真求解器類型和求解器設置；⑤執行仿真；⑥查看仿真結果。

基于上述設置的實驗對象和實驗仿真流程，此次設置的仿真對比實驗，采用的仿真軟硬件環境，如表1所示。

表1 仿真環境

基于上述內容，設置的仿真參數，采用此次仿真，選擇的三組圖像方法，分別修復圖3中的b圖像，驗證此次仿真研究的非規則圖像修復方法。

3.2 圖像修復效果對比

基于此次實驗，選擇的實驗對象，設置的實驗流程和仿真環境，對比三組圖像修復方法，修復圖3中b圖像的修復效果。采用Video Viewer軟件，直接在MATLAB7.0仿真軟件中，輸出三組方法，圖像修復結果，如圖3所示。

圖3 圖像修復效果對比圖

從圖3中可以看出，實驗B組修復圖3中的b圖所示的不規則缺失，只能尋找其中存在的規則缺失，修復后的圖像，呈現出正方形，不規則缺失的邊角，在修復后，卻存在嚴重的模糊現象，只能修復規則缺失圖像；實驗C組修復圖3中的b圖所示的不規則缺失，雖然可以修復不規則缺失圖像，但是，在圖像缺失邊緣，存在模糊不清現象，修復效果差；而實驗A組修復圖3中的b圖所示的不規則缺失，修復后的圖像，與原始圖像完全一致。由此可見，此次仿真研究的非規則缺失圖像修復方法，修復圖像中存在的不規則缺失，不會出現模糊不清、修復不完全等現象，具有較優的圖像修復效果。

3.3 圖像信噪比檢驗

基于第一組實驗結果，進行第二組實驗，采用峰值信噪比(PSNR)，對比三組不規則缺失圖像修復方法，修復后的圖像，峰值信噪比變化，驗證三組方法的性能，其計算公式如下

(8)

式(8)中，P表示峰值信噪比；u表示修復后的圖像的噪聲；u0表示原始圖像存在的噪聲。信噪比越高，圖像修復性能越好。改變圖3中b圖所示的圖像確實面積，采用式(8)，計算第一組實驗修復過程，修復不同面積缺失圖像的信噪比，采用MATLAB7.0仿真軟件，提取三組方法修復的圖像結果，如圖4所示。

圖4 信噪比檢驗結果

從圖4中可以看出，實驗B組修復不規則缺失圖像，產生的信噪比最低，且隨著圖像不規則缺失面積的增加，其信噪比還在不斷降低；實驗C組修復不規則缺失圖像，初始信噪比雖然較高，但是隨著圖像缺失面積的增加，其與實驗A組之間的信噪比差，也在不斷增加；而實驗A組修復不規則缺失圖像，產生的信噪比，明顯高于實驗B組和實驗C組。由此可見，此次仿真研究的非規則缺失圖像修復方法，修復圖像中存在的不規則缺失，產生的信噪比高，具有較高的不規則圖像缺失修復性能。

3.4 均方根誤差指標及修復時間對比

為進一步驗證三組不規則圖像修復方法，對不規則圖像缺失修復效果，在第一組實驗和第二組實驗的基礎上，進行第三組實驗，修復不同大小的不規則缺失圖像，產生的均方根誤差(RMSE)值，其計算公式如下

(9)

此外，記錄三組方法，修復每張圖片所需時間，并計算不同檔次不規則缺失圖像修復的平均時間，對比三組方法，修復25%、50%和75%三個檔次不規則缺失圖像的平均時間。其均方根誤差及修復不規則缺失圖像平均時間對比結果，如表2所示。

表2 三種算法均方根誤差及時間對比結果

從表2中可以看出，實驗B組修復不規則缺失圖像，雖然所用時間較短，但是，產生的均方根誤差值最大，圖像修復效果最差；實驗C組修復不規則缺失圖像，雖然均方根誤差相對較小，但是，修復不規則缺失圖像，所用時間最長；只有實驗A組，不僅修復不規則圖像，所需時間最短，且經過式(9)，計算得到的均方根誤差，也最小。由此可見，此次仿真研究的非規則缺失圖像修復方法，修復圖像中存在的不規則缺失，產生的修復誤差小，且修復不規則缺失圖像，所需時間短。

綜合上述三組實驗結果可知，此次仿真研究的非規則缺失圖像修復方法，修復圖像中存在的不規則缺失，不會出現模糊不清、修復不完全等現象，產生的信噪比高、修復誤差小，修復所需時間短，具有較高的不規則圖像缺失修復性能，較優的圖像修復效果。

4 結束語

綜上所述，此次仿真研究非規則缺失圖像修復方法，充分利用變分自編碼器的表征學習算法的功能，預測圖像缺失部分特征，提高圖像不規則缺失速度和效果。但是，此次仿真研究的非規則缺失圖像修復方法，未曾考慮圖像色彩修補，圖像顏色的協調性。因此在今后的研究中，還需深入研究非規則缺失圖像修復方法，進一步協調圖像修復顏色，提高圖像修復效果。