基于稀疏表示的對抗網絡圖像聚焦形貌修復

陸 焱，胡玉榮，郭 競

(1.荊楚理工學院計算機工程學院，湖北荊門448000；2.荊楚理工學院科技處，湖北荊門448000；3.西北大學信息科學與技術學院，西安長安 710127)

1 引言

隨著經濟水平和科學技術的不斷發展，圖像技術在越來越多的行業中得到廣泛應用，對于圖像采集的質量和處理效果也提出了新的要求[1-2]。圖像在采集過程中往往會受到光影影響，導致圖像難以清晰地聚焦在采集圖像目標上，問題最突出的便是在人體形貌聚焦采集方面。因此多聚焦圖像融合與修復技術應運而生[3]。然而，由于傳統的多聚焦圖像修復技術無法很好地實現圖像冗余信息的分離，對外界噪聲等影響因素敏感度也不高，對于人體形貌圖像的融合與修復的處理效果仍存在一些明顯缺陷。

相關學者對此進行了改進，取得了一定研究成果。曹義親等人提出基于卷積稀疏表示的圖像融合方法[4]，根據視覺顯著性融合圖像，通過Butworth低通濾波對高頻子帶系數進行調整，最后實現脈沖耦合神經網絡的有效融合，此方法提升了圖像融合效率，但是圖像修復清晰度不佳。陳賽健等人提出基于生成對抗網絡的文本圖像聯合超分辨率與去模糊方法[5]，利用采樣模塊方法實現超分辨率圖像模塊劃分，利用去模糊模塊方法重建文本圖像，實現了圖像形貌修復。但是此方法去噪效果越好。

為此，本文提出了一種基于稀疏表示的對抗網絡多聚焦圖像形貌修復方法。稀疏表示是一種圖像表示模型，以其優良的信號除雜與信息檢測分離功能，在諸多信息技術和圖像處理領域得到了廣泛的應用。在圖像聚焦形貌處理方面，稀疏表示能夠更精準的完成圖像除雜降噪、圖像融合與局部圖像識別分辨等處理環節，完成較為理想的圖像聚焦形貌修復。

2 對抗網絡圖像聚焦形貌的圖像處理

2.1 圖像數據信息采集

對抗網絡圖像聚焦形貌修復的處理過程，首先要對目標圖像進行數據信息采集[5-6]。

由于圖像聚焦形貌修復技術主要是對圖像中的形貌部分進行修復處理，所以數據信息采集主要是針對形貌圖像信息進行檢測。首先在圖像中進行精準全面識別，然后按照用戶要求的處理標準和形貌處理的分辨率設定情況，對圖像進行放大；再根據圖像分辨率情況和相關要求，將識別圖像進行局部的區域劃分；再次利用圖像檢測與數據信息采集程序，對局部圖像進行清晰的信息檢測。對抗網絡圖像聚焦形貌的圖像信息采集流程如圖1所示：

圖1 對抗網絡圖像聚焦形貌的圖像信息采集流程

如果圖像素材中擁有多個相似圖像，則需要對相似圖像進行相同規則的圖像識別和信息檢測，然后將檢測獲取到的圖像信息數據按一定的分類規則進行整理，并通過數據檢測程序排除存在誤差缺漏的數據[7-8]。之后通過對比分析得到圖像形貌信息的具體情況，并將整理完畢的數據保存為目標圖像的數據集。同時，計算機系統會形成備份數據保存在系統的數據庫中，以防突發情況造成數據丟失。

2.2 聚焦形貌圖像處理

在獲取了目標圖像各方面的信息數據之后，可對獲取的圖像信息進行處理。首先需要進行多層次的圖像融合，圖像融合是指將擁有同一拍攝目標與相似背景環境的多幅圖像進行融合，以獲取到關于該圖像目標更全面精準的圖像[9，10]。在對抗網絡多聚焦圖像形貌修復處理過程中，需要利用圖像融合技術對多個目標圖像素材進行融合，以減少光影，噪點等環境因素的影響，形成圖像信息更加全面的多聚焦圖像。對抗網絡圖像融合示意圖如圖2所示。

圖2 對抗網絡圖像融合示意圖

分析圖2可知，本文選用的多層次圖像融合技術主要分兩個層次：首先是進行像素級的圖像融合，像素級的圖像融合是圖像融合的基礎，主要通過圖像像素識別與數據檢測程序，對目標圖像素材進行圖像像素數據的采集與分析，得到精確具體的圖像尺寸、像素個數以及分辨率，還包括色彩、光影等方面的像素數據；之后根據像素級圖像融合的數據情況進行特征級圖像融合。

級的融合圖像數據分析情況進行圖像特征預處理，提取圖像素材中的主要特征點，并根據圖像特征點的數據信息，通過相關性矩陣運算，獲取圖像信息數據集中相關性較高的特征數據，然后根據特征點數據信息對圖像素材進行特征匹配，能夠得到精度較高的融合圖像[11]。

根據圖像結構對數據集中的所有圖像信息進行篩選，經過圖像信息檢測確定一個圖像元素組成與圖像結構較為穩定的局部圖像信息作為參考標準，根據該部分圖像的紋理、結構對其它圖像進行篩選，獲取數據信息相似度較高的圖像碎片。將符合要求的圖像部分進行拼接形成大致的目標圖像，針對存在缺漏破損的部分，整合與該部分相關聯的圖像信息數據通過計算程序獲得大致與圖像整體數據相關度較高的圖像信息數據，并將數據拼接融合到整體圖像中，完成目標圖像的初級融合與修復。

3 基于稀疏表示的對抗網絡圖像聚焦形貌修復

3.1 稀疏表示圖像修復算法

稀疏表示基本原理是假設目標信號信息數據中的元素大多為自然元素，那么這個信號信息是稀疏的，自然元素能夠通過原子的線性組合對信號進行表示，稀疏表示的模型主要根據目標信號信息數據的字典進行構建。用x表示信號，D表示字典，α表示稀疏表示系數。利用圖像信息數據檢測分析得到的信號數據范圍，設定一個固定的字典矩陣，則信號的稀疏表示等同于信號數據的系數與字典矩陣的乘積，注意其中的信號元素為非零的自然元素[12]。

進行稀疏表示信號運算之前首先要完成字典類型的選擇。根據目標處理信息的類型與相關數據的大致情況，對字典矩陣進行大致的預估，再根據信號信息相應特征，具體判斷選擇字典類型。

對于本文研究的對抗網絡圖像聚焦形貌修復技術，一般選用貪婪算法比較精準。本文采用的是貪婪算法中的追蹤匹配法，運算公式如下

(1)

(2)

式中，ωR、ωG、ωB分別代表R、G、B的權值。

利用頻域平滑濾波對圖像進行去噪，圖像噪聲、邊緣和跳躍表示高頻分量，圖像的背景以及變化緩慢的部分表示低頻分量，根據頻域濾波，可以將高頻分量去除，圖像得到了平滑，表達式如下

G(u，v)=H(u,,v)F(u，v)

(3)

式(3)中，F(u，v)為經過傅里葉變換的原始圖像，G(u，v)為經過傅里葉變換后的平滑電力設備圖像，H(u,,v)為濾波轉移函數。

為了便于圖像的處理，引入離散來表示對抗網絡圖像，r表示灰度級，pr(r)表示灰度的分布情況，滿足如下公式

(4)

其中，nk表示灰度像素rk一共出現的次數，n表示總像素。

由于對抗網絡圖像經常會有對比度低的問題，直接影響了圖像的識別，通過對圖像增強，可以突出電力設備圖像的特征。利用直方圖均衡化對圖像特征區的對比度進行擴大，直方圖均衡化變換函數為

(5)

根據此式對目標信號數據進行稀疏求解，對相似圖像素材數據分別進行稀疏表示，再經過累加迭代運算，得到該目標圖像精準度較高的圖像數據匹配與缺陷填補。

3.2 對抗網絡圖像聚焦形貌修復

基于上述圖像稀疏運算的結果數據，完成多聚焦圖像形貌修復處理。將稀疏表示運算結果導入到圖像處理系統程序中，以之前完成的初級融合圖像為基礎，根據稀疏表示結果數據，對圖像進行進一步細化與缺陷修補。基于稀疏表示的對抗網絡圖像聚焦形貌修復流程如圖3所示。

圖3 基于稀疏表示的對抗網絡圖像聚焦形貌修復流程圖

由圖5可知，通過圖像生成器將信息數據轉化為對應的圖像元素，對目標圖像存在缺陷的部分進行調整修補；完成修補之后，利用圖像處理程序對圖像細節方面處理，銳化形貌圖像，去除圖像模糊部分，提高圖像聚焦部分的分辨率，使生成的圖像更加清晰化。對于圖像中的線條與光影邊緣部分進行平滑處理，平衡穩定圖像的色彩與結構，降低圖像違和感。根據原始圖像素材對生成圖像進行對比分析，選取還原度最高的、最合理的生成圖像作為最終修補結果。對于存在缺陷的圖像部分，可再次進行圖像掃描檢測，消除修補區域的模糊部分，提高圖像的融合度，進一步增強了多聚焦形貌修復圖像的精確性與完整性。

4 實驗研究

為了驗證本文提出的基于稀疏表示的對抗網絡圖像聚焦形貌修復方法的有效性，與傳統方法進行實驗對比，實驗環境為：Intel Core i3550(3.2GHz)，4GB RAM，Windows7(32bit)，Net Logo V5.0.4。

設定實驗參數如表1所示。

表1 實驗參數

根據上述參數，選用本文提出的基于稀疏表示的對抗網絡圖像聚焦形貌修復方法為實驗組，傳統的基于深度學習的對抗網絡圖像聚焦形貌修復方法以及基于樣本塊的對抗網絡圖像聚焦形貌修復方法作為對照組，對圖像進行修復。引入DCT作為完備字典，分析內部噪聲，將原來的圖像加入噪聲，同時加入中值濾波，利用峰值信噪比(PSNR)和均方誤差(MSE)作為參數指標，來衡量圖像的質量。

未加入噪聲的圖像處理實驗結果如圖4所示。

圖4 未加入噪聲的圖像處理實驗結果

觀察上圖可知，本文提出的基于稀疏表示的對抗網絡圖像聚焦形貌修復方法，與傳統的基于深度學習的對抗網絡圖像聚焦形貌修復方法以及基于樣本塊的對抗網絡圖像聚焦形貌修復方法都能對圖像進行復原，但是很難復原成原來的樣子。就圖像恢復清晰度來看，本文提出的基于稀疏表示的對抗網絡圖像聚焦形貌修復方法清晰度高于傳統修復方法。圖像質量評價指標如下表2所示。

表2 未加入噪聲圖像質量評價指標

上表的質量參數能更加直觀地反映出三種修復方法的修復能力。在PSNR上，本文提出的圖像修復方法優于傳統方法，但是這種優勢并不明顯，而在MSE指標上本文提出的方法修復能力更好。

加入噪聲的圖像處理實驗結果如圖5所示。

圖5 加入噪聲的圖像處理實驗結果

由上圖可知，本文提出的修復方法能夠更好地處理噪聲問題，提高信息的采集能力，實現信息修復。而傳統方法在處理噪聲問題上，有著明顯的弊端，即使完成修復，得到的信息也十分模糊。對于噪聲圖像質量評價指標如表3所示。

表3 加入噪聲圖像質量評價指標

觀察表3可知，本文設計的方法對于噪聲圖像的修復能力要明顯優于傳統修復方法，本文方法引入稀疏表示模型，將圖像塊聚類之后，利用K-SVD字典對圖像進行訓練，訓練后與圖像的稀疏系數相乘，從而得到更好的修復結果。

5 結束語

本文基于傳統的多聚焦圖像修復技術存在的弊端，提出了一種基于稀疏表示的對抗網絡圖像聚焦形貌修復方法。這種方法能通過對圖像數據信息的稀疏表示運算結果，獲取關于目標圖像各方面參數更精準的數據信息，并結合圖像融合技術對目標圖像進行較為完整的圖像融合，同時利用圖像生成技術將稀疏表示所得數據轉化為圖像元素，實現對圖像缺陷部分的精準修補。本文研究的方法對于對抗網絡的多聚焦形貌圖像有良好的修復和處理效果，有很強的適用性，能夠為聚焦圖像修復領域的相關技術研究提供一定的價值參考。