基于單層小波變換的視覺傳感圖像超分辨率重建*

張 劍劉 鑫

(1.山西職業技術學院計算機工程系，山西 太原 030006；2.中南大學計算機學院，湖南 長沙 410083)

近年來，隨著前沿技術的發展，使得視覺圖像成為獲取數據信息的直接途徑，并在軍事、醫療、治安以及工業等各個領域都取得了重要應用。但由于技術的不成熟或外界環境因素的影響，在視覺成像的過程中，會因為圖像的分辨率過低而增強邊緣細節刻畫的模糊性，進而影響整體的清晰度。所以就需要根據實際情況，采用相關技術手段對分辨率異常的問題實現有效解決。而基于視覺傳感圖像的超分辨率重建策略，采用目標插值等技術手段成為現階段的主要解決方法之一，該方法可以保存更多的細節以及高頻信息，且算法的魯棒性和實用性較強，是目前傳感領域的研究熱點及重點。

文獻[1]提出一種基于卷積神經網絡的傳感視覺圖像重建方法，主要通過卷積神經網絡建立三維通道對圖像進行輸入傳輸，提取分辨率較低的信息數據，進行圖像的超分辨率重建。該方法技術要求較高、算法實施難度過大、整體實用性較差；文獻[2]則是通過深度學習方法來識別圖像的超分辨率，利用自相似算法實現圖像細節的轉換。該方法對細節控制效果較差，且忽略邊緣位置的模糊度量問題，導致圖像出現失真現象；文獻[3]將稀疏表示應用于圖像超分辨率重建，利用亞像素精度的配準和自適應加權特征算子，從多個含噪的低分辨率像素中重建高分辨率像素。但是，該方法的魯棒性問題尚未得到有效解決；文獻[4]通過特征映射注意機制提取低分辨率圖像中的可用特征，并將多個特征進行融合處理。通過調整圖像信息特征，完成圖像的超分辨率重建。但是，該方法的整體耗時過長，導致重建效率不足。

綜合上述出現的問題，本文主要通過空間感知方法來改善視覺傳感圖像的分辨效果，并利用單層小波變換的特征優勢去除圖像中的干擾噪聲，這樣對圖像尺度的細節分析會更加直觀便利。

1 基于單層小波變換的圖像去噪預處理

由于外界信號傳輸環境的影響，視覺圖像受外部因素干擾，其中信道噪聲對成像的干擾尤為嚴重，所以需要針對噪聲問題對原始圖像進行預處理操作，去除異常信息。為了提高去噪的可靠性，采用單層小波變換算法進行去噪處理。

設含有信道噪聲數據的圖像為v(i)；待重建且未受到異常數據干擾的圖像為u(i)；n(i)表示分辨率均值為0的信道噪聲(多為高斯白噪聲)數據；將三者結合得到此關系式v(i)＝u(i)＋n(i)，并且該關系式符合高斯分布條件，根據歐式距離[5]公式對此進行具體表達為:

式中:σ2表示方差均值；a為常數值，表示高斯白噪聲標準差，對于樣本像素點k，設定一個形狀為矩形的鄰域范圍表示為N k，在該范圍內對圖像中任意像素點i和j之間的歐式距離進行加權計算，表達式為其中E表示歐氏距離參考閾值，且高斯白噪聲的標準差值范圍為[0.01，0.4]。由此可知，在該關系式中受噪聲數據影響的視覺圖像加權距離的平方差、與正常圖像的方差值為常數2σ2，基于此，就可得出任意像素i與j之間目標相似度的加權值，表達式為:

式中:w(i，j)表示控制加權值；z(i)表示噪聲調整函數，表達式為:

式中:h表示圖像平滑參數[6]，式(3)可表達為是歸一化后的計算結果。基于上述過程，就能通過調整參數h對原始圖像的噪聲位移進行調整計算。并根據控制權值w(i，j)的數值大小，使其滿足該條件0≤w(i，j)≤1且∑w(i，j)＝1，借此實現降低噪聲、改善圖像平滑度的目的。

2 邊緣多特征性分辨率檢測

為保證圖像細節的特征效果，根據多尺度結構特征[7]對圖像中處于邊緣微值的分辨率進行具體檢測，基于高斯平滑[8]ξ(x，y)定義小波變換函數為

式中:J*表示邊緣保持特征[9]平滑位移參數；設:

式中:R2表示尺度標量參數，圖像在進行邊緣檢測[10]時在x和y方向上的變化分量以及模糊度量表示為:

根據上述過程中計算的變化分量及模糊度量值，就可準確檢測處于圖像邊緣[11]位置的分辨率數值。邊緣分辨率檢測流程如圖1所示。

圖1 邊緣分辨率檢測流程

3 圖像超分辨率重建方法

以上述經過計算處理后的圖像數據為基礎，設定一個大小為L×L的灰度圖像[12]表示為f(x，y)，假設該圖像內正常像素分布的數值關系為L＝2n(n取正整數)。在分辨率較高的視覺傳感空間V n內，對灰度圖像f(x，y)實行單層小波變換[13]，將原始圖像按照降序關系依次進行排列組合后，再分布到分辨率較低的視覺傳感空間V0內，并且V0的基底層中只存在一個單一元素為φ0，0，其他層次的元素展開系數為λ0，0，基于此對f(x，y)進行展開計算:

式中:γj，t和分別ψj，t表示在像素j和時間t下的參考系數，得出以下關系式:

式中:γj，t(0≤j≤n)，對參考系數γj，t和ψj，t采用Huffman樹方法進行數據編碼，將編碼后的圖像系數按照順序整理為集合。在該集合中先寫入灰度圖像f(x，y)在分辨率較低的空間V0內的展開系數為λ0，0；在分辨率較高的空間V n內的展開系數為φ0，0。再寫入小波變換[14]空間W t內任意三點展開系數為γ1，t、γ2，t、γ3，t，以此類推，直至按照參數要求寫完全部的展開系數γj，t。將全部系數進行小波逆轉換，就可得到接收方的最低分辨率的重建圖像表達為:

式(12)為原始灰度圖像f(x，y)在分辨率較低的空間內的具體表現。

以上述過程為依據，對灰度圖像f(x，y)在小波變換空間內的展開系數γ1，t、γ2，t、γ3，t進行逆轉換操作，得出以下關系式:

通過以上過程，就能根據像素點的分辨率高低對應進行小波轉換及逆轉換，至此完成視覺傳感圖像的合理重建。視覺傳感圖像的超分辨率重建過程如圖2所示。

圖2 超分辨率重建過程

4 仿真實驗

4.1 實驗設置

為保證仿真實驗的真實性及準確性，本文測試過程主要在MATLAB平臺上進行，數據編譯軟件采用的是Math Works微軟公司出品的MATLAB 2019款商業數學軟件，用于原始圖像處理及視覺信息計算等工作。

以256×256的視覺傳感圖像為實驗對象，進行具體超分辨率重建測試。在對原始圖像的分辨率數據進行獲取時，為確保像素信息的清晰度及時效性，將分辨率重建的平均倍數取值為2。

本文將從主觀以及客觀的辯證角度上，分析參考文獻[2]提出的深度學習圖像重建法、參考文獻[3]提出的稀疏表示圖像重建法與本文方法對原始圖像的重建效果，保證實驗的真實性和可行性。主觀的分析角度就是對比三種方法下的重建圖像，在正常亮度環境下其曝光率、清晰度以及細節內容的具體表現；

而客觀的分析角度就是對比三種方法的SSIM(結構相似性)以及PSNR(峰值信噪比)的具體表現。其中，SSIM的是0～1之間的數值，數值越高表明該方法對原始圖像細節的保留性越好，反之則越差；PSNR的數值越高表明圖像噪聲數據的處理效果越好、清晰度越高。

PSNR的計算公式為:

式中:MSE表示誤差方根；MAXI表示圖像像素的最大值。

SSIM的計算公式為:

式中:e X、e I SR為原始圖像和重建圖像的像素均值；C1和C2為常數值。原始圖像方差為重建圖像方差為δI SR

2；δX I SR為協方差。

4.2 視覺重建效果對比分析

選取40×40像素，且大小為256×256的圖像為原始圖像，完成超分辨率的重建，效果對比如圖3所示。

圖3 超分辨率重建對比結果

從圖3中可以看出，原始圖像3(a)屬于低分辨率圖像，整體色調不清晰、在局部視野中細節特征出現模糊現象。

觀察圖像3(b)稀疏表示法重建后的視覺效果，與原始圖像相比，清晰度有所提高但分辨率還是較低，對于細節紋理的刻畫效果較差，出現了特征丟失及視覺偽影現象，并且局部視野中的效果也不是很理想，物體邊緣位置失真現象嚴重，說明重建算法沒有對噪聲數據以及低分辨率的影響實現有效解決。

而圖像3(c)深度學習圖像重建法也出現了同樣的狀況，齒距現象嚴重且出現大量噪聲點，影響整體圖像的視覺觀感，清晰度及分辨率都較低，邊緣位置有明顯的模糊現象。出現這種現象的主要原因就是，該方法沒有對原始數據進行降噪處理，導致出現大量高斯白噪聲分布點使得細節特征丟失、影響圖像的重建效果、降低分辨率以及清晰度。

反觀圖像3(d)本文方法重建后的視覺圖像，與原始圖像相比不僅保留了原始的特征信息，還實現了深度刻畫，提高了視覺觀感性。通過局部視野的細節觀察可以看出，對于細節的紋理特征以及邊緣位置的噪聲處理效果較好，沒有出現任何視覺偽影及圖像失真現象。這主要是因為，本文方法采用單層小波變換算法針對區域噪聲進行了預處理，在不破壞原始特征數據的前提下，提取了深層次的細節信息，在最大程度上改善了邊緣模糊及色調不明現象。

4.3 信噪比及結構相似性參數對比分析

隨機抽取數據庫內1 000張待重建圖像，分別使用三種方法在10 h內完成圖像重建工作，同時計算每小時內重建后圖像PSNR及SSIM均值，結果如圖4、圖5所示。

圖4 三種方法的信噪比對比

圖5 三種方法的結構相似性對比

從圖4中可以看出，深度學習法和稀疏表示法的信噪比數值曲線呈較大幅度波動趨勢、數值變化較為嚴重。這說明二者方法的重建效果不理想，受噪聲影響嚴重，導致峰值信噪比較低且不斷變化，稀疏表示方法與深度學習方法的最高信噪比分別為33.55 dB與33.18 dB。出現這種現象主要是因為:在計算的過程中忽略了高低分辨率空間關系，沒有對原始圖像的分辨率參數進行細節劃分，導致出現數據混雜的現象，增加重建誤差。

而本文方法的峰值信噪比曲線分布范圍較小，整體走勢相對較為平緩。信噪比數值是衡量圖像失真問題的重要標準，本文的信噪比是所有方法中最高的，最高值達到34.57 dB，最低值為34.3 dB，最低值也高于兩種對比方法，這說明本文方法的重建效果較好，對過程中出現的信道噪聲問題實現了合理解決，去除了干擾現象。

從圖5中曲線的增長趨勢變化，可以直觀地反映出三種方法對視覺圖像超分辨率的重建效果，其中，本文方法的相似度數值呈略微波動的增長趨勢，最后穩定在一個數值，本文方法的結構相似性參數變化范圍為0.92～0.95。說明本文方法對原始圖像的信息保留效果較好，沒有出現結構破壞現象，這也在一定程度上表明了本文重建算法的優異性。而對于另外兩種方法的結構相似性變化曲線，整體處于較低的數值水平，稀疏表示法的結構相似性變化范圍為0.77～0.87，深度學習方法的結構相似性變化范圍為0.52～0.63。說明兩種對比方法重建后的圖像與原始圖像特征差異性較大，對特征細節的保留效果較差，算法的性能水平較低。

5 結論

本文研究視覺傳感領域圖像的變換特征，并加以分析給出基于單層小波變換的超分辨率重構方法，利用算法特點來提升圖像質量，并使用目標像素加權的預處理手段實現信道噪聲的提升，減少計算誤差、提高圖像重建質量。針對圖像的細節特征模糊問題，也通過空間分級操作實現有效改善。本文算法在保證圖像高頻信息的同時還能有效解決高斯噪聲問題，與原始圖像的相似度較高，最高PSNR與SSIM分別為34.57 dB與0.95 dB。

由于人眼對圖像的曝光度及亮度變化較為敏感，所以，基于超分辨率的重建方法只適用于高亮度的像素通道，針對此問題，如何有效改善重建方法的局限性是下一步的研究重點。