寬帶多媒體集群系統中的圖像增強與恢復技術

吳利平　盧煜

1 引言

寬帶多媒體集群系統是多種通信技術的融合應用，它是以強大的固網、寬帶、3G、TD-LTE等網絡資源為通信基礎，充分利用高速網絡帶寬和強大的多媒體業務服務支撐能力，實現移動辦公、物聯網、電子商務等業務的集群通信系統。如圖1所示，寬帶多媒體集群系統采用大區制組網技術，保證大區域覆蓋；向下兼容窄帶，實現窄帶到寬帶的平滑過渡。與窄帶集群系統相比，寬帶多媒體集群系統在語音、短數據等基本業務的基礎上，增加了現場圖像、高速數據傳輸等功能，增強了對事態的感知和信息共享能力，實現了更加高效的指揮調度。

在寬帶多媒體集群系統的圖像采集和傳輸過程中，由于采集設備性能與環境背景、信道噪聲干擾等諸多種因素影響，導致接收圖像會出現運動模糊、噪聲干擾嚴重、質量退化等現象。然而，由于寬帶多媒體系統通常運行為行業專網，服務對象對圖像的分辨率、圖像質量和實時性都有較高的要求，這給頻譜資源和信道帶寬有限的集群系統帶來了巨大的挑戰。因此，如何在不增加傳輸數據量和所需帶寬的情況下，提高現場圖像的質量和分辨率以改善用戶使用效果，成為目前寬帶多媒體系統亟待解決的問題。

本文將通過建立寬帶多媒體系統的圖像退化與復原模型，并在圖像復原過程中采用消噪濾波、去模糊化、超分辨率重建等圖像增強與恢復技術，來提高圖像的質量和分辨率，改善服務用戶對現場圖像的感知與識別能力，從而進而提升集群系統的指揮調度性能。

2 圖像退化與復原模型

在寬度多媒體集群系統中，視頻數據的采集、傳輸、增強和恢復過程可以等效為如圖2所示的圖像的退化和復原模型，其中，退化過程包括原始數據的下采樣和模糊退化以及傳輸過程中的噪聲干擾；而復原過程則可采用噪聲濾波、去模糊化和超分辨率重建等技術。在空域上，經過退化后的加噪模糊圖像數學模型為[1]：

g（x，y）=h（x，y）*f（x， y）+η（x， y） （1）

其中，f（x，y）和η（x，y）分別表示原始圖像和噪聲，h（x，y）為點擴散函數（PSF，Point Spread Function），“”為空間卷積符號。將上式模型寫成等價的頻域表達式為：

G（u，v）=H（u，v）F（u，v）+N（u，v） （2）

式中

H（u，v）=∞-∞∞-∞ h（x，y）exp[-j2π（ux-vy）]dxdy為退化函數。

圖像復原就是要盡可能恢復退化圖像的原始面目，其原理是以圖像退化模型為基礎，采用各種逆退化處理方法進行恢復，使圖像質量得到改善。假設原始圖像f（x，y）和噪聲η（x，y）都是隨機變量，接收端對原始圖像為的估計為，圖像復原的目標就是使得它們之間的誤差最小：

（3）

式中，表示求參數的期望。在圖像復原過程中，降噪濾波的作用是盡可能降低噪聲對復原過程和結果的干擾，去模糊化和超分辨率重建則既能有效提高圖像質量又可以改善視覺效果，以便于后期圖像分析與識別。

3 寬帶多媒體系統的圖像增強與恢復

在寬帶多媒體系統的圖像復原過程中，采用適合的圖像增強與恢復技術不僅能夠改善視覺效果，改善圖像質量、豐富信息量，加強圖像判讀和識別效果，而且能盡可能恢復退化圖像的原始面目，使圖像質量得到改善，甚至可以提高圖像的分辨率。接下來將對噪聲濾除、去模糊化和超分辨率重構等典型的圖像增強與恢復技術進行詳細介紹，并對典型算法進行性能分析和比較。

3.1 降噪濾波

圖像噪聲是圖像在采集、傳輸或轉換過程中產生的隨機干擾信號，容易造成圖像毛糙、質量下降、特征淹沒，對圖像分析十分不利。主要的圖像噪聲包括高斯噪聲、椒鹽噪聲、周期噪聲、伽馬噪聲、指數噪聲和均勻噪聲等。圖像濾波是去除噪聲的有效方法，其原理是在空域以及頻域上對圖像信號進行濾波處理[2]，常用的濾波算法的性能列表如表1所示；其中中值濾波對于斑點噪聲和椒鹽噪聲尤其有用，且計算復雜度適中，是圖像處理中的常用算法之一。

中值濾波算法[2]是J·W·Jukey于1971年首先提出的，它是以排序統計理論為基礎，能夠有效抑制非線性噪聲的圖像處理技術。中值濾波器原理是基于圖像濾波器周圍的圖像區域中像素的排序，然后由統計排序結果決定的值代替中心像素的值，從而消除孤立的噪聲點，其描述為：

（4）

其中A為截取圖像像素的窗口，可以是包括線段窗、方形窗、圓形窗、十字窗等的任意形狀。選取3×3方形窗口的均值濾波器和中值濾波器為例，圖3顯示的是加入椒鹽噪聲（噪聲方差為8）的圖像經過這兩種濾波器處理后的效果圖，對比可見中值濾波器的效果是十分明顯的。由于中值濾波器計算復雜度不高，因此在寬帶多媒體系統中可以采用該濾波器來濾除部分噪聲。

圖3 均值濾波器和中值濾波器濾除椒鹽噪聲的效果圖

3.2 運動模糊消除

在視頻信號采集過程中，拍攝裝置與被攝景物都可能以較高速度運動，二者的相對運動容易造成一次曝光的場景能量在成像平面上的非正常積累，即引起圖像運動模糊。由于這種模糊具有普遍性，因此運動模糊圖像恢復已是近年來數字圖像處理領域研究的熱點問題之一，其中經典的恢復算法有逆濾波法、維納濾波法、最大熵恢復法、R-L法、刃邊函數法、PSF法等[3]。逆濾波法在存在噪聲情況下會對復原圖像產生嚴重影響，因此不適合用于無線環境下的圖像信號恢復。維納濾波法屬于反卷積算法，由于維納濾波器的復原效果良好，計算量較低，并且抗噪性能不錯，因而在圖象復原領域得到了廣泛的應用并不斷得到改進和發展。

根據圖像恢復的目標就是使得復原圖像與原始圖像的均方誤差最小，因此由維納濾波器（也稱最小均方誤差濾波器）得到原圖像估計的頻域表達式為：

（5）

式中γ為信噪比，在實際應用中可以采用下式進行估算：endprint

（6）

式中gi，j為濾除噪聲后的圖像灰度值，ηi，j為濾除的噪聲灰度值。若假設圖像退化函數H（u，v）已知，只需要估計出退化圖像信噪比就可恢復出原始圖像。圖4顯示的是運動模糊圖像經過維納濾波法恢復出的圖像，可以看出該算法的恢復效果還是比較理想的。

然而在實際系統中，圖像的點擴散函數和模糊函數往往都是未知的，因此運動模糊圖像恢復的關鍵就在于模糊函數參數的準確估計。假設原圖像中運動方向與x軸正方向成θ角，令x0和y0分別為x和y方向上的位移，曝光時間為T，則退化函數表達式為：

（7）

其中，Ω。由于H（u，v）

在（90°+θ）方向存在暗線，即零值，因此模糊圖像的傅里葉頻譜中會存在明顯的平行暗線，如圖5所示。通過提取頻譜暗條紋方向和間距，就可以準確檢測出退化圖像的模糊參數，從而得到退化函數[4]。

3.3 超分辨率重建

在圖像傳輸過程中，由于傳輸帶寬有限，通常難以實時傳輸高分辨率圖像信號。以幀率為25fps的視頻編碼為例，H.264和SVAC編碼的碼率列表如表2所示，分辨率每提高一個檔次，傳輸所需要帶寬將增大2～5倍。在大多數情況下人們都希望獲得分辨率高、畫面清晰的圖像，分辨率低的圖像往往不能達到要求，因此可以在系統接收端使用超分辨率重建技術來提高圖像的分辨率。

根據式（1）圖像退化模型，可得出去模糊化的低分辨率圖像和高分辨率圖像的離散關系表達式為[5]：

gk=DMkf+ηk，k≤p （8）

其中，p為圖像序列幀數，gk表示高分辨率圖像f的第k幀觀察到的低分辨率圖像，矩陣D和Mk分別為下采樣矩陣和第k幀運動矢量矩陣。根據式（8）要求解出高分辨率圖像f，就需要確定矩陣D、Mk和ηk噪聲。基于多幀插值的超分辨率重建方法分為兩個步驟（見圖6）：首先根據各幀圖像之間的相對運動信息并進行圖像配置，從而獲得高分辨率圖像在非均勻間距采樣點上的像素值；然后通過非均勻插值得到高分辨率圖像柵格上的像素值，并進行消噪平滑得到高分辨率圖像。在寬帶多媒體系統的接收端，可以根據視頻壓縮編碼信息中提取幀間運動信息，這將大大降低超分辨率重建的計算復雜度。

圖像插值[5]是通過插值增加單位面積內的像素個數來提高分辨率，插值算法性能直接影響超分辨率圖像處理的結果。常用差值方法有最近鄰域值、雙線性插值、雙三次插值，其中雙線性插值算法雖然性能比雙三次插值稍差，但計算量遠低于后者，比較適合于寬帶多媒體系統。雙線性次插值原理是根據在圖像空域坐標附近的4個鄰點的灰度值，在水平和垂直兩個方向上根據插值點與相鄰點的距離確定相應的權值，并計算出插值點的灰度值，插值公式描述為：

（9）

式中p，q∈（0，1），f（i，j）表示圖像在坐標（i，j）的像素灰度值。

在本文實驗仿真中，選用某段視頻流的6幀QCIF圖像（分辨率為176×144）來重建1幀CIF圖像（分辨率為352×288），圖7顯示是采用基于多幀插值的超分辨率重建技術的恢復圖像效果。通過對比圖中的細節可以看出，恢復出的CIF圖像效果明顯好于QCIF圖像，其中在CIF圖像中人物左手側的英文字母已經可以辨識出“oni”，而在原始QCIF圖像中是非常模糊無法辨識的。

4 結束語

在寬帶多媒體集群系統中，由于信道噪聲干擾和傳輸帶寬等因素的限制，通常難以滿足用戶對現場圖像的高分辨率、高清晰度和實時性要求。為了解決這一問題，本文建立了寬帶多媒體系統中的圖像退化與復原模型，然后詳細介紹了幾種圖像增強與恢復技術，并通過比較典型算法的實驗性能來選取適合于寬帶集群系統的圖像處理算法。實驗效果表明：在不增加傳輸帶寬的情況下，所采用的圖像增強和恢復算法有效提高了圖像質量和分辨率，對于改善圖像感知與識別性能，進一步提升寬帶多媒體集群系統的圖像處理能力具有參考價值和指導意義。

參考文獻：

[1] 岡薩雷斯，伍茲. 數字圖像處理[M]. 阮秋琦，阮宇智，譯. 3版. 北京： 電子工業出版社， 2011.

[2] 尼克松，阿瓜多. 特征提取與圖像處理[M]. 李實英，楊高波，譯. 2版. 北京： 電子工業出版社， 2010.

[3] Yu Wing Tai， Ping Tan， Michael S Brown. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1603-1618.

[4] 明文華，孔曉冬，屈磊，等. 運動模糊圖像恢復方法研究[J]. 計算機工程， 2004（7）： 133-135.

[5] X S Zhang， J Jiang， S L Peng. Commutability of blur and affine warping in Super-Resolution with aplication to joint estimation of triple-coupled variables[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1796-1808.endprint

（6）

式中gi，j為濾除噪聲后的圖像灰度值，ηi，j為濾除的噪聲灰度值。若假設圖像退化函數H（u，v）已知，只需要估計出退化圖像信噪比就可恢復出原始圖像。圖4顯示的是運動模糊圖像經過維納濾波法恢復出的圖像，可以看出該算法的恢復效果還是比較理想的。

然而在實際系統中，圖像的點擴散函數和模糊函數往往都是未知的，因此運動模糊圖像恢復的關鍵就在于模糊函數參數的準確估計。假設原圖像中運動方向與x軸正方向成θ角，令x0和y0分別為x和y方向上的位移，曝光時間為T，則退化函數表達式為：

（7）

其中，Ω。由于H（u，v）

在（90°+θ）方向存在暗線，即零值，因此模糊圖像的傅里葉頻譜中會存在明顯的平行暗線，如圖5所示。通過提取頻譜暗條紋方向和間距，就可以準確檢測出退化圖像的模糊參數，從而得到退化函數[4]。

3.3 超分辨率重建

在圖像傳輸過程中，由于傳輸帶寬有限，通常難以實時傳輸高分辨率圖像信號。以幀率為25fps的視頻編碼為例，H.264和SVAC編碼的碼率列表如表2所示，分辨率每提高一個檔次，傳輸所需要帶寬將增大2～5倍。在大多數情況下人們都希望獲得分辨率高、畫面清晰的圖像，分辨率低的圖像往往不能達到要求，因此可以在系統接收端使用超分辨率重建技術來提高圖像的分辨率。

根據式（1）圖像退化模型，可得出去模糊化的低分辨率圖像和高分辨率圖像的離散關系表達式為[5]：

gk=DMkf+ηk，k≤p （8）

其中，p為圖像序列幀數，gk表示高分辨率圖像f的第k幀觀察到的低分辨率圖像，矩陣D和Mk分別為下采樣矩陣和第k幀運動矢量矩陣。根據式（8）要求解出高分辨率圖像f，就需要確定矩陣D、Mk和ηk噪聲。基于多幀插值的超分辨率重建方法分為兩個步驟（見圖6）：首先根據各幀圖像之間的相對運動信息并進行圖像配置，從而獲得高分辨率圖像在非均勻間距采樣點上的像素值；然后通過非均勻插值得到高分辨率圖像柵格上的像素值，并進行消噪平滑得到高分辨率圖像。在寬帶多媒體系統的接收端，可以根據視頻壓縮編碼信息中提取幀間運動信息，這將大大降低超分辨率重建的計算復雜度。

圖像插值[5]是通過插值增加單位面積內的像素個數來提高分辨率，插值算法性能直接影響超分辨率圖像處理的結果。常用差值方法有最近鄰域值、雙線性插值、雙三次插值，其中雙線性插值算法雖然性能比雙三次插值稍差，但計算量遠低于后者，比較適合于寬帶多媒體系統。雙線性次插值原理是根據在圖像空域坐標附近的4個鄰點的灰度值，在水平和垂直兩個方向上根據插值點與相鄰點的距離確定相應的權值，并計算出插值點的灰度值，插值公式描述為：

（9）

式中p，q∈（0，1），f（i，j）表示圖像在坐標（i，j）的像素灰度值。

在本文實驗仿真中，選用某段視頻流的6幀QCIF圖像（分辨率為176×144）來重建1幀CIF圖像（分辨率為352×288），圖7顯示是采用基于多幀插值的超分辨率重建技術的恢復圖像效果。通過對比圖中的細節可以看出，恢復出的CIF圖像效果明顯好于QCIF圖像，其中在CIF圖像中人物左手側的英文字母已經可以辨識出“oni”，而在原始QCIF圖像中是非常模糊無法辨識的。

4 結束語

在寬帶多媒體集群系統中，由于信道噪聲干擾和傳輸帶寬等因素的限制，通常難以滿足用戶對現場圖像的高分辨率、高清晰度和實時性要求。為了解決這一問題，本文建立了寬帶多媒體系統中的圖像退化與復原模型，然后詳細介紹了幾種圖像增強與恢復技術，并通過比較典型算法的實驗性能來選取適合于寬帶集群系統的圖像處理算法。實驗效果表明：在不增加傳輸帶寬的情況下，所采用的圖像增強和恢復算法有效提高了圖像質量和分辨率，對于改善圖像感知與識別性能，進一步提升寬帶多媒體集群系統的圖像處理能力具有參考價值和指導意義。

參考文獻：

[1] 岡薩雷斯，伍茲. 數字圖像處理[M]. 阮秋琦，阮宇智，譯. 3版. 北京： 電子工業出版社， 2011.

[2] 尼克松，阿瓜多. 特征提取與圖像處理[M]. 李實英，楊高波，譯. 2版. 北京： 電子工業出版社， 2010.

[3] Yu Wing Tai， Ping Tan， Michael S Brown. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1603-1618.

[4] 明文華，孔曉冬，屈磊，等. 運動模糊圖像恢復方法研究[J]. 計算機工程， 2004（7）： 133-135.

[5] X S Zhang， J Jiang， S L Peng. Commutability of blur and affine warping in Super-Resolution with aplication to joint estimation of triple-coupled variables[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1796-1808.endprint

（6）

式中gi，j為濾除噪聲后的圖像灰度值，ηi，j為濾除的噪聲灰度值。若假設圖像退化函數H（u，v）已知，只需要估計出退化圖像信噪比就可恢復出原始圖像。圖4顯示的是運動模糊圖像經過維納濾波法恢復出的圖像，可以看出該算法的恢復效果還是比較理想的。

然而在實際系統中，圖像的點擴散函數和模糊函數往往都是未知的，因此運動模糊圖像恢復的關鍵就在于模糊函數參數的準確估計。假設原圖像中運動方向與x軸正方向成θ角，令x0和y0分別為x和y方向上的位移，曝光時間為T，則退化函數表達式為：

（7）

其中，Ω。由于H（u，v）

在（90°+θ）方向存在暗線，即零值，因此模糊圖像的傅里葉頻譜中會存在明顯的平行暗線，如圖5所示。通過提取頻譜暗條紋方向和間距，就可以準確檢測出退化圖像的模糊參數，從而得到退化函數[4]。

3.3 超分辨率重建

在圖像傳輸過程中，由于傳輸帶寬有限，通常難以實時傳輸高分辨率圖像信號。以幀率為25fps的視頻編碼為例，H.264和SVAC編碼的碼率列表如表2所示，分辨率每提高一個檔次，傳輸所需要帶寬將增大2～5倍。在大多數情況下人們都希望獲得分辨率高、畫面清晰的圖像，分辨率低的圖像往往不能達到要求，因此可以在系統接收端使用超分辨率重建技術來提高圖像的分辨率。

根據式（1）圖像退化模型，可得出去模糊化的低分辨率圖像和高分辨率圖像的離散關系表達式為[5]：

gk=DMkf+ηk，k≤p （8）

其中，p為圖像序列幀數，gk表示高分辨率圖像f的第k幀觀察到的低分辨率圖像，矩陣D和Mk分別為下采樣矩陣和第k幀運動矢量矩陣。根據式（8）要求解出高分辨率圖像f，就需要確定矩陣D、Mk和ηk噪聲。基于多幀插值的超分辨率重建方法分為兩個步驟（見圖6）：首先根據各幀圖像之間的相對運動信息并進行圖像配置，從而獲得高分辨率圖像在非均勻間距采樣點上的像素值；然后通過非均勻插值得到高分辨率圖像柵格上的像素值，并進行消噪平滑得到高分辨率圖像。在寬帶多媒體系統的接收端，可以根據視頻壓縮編碼信息中提取幀間運動信息，這將大大降低超分辨率重建的計算復雜度。

圖像插值[5]是通過插值增加單位面積內的像素個數來提高分辨率，插值算法性能直接影響超分辨率圖像處理的結果。常用差值方法有最近鄰域值、雙線性插值、雙三次插值，其中雙線性插值算法雖然性能比雙三次插值稍差，但計算量遠低于后者，比較適合于寬帶多媒體系統。雙線性次插值原理是根據在圖像空域坐標附近的4個鄰點的灰度值，在水平和垂直兩個方向上根據插值點與相鄰點的距離確定相應的權值，并計算出插值點的灰度值，插值公式描述為：

（9）

式中p，q∈（0，1），f（i，j）表示圖像在坐標（i，j）的像素灰度值。

在本文實驗仿真中，選用某段視頻流的6幀QCIF圖像（分辨率為176×144）來重建1幀CIF圖像（分辨率為352×288），圖7顯示是采用基于多幀插值的超分辨率重建技術的恢復圖像效果。通過對比圖中的細節可以看出，恢復出的CIF圖像效果明顯好于QCIF圖像，其中在CIF圖像中人物左手側的英文字母已經可以辨識出“oni”，而在原始QCIF圖像中是非常模糊無法辨識的。

4 結束語

在寬帶多媒體集群系統中，由于信道噪聲干擾和傳輸帶寬等因素的限制，通常難以滿足用戶對現場圖像的高分辨率、高清晰度和實時性要求。為了解決這一問題，本文建立了寬帶多媒體系統中的圖像退化與復原模型，然后詳細介紹了幾種圖像增強與恢復技術，并通過比較典型算法的實驗性能來選取適合于寬帶集群系統的圖像處理算法。實驗效果表明：在不增加傳輸帶寬的情況下，所采用的圖像增強和恢復算法有效提高了圖像質量和分辨率，對于改善圖像感知與識別性能，進一步提升寬帶多媒體集群系統的圖像處理能力具有參考價值和指導意義。

參考文獻：

[1] 岡薩雷斯，伍茲. 數字圖像處理[M]. 阮秋琦，阮宇智，譯. 3版. 北京： 電子工業出版社， 2011.

[2] 尼克松，阿瓜多. 特征提取與圖像處理[M]. 李實英，楊高波，譯. 2版. 北京： 電子工業出版社， 2010.

[3] Yu Wing Tai， Ping Tan， Michael S Brown. Richardson-Lucy Deblurring for Scenes under a Projective Motion Path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（8）： 1603-1618.

[4] 明文華，孔曉冬，屈磊，等. 運動模糊圖像恢復方法研究[J]. 計算機工程， 2004（7）： 133-135.

[5] X S Zhang， J Jiang， S L Peng. Commutability of blur and affine warping in Super-Resolution with aplication to joint estimation of triple-coupled variables[J]. IEEE Transactions on Image Processing， 2012， 21（4）： 1796-1808.endprint