視頻圖像快速去霧系統設計

陸士猛

(陸軍軍官學院，合肥　230031)

?

視頻圖像快速去霧系統設計

陸士猛

(陸軍軍官學院，合肥230031)

摘要：針對霧天視頻圖像退化嚴重的現象，使用TMS320DM6437處理器及其外圍電路，研制了一種視頻圖像快速去霧系統；利用大氣物理模型建立基于YCrCb空間的去霧模型，通過簡單的數學推導和均值濾波算法，并利用查表法提高計算效率，實現視頻圖像的快速去霧；通過實驗論證和結果分析，得出該系統具有自動化程度高，魯棒性強，實時性好等特點，可以處理各種不良成像條件下的視頻圖像，對于720×576分辨率的視頻圖像，處理速率可以達到50幀/s，滿足工程應用的要求。

關鍵詞：視頻圖像；快速去霧；YCrCb空間；均值濾波

圖像是人類認知世界的重要途徑之一，隨著科學技術的不斷進步，圖像信息已經從最初的黑白圖像，模擬圖像，可見光圖像發展到今天的彩色圖像，數字圖像，以及多光譜圖像[1]。如今，人們已經將視頻圖像廣泛應用在交通監控、軍事偵察等領域，比如目標跟蹤與識別等。但是，由于不同成像條件下，視頻圖像采集設備受光線不足、霧霾天氣等惡劣因素的影響，成像品質會發生不同程度的退化，這就給利用圖像信息進行后續工作帶來了一系列困難，而且利用視頻信息工作也要求處理平臺具有很高的自動化程度和實時性，所以為了獲得更好的視頻圖像品質以及提高其處理效率，研制一種高效的視頻圖像處理系統[2]不僅具有很強的理論意義，也具有很廣泛的應用前景。

目前，隨著嵌入式芯片的發展，市場上已經出現了很多不同類型的視頻處理芯片，這些芯片不僅具備了很強的運算能力，而且可以靈活進行系統整合，快速進行產品開發。DSP就是一種非常適于進行數字信號處理運算的微型處理器。由德州儀器公司推出TMS320DM6437數字媒體處理器是首批支持達芬奇技術[3]的純DSP器件，其強大的功能，可支持D1解析度的H.264視頻編碼，或根據目標應用(如IP 網絡監控攝像頭)的要求運行完整的音視頻與網絡功能，而成本則比TI前一代DSP數字媒體處理器下降50%。系統設計也得到大大簡化，使在嵌入式設備上進行去霧系統設計成為可能。本文即是在TMS320DM6437處理器的基礎上進行的去霧系統研究。

1系統設計

1.1系統設計方案

本文基于TMS320DM6437處理器的視頻圖像實時增強系統硬件部分主要由視頻圖像采集模塊、數據轉換模塊、數據處理模塊、結果顯示模塊四部分組成，其結構如圖1所示。

圖1　系統硬件結構

1.2系統工作原理

基于上述硬件結構設計，本文選擇采用FI1206開發平臺進行系統的開發研究。該平臺能夠幫助用戶評估及開發TI 達芬奇TM系列DSP處理器，支持一路PAL/NTSC視頻輸入輸出，其開源的原理圖、設計代碼及應用工程等資源使得系統開發周期和開發難度大大降低。FI1206各部分功能結構如圖2所示。

圖2　FI1206功能結構

數據采集模塊通過CCD攝像機進行數據采集，將采集到的模擬視頻信號經過TVP5151轉換成BT.656格式，接入DM6437的VPFE，輸入到數據處理模塊中進行圖像處理，經過處理的數字視頻數據，通過VPBE的OSD和VENC，經DAC輸出至終端監視設備顯示出來，以待后續處理[4]。

2基于YCrCb空間的快速去霧算法

從近幾年國內外對圖像去霧處理的研究來看，圖像去霧算法主要基于兩個方面：一是基于圖像增強的處理方法，一是基于物理模型的復原方法。霧天圖像的增強方法主要從空間域和頻率域兩個方面進行處理，其中空間域技術是以對圖像像素的直接處理為基礎的，而頻率域技術是以修改圖像的傅里葉變換為基礎的。霧天圖像復原是研究霧天圖像降質的物理過程，并建立霧天圖像退化模型，反演退化過程，補償退化過程造成的失真，以便獲得未經干擾退化的無霧圖像或無霧圖像的最優估計值，從而改善霧天圖像品質。這種方法針對性強，得到的去霧效果自然，一般不會有信息損失。

“Single Image Haze Removal Using Dark Channel Prior”[5]一文在大氣物理模型的基礎上，提出了暗通道原理，并將其用于圖像去霧，取得了非常好的效果，但是該算法在去霧過程中，引入了軟摳圖算法，影響了算法的執行速度。文獻[6]引入了導向濾波代替軟摳圖，使得算法的運行效率大大提高，但是還不能達到工程應用的要求；禹晶[7]等人在暗通道原理的基礎上，利用雙邊濾波代替軟摳圖算法，有效恢復了場景的對比度和顏色，但對白色物體以及濃霧圖像的恢復效果不理想。文獻[8]通過對霧天圖像退化物理模型的分析，利用均值濾波估計透射率和全局大氣光，在執行速度上得到了很大提高，而且去霧效果保持很好，但理論支撐不足。

基于本文系統設計提出的視頻圖像快速去霧算法，主要考慮選擇在YCrCb色彩空間[9]進行視頻圖像去霧處理。這是因為一方面目前視頻系統中最常用的視頻格式就是YCrCb色彩空間，如果能夠在YCrCb空間直接處理可以避免色彩空間之間的轉換所需的運算，因此能夠提高算法的實時性。另一方面與依據人眼視覺特性的數據壓縮有關，人眼對低頻信號比對高頻信號具有更高的敏感度，對明視度的改變也比對色彩的改變要敏感。對于人眼而言，Y分量比Cr和Cb分量重要,正是根據人眼的這一特征，在不使用任何復雜算法的前提下，僅通過適當拋棄Cr和Cb分量就可以達到壓縮,這就是部分取樣。

基于上述原因，由于目前的視頻采集系統采用的是模擬信號系統，它所采集到的視頻信號是YCrCb格式，對其直接進行處理，免去了色彩空間轉換所需的運算，所以本文核心算法選擇直接在YCrCb空間對霧天視頻圖像進行去霧處理。

2.1YCrCb空間去霧模型的建立

目前通用的大氣物理模型[10]為

(1)

式(1)中I是觀測到的有霧圖像，J是景物反射光強度(也就是待恢復的無霧圖像)，A是全局大氣光照強度，t是透射率，用來描述光線通過介質透射到成像設備過程中沒有被散射的部分。

對于RGB色彩空間而言，圖像的像素值是由R、G、B三個通道構成的，而且這三個通道具有相同的屬性，結合大氣物理模型有：

(2)

經過變換可得：

(3)

其中R1、G1、B1是有霧圖像的各通道值，R2、G2、B2是經過去霧處理后的圖像的各通道值。

對于YCrCb空間而言，圖像的屬性主要由Y通道決定，Cr、Cb通道主要是圖像的色差，所以在本文中，認為Y通道與RGB通道類似，Cr、Cb通道起輔助作用，根據RGB與YCrCb之間的轉換關系[9]有：

(4)

對Y通道直接使用大氣物理模型變換公式，可得：

(5)

對Cr、Cb通道，結合與RGB通道的關系和大氣物理模型變換公式，可以得出：

(6)

結合上述兩個公式可以得出基于YCrCb空間的去霧模型，只要求出YCrCb各通道的值，然后進行合成即可得到去霧后的圖像，從上式可以看出只要求出透射率t(x)和大氣光強A即可恢復出無霧圖像。

2.2透射率的獲取

根據大氣物理模型容易得到：

(7)

對方程式(7)進行變換，可以得到：

(8)

對Y通道圖進行均值濾波，設為Mave(x)，則有：

(9)

其中Sd表示均值濾波窗口的尺寸，結合方程式(7)和式(9)，經過均值濾波后得到的透射率公式如下：

(10)

實際上，根據方程式(1)求得的真實透射率應該為

(11)

由于

所以真實透射率tactual(x)應該大于使用均值濾波得到透射率taverage(x)，為了使taverage(x)更加接近于tactual(x)，必須給taverage(x)添加一個偏移值，即：

(12)

記ω=1-φ，則：

(13)

在實際去霧過程中，ω的取值對圖像的去霧效果會產生一定的影響[7]，為了防止去霧后的圖像出現整體畫面過于偏暗或過于偏亮的情況，這里設置

(14)

其中，δ為可調節的參數且0≤δ≤1/Mave(x)，由于Mave(x)的取值與原圖像整體灰度的分布相關，使得ω具有自動調節去霧后圖像整體亮度的作用。原圖像越暗，Mave(x)值越低，透射率相應增大，這使得去霧后的圖像亮度不會過于暗淡，反之亦然。這里需要對ω的上限進行設置，上限設定為0.95，則

(15)

聯合方程方程(13)和(15)，可得優化后的透射率為：

(16)

基于此，求出霧圖的透射率，該透射率能較為精確地反映圖像的透過光強度，并且能夠自動地調節圖像亮度，具有較強的魯棒性。對天空區域也有一定的適應能力。考慮到方程式(5)和(6)中分母的取值范圍，還需要對透射率的下限進行設置。本文將t(x)的下限設置為0.1[5]，這樣既避免了分母為0，也使遠景圖像含有一點霧氣，保留圖像的真實感。下面就對大氣光強度進行求取。

2.3大氣光值的獲取

關于大氣光值的獲取，文獻[11]中選取輸入圖像中亮度最大點的灰度值作為全局大氣光A，雖然步驟簡單但不合理，何凱明[5]首先選取最亮的0.1%比例的像素，然后選取原輸入圖像中這些像素具有的最大灰度值作為全局大氣光A，這種處理方式更為合理有效，但暗通道的獲取過程較為耗時。本文采取以下方式估計全局大氣光A。

對Y通道圖進行均值濾波后獲得Mave(x)，通過求取Mave(x)中的最大值作為大氣光強A，即：

利用此方法求得的大氣光強A相比于文獻[11]具有更高的精度，相比于文獻[5]具有更快的速度。

在求得透射率taverage(x)和大氣光強A后，利用方程(5)和(6)分別求取YCrCb各通道的值，然后進行合成得到去霧后的圖像。

3系統優化

針對YCrCb格式進行基于大氣物理模型的去霧算法，是針對一種多變量非線性復雜函數關系式進行浮點運算。DM6437為定點DSP，進行浮點運算的時間遠遠大于定點運算，為此采用了一種快速有效的查表求解法。

首先建立順序存儲數據塊，數據塊中存儲的是移位處理后的整形數據，接下來查找輸入變量在已存變量存儲中的自然數序號，最后利用查得的變量自然數序號及事先確定的算法查找這些變量所對應的函數值的存儲地址，進而得到計算結果。實現了非線性復雜關系式的快速精確求解，大大提高了算法的運行效率。

4實驗論證

本文實驗分兩部分進行，分別為核心算法驗證和系統測試。

4.1核心算法驗證

實驗1：驗證本文系統設計中核心算法的有效性，利用MatlabR2013a在主頻2.4GHz，內存2G的臺式機上進行了實驗，并將本文算法與文獻[5]和文獻[6]進行了對比分析，測試圖像采用大小為720×576，霧天濃度分別為薄霧，中霧和濃霧，實驗結果見圖3。

圖3　結果對比

實驗結果分析：

首先比較去霧效果，通過比較分析可以看出，在處理薄霧圖像時，文獻[5]采用的算法在去霧效果可視性方面比文獻[6]和本文算法要好一些，尤其是在細節處理方面顯得更加細膩和平滑，在色彩飽和度方面，本文算法要好于文獻[6]。文獻[6]對天空區域的處理有一些失真。在處理中霧圖像時從整體上看，區別不是很大，3種算法都能較好地達到去霧效果，基本上不影響對目標特征的判斷。在處理濃霧圖像時，本文算法和文獻[5]算法去霧效果較為接近，殘存的霧氣相對文獻[6]較多，但是在視覺方面效果要好于文獻[6]。

其次比較算法效率，從表1中可以看出文獻[5]的算法時間復雜度最高，其次是文獻[6]的算法，本文算法的時間復雜度最低，通過對比分析時間比例，可以得出本文算法只是文獻[5]算法的1/500左右，是文獻[6]算法的1/20左右，所以本文算法的實時性得到了非常高的提升。

表1　不同算法運行時間比較

4.2系統測試

實驗2：為了驗證本系統的有效性，本文利用現有條件對實時采集到的部分視頻圖像進行了去霧處理，單幀圖像的分辨率為720×576。結果如圖4所示。

圖4　去霧效果

文中圖像左側是原圖，右側是去霧圖。在去霧效果方面，第一行圖像屬于遠景圖像，通過去霧處理，可以明顯看出圖像的對比度得到了很好的提升，建筑物的輪廓清晰可見，景深較遠處的圖像特征得到加強。第二行圖像屬于近景圖像，經過處理后，圖像的色彩更加鮮艷，邊緣特征也得到凸顯，尤其是商店的廣告牌中大的字跡都可辨認出來，去霧效果尤為明顯。第三行圖像屬于交通監控圖像，通過對比分析，可以看出，經過去霧處理，交通圖像的視覺效果明顯改善，場景較遠處的車輛輪廓和顏色都可以清晰分辨，立交橋的框架，路燈桿和指路牌也都可以分辨。

在去霧效率方面，結果如表2所示。其中，t1代表系統沒有經過任何優化的耗時，t2是經過查表處理后的時間消耗，t3是將算法進行Matlab仿真處理的時間消耗。通過比較可以看出，經過優化的系統處理單幀圖像的時間在20 ms以內，而其他兩種方式的時間明顯增加許多。所以該系統處理720×576的視頻流可以達到50幀/s，能夠滿足工程實現要求。

表2　比較去霧時間消耗　ms

5結論

本文針對霧圖視頻圖像退化嚴重的現象，根據圖像復原的方法，設計了一種基于TMS320DM6437的霧天視頻快速處理系統。該系統是在YCrCb色彩空間下，以大氣物理模型為基礎，利用簡單的數學推導和均值濾波算法進行的設計研究。通過實驗論證，本系統具有自動化程度高，魯棒性強，實時性好等特點，能夠適應各種不良成像條件下的視頻去霧，同時該系統經過不斷優化，利用查表法提高算法計算效率，處理720×576的視頻速度可以達到50幀/s，達到了工程實用的要求，可以用于工程實踐。

參考文獻：

[1]岡薩雷斯.數字圖像處理[M].2版,阮秋琦,阮宇智,等,譯.北京:電子工業出版社,2010.

[2]宋建中.圖像處理智能化的發展趨勢[J].中國光學,2011,4(5):431-441.

[3]彭啟琮.達芬奇技術-數字圖像/視頻信號處理新平臺[M].北京:電子工業出版社.2008.

[4]文武,吳勇,張杰.基于TMS320DM6467的視頻采集系統設計[J].電視技術,2011,35(17):39-41.

[5]HE K M,SU J,TANG X O.Sing Image Haze Removal Using Dark Channel Prior[C]//Computer Vision and Pattern Recognition,2009:1956-1963.

[6]HE K M,SUN J,TANG X O.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

[7]禹晶,李大鵬,廖慶敏.基于物理模型的快速單幅圖像去霧方法[J].自動化學報,2011,37(2):143-149.

[8]劉倩,陳茂銀,周東華.基于單幅圖像的快速去霧算法[C]//25th Chinese Control and Decision Conference,2013:3780-3785.

[9]邵丹,韓家偉.YUV與RGB之間的轉換[J].長春大學學報,2004,14(4):51-53.

[10]MCCARTNEY E J.Optics of atmosphere:scattering by molecules and particles[M].New York:John Wiley and Sons,1976.

[11]TAN R T.Visibility in Bad Weather from a Single Image[C]//Computer Vision and Pattern Recognition,in Proc.IEEE Conf.2008:1-8.

[12]鄭良緣，王平，高穎慧.基于超像素分割的圖像去霧算法[J].重慶理工大學學報(自然科學)，2015(6):100-106.

(責任編輯楊繼森)

本文引用格式：陸士猛.視頻圖像快速去霧系統設計[J].兵器裝備工程學報，2016(4):69-73.

Citation format:LU Shi-meng.Fast Defogging System Design About Video Image[J].Journal of Ordnance Equipment Engineering,2016(4):69-73.

Fast Defogging System Design About Video Image

LU Shi-meng

(Army officers Academy, Hefei 230031, China)

Abstract:According to the phenomenon of fog-degraded video image, using TMS320DM6437 processor and peripheral circuits, a video image fast defogging system was designed. The defogging system based on YCrCb space, using atmospheric model, was established, and table lookup method was used to improve the efficiency, through simple mathematical derivation and mean filtering algorithm, the rapidly defog of video image was realized. Through experiments and results analysis, we conclude that the system has a high degree of automation, robust, real-time characteristics, and can handle video images in various imaging conditions, and for 720×576 resolution of video images, its processing rates can be up to 50 frames per second, which meets the requirements of applications.

Key words:video image; fast defogging; YCrCb space; mean filtering

文章編號：1006-0707(2016)04-0069-05

中圖分類號：TP391.4

文獻標識碼：A

doi:10.11809/scbgxb2016.04.018

作者簡介：陸士猛(1985—)，男，碩士研究生，主要從事計算機視覺和圖像處理研究。

收稿日期：2015-09-28；修回日期：2015-11-01

【光學工程與電子技術】