一種基于TMS320DM6467的快速去霧系統方案

李昂，王敬東，肖劍峰，王佳偉

(南京航空航天大學 自動化學院，江蘇 南京 210016)

一種基于TMS320DM6467的快速去霧系統方案

李昂，王敬東，肖劍峰，王佳偉

(南京航空航天大學 自動化學院，江蘇 南京 210016)

摘要：針對霧天視頻的退化現象使用TMS320DM6467處理器及其外圍電路，搭建一套完整的嵌入式處理平臺，實現視頻流的快速除霧。采用基于YCbCr顏色空間的快速去霧算法,并利用查表法降低算法復雜度，具有較好的去霧效果。該去霧平臺利用EDMA技術提高數據搬運能力，通過高速緩存和乒乓緩存技術提高系統處理速度，使得系統處理1080P視頻的速度可達到30幀/s，滿足處理高清視頻的實時要求。

關鍵詞：視頻；快速去霧；嵌入式系統；視頻處理

Model Scheme for Rapid Defog System Based on TMS320DM6467

LI Ang, WANG Jingdong, XIAO Jianfeng, WANG Jiawei

( College of Automation，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)

Abstract:In view of the degeneracy phenomenon of video image in fog days, this paper uses TMS320DM6467 processor and its peripheral circuits to build a set of embedded processing platform which is applied to rapid defogging in video stream. The rapid defogging algorithm based on the YCbCr color space used in this paper has a good defogging effect, and the checking list is used to reduce the computional complexity. It also uses EDMA technology to improve the data handling capacity. The system speed is improved through the cache and ping-pong buffer store technology. The processing 1080P video speed is up to 30 frames per second. This speed meets the real time requirement of high-definition video processing.

Keywords:video; rapid defogging; embedded system; video processing

0引言

視頻監控產品已廣泛應用在交通運輸，安全防衛，工農業生產，軍事科技等各個領域，發揮著越來越重要的作用。然而，當前的視頻監視系統對天氣條件非常敏感，尤其是在能見度較低的霧天條件下，景物圖像嚴重退化，這極大地限制和影響了戶外監視系統效用的發揮。因此，霧天視頻圖像清晰化處理的研究具有重要的科研意義和實用價值[1]。

隨著嵌入式芯片的發展，視頻處理芯片一方面具備了更強的運算能力，另一方面能進行靈活的系統整合，可以快速地進行產品開發。德州儀器公司(texas instruments，TI)推出了面向新一代數字視頻產品的名為達芬奇(DaVinci)的開發平臺，其獨特的DSP和ARM雙核結構不僅能同時滿足視頻應用在運算能力和控制功能上的要求，而且大大簡化了系統設計的復雜性[2]。這使得在嵌入式設備上實現除霧系統成為可能。

霧天視頻清晰化與霧天圖像清晰化有著很強的聯系，可以將數字視頻看作是一組圖像序列，因此圖像清晰化算法可以用于數字視頻清晰化。相對于霧天圖像來說霧天視頻清晰化也有其自身的特點，如要求實時性高。在計算機上，一般的除霧算法使用RGB格式輸入，而嵌入式視頻處理系統一般輸入YCbCr格式視頻，文中提出了基于YCbCr格式的快速除霧算法，在亮度通道上采用基于大氣模型的快速去霧算法，增強細節，在色度分量上進行對比度拉伸。該方法在取得較好的清晰化效果的同時，具有較快的處理速度。

1系統硬件組成

去霧算法通常需要消耗大量的計算時間和存儲空間，對系統的實時性要求較高。為此，選用了TI公司推出的基于Davinci架構的超強數字媒體處理器TMS320DM6467(簡稱DM6467)為核心處理芯片。

TMS320DM6467是專門為滿足商業和消費類市場對高端視頻處理需求而設計的，通過DSP+ARM雙核高度集成的設計方式實現了比前一代數字多媒體處理器快10倍的性能，同時仍能夠保證所需的靈活性。TMS320DM6467數字媒體處理器集成了一個ARM926EJ-S核與600MHz的C64X+DSP核，并且采用了高淸視頻/影像協處理器(HD-VICP)、視頻數據轉換引擎，可以滿足視頻除霧算法處理的實時性和算法運算量要求。

圖1　系統硬件構成

針對高清視頻的特點，將視頻除霧系統分為三個組成部分：高清視頻輸入部分、視頻處理部分和視頻輸出部分，構成如圖1所示。高清晰度多媒體接口(high definition multimedia interface，HDMI)是一種數字化視頻/音頻接口技術，是適合影像傳輸的專用型數字化接口，可同時傳送音頻和視頻信號，最高數據傳輸速度為5Gbps，滿足設計的高清輸入要求。YCbCr是DVD、攝像機、數字電視等消費類視頻產品中，常用的色彩編碼方案，滿足輸出到高清液晶顯示器要求。

視頻輸入部分通過SII9125芯片對HDMI輸入高清有霧視頻進行解碼，生成YCbCr420格式的數字視頻信號，輸入到DM6467的VPIF口。VPIF口對數字視頻信號進行捕獲，捕獲的一幀視頻數據存入DDR2中，以備后續去霧處理[3]。視頻處理部分通過ARM端調用DSP端算法對存儲在DDR2中的一幀視頻數據進行去霧處理，并將處理結果存入DDR2中。視頻輸出部分通過ADV7343芯片將除霧后的視頻數據流進行編碼，生成YCbCr分量格式的視頻信號輸出到液晶顯示設備上，實現除霧后視頻的顯示。

2YCbCr空間下的快速除霧算法

選擇在YCbCr色彩空間進行增強處理的優勢主要有兩個方面：1) 目前視頻監控系統中最常用的視頻格式就是YCbCr色彩空間，如果能夠在YCbCr空間直接增強處理可以避免色彩空間之間的轉換所需的運算，因此能夠提高算法的實時性；2) 與依據人眼視覺特性的數據壓縮有關，因為人眼對低頻信號比對高頻信號具有更高的敏感度，對明視度的改變也比對色彩的改變要敏感得多。對于人眼而言，Y分量比Cb和Cr分量重要，正是根據人眼的這一特征，在不使用任何復雜算法的前提下，僅通過適當拋棄Cb和Cr分量就可以達到壓縮的目的[4]，這就是部分取樣。

2.1大氣退化模型

在計算機視覺領域中，廣泛使用以下Koschmieder公式[5]來描述大氣退化模型：

I(x)=J(x)t(x)+A(1-t(x))

(1)

其中，x是圖像中像素點的索引，I(x)、J(x)、A為三維列向量，I(x)表示采集到的圖像，J(x)表示無霧場景輻射，A表示大氣光，t(x)表示介質透射率，A(1-t(x))稱為大氣光幕，J(x)t(x)稱為直接衰減項。當大氣均勻時t(x)=e-βd(x)，β為大氣散射系數，d(x)為場景深度。

令大氣光幕(atmospheric veil)V(x)=A(1-t(x))，則式(1)可改寫為：

(2)

式(2)中I(x)為已知，若能估算出大氣光A和大氣光幕V(x)，即可以按照上式恢復出無霧圖像J(x)。

2.2基于亮度通道的快速去霧法

KaimingHe等提出一種新的先驗規律——暗原色先驗[6]，利用這個先驗規律能夠直接評估霧光的透射信息，進而對單幅圖像進行去霧處理。暗原色先驗理論是先將圖像分塊，在局部區域中尋找暗原色，得到粗糙的傳輸圖，再使用摳圖算法來得到精確的傳輸圖。該算法耗時巨大，顯然不能應用于高清視頻實時去霧系統。

受文獻[6]啟發,不再對圖像分塊，直接對整幅圖像求取暗通道。很顯然，該方法是文獻[6]理論的延伸， 進一步延伸到YCbCr色彩空間中，亮度通道即可視為暗通道，可以作為大氣光幕V(x)的估計。此方法既可避免由于分塊造成對t(x)估計不精確的問題，也避免了因細化t(x)而帶來的繁重運算量，節約了大量的運算時間。

對于大氣光的求取，文中采用了文獻[7]中的方法，取Y通道最大亮度值來作為大氣環境光A的估計，綜合已經估計出的大氣光幕V(x),根據式(2)即可恢復出無霧亮度通道圖。一組實驗結果如圖2所示，圖2(a)為輸入霧天圖像，圖2(b)為亮度通道去霧后的結果。可見視覺效果得到明顯提升，但顏色較為昏暗，需進一步對色度通道進行處理圖2(c)。

圖2　YCbCr色彩空間下的快速去霧算法結果

2.3在色度分量使用線性變換進行色度調整

由于霧會使視頻監控系統視頻圖像中的景物呈現泛白的現象，圖像的色差分量偏低，所以需對兩個色差分量進行增強處理。考慮到算法的復雜度和處理結果之間的均衡，對Cb和Cr兩個色差分量進行線性拉伸處理。

線性拉伸是一種簡單有效的色差分量調整方法。根據高斯分布“3e”規則，即對于正態隨機變量而言，其值落在區間[m-3e，m+3e]內是允許的。因此對于Cb和Cr兩個色差分量，其拉伸后取值范圍：

(3)

式中：Cbmin和Cbmax分別為色差分量Cb的最小值和最大值；Crmin和Crmax分別是色差分量Cr的最小值和最大值；Cbmean和Crmean分別為色差分量Cb和Cr的均值；eCb和eCr分別為色差分量Cb和Cr的標準差。經過拉伸后的圖像的色差分量的輸出為：

(4)

(5)

式中：Cbin、Crin和Cbout、Crout分別是Cb和Cr分量的輸入和輸出；Rmax為輸出設備的動態范圍。處理效果如圖2(c)所示，圖像顏色更加逼真明亮，取得了良好的視覺效果。

3基于達芬奇構架的系統軟件設計

3.1除霧系統軟件整體設計

TMS320DM6467 在一個芯片上集成了 ARM 核和 DSP 核，利用 Codec Engine 軟件框架進行兩者之間的交互。ARM 運行在 MontaVistaLinux 操作系統上，負責常用的控制任務及與外設之間的交互。DSP運行在 Bios 操作系統上，相當于一個“黑匣子”，只進行圖像數據處理算法，這種雙核并行處理模式大大提高了系統處理速度。

系統利用DM6467的強大運算能力，在DSP內核運行快速除霧算法，該算法符合數字媒體(eXpressDSP Digital Media standard，xDM)標準。ARM內核負責系統初始化、視頻采集、視頻輸出、外圍器件控制等工作并通過DDR2共享存儲器，實現與DSP之間的數據交互。系統軟件流程如圖3所示， ARM端通過V4L2驅動對VPIF口輸入隊列的視頻流進行采集，并將一幀視頻存入輸入緩沖區中，然后通過Codec Engine機制調用DSP端除霧算法包對輸入緩沖區中數據進行處理，最后將處理后的一幀視頻送到輸出緩沖區，再通過V4L2驅動將該緩沖區加入到輸出隊列送顯示器顯示。

圖3　系統軟件流程圖

3.2查表和移位在快速除霧算法中的應用

針對亮度通道進行基于大氣模型的去霧算法，其求解過程是一種多變量非線性復雜函數關系式，需要進行浮點運算。DM6467為定點DSP，進行浮點運算的時間遠遠大于定點運算，為此采用了一種快速有效的查表求解法。

首先建立順序存儲數據塊，數據塊中存儲的是移位處理后的整型數據,接下來查找輸入變量在已存變量存儲塊中的自然序號，最后利用查得的變量自然數序號及事先確定的算法查找這些變量所對應的函數值的存儲地址，進而得到計算結果。實現了非線性復雜關系式的快速精確求解，大大提高了算法運行效率。

3.3高速緩存技術和乒乓緩存技術在系統中的應用

由于除霧系統中有大量數據需要處理，利用DM6467的L1和L2兩級高速緩存來配置為Cache高速緩存和內部存儲器來提高DSP的利用率和數據處理的實時性，實現運算速度的提高。但Cache空間有限,為了進一步利用內部存儲器資源，本系統引入Ping-pong緩存技術[8]，即在CPU處理數據的同時，啟動EDMA傳輸處理數據到內部存儲器中，提高內部存儲器的利用效率。合理配置和使用L1和L2是能否提高系統速度的關鍵。DM6467提供了128K的L2空間和64K的L1空間，一方面要使Cache高速緩存盡量的大，以提高數據在Cache中的命中率，減少因數據置換而造成的時間浪費，另一方面要確保內部存儲器的大小，保證有足夠的存儲空間進行乒乓緩存。

乒乓緩存技術在數據接收端建立兩個數據緩沖區，當第一組數據進來時，EDMA在數據放入ping緩存區的同時，CPU從pong緩存區取數據進行處理；當ping緩存區放滿時發出中斷，Ping-pong緩存區進行切換：EDMA將下一組數據重新定向到pong緩存區，而CPU從ping緩存區取數據進行處理。Ping-pong緩存技術提供了EDMA數據傳輸和CPU數據處理的并行機制，大大地提高了CPU的利用率，其原理如圖4所示。

圖4　Ping-pong緩存原理圖

3.4EDMA3技術在除霧系統中的應用

在視頻除霧處理流程中，需要將輸入緩沖區的數據復制到輸出緩沖區，這需要消耗大量時間和數據空間，為此使用了EDMA (enhanced direct memory access，增強型直接內存存取)技術。EDMA傳輸是指在沒有CPU參與下自動完成不同存儲器空間之間的數據搬移，主要應用在需要大批量數據搬移的場合。DM6467 提供了增強型 EDMA控制器 EDMA3，它基于RAM 結構。EDMA3具有128個相互獨立的傳輸通道，每個通道均對應一個可觸發傳輸的同步事件，通道的傳輸行為由對應的片上參數存儲器編程指定，如圖5所示。Ping-pong緩存方式下 EDMA通道有兩個參數集，一個用于 ping傳入/出。另一個用于pong傳入/出。當一個通道傳輸完畢，參數集會重新加載它們以啟動下一次傳輸。

圖5　參數RAM設定格式

在除霧系統中，視頻分辨率為1920×1080，再結合L2內部存儲器容量將Ping-pong緩存區設置為12800B，為多行圖像數據的大小。EDMA傳輸源地址為外部存儲器DDR2中圖像數據的地址，傳輸目的地址為申請的內部存儲器地址。設置好EDMA3的參數存儲器后，圖像數據的傳遞即可在脫離CPU的情況下自動運行，實現與CPU的并行處理，大大提高系統的處理速度。

4實驗結果及分析

文中使用的算法去霧效果如圖6所示，左側是原圖，右側是除霧結果圖。第一行圖像(圖像1)描述的是航拍影像除霧的情況，除霧后可以看出植被河流的色彩更加鮮艷，航拍的建筑物也更加清晰，圖像對比度明顯加強。第二行圖像(圖像2)描述的道路近景圖，除霧后的圖像能夠分辨出路遠方的樹木，近處的汽車和道路也更加清晰自然。第三行圖像(圖像3)描述的是大面積天空和水域的除霧情況，可見邊緣較少，除霧后的圖像層次更加清晰，能夠分辨出島上的建筑物，除霧效果明顯。由圖6中對比可以直觀地看到處理后的效果有了很大的改善，而且可以看出該算法適用范圍較廣，對有霧圖像都有一定的除霧效果。

圖6　實驗結果

為了進一步驗證去霧效果，使用 Hautiere等人所提出的可見邊梯度法[9]對去霧效果進行客觀評定。該方法根據由Jourlin和Pinoli所提出的對數圖像處理(logarithmic image processing，LIP)模型[10]，采用原有霧圖像與去霧圖像的新可見邊集合數目比(e)、平均梯度比(r)和黑色像素點所占圖像大小百分比(σ)3個指標，其中e反映了圖像復原算法復原出圖像中可見邊緣的能力，r反映圖像復原算法的對比度增強能力，σ表示復原后過飽和的像素點所占總像素點的比例。對于除霧算法，其目標是盡可能地提高清晰化的程度，并在不丟失視覺信息的同時，增加圖像的對比度。因此，e和r值越大，σ值越小，去霧效果越好。

除霧客觀評價指標如表1所示。新可見邊集合數目明顯增加，平均梯度比增加，新增黑色或白色像素占圖像像素比接近于0，處理后圖像相對于原圖有了很好的改善。

表1　圖像去霧算法客觀評價指標(圖像大小1 080P)

比較采用EDMA技術和乒乓緩存技術與不采用該技術的處理圖像耗時如表2所示。其中t是采用上述技術，t1是僅采用EDMA技術的耗時，t2是僅采用高速緩存和乒乓緩存技術的耗時，t3是不采用上述兩種技術的耗時。

表2　比較使用相關技術耗時(圖像大小1 080P)　ms

由表2中數據可知，使用上述技術后單幅1080P圖像處理時間僅為28.7ms，而不使用上述技術處理時間明顯增加，所以該系統處理1080P視頻流速度可以達到30幀/s，符合實時要求。

5結語

提出了一種基于TMS320DM6467的高清視頻除霧方案。該系統提出一種YCbCr色彩空間下的快速除霧算法,對各種霧天視頻圖像具有良好的除霧效果。同時該方案引入了基于高速緩存和乒乓機制的緩存技術，極大地提高了 CPU 的處理效率，使得系統處理1080P視頻的速度可達到30幀/秒，滿足高清視頻的實時處理要求。

參考文獻:

[1] Yoon Inhye,Kim Seonyung,Kime Donggyun,et al.Adaptive Defogging with Color Correction in the HSV Color Space for Consumer Surveillance System [J]. IEEE Transon Inform Consumer Electronics,2012,58(1):111-116.

[2] 彭啟琮，等. 達芬奇技術-數字圖像/視頻信號處理新平臺[M]. 北京：電子工業出版社，2008.

[3] 文武,吳勇,張杰. 基于TMS320DM6467的視頻采集系統設計[J]. 電視技術,2011,35(17): 39-41.

[4] 邵丹，韓家偉. YUV與RGB之間的轉換 [J]. 長春：長春大學學報，2004，14(4):51-53.

[5] Schechner Y Y, Narasimhan S G, Nayar S K. Polariza-tion-based vision through haze. Applied Optics, 2003,42(3):511-525.

[6] Kaiming He,Jian Sun,Xiaoou Tang. Single image haze removal using dark channel prior[C]. CVPR,Washington DC:IEEE Computer Society,2009:1956-1963.

[7] Tan R.. Visibility in bad weather from a sigle image[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,Washington:IEEE Computer Society,2008: 2347-2354.

[8] 李武森，遲澤英，陳文建. 高速DSP圖像處理系統中的乒乓緩存結構研究[J]. 光電子技術與信息，2005，18(3) : 76-79.

[9] Jourlin M.,Pinoli J. C.,Zeboudj R..Contrast Definition and Contour Detection for Logarithmic Images [J]. Microsc,1989,(156):33-40.

[10] Hautiere N.,Tarel J-P,Aubert D.,et a1. Blind contrast enhancement assessment by gradient ratioing at visible edges[J]. Image Analysis and Stereology Journal ,2008,27(2):87-95.

收稿日期：2014-01-14

中圖分類號：TP274

文獻標志碼：B

文章編號：1671-5276(2015)04-0116-04

作者簡介：李昂——