視頻圖像綜合處理系統的設計與實現

姜樹明，蔡秀霞，張元元，萬會松，劉向陽，劉曉輝

(山東省科學院情報研究所，山東 濟南 250014)

近年來，視頻監控系統在公共安全防范和交通監控等方面發揮著更大的作用，各種視頻圖像的采集與記錄也在越來越多的領域加以應用。但是，由于氣候、光線變化以及其它原因，使獲取的視頻圖像無法清晰地顯示所監視的目標，嚴重時甚至看不到任何有用信息。因此，急需設計一種能對模糊圖像進行清晰化處理的系統，提高視頻監控系統的魯棒性。實時視頻圖像處理系統要求具有處理大數據量的能力，以保證系統的實時性;同時對系統的體積、功耗、穩定性等也有較嚴格的要求。近年來，國內外視頻數字圖像處理系統在目標實時檢測方面出現了高度并行的視頻圖像處理方法［1-3］。如美國INMOS 公司1985年首次推出32 位具有獨特網絡性能的transputer 芯片，揭開了研究高速并行數字圖像處理系統的序幕［4］。此后，陸續出現了更高性能的微處理器，所用的數字信號處理器從TMS32010、TMS320C25、TMS320F206、TMS320C80 到目前的TMS320C6000 系列［5］，不斷地進行升級換代。為了改善惡劣環境下視頻監控系統所采集圖像的質量和清晰度，本文對具備視頻圖像綜合處理功能的系統硬件和軟件進行了探討，開發了一種實用的視頻圖像綜合處理系統，能實現視頻圖像去霧、去噪和清晰化處理，可廣泛應用于智能監控、交通、治安管理以及公安刑偵等領域。

1 方案設計

1.1 總體設計

系統分為硬件處理設備和軟件處理系統兩部分。對于實時采集的模擬信號先經過硬件設備進行處理，再進行模數轉換，然后經過軟件處理數字信號，最后完成兩部分的系統集成工作。其中，硬件處理設備的工作包括視頻圖像信息采集、模數轉換、監視器顯示以及硬件設備預處理，最終完成初步采集信息清晰化預處理和調試，并為后續軟件處理提供較好的初始信號。軟件系統的研發工作，主要集中于完成各軟件模塊的研發，以及軟件模塊的集成工作，具體包括去霧處理、模糊車牌處理、數字清晰化處理等算法的實現，最終完成硬件設備與軟件系統的整合和調試。

圖1 處理模擬視頻圖像的系統框圖Fig.1 The system block diagram processing an analog video image

目前市面上流通的監控攝像機既有模擬攝像機也有數字攝像機。由于本系統采用的是數字視頻圖像處理技術，因此對于采用模擬攝像機的監控系統，需首先將模擬視頻進行數字化處理［6］，即將需要處理的實時視頻圖像或已錄回放的視頻圖像，先經過該系統的硬件設備后，再送入計算機進行軟件處理。這種情況下，系統首先通過硬件設備處理將模擬信號轉化為數字信號，即先通過DSP 軟硬件模塊對模擬視頻圖像進行信號增強和噪聲過濾，再通過專用電路對模擬信號進行整流、直流分量平衡等處理;然后進入軟件處理模塊，通過量化和編碼手段完成視頻信號的模/數轉換，經去噪、濾波等處理后，提取相應的數字特征，進入視頻圖像處理、文字處理、車牌識別等功能模塊，達到對視頻圖像質量進行改善和處理的效果，最后將處理好的視頻圖像進行展示。處理模擬視頻圖像的邏輯框圖如圖1 所示。

對于采用數字攝像機進行拍攝的監控系統，由于采集的已經是數字視頻，因此無需進行數字化及編碼處理，其情形相對簡單，可直接進入軟件處理模塊。軟件處理過程與模擬視頻圖像的處理方式相同。

本軟件采用傳統的軟件開發生命周期，采用自頂向下、逐步求精的結構化的軟件設計方法［7-8］。根據軟件功能需求，將視頻圖像綜合處理系統細分為以下3 個子系統:視頻圖像處理子系統、文字處理子系統和車牌處理與識別子系統。軟件總體框架如圖2 所示。

1.2 開發環境及工具

以Windows 為操作平臺，開發工具采用Visual Studio 2005 中文版。選取Visual Studio 2005 作為開發工具的原因:

(1)語言和IDE:各有特色和創新的4 種語言(Visual Basic，Visual C++，Visual C#和Visual J#)將豐富編程體驗。對IDE 進行改進并提供個性化服務是提高生產力的保證。

(2).NET Framework 2.0:提供一個可靠的應用平臺，為構建安全、高性能、關鍵業務的解決方案提供了堅實基礎。

圖2 視頻圖像綜合處理軟件結構Fig.2 Software architecture of a video image processing system

1.3 接口設計

(1)用戶接口:本系統采用圖形用戶交互接口，以鼠標和鍵盤為用戶輸入接口，方便用戶對需要處理的圖片進行操作。

(2)外部接口:打印功能接口，采用系統自帶界面，理論上在所有Windows XP 系統中相同，且通用。

(2)內部接口:對于圖片基本參數(對比度、亮度、色彩飽和度)的調整，可與去霧處理或清晰化處理的效果疊加，而去霧處理與清晰化處理兩者相對獨立。

1.4 系統特色

(1)具有視頻圖像的去霧、去噪等模糊視頻圖像清晰化處理的功能，而且能夠通過對有用信息進行增強和特征提取來實現視頻圖像、文字和車牌識別的處理。

(2)有用視頻圖像信息(指處理前的視頻圖像內容中，有需要處理的視頻圖像信息，且其像素數應大于全屏畫面像素數的1/20)處理后的識別率達到85%以上。

(3)既能處理實時視頻圖像，又能處理單幀靜止視頻圖像或照片;既能處理模擬視頻圖像，又能處理數字視頻圖像。

(4)既有標準的模擬輸入/輸出接口，又有標準的數字輸入/輸出接口。

圖3 視頻圖像處理子系統功能細分Fig.3 Functionality subdivision of the video image processing sub-system

2 系統功能實現

2.1 模塊設計實現

視頻圖像綜合處理系統共包含了3 個子系統，各子系統既相互區別又相互聯系。3 個子系統中，圖像處理子系統是各個子系統實現其功能的基礎和前提，其它子系統可看作是圖像處理子系統的具體應用。因此，圖像處理子系統是整個系統的核心，該系統實現的功能主要包含視頻圖像基本參數調整、視頻圖像去霧處理和視頻圖像清晰化處理，見圖3。

(1)視頻圖像基本參數調整:實現對輸入視頻圖像的一般性處理，如亮度調整、對比度調整、色彩飽和度調整等，主要為后續其他視頻圖像處理算法提供預處理。

(2)視頻圖像去霧處理:對霧天中拍攝的視頻圖像進行處理，整體增強視頻圖像的清晰度，降低大霧對景物識別分辨的影響。

(3)視頻圖像清晰化處理:對惡劣環境中拍攝的非清晰視頻圖像進行增強處理，讓原本模糊的視頻圖像變得清晰。

2.2 視頻圖像基本參數調整模塊

本模塊的功能是調整視頻圖像的各種基本參數，主要包括對比度調整、亮度調整、色彩飽和度調整等基本操作。

(1)亮度/對比度調整

人眼對視頻圖像敏感的兩個重要性能參數是視頻圖像的亮度和對比度［9］。因此，在對照片、視頻等進行處理時，常常需要進行亮度和對比度的處理。亮度和對比度也是一種重要的顏色調整方法。本系統對視頻圖像的處理基于RGB 顏色模型，因此需要對RGB 各顏色分量進行特定的處理。

(2)色彩飽和度調整

本系統對于視頻圖像的飽和度的調整是通過調整RGB 分量，主要是G、B 分量的比值來實現。

2.3 視頻圖像去霧處理模塊

視頻圖像去霧模塊與視頻圖像基本參數調整模塊對視頻圖像所做的處理效果是可以疊加的。其基本原理是把霧天拍攝的照片或視頻，進行視頻圖像增強處理，使得霧中朦朧看不清的場景能看清。

其算法是:利用霧天大氣散射物理模型推導傳遞函數，對霧天拍攝的視頻圖像進行反向處理，得到基本無霧的視頻圖像。霧天成像的物理模型為:

式中，I(x)表示觀察到的視頻圖像，J(x)表示假設沒有大氣顆粒散射時候的真實視頻圖像，t(x)為大氣散射傳遞函數，A 為大氣光。公式(1)中等式右側第一項J(x)t(x)代表直接衰減項，即大氣散射的衰減模型，第二項A(1 -t(x))被稱為散射大氣光，即大氣散射的大氣光模型。

大氣散射傳遞系數表示透射率，反映了光線穿透霧的能力，值越大，表示場景點光線穿透霧到達觀測點的量越多［10］。大氣散射傳遞函數t(x)可表示成:

式中，β 為大氣顆粒散射系數，研究中由于霧在地表附近可以看作均勻的同質物質，因此可以假設β 是一個常量。d(x)為場景深度，是物體到成像設備的距離，物體表面反射的光線在到達成像設備時呈指數減少。A表示無窮遠處的大氣光，在同一天氣條件下可以看作一個恒定值。

根據已知的霧天視頻圖像模型(公式(1))，本研究中認為β 是一個常量，則大氣傳遞系數t(x)只受視頻圖像深度d(x)的影響。如果在同一霧天條件，且拍攝的視頻圖像深度基本一致的情況下，那么大氣光A 和t(x)就可以看作是不變的常量。因此我們可以利用多幅視頻圖像的多個約束方程，用解方程組的方法得出未知的參數。復原有霧視頻圖像關鍵是解出方程中的大氣傳遞系數t(x)和大氣光A，利用最小二乘法解超定方程組求出A 和t 的值。這樣不但充分利用了每個像素點的值，在很大程度上減小了誤差，而且去除了噪聲。在求解出參數t(x)和A 之后，有霧視頻圖像I(x)通過觀測點的成像設備得到，這樣就可得到復原后的清晰視頻圖像J(x)。把參考場景算出的參數A 和t(x)代入公式(1)便可得到復原后的清晰視頻圖像J(x)為:

根據視頻監控圖像場景固定的特點，可以選擇可靠的參考物體，方便獲得與霧天相對應的清晰視頻圖像。本文的算法可以應用于大量視頻監控場景視頻圖像的預處理中，如視頻監控、車牌識別和人臉識別等領域。該算法的實現流程如圖4 所示。

圖4 去霧算法流程圖Fig.4 Flowchart of the defogging algorithm

2.4 視頻圖像清晰化處理模塊

視頻圖像清晰化與視頻圖像基本參數調整兩個模塊對視頻圖像所做的處理效果是可以疊加的，與視頻圖像去霧模塊無關聯。

圖5 視頻圖像清晰化處理流程Fig.5 Flowchart of a video image clarity processing system

視頻圖像清晰化處理的意義是指在視頻圖像采集/復制/傳遞過程中，由于環境、設備等多種原因，會導致視頻圖像的清晰度下降，為了保證視頻圖像的清晰顯現，有必要對其清晰度進行增強。視頻圖像清晰度(Sharpness)的概念是指視頻圖像細節邊界變化的敏銳程度，也稱為“銳度”，清晰化處理也被稱為“銳化”。清晰度與分辨率的關系為視頻圖像的分辨率越高，通常會采集到更豐富的細節，使視頻圖像顯得更細膩。因此，在分辨率高的情況下，往往視頻圖像清晰度也較高。所以對于需要處理的圖片，分辨率越高，清晰化處理的效果也越好。

本系統采用視頻圖像清晰度增強處理技術——虛光蒙版(UnsharpMask，USM)。其算法過程是:

(1)對每個像素(當前像素)，求其同一幀內周圍多個鄰近像素灰度值的平均值;

(2)用當前像素的灰度值減去同一幀內空間上鄰近像素平均值，得到USM 值;

(3)取一部分或全部USM 值與當前像素的灰度值疊加。

處理后，視頻圖像細節邊緣的灰度反差加大，且會出現一定寬度的亮暗輪廓(“邊飾”)。取鄰近像素范圍寬，則“邊飾”也較寬。

視頻圖像清晰化算法流程見圖5。

3 系統功能演示

運行本系統后的界面如圖6 所示。操作順序如下:

(1)工具欄中，不同方向的笑臉的圖標，代表將圖進行翻轉或旋轉的方式;

(2)進行圖像基本參數調整時，設置參數大小的區域;

(3)選擇圖像處理方式，以及設置參數的區域;

(4)狀態欄的左邊會顯示當前正在進行的操作，在沒有任何操作的時候，會隨機顯示使用技巧提示，右邊則顯示圖片的分辨率和縮放比例。

圖7、圖8 為圖像處理前后對比圖。

圖6 系統操作界面Fig.6 Operation interface of the system

4 結語

本文設計了具有模糊圖像的實時去霧、去噪、清晰化等功能的視頻圖像綜合處理系統，系統設計采用了軟硬件結合的架構，具有標準的輸入輸出接口。目前該系統已經能夠較好地對整幅視頻圖像進行全局處理，但是隨著實際應用需求的增加，對某些局部特定目標，比如車牌、人物等等，需要更細致的分析和處理。基于此，在以后系統的升級過程中，我們將考慮增加系統局部特征處理的功能，使該系統具備更高的智能性以更好地應用于安防監控系統中。

［1］楊明林，張曉飛.FPGA 控制實現圖像系統視頻圖像采集［J］.計算機測量與控制，2003，11(6):451 -454.

［2］GILBERT A L，GILES M K，FLACHS G M，et al.A real-time video tracking system［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，1980，2(1):47 -55.

［3］DENG K，WILSON J N.An approximation-based video tracking system［C］.Image Algebra and Morphological Image Processing San Diego，CA，1991，1568:304 -312.

［4］薛大雷，過潤秋.一種基于DSP 和FPGA 的視頻圖像處理系統的設計方案［J］.電子設計應用，2003，(10):79 -81.

［5］Texas Instruments.TMS320C62xx peripherals reference guide［ED/OL］.［2013 -01 -02］.http://noel.feld.cvut.(z/vyu/scs/ti/TMS320C62xx-peripherals.pdf.

［6］朱明，魯劍鋒.基于DSP+FPGA 結構圖像處理系統設計與實現［J］.計算機測量與控制，2004，12(9):866 -869.

［7］雷玉堂.現代攝像機DSP 圖像處理系統的設計［J］.中國公共安全，2009，(10):140 -151.

［8］陳彬.基于FPGA 的視頻圖像處理系統設計［D］.重慶:重慶大學.2006.

［9］李武森，遲澤英.嵌入式高速DSP 視頻圖像處理系統中數據存儲器的接口設計［J］.紅外技術，2003，25(1):51 -54.

［10］MANUEL T.As the world turns parallel，transputer applications explode［J］.Electronics，1998(12):110 -112.