視頻壓縮前端去隔行算法研究及系統(tǒng)設計*

何偉，李佳，林英撐，張玲，趙巍，鄔麗娜

(重慶大學通信工程學院，重慶400030)

在視頻監(jiān)控系統(tǒng)領域中，系統(tǒng)設備的數(shù)字化、網(wǎng)絡化和智能化是現(xiàn)代監(jiān)控系統(tǒng)發(fā)展的必然趨勢[1]。而新一代視頻壓縮標準H.264正是順應該趨勢發(fā)展而興起的一種面向網(wǎng)絡的視頻圖像編碼與傳輸技術，它除了可以增強網(wǎng)絡適應能力外，還可以大幅度提高壓縮效率，能夠在相同碼率下獲得更高的主客觀質量[2]。傳統(tǒng)的視頻采集設備(如模擬攝像機等)，由于采用隔行掃描方式采集視頻，使得奇偶場的采集時間存在差異，導致運動對象在視頻中出現(xiàn)“鼠齒效應”，這不僅使圖像質量降低，也極不利于H.264編碼器的碼率控制。因此，為了提高編碼效率和消除“鼠齒效應”，必須對隔行掃描視頻進行去隔行處理，從而使系統(tǒng)在同等帶寬下獲得更高質量的視頻信號，以便進行更加有效的智能視覺分析，達到更好的監(jiān)控效果。

傳統(tǒng)的針對運動物體的補償算法，雖然能在一定程度上消除“鼠齒效應”，但是靜態(tài)物體也被模糊化[3]。本文提出的一種改進型的運動自適應視頻去隔行算法，能夠在保證靜態(tài)物體清晰度的前提下，更好地達到去隔行效果。以此為核心算法，設計了面向智能監(jiān)控的視頻壓縮前端預處理系統(tǒng)。

1 智能視頻監(jiān)控系統(tǒng)架構

視頻監(jiān)控系統(tǒng)主要由視頻監(jiān)控端、主控中心和客戶端組成。如圖1所示，攝像機采集視頻數(shù)據(jù)后，傳輸至視頻前端預處理器，經(jīng)過該視頻前端的去隔行算法處理后，視頻數(shù)據(jù)轉化為逐行模式，進而傳輸至H.264編碼器進行視頻壓縮編碼，使得視頻信息轉化成適宜網(wǎng)絡傳輸?shù)牡退俾蚀a流[4]，經(jīng)由網(wǎng)絡傳輸?shù)街骺刂行脑O備，通過解碼還原出視頻圖像，實現(xiàn)監(jiān)控功能。

作為視頻監(jiān)控系統(tǒng)的前端預處理部分，視頻前端預處理器為整個系統(tǒng)圖像數(shù)據(jù)的高質量、遠距離、低碼流傳輸起到重要作用。它不僅對攝像頭采集的視頻數(shù)據(jù)進行去隔行處理，以獲取利于H.264編碼器壓縮的逐行視頻，并且提高了整個網(wǎng)絡傳輸速度，為系統(tǒng)后端模塊的順利工作和運行奠定基礎。

2 視頻前端預處理器

2.1 視頻前端預處理器的結構

本系統(tǒng)采用FPGA作為核心控制器，完成視頻采集、去隔行處理、下采樣等功能。如圖2所示，視頻采集模塊可支持PAL/NTSC制式的視頻輸入，用戶可根據(jù)圖像傳感器類型進行選擇，采集視頻格式為YCbCr420。將采集到的數(shù)據(jù)通過四端口SDRAM控制器存儲到片外的SDRAM中，去隔行處理模塊則通過對片外SDRAM的訪問獲取視頻數(shù)據(jù)，進而實現(xiàn)去隔行處理，快速消除“鼠齒效應”，提高了圖像質量[5]。將去隔行的視頻數(shù)據(jù)傳輸至下采樣模塊，可減少視頻數(shù)據(jù)量，為后續(xù)的視頻壓縮及多路視頻復用打下基礎。由于系統(tǒng)的去隔行模塊中采用了流水線技術，通過將從SDRAM中讀取的圖像數(shù)據(jù)緩存到片上存儲器中，減少該模塊等待讀取數(shù)據(jù)的時間，從而使系統(tǒng)滿足實時性要求。

圖1 視頻監(jiān)控系統(tǒng)結構圖

2.2 自適應視頻去隔行算法

傳統(tǒng)的去隔行算法，如場內插值法(Bob)、場融合法(Field Blending)等，前者雖然可以有效去隔行，也一定程度消除了圖像的“鼠齒效應”，但對于運動圖像中具有豐富細節(jié)的部分容易出現(xiàn)上下抖動的現(xiàn)象；后者可以明顯地去除鼠齒和鋸齒，但由于采用相鄰兩場混合的方法，在一定程度上模糊了圖像的細節(jié)，而且當畫面快速運動時，有時會出現(xiàn)重影現(xiàn)象。

圖2 視頻前端預處理器結構圖

本設計采用的基于運動補償?shù)淖赃m應視頻去隔行處理算法更具優(yōu)越性，它不僅包含了傳統(tǒng)運動自適應算法的運動估計和運動補償，而且在兩者之間添加運動地圖去噪部分作為改進的關鍵，使之不僅能夠消除運動物體的“鼠齒效應”，達到去隔行的目的，而且能夠準確區(qū)分運動區(qū)域和非運動區(qū)域，從而保持靜態(tài)物體的清晰度，實現(xiàn)了運動位置和非運動位置的協(xié)同處理。

2.2.1 運動估計

運動估計所遵循的準則如公式1所示，Motion為運動估計得到的運動地圖。根據(jù)該式所述，首先將奇偶場交織后得到當前幀和參考幀，然后將當前幀F(xiàn)n與參考幀F(xiàn)n-1中對應位置(x，y)的像素值進行減法運算，所得的差值與運動估計全局閾值T_motion比較。若大于該閾值則將該點視為運動點并將運動地圖上對應位置Motion(x，y)的值置1，否則視為非運動點，同時將Motion(x，y)的值賦為0。

2.2.2 運動地圖去噪

由于圖像相鄰位置點之間的運動具有相關性，設計中該環(huán)節(jié)采用了形態(tài)學中的先腐蝕后膨脹的方式，以去除運動地圖中存在的噪聲。腐蝕就是先根據(jù)公式(4)統(tǒng)計以某一像素點(x，y)為中心、寬度為(2×w+1)的窗口內，運動地圖Motion中運動點(運動地圖中為1的點)的個數(shù)N(x，y)。如公式2所示，當N(x，y)大于腐蝕閾值T_erode，則將該點在運動地圖中置1，否則清0。通過腐蝕，可將運動地圖中非運動點被誤判為運動點的噪點濾除，但同時也會濾除運動物體邊緣的運動點。所以，需要對腐蝕作用后的運動地圖進行膨脹處理。

如公式(3)所示，當運動地圖中坐標為(x，y)的值為1時，范圍在{[x-w，x+w]，[y-w，y+w]}二維區(qū)域內運動地圖的點值Motion(x，y)置為1。這樣可以對腐蝕過程中濾除掉的邊緣運動點進行彌補，從而較為精確地區(qū)分運動點與非運動點，為運動補償?shù)於ɑA。

2.2.3 運動補償

如公式(5)所示，運動補償是根據(jù)去噪后的運動地圖，對當前幀中的偶數(shù)行（不包含首尾兩行）的像素值根據(jù)公式(6)進行處理，其余行的像素值不變。

偶數(shù)行（不包含首尾兩行）的非運動點（運動地圖中為0的點）的像素值不變，對運動點（運動地圖中為1的點）則進行插值。在對運動點進行插值的過程中，如圖3所示，首先需要計算如圖所示的①-⑨九個方向對應像素值差值的絕對值，找到最小值所對應的方向后，確定m的值。如公式(7)所示，若最小值為|Fn(x-4，y-1)-Fn(x+4，y+1)|，則其對應的方向為①，m的值為-4。得到m值后，求出對應方向上的兩個像素值Fn(x+m，y-1)、Fn(xm，y+1)的平均值作為運動點的插入值(x，y)。

為了避免運動點(x，y)的插入值F′n(x，y)與其鄰行對應點像素值Fn(x，y-1)和Fn(x，y+1)差別過大，引起視覺上的跳變，可按照公式(8)修正運動點的插入值。首先將運動點的像素值與其相鄰兩行對應點的像素值作差，取其絕對值與修正閾值T_revision進行比較，若均大于修正閾值，則將插入值F′n(x，y)修正為Fn(x，y-1)與Fn(x，y+1)的平均值。

由于設計中采用的自適應視頻去隔行處理算法在進行運動估計時是必須有一個參考幀的，因此系統(tǒng)采集到的第一幀圖像不能使用上述自適應視頻去隔行處理算法進行去隔行處理。設計中采用幀內插值法對第一幀圖像進行去隔行處理，除第一行和最后一行像素值保持不變外，其余像素點均按公式(9)進行插值。如公式(7)所示，將(x，y)位置的像素值與其鄰行對應位置(x，y-1)和(x，y+1)的像素值與插值系數(shù){1/2，1/4，1/4}相乘并求和，得到像素值，將其更新到圖像中坐標為(x，y)的位置，達到去隔行的目的。

其中F1(x，y)表示第一幀插值前坐標為(x，y)的像素點的值，表示該點插值后的像素值。

將去隔行前后的football序列作為JM15（H.264標準參考軟件）模型的輸入，其余輸入?yún)?shù)均相同（采用基本檔次（baseline profile）快速全搜索模式），得到結果)(6)如表1所示。對比兩個結果可以看出，去隔行后的football序列作為JM模型輸入時，不僅編碼時間縮短，圖像質量提高，而且得到的碼率（Bit rate）大幅

3 性能分析

圖3 插值運算方向圖

在VC9.0環(huán)境下，編程實現(xiàn)上述改進型的自適應視頻去隔行處理算法，將標準序列文件Football.yuv作為去隔行程序的輸入，得到去隔行視頻。對比去隔行前的圖像與去隔行后的圖像，可以看到“鼠齒效應”已被消除。

將去隔行前后的football 序列作為JM15 （H.264 標準參考軟件） 模型的輸入，其余輸入?yún)?shù)均相同（ 采用基本檔次（baseline profile ） 快速全搜索模式） ， 得到結果如表1 所示。對比兩個結果可以看出， 去隔行后的football 序列作為JM 模型輸入時，不僅編碼時間縮短， 圖像質量提高， 而且得到的碼率（Bit rate ） 大幅度降低。

表1 去隔行前后football序列JM模型仿真結果對比表

本文提出的改進型自適應視頻去隔行處理算法能夠對視頻進行去隔行處理，并且效果明顯。由于算法本身可完全采用加減運算，因此適于FPGA設計實現(xiàn)。對采用該算法進行去隔行處理后的視頻進行H.264編碼得到的碼率與采用原隔行視頻作為編碼器輸入得到的碼率相比大大降低，從而減少了后端網(wǎng)絡傳輸所需的帶寬。設計中采用該去隔行處理算法作為視頻前端預處理器的核心算法，對H.264編碼器降低碼率方面有極大的幫助，因此將該算法運用在智能監(jiān)控系統(tǒng)中能夠使系統(tǒng)在同等帶寬下獲得更高質量的視頻信號。

[1]黃會雄.一種智能視頻監(jiān)控體系結構設計方案[J].微計算機信息，2007，6-1：115-117.

[2]ITU-T and ISO/IEC JTC1.ITU-T Recommendation H.264-ISO/IEC 14496-10 AVC，Advanced video coding for generic audiovisual services[S].2003.

[3]Gerard de Haan，Erwin B Bellers.Deinterlacing-An Overview[J].Proceedings of the IEEE，1998，86(9)：1840-1857.

[4]畢厚杰.新一代視頻壓縮編碼標準——H.264/AVC[M].北京：人民郵電出版社，2005.

[5]Rob A Beuker，Imran A Shaj.Analysis of interlaced video signal and it’s application[J].IEEE Transactions on Image Processing，1994，3(5)：501-512.