一種新的運動自適應去隔行算法

李火生，李國平，滕國偉，趙海武，王國中，范 濤

(上海大學通信與信息工程學院，上海200072)

隨著集成電路技術、通信技術和顯示技術的迅猛發展，以及人們對視頻畫面質量期望的提高，隔行顯示技術逐步退出歷史的舞臺，逐行顯示成為視頻播放的主流。為了更好地利用現存的大量隔行掃描視頻節目資源，需要將隔行掃描的視頻通過數字化處理，轉換為逐行掃描視頻，也就是視頻去隔行。

傳統的模擬電視標準主要是隔行掃描方式，而逐行掃描方式則成為現在的數字電視標準。由于這兩種標準有一個共存期，因此現在的數字電視必須有能將隔行視頻轉換為逐行視頻的功能，所以去隔行技術的研究有著重要的現實意義［1］。

隨著視頻編解碼技術的發展，圖像質量顯得愈發重要，傳統的隔行顯示技術已經不能滿足觀眾對視頻圖像質量的要求。因此，去隔行技術應運而生，它可以消除或者極大地減少隔行視頻中的掃描行、行間閃爍、鋸齒，使視頻畫面更加賞心悅目。

1 現有的去隔行算法

隔行視頻經過去隔行處理后輸出逐行視頻，其過程可表示為

式中：F(x－，n) 為輸入的隔行視頻中某一場的信號;Fi(x－，n)為插值生產的像素;F0(x－，n)為輸出的逐行視頻信號;x-為像素的位置;n為場的序號。可見，只有在y mod 2=n mod 2的情況下才有輸入信號，也就是由偶數場中的偶數行插值獲得奇數行或由奇數場中的奇數行插值獲得偶數行。

通過分析可知，去隔行算法的本質是利用隔行視頻中的一部分信息得到合適的Fi(x－，n)。現有的算法主要分為時域去隔行算法、空域去隔行算法和混合去隔行算法3類。

邊沿自適應平均法(Edge-based Line Average，ELA)是現在用得最多的空域去隔行算法，除此之外還有直接行重復法、行平均法。直接行重復法利用行復制，把一場“填充”為一幀;行平均法利用缺失行相鄰的兩行做簡單的平均計算來得到缺失行，然后進行“填充”;ELA是經典的空域去隔行算法，它根據圖像中的紋理信息來選擇用來插值的點，是這3種方法中最好的［2］。垂直分辨力的下降是這3種空域插值算法無法克服的缺陷。

常見時域去隔行方法有場混合法和場間插值法，它涉及到相鄰兩場的運算。場混合法利用兩個相鄰場合并成一幀;場插值法則由多個相鄰近的場經過線性插值運算得到一幀。時域法的缺點是：運動劇烈的圖像經過去隔行后，行與行之間會有“對不齊”現象，形成錯位失真。

混合法把空域和時域中的信息結合起來利用，具有更好的去隔行效果，它包括運動自適應去隔行算法以及復雜度最高的運動補償去隔行算法。本文提出的新的運動自適應算法為混合算法中的一種。

1.1 邊沿自適應平均法(ELA)

ELA分為兩步，第一步為檢測邊緣，第二步為利用邊緣方向的像素進行插值。如圖1所示，圖中有5條斜線，變量k表示這些斜線的方向，設c(k)為邊緣檢測函數，其實際意義為k方向上的相關度，其值越小，表示可能性越大。D表示檢測到的邊緣，其中R為檢測的范圍［3］。插值公司如式(4)所示，設f(i，j)為像素值。本文為了算法實現上的方便，取R=3。

圖1 圖像中的邊緣

ELA算法能很好地消除圖像邊緣的模糊，但當圖像的邊緣為接近水平方向時，要檢查到這種邊緣，取值須為無窮大，這種方法就無能為力了。ELA算法最大的優點是保證了輸出的一幀圖像中沒有運動估計導致的不自然信號，同時運算簡單，硬件實現容易。

1.2 場間插值法

如圖2所示，為待插值的場，利用相鄰兩場的信息對中缺失的奇數或偶數行進行插值，得到缺失像素。

圖2 利用一場信息獲得另一場信息

插值算法為

場間插值法能很好地減少圖像畫面的閃爍，提高圖像的垂直分辨力，計算復雜度低［2］。如果視頻中沒有運動場景，這種算法就是最優算法，但對于運動劇烈的視頻則會產生較嚴重的運動模糊。

1.3 運動自適應去隔行算法

將圖像中的像素點劃分為運動像素和靜止像素是運動自適應去隔行算法的一個基本步驟，對運動像素采用時域去隔行，對靜止像素采用空域去隔行。運動自適應去隔行算法根據不同的運動信息采用不同的去隔行算法，在時域分辨力和空域分辨力上能達到很好的平衡。運動補償去隔行算法復雜度高，并且對誤差非常敏感，實際的應用不多。

由于視頻去隔行的實際需求，很多芯片廠商提供了自己的視頻去隔行函數，例如Intel公司推出的IPP庫。Intel IPP庫包含各種多媒體處理函數，包含視頻去隔行函數。這個函數所采用的視頻去隔行算法為DMA(De-Interlace Motion Adaptive)［4］，這個算法綜合利用時域和空域中的冗余信息，根據運動狀況和邊緣紋理進行濾波，它屬于混合算法，其效果見第5節。

1.4 基于多幀的自適應去隔行算法

這里提出一種基于多幀的運動自適應去隔行算法，該算法充分利用了多場間的時間冗余信息，準確地進行運動檢測，同時在運動檢測過程中設定門限，提高運動檢測的效率。除此之外，充分利用場內的空間冗余信息，進行基于邊界的加權平均算法插值。實驗結果表明，該算法獲得了較好的顯示效果。

新算法利用被檢測點所在場的臨近場來判斷該點是否運動，也就是利用時域信息進行運動檢測，算法的流程圖如圖3所示。該算法根據被檢測點的運動情況來選擇線性插值算法或是場合并算法。

圖3 基于多幀的自適應去隔行算法的流程圖

2 運動檢測

如圖4所示，設當前幀為Current，其前向參考幀按時間順序分別為prev3，prev2，prev1，其中prev1是臨近幀。設l為幀的寬度，當前像素為Current(x，t)，則Current(x，y+l)為同一幀中另一場的臨近像素，Current(x，y+2l)為同一場中的相鄰像素。設運動檢測閾值為T(本文中，根據經驗取T=30)，則運動檢測的流程如圖5所示。

圖4 臨近幀

圖5 運動檢測的流程圖

Step1：把當前幀 Current中，Current(x，y-1)，Current(x，y)，Current(x，y+1)3 個點分別與 prev1 中相應位置的亮度值做差，并取絕對值。絕對值求和與比較，如果大于，則判斷為運動場景，終止檢測。否則跳轉到Step2。

Step2：把當前幀 Current中 Current(x，y-1)，Current(x，y)，Current(x，y+1)3 個點分別與 prev2 中相應位置的亮度值做差，并取絕對值。絕對值求和與比較，如果大于，則判斷為運動場景，終止檢測。否則跳轉到Step3。

Step3：把當前幀 Current中 Current(x，y-1)，Current(x，y)，Current(x，y+1)3 個點分別與 prev3 中相應位置的亮度值做差，并取絕對值。絕對值求和與比較，如果大于，則判斷為運動場景，終止檢測。否則跳轉到Step4。

Step4：把當前幀 Current中 Current(x+l，y-1)，Current(x+l，y)，Current(x+l，y+1)3 個點分別與 prev1 中相應位置的亮度值做差，并取絕對值。絕對值求和與比較，如果大于，則判斷為運動場景，終止檢測。否則跳轉到Step5。

Step5：把當前幀 Current中 Current(x+l，y-1)，Current(x+l，y)，Current(x+l，y+1)3 個點分別與prev2 中相應位置的亮度值做差，并取絕對值。絕對值求和與比較，如果大于，則判斷為運動場景，終止檢測。否則跳轉到Step6。

Step6：把當前幀 Current中 Current(x+l，y-1)，Current(x+l，y)，Current(x+l，y+1)3 個點分別與prev3 中相應位置的亮度值做差，并取絕對值。絕對值求和與比較，如果大于，則判斷為運動場景，終止檢測。否則跳轉到Step7。

Step7：把當前幀 Current中 Current(x+2l，y-1)，Current(x+2l，y)，Current(x+2l，y+1)3 個點分別與 prev1 中相應位置的亮度值做差，并取絕對值。絕對值求和與比較，如果大于，則判斷為運動場景，終止檢測。否則跳轉到Step8。

Step8：把當前幀 Current中 Current(x+2l，y-1)，Current(x+2l，y)，Current(x+2l，y+1)3 個點分別與 prev2 中相應位置的亮度值做差，并取絕對值。絕對值求和與比較，如果大于，則判斷為運動場景，終止檢測。否則跳轉到Step9。

Step9：把當前幀 Current中 Current(x+2l，y-1)，Current(x+2l，y)，Current(x+2l，y+1)3 個點分別與 prev3 中相應位置的亮度值做差，并取絕對值。絕對值求和與比較，如果大于，則判斷為運動場景，終止檢測。否則為靜止場景。

3 邊緣檢測

物體的邊緣在一定程度上決定著圖像的畫面質量，是圖像中重要的信息;由于隔行采集圖像視頻，運動物體的邊緣容易出現的鋸齒化現象;無論何種視頻去隔行技術都必須盡可能地去掉物體邊緣的鋸齒。為了去掉隔行視頻中邊緣的鋸齒，首先有必要檢測到邊緣。

在同一場內，計算不同方向像素點的相關性來確定邊緣方向，相關性越大，邊緣的可能性就越大［5-6］。如圖6所示，i-1，i+1為一場中相鄰的兩行，圖中有斜線，表示邊緣方向，設diff(d)為邊緣檢測函數，其實際意義為d方向上的相關度，其值越小，則該方向邊緣的可能性越大。D表示檢測到的邊緣，表示使diff(d)最小情況下的d的方向。

圖6 邊緣檢測

其相關函數為

如圖6所示，該算法只能檢測到有限的運動方向，無法檢測到水平方向的運動;并且沒有考慮到噪聲對檢測結果的影響。這些是該算法要改進的地方。

4 線性插值

如果檢測到運動，則根據邊緣的不同選用不同的像素點進行線性插值。如圖7～9所示：i為當前行，i-2～i+3為一場中的相鄰行，當檢測到的邊緣為右上45°時，則選取的點如圖7所示;當檢測到的邊緣為左下45°時，則選取的點如圖8所示;否則選取如圖9所示的點。

插值公式［7］為

式中：P 為由插值獲得的像素值，A，B，C，D，E，F 分別為同一場中沿邊緣方向的6個點，根據與目標像素的遠近分配給不同的權值，與式(5)相比，采用多個相關點進行插值能充分利用空間上的相關性，使畫面更加平滑，并且后續的視頻編碼能獲得更好的壓縮效率。如果沒有檢測到運動，則用行場合并。

5 實驗結果

圖10a為ELA算法的去隔行效果，圖中屬于靜止場景的字幕出現了模糊;圖10b為場間插值法的實現效果，圖中屬于運動場景的賽車出現了嚴重的運動模糊;圖10c為DMA算法效果，其畫面和前兩圖相比，靜止場景的字幕和運動場景的賽車都沒有出現明顯的模糊，整體清晰度改善不少，但畫面不夠平滑，有較為明顯的顆粒。這里提出的基于多幀的運動自適應去隔行算法其效果見圖10d，與圖10c相比，畫面平滑，運動場景和靜止場景沒有出現模糊，清晰度得到很大的改善。

圖10e為原始隔行視頻現實的情況，可以看出畫面模糊不清。圖10f為DMA算法處理后的效果，效果和原始視頻相比有很大改善，但圖10f中有些地方出現了虛影。圖10h是另一種運動自適應方法［7］，其處理后的畫面出現了明顯的運動模糊。圖10g是本文提出的算法，其效果和圖10f以及10h相比，運動和靜止場景均比較清晰，畫面流暢，在整體顯示效果上有很大的改善。

圖10 幾種視頻去隔行算法實驗結果的比較

本文提出的新算法在邊緣檢測上和其他相關算法相比，復雜度相差無幾。在運動檢測時，新算法采用閾值法，提前終止檢測，降低了復雜度。新算法中的插值算法通過位移的方式替代除法，降低算法復雜度。所以新算法的復雜度與其他算法相比，在整體上沒有明顯提高，并且實現簡單。

6 小結

在總結幾種經典去隔行算法的基礎上，對自適應去隔行算法中最為關鍵的部分——運動檢測算法和空域場內插值算法作了新的改進，提出了較為可靠的運動檢測方法，這種算法充分利用了被檢測點附近點的相關性，在一定程度上能排除噪聲的干擾，提高運動檢測的準確性。新算法中的插值算法和傳統插值算法相比較，它更能充分利用邊緣的特性，改善去隔行效果。此外，運算量小、編程實現簡單等特點使得新算法具有較強的實時性，具有一定實用價值，便于在單片機、DSP、FPGA等硬件上實現。

［1］俞志峰，張樂，江浩，等.一種提升電視圖像質量的自適應去隔行算法［J］. 電視技術，2010，34(S1)：73-75.

［2］張應均，劉一清，余奔.一種改進的運動自適應去隔行算法［J］.電視技術，2010，34(S1)：69-72.

［3］蔡學森，戴金波.內容自適應與DOI的場內去隔行研究［J］.計算機工程與應用，2009，45(27)：151-153.

［4］Intel.Intel integrated performance primitives for Intel architecture reference manual，volume 2：image and video processing［EB/OL］.［2012-01-04］.http：//software.intel.com/sites/products/documentation/hpc/ipp/ipp_manual/ippi.pdf.

［5］鄭淑紅，楊任爾，勵金祥，等.一種新的運動自適應去隔行算法［J］.寧波大學學報：理工版，2011，23(3)：44-47.

［6］JUNG S，KIM H，HA L，et al.A novel de-interlacing algorithmbased on adaptive polynomial interpolation ［J］.World Academy of Science，Engineering and Technology，2009，49：301-303.

［7］畢厚杰.新一代視頻壓縮編碼標準——H.264/AVC［M］.北京：人民郵電出版社，2005.