一種基于二值圖角點匹配的臺標識別方法

金 陽，程江華，任 通，庫錫樹

(國防科技大學電子科學與工程學院，湖南 長沙 410073)

電視視頻中的臺標包含了臺名、信號來源、節目類別等信息，可作為檢索、識別未知視頻的重要依據，在視頻信息導航、安全等領域應用廣泛。在海量視頻庫中，臺標可作為檢索工具，將視頻節目進行分類;在視頻安全監控中，臺標可作為重要的特征，監測播放內容的合法性;在視頻轉播中，識別替換原始臺標，避免出現兩個臺標的情況［1］。研究臺標自動識別的意義在于設計一種能夠在視頻序列中有效檢測、提取和識別臺標的方法，提高電視視頻監測效率，為后續的視頻分析、理解和檢索工作提供重要信息。

按照狀態的不同，臺標可分為靜態和動態兩種，當前絕大多數臺標是靜態的。根據透明度不同，臺標又分為不透明和半透明標兩種［1］。針對靜態臺標識別問題，Ozay等［2］提出一種基于平均時間邊界和支持矢量機(SVM)的臺標識別方法，能夠有效提取不透明和半透明臺標區域和實現臺標的識別，但在單獨臺標區域獲取以及描述的過程中計算復雜。楊強等［3］提出了臺標區域分割及小波特征參數提取算法，并利用小波參數匹配實現臺標識別，但存在準確率不高的問題。史迎春等［4］采用HSV空間彩色直方圖方法對臺標特征進行描述，并采用知識庫輔助直方圖統計的方法進行臺標識別。該算法使用遍歷識別，隨著知識庫中臺標數量的增加，計算效率會逐步下降，且對半透明臺標識別效果不是很理想。

本文針對當前占絕大多數的靜態臺標識別和匹配存在的問題，如臺標區域提取和描述復雜，實時臺標圖像匹配準確度不高等，提出一種基于二值圖像角點匹配的識別方法，該方法可有效解決不透明和半透明靜態臺標的識別和匹配問題。

1 系統總體設計

本文提出的基于二值圖像角點匹配的臺標識別方法的系統流程圖如圖1所示。

圖1 系統流程圖

具體的臺標識別和匹配方法主要分成3個階段:在臺標分割階段，運用二值化的視頻圖像差分累加和取平均分割的方法，獲得臺標圖像區域;在臺標圖像角點提取階段，充分利用Susan角點提取算法中不涉及梯度運算這一特性，在二值化的分割圖像上實現Susan角點提取方法;在臺標圖像角點匹配階段，利用極坐標域條件下，圖像角點對于灰度、對比度、旋轉、鏡像和尺度縮放等具有不變性的優勢，結合角點對的匹配思想，綜合利用極坐標和有效差值方法，對視頻圖像中的實時臺標進行匹配。

2 臺標識別和匹配

2.1 關鍵幀提取和臺標模板圖像分割

直接對電視視頻圖像全圖進行臺標搜索，計算量大，且復雜度高。根據先驗知識，目前絕大多數的電視臺標位于圖像畫面的左上角或右上角區域，可以直接選取視頻圖像左上角或右上角長寬均為原始圖像四分之一大小的圖像區域作為待分割的區域，所以在對臺標圖像進行分割前，進行臺標圖像區域提取，可以有效減少后續方法的計算量。

在關鍵幀提取階段，由于視頻圖像幀總數較大，實驗中用到的視頻分辨率為720×576，時長4分52秒，其容量為117 Mbyte，圖像幀總數達到了5萬多幀。針對大容量圖像幀視頻，可以直接采用鏡頭方法提取圖像關鍵幀，規定從一段視頻中所要獲得的圖像幀數，每隔相同數量的圖像幀數進行采集。

目前臺標分割主要采用對關鍵幀進行差分處理，并與人工設定的閾值比較進行分割，結果受閾值的影響較大。本文采用Otsu圖像自動分割方法［5］，獲得二值化臺標圖像，在二值臺標圖像上進行差分累加求和取平均的方法，避免了灰度圖像閾值選取的問題。

對實時臺標圖像進行全局閾值分割以后，一般不能得到只含有單個臺標圖形的二值化圖像，可能同時包含其他非目標成分。本文采用多幅不同關鍵幀的全局閾值分割圖像相疊加求平均的方法，其累加取平均的結果是在臺標的區域所得的值仍然是1(白色)，而非臺標部分均值則小于1，以1為閾值，得到二值圖像分割結果。圖2a為對湖南衛視一段視頻的關鍵幀圖像進行的二值化處理后的結果，圖2b為對得到的二值化圖像進行差分累加取平均，再進行閾值分割得到的單個臺標圖像。從分割結果可以看出，本文方法可以有效去除臺標圖像中其他干擾成分。

2.2 臺標圖像角點提取

圖2 二值化臺標模板圖像分割結果

角點具有旋轉不變性、受光照影響小等特點，適合作為一種判別因子，應用于特征區域變化較為頻繁和明顯的視頻圖像。臺標作為一種視頻圖像中特殊圖案的存在，其一般具有規則或者較為規則的特點，且存在較為豐富的角點信息，故對臺標圖像進行角點提取，并將其作為一種表示臺標信息的重要特征，在復雜的視頻圖像中，能夠為后續的臺標匹配提供一種重要的特征描述。

經典的角點提取算法有 Harris［6］、Susan［7］等，其主要思想是根據像素點的灰度或梯度特征提取角點。Harris角點提取算法將由任意方向偏移引起的最小灰度變化值大于某一特定閾值的點定義為角點［8］。Susan角點提取算法檢測到的角點準確度較高，并可以根據USAN區域獲得角點的夾角信息，但對閾值的依賴性很大，且計算復雜。

為了避免在Susan角點提取方法中閾值選取問題以及運算的復雜性，提出一種針對臺標圖像的改進Susan角點提取方法，以二值圖像為基礎，利用Susan角點提取算法不涉及梯度運算的特性，可以有效避免角點響應函數CRF和自適應閾值選取時的復雜運算。首先我們考慮USAN區域的定義:模板內像素與模板中心像素灰度之差小于一定閾值，則認為該點與中心像素具有相同的灰度值，由滿足此條件的像素組成的區域稱為USAN。所以從USAN的定義可以看出Susan算子不需要一階、二階導數運算，而在二值圖像中，模板內的其他像素只存在和中心點像素相同或相反兩種情況，只要統計模板內像素點和中心點相同的像素點個數，就可以求得角點響應函數值。每個像素點對應的USAN區域計算為

式中，c是比較函數，具體計算公式為

式中:r0是中心像素點坐標;r是模板內其他像素點坐標;t是模板內像素與中心像素的差值門限。令t=0即可對模板內像素點和中心點進行比較，對比原Susan算法中n(r0)的計算式(3)，雖然將灰度圖像轉換為二值圖像，損失較多的灰度信息，但是有效避免角點響應函數(4)中算式n(r0)的復雜6次方運算以及閾值T的選取問題，g為設定的門限值。

以湖南衛視臺標模板圖3a為例，Harris角點提取算法，Susan角點提取算法及改進的Susan角點提取方法的實驗結果如圖3b至圖3d所示。

圖3 不同角點提取算法得到的臺標圖像角點

由改進的二值圖像Susan角點提取方法對比傳統的Harris角點提取算法和Susan角點提取算法實驗結果可知，亦能夠有效地提取出臺標角點，較為平坦的邊緣上未分布有虛假角點，在外圈圓形平坦圓弧邊緣上也沒有分布，而在彎折形狀部分分布明顯，這也符合客觀實際，計算的復雜程度有所下降，且得到的角點準確性較高，能夠較好地滿足后續的實驗要求。

2.3 臺標圖像角點匹配

實時視頻圖像在傳輸、保存過程中難免存在旋轉、位移等形變問題，且由于視頻格式轉換的存在，在不同的分辨率情況下，實時視頻臺標圖像亦可能發生尺度變換等情況。利用臺標圖像提取出的角點進行匹配，可以有效克服上述實時臺標圖像存在的問題，正確識別出臺標信息。

2.3.1 極坐標角點匹配思想

傳統的圖像匹配方法，是直接標注兩幅待匹配圖像之間匹配的角點。李兆烽等［9］提出了基于對數極坐標變換的景象匹配新方法，在實時圖發生任意角度旋轉、亮度變化、尺度變化和Susan角點提取方法的情況下仍可以保持很高的匹配精度，由于變換具有非均勻性，處理的對數極坐標變換圖的像素較少，且軸向投影是一維的，一次只需較少的匹配運算量，具有較快的匹配速度。郭明明等［10］提出了一種基于角點特征的界限圈匹配算法，特點是使用二值化圖像，用角點與重心組成的星狀結構來簡化目標形狀，在極坐標域進行表述，并使用界限圈法，得到兩幅待匹配圖像之間的角點對應點數和差異點數，形成匹配圖像之間的相似度表述函數。魏振忠等［11］提出了基于環向特征的快速旋轉不變性匹配算法，構造了環向特征投影不變量，用環向特征作匹配，摒棄了圖像中心的數據，而這部分數據在轉換到極坐標下時，因差值量過大極易導致誤匹配，因此剔除這部分數據不但提高了匹配準確率，而且有效地提高了匹配速度。

針對視頻臺標這一特殊條件下的圖像，若直接利用上述方法進行匹配運算，則都存在不足或缺陷。基于對數極坐標變換的景象匹配新方法，極坐標變換以后的坐標值用對數表示，然而臺標圖像本身較小，不適合運用對數表示;基于角點特征的界限圈匹配算法，其利用二值化圖像的特點比較適合本文，但其界限圈的核心思想是直接比較實時圖和模板圖的角點在極坐標下的誤差是否滿足其所定義的界限，不具備尺度不變性;基于環向特征的快速旋轉不變性匹配算法，其中心思想就是要摒棄中心區域像素，這顯然在視頻臺標圖像中應用時是不合理的，因為許多臺標在中心區域很有可能存在較為豐富的角點信息，若直接摒棄，必將影響到匹配的準確度。

2.3.2 基于極坐標角點對的匹配方法

針對上述存在的問題并結合視頻臺標圖像的特殊性，提出一種新的基于極坐標角點對的匹配方法，其流程如圖4所示。

圖4 基于極坐標角點對匹配流程圖

傳統的圖像匹配方法，是直接標注兩幅待匹配圖像之間匹配的角點，而本文綜合利用極坐標和有效差值的角點對匹配方法，不是直接比較實時圖和模板圖中具體哪兩個角點是否匹配，而是以角點對的形式進行比較，通過計算成功匹配的角點對數在所有角點對中所占的比例來判斷實時臺標和模板臺標之間的匹配程度。在實時圖和模板圖中，以任意三個角點作為一個角點對，在這個角點對中，形成極坐標下的長度分量和角度分量，具有很好的旋轉不變性和抗尺度縮放性能。

具體步驟如下:

1)利用二值化臺標圖像進行改進的Susan角點提取，得到模板圖角點，令其為ci(i=1，2，…，n )，其中n為模板圖角點的個數，取其中第一個角點c1;

2) 遍歷角點ci(i=2，3，…，n)，建立基底 rc1ci，再遍歷角點 cj(j=2，3，…，n;j≠ i) ，建立基底 rc1cj;

3)令r1ij=，θ1ij為基底rc1ci和rc1cj之間的夾角，定義角度的方向以逆時針為正方向，建立極坐標形式的角點對關系(r1ij，θ1ij)，如圖5所示;

圖5 角點對關系建立示意圖

4)再取下一個角點ck(k=2，3，…，n)，依次執行步驟2)和步驟3)得到角點對的極坐標關系(rkij，θkij);

5)依次遍歷實時臺標圖像角點對極坐標關系中的角度分量，判斷是否存在滿足這樣的θ'kij，在模板圖角點對極坐標關系中能夠找到這樣的θkij，使得θ'kij∈θkij×(1±δθ) ，δθ是一個較小的常量;

6)若在遍歷的過程中找到了這樣的θ'kij，就繼續比較實時圖和模板圖θ'kij和θkij分別對應的長度分量r'kij和rkij，判斷這兩個分量是否滿足條件r'kij∈rkij×(1±δr)，若滿足條件，標記角點對(k，i，j)為1，否則標記為0;

實驗證明這種不是直接比較具體哪兩個角點之間是否匹配，而是以成功匹配角點對在所有模板角點對中所占的比例作為匹配與否的判決條件的方法的有效性。

3 實驗結果及分析

首先為了驗證本文方法的有效性，設計實驗1和實驗2兩個實驗;同時，針對視頻圖像在傳輸、保存過程中存在的旋轉、變形等形變問題，在不同的分辨率情況下，實時臺標圖像發生尺度變換等情況，設計實驗3和實驗4兩個實驗。

實驗1:不同電視臺實時圖分別與湖南衛視模板進行匹配，實驗結果如表1所示。

表1 不同模板臺標間匹配結果

由實驗1結果可知，只有相應的電視臺標實時圖與模板圖之間才能達到較高的匹配精度。

實驗2:各電視臺實時臺標與各自模板臺標進行匹配，實驗圖和實驗結果如圖6和表2所示。

由實驗2結果可知，隨著角點數目的增多，匹配精度會隨之提高，同時增加運算的復雜程度。

圖6 不同電視臺的二值化臺標模板(左)和實時圖像(右)

表2 不同模板臺標與實時臺標匹配結果

結合實驗1和實驗2的數據，很好地證明了該方法在實時臺標圖像匹配中的有效性，相同的實時臺標圖像匹配的精度很高，不同的實時臺標圖像匹配的精度較低，且只有在和自身實時臺標圖像相同的模板臺標圖像進行匹配時，才能夠達到一個比較高的匹配精度。進一步證明了通過計算匹配的角點對數在所有模板角點對中所占的比例作為實時臺標和模板臺標之間的匹配率這種方法的有效性。

實驗3:以湖南衛視臺標模板圖為例，不同條件變換下與變換前進行匹配，實驗結果如表3所示。

表3 模板臺標變換前后角點匹配結果

由實驗3結果可知，模板臺標的匹配精度受旋轉、鏡像翻轉、尺度縮放等的影響很小。這里直接用模板圖像進行變換后作為一組實驗進行檢測，用來檢驗在標準臺標圖像的條件下，變換以后角點匹配所能夠達到的一個匹配率，進一步驗證了本文方法的有效性。

實驗4:以湖南衛視臺標為例，實時圖像變換后與模板圖像進行匹配。這種情況模擬實際實時視頻圖像，實時視頻受傳輸、保存以及分辨力不同等各方面影響，其臺標可能發生旋轉、縮放、尺度變換等形變。實驗結果如表4所示。

表4 實時圖像變換后與模板臺標的匹配結果

由實驗4結果可知，實時圖像和模板圖像在旋轉、鏡像翻轉、尺度縮放等變換的條件下，依然能夠實現很高的匹配精度，與原實時圖像和模板圖像匹配的精度相比較，誤差在允許的范圍內，由此驗證了本文方法在模擬實際情況下對實時臺標圖像識別和匹配的有效性。

4 小結

實時視頻臺標圖像由于各種原因，造成與模板臺標圖像之間存在各種形變，如尺度縮放、旋轉等，針對這些問題，本文提出一種基于二值圖像角點匹配的三步驟臺標識別方法，方法有效可行。在臺標分割階段，運用二值化的視頻圖像差分累加和取平均分割的方法，獲得臺標圖像區域;在臺標圖像角點提取階段，充分利用Susan角點提取算法中不涉及梯度運算這一特性，在二值化的分割圖像上實現改進的Susan角點提取方法;在臺標圖像角點匹配階段，利用極坐標域條件下，圖像角點對于位移、灰度、對比度、旋轉、鏡像和尺度縮放等具有不變性的優勢，結合角點對的匹配思想，綜合利用極坐標和有效差值方法，對視頻圖像中的實時臺標進行匹配，得到了較好的結果。

［1］OZAY N，SANKUR B.Automatic TV logo detection and classification in broadcast videos［C］//Proc.of 17th European Signal Processing Conference.Glasgow，Scotland:［s.n.］，2009:839－843.

［2］OZAY N，SANKUR B.Automatic TV logo identification［C］//Proc.IEEE 16th Signal Processing Communication and Application Conference.［S.l.］:IEEE Press，2008:1－4.

［3］楊強，程玉昆，馬森.基于小波特征的臺標識別［J］.計算機應用與軟件，2009，26(3):63－64.

［4］史迎春，周獻中，方鵬飛.綜合利用形狀和顏色特征的臺標識別［J］. 模式識別與人工智能，2005，18(2):217－222.

［5］GONZALEZ R C，WOODS R E，EDDINS S L. 數字圖像處理:MATLAB版［M］.阮秋琦，譯.2版.北京:電子工業出版社，2005.

［6］HARRIS C，STEPHENS M.A combined corner and edge detector［J］.Proc.of fourth Alvey Vision Conference.［S.l.］:Plessey Company，1988:189－192.

［7］SMITH S M，BRADY M.Susan－a new approach to low level image processing［J］.International Journal of Computer Vision，1997，23(1):45－78.

［8］唐永鶴.基于特征點的圖像匹配算法研究［D］.長沙:國防科學技術大學，2007.

［9］李兆烽，李言俊.基于對數極坐標變換的景象匹配新方法［J］.紅外與激光工程，2008，36(2):285－288.

［10］郭明明.形狀匹配及其在剪紙中的應用研究［D］.桂林:廣西師范大學，2007.

［11］魏振忠，雷鳴，張廣軍.基于環向特征的快速旋轉不變性匹配算法［J］. 光學技術，2009，35(2):284－287.