基于統(tǒng)計(jì)分類的臺(tái)標(biāo)識(shí)別相關(guān)技術(shù)研究

于 靜，高 飛,王沙沙，溫英新

(北京理工大學(xué) 信息與電子學(xué)院，北京100081)

電視臺(tái)標(biāo)是區(qū)分電視臺(tái)的重要標(biāo)識(shí)，臺(tái)標(biāo)有效識(shí)別將為視頻收視行為統(tǒng)計(jì)提供有力支持，同時(shí)，也是對(duì)各個(gè)電視臺(tái)進(jìn)行自動(dòng)視頻分析、節(jié)目導(dǎo)向及內(nèi)容檢索的重要手段。目前，對(duì)臺(tái)標(biāo)識(shí)別已開(kāi)展了廣泛的研究，從各種不同側(cè)面提出了一些臺(tái)標(biāo)識(shí)別的方法，在一定的條件下，這些方法可以較好地解決臺(tái)標(biāo)的正確識(shí)別[1-2]。

由于臺(tái)標(biāo)的透明度不同，臺(tái)標(biāo)可分為半透明臺(tái)標(biāo)和不透明臺(tái)標(biāo)兩類。半透明臺(tái)標(biāo)的像素點(diǎn)會(huì)隨著復(fù)雜背景變化，如中央電視臺(tái)和北京電視臺(tái)的臺(tái)標(biāo)。而不透明臺(tái)標(biāo)的像素點(diǎn)不會(huì)隨著背景改變，如湖南衛(wèi)視、東方衛(wèi)視等電視臺(tái)的臺(tái)標(biāo)[2]。若對(duì)上述兩種不同類型的臺(tái)標(biāo)采用同一種方法進(jìn)行識(shí)別，很難獲得令人滿意的效果。

本文通過(guò)對(duì)各種電視臺(tái)標(biāo)數(shù)據(jù)的分析，提出了一種基于統(tǒng)計(jì)分類的自動(dòng)臺(tái)標(biāo)識(shí)別方法。該方法首先采用統(tǒng)計(jì)識(shí)別方法將不透明臺(tái)標(biāo)和半透明臺(tái)標(biāo)進(jìn)行有效分類。在此基礎(chǔ)上，針對(duì)兩種類型臺(tái)標(biāo)的各自特點(diǎn)，采用不同的臺(tái)標(biāo)分割方法將臺(tái)標(biāo)進(jìn)行正確分割。然后對(duì)分割的臺(tái)標(biāo)采用基于小波變換、奇異值分解的方法進(jìn)行特征提取和識(shí)別。經(jīng)大量實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證，該方法識(shí)別精度高，具有較強(qiáng)的適應(yīng)性。

1 臺(tái)標(biāo)統(tǒng)計(jì)分類

為了實(shí)現(xiàn)臺(tái)標(biāo)的正確識(shí)別，首要任務(wù)是將上述兩類臺(tái)標(biāo)進(jìn)行有效分類。

由于臺(tái)標(biāo)位置的時(shí)空不變性[3]，而臺(tái)標(biāo)區(qū)域的背景變化相對(duì)較大，因此，可以采用基于多幀疊加及統(tǒng)計(jì)平均的方法使臺(tái)標(biāo)本身的信息獲得增強(qiáng)，同時(shí)弱化背景信息。但是，由于兩類臺(tái)標(biāo)的透明度不同，半透明臺(tái)標(biāo)的像素點(diǎn)會(huì)隨背景變化而改變，不透明臺(tái)標(biāo)的像素點(diǎn)不會(huì)隨著背景變化。因此，這種基于多幀疊加及統(tǒng)計(jì)平均的方法對(duì)于兩類臺(tái)標(biāo)的增強(qiáng)程度是不同的。

通過(guò)分析，構(gòu)成半透明臺(tái)標(biāo)有效部分的像素點(diǎn)都是偏向于白色的，偏白色像素點(diǎn)的R、G、B 3個(gè)分量的值都是偏大的。而不透明臺(tái)標(biāo)主要由彩色像素點(diǎn)構(gòu)成，基本不含有偏白色像素點(diǎn)或只含有一部分偏白色像素點(diǎn)，彩色像素點(diǎn)的R、G、B 3個(gè)分量不會(huì)同時(shí)取得較大值。因此，兩類臺(tái)標(biāo)所含偏白色像素點(diǎn)的數(shù)量相差較大，半透明臺(tái)標(biāo)含有更多的偏白色像素點(diǎn)。這是兩類臺(tái)標(biāo)的關(guān)鍵特性差異，基于這種差異可以對(duì)兩類臺(tái)標(biāo)進(jìn)行有效分類。

本文對(duì)視頻圖像數(shù)據(jù)的處理是針對(duì)每一幀數(shù)據(jù)左上角包含所有電視臺(tái)標(biāo)的盡量小的公共區(qū)域。

（1）對(duì)視頻圖像序列，連續(xù)采集 200幀數(shù)據(jù)，將 200幀視頻圖像數(shù)據(jù)分為10組，依序每隔10幀抽取1幀數(shù)據(jù)，組成1組，每一組中均含有在時(shí)間軸上不連續(xù)的20幀視頻圖像數(shù)據(jù)。

（2）對(duì)于每一組視頻數(shù)據(jù)，將 20幀圖像的 R、G、B 3個(gè)分量分別相加再取統(tǒng)計(jì)平均，所得均值分別記為SRi、SGi、SBi，i=1，2，…，10。

對(duì)于每一組在時(shí)間軸上不連續(xù)的20幀視頻圖像，臺(tái)標(biāo)本身不會(huì)隨背景改變（不透明臺(tái)標(biāo)）或僅有較小變化（半透明臺(tái)標(biāo)），而背景部分有較大改變，因此，通過(guò)多幀疊加再取平均的方法可以加強(qiáng)臺(tái)標(biāo)本身，同時(shí)弱化背景。

（3）經(jīng)過(guò)上述處理，獲得10組視頻圖像的 R、G、B分量的均值 SRi、SGi、SBi，i=1，2，…，10。 設(shè)定經(jīng)驗(yàn)閾值，用該閾值分別對(duì)所得的均值 SRi、SGi、SBi進(jìn)行判別，將小于閾值的像素點(diǎn)置為0，而大于等于閾值的像素點(diǎn)保持不變。

（4）再將10組視頻圖像數(shù)據(jù)經(jīng)過(guò)上述處理的 SRi、SGi、SBi分別相加再取平均，得到均值 SR、SG、SB，采用（3）中的經(jīng)驗(yàn)閾值分別對(duì)其進(jìn)行判別，將小于閾值的像素點(diǎn)置為0，而大于等于閾值的像素點(diǎn)保持不變。

（5）這時(shí)SR、SG、SB中保留的非零像素點(diǎn)分別為視頻圖像R、G、B分量取值較大的像素點(diǎn)，綜合利用經(jīng)過(guò)處理的均值SR、SG、SB將這三者相加再取平均，所得均值記為M,設(shè)定門限T。M中大于門限T的像素點(diǎn)即認(rèn)定為偏白的像素點(diǎn)，統(tǒng)計(jì)M中偏白像素點(diǎn)的數(shù)量，若大于某個(gè)閾值 (通過(guò)反復(fù)試驗(yàn)求得最佳閾值)，則認(rèn)定這200幀視頻圖像的臺(tái)標(biāo)屬于半透明臺(tái)標(biāo)，否則認(rèn)為是不透明臺(tái)標(biāo)。臺(tái)標(biāo)統(tǒng)計(jì)分類方法的效果如圖1所示。

圖1 臺(tái)標(biāo)統(tǒng)計(jì)分類實(shí)驗(yàn)結(jié)果

由此，通過(guò)統(tǒng)計(jì)分類的方法實(shí)現(xiàn)了半透明和不透明兩類臺(tái)標(biāo)的有效分類。

2 臺(tái)標(biāo)特征識(shí)別

上述預(yù)處理主要用于將半透明臺(tái)標(biāo)和不透明臺(tái)標(biāo)的有效分類。在分類的基礎(chǔ)上，對(duì)每類臺(tái)標(biāo)分別采用針對(duì)該類臺(tái)標(biāo)自身特點(diǎn)的方法實(shí)現(xiàn)臺(tái)標(biāo)的正確分割，然后采用基于小波變換和奇異值分解相結(jié)合的方法實(shí)現(xiàn)臺(tái)標(biāo)的有效表示和正確識(shí)別。

在臺(tái)標(biāo)特征識(shí)別中，僅對(duì)視頻臺(tái)標(biāo)區(qū)域的灰度圖像進(jìn)行處理。

2.1 臺(tái)標(biāo)分割

2.1.1 不透明臺(tái)標(biāo)分割

不透明臺(tái)標(biāo)各像素點(diǎn)與背景無(wú)關(guān)，僅受隨機(jī)噪聲干擾，取值基本不變，而背景部分變化較大。據(jù)此，采用迭代相減的方法去掉背景，將不透明臺(tái)標(biāo)的有效部分提取出來(lái)，實(shí)現(xiàn)臺(tái)標(biāo)的正確分割。具體做法是：

（1）在臺(tái)標(biāo)統(tǒng)計(jì)分類中，對(duì)于已經(jīng)判定歸為不透明臺(tái)標(biāo)一類的200幀視頻圖像序列進(jìn)行分組，將這200幀視頻的灰度圖像分為20組,每相鄰10幀視頻圖像數(shù)據(jù)組成1組。

（2）將每一組視頻中的10幀灰度圖像數(shù)據(jù)相加再取統(tǒng)計(jì)平均，所得均值分別記為 SNi，i=1，2，…，20。 經(jīng)統(tǒng)計(jì)平均后，可以加強(qiáng)不會(huì)隨背景改變的臺(tái)標(biāo)本身。各組的SNi在臺(tái)標(biāo)區(qū)域的像素點(diǎn)取值相近，而在背景區(qū)域的像素點(diǎn)取值相差較大。據(jù)此，可以實(shí)現(xiàn)不透明臺(tái)標(biāo)的分割。

（3）采用迭代相減的方法去除背景。首先，用SN2減去SN1，所得差值大于經(jīng)驗(yàn)閾值D1的區(qū)域就判定為背景，將SN2中相應(yīng)的區(qū)域置為0。這樣，可以去掉一部分的背景。然后用SN3減去已去掉部分背景的SN2，并執(zhí)行與SN2減去SN1后相同的操作，這樣可以進(jìn)一步地去掉背景。以此類推，直至完成。此時(shí)，已將判定為背景的區(qū)域全部置為0。最后，認(rèn)定SN20保留的非零像素點(diǎn)構(gòu)成的區(qū)域即為有效臺(tái)標(biāo)部分，至此，實(shí)現(xiàn)了不透明臺(tái)標(biāo)的有效分割。不透明臺(tái)標(biāo)分割方法的效果如圖2所示。

圖2 東方衛(wèi)視臺(tái)標(biāo)分割實(shí)驗(yàn)結(jié)果

2.1.2 半透明臺(tái)標(biāo)分割

半透明臺(tái)標(biāo)各像素點(diǎn)的取值會(huì)隨背景的變化而改變，針對(duì)這個(gè)特點(diǎn)，在分割半透明臺(tái)標(biāo)時(shí)，需要使用迭代相減和小波重構(gòu)兩種方法共同完成。具體做法是：

（1）在臺(tái)標(biāo)統(tǒng)計(jì)分類中，對(duì)于已經(jīng)判定歸為半透明臺(tái)標(biāo)一類的200幀視頻圖像序列進(jìn)行分組，將這200幀視頻的灰度圖像分為20組,每相鄰10幀視頻圖像數(shù)據(jù)組成1組。

（2）將每一組視頻中的10幀灰度圖像數(shù)據(jù)相加再取統(tǒng)計(jì)平均，所得均值分別記為STi，i=1，2，…，20。 經(jīng)統(tǒng)計(jì)平均后,可以加強(qiáng)會(huì)隨背景變化有較小改變的臺(tái)標(biāo)本身。

但是，由于半透明臺(tái)標(biāo)本身會(huì)隨背景改變，這種基于多幀疊加和統(tǒng)計(jì)平均的方法對(duì)半透明臺(tái)標(biāo)的加強(qiáng)沒(méi)有對(duì)不透明臺(tái)標(biāo)的效果好。因此，還需要對(duì)得到的STi進(jìn)行小波重構(gòu)，進(jìn)一步加強(qiáng)半透明臺(tái)標(biāo)[4]。

具體做法是：對(duì)STi進(jìn)行小波變換，并對(duì)得到的低頻小波系數(shù)進(jìn)行倍乘操作，再用倍乘后的低頻小波系數(shù)進(jìn)行小波逆變換，實(shí)現(xiàn)小波重構(gòu)。這樣可以使半透明臺(tái)標(biāo)的有效部分得到進(jìn)一步加強(qiáng)。經(jīng)小波重構(gòu)后的各組STi在臺(tái)標(biāo)區(qū)域的像素點(diǎn)取值相近，而在背景區(qū)域的像素點(diǎn)取值相差較大。據(jù)此，可以實(shí)現(xiàn)半透明臺(tái)標(biāo)的正確分割。

（3）對(duì)于小波重構(gòu)后的各組 STi，采用迭代相減的方法去除背景。首先，用ST2減去ST1，所得差值大于經(jīng)驗(yàn)閾值D2的區(qū)域就判定為背景，將ST2中相應(yīng)的區(qū)域置為0。這樣，可以去掉一部分的背景。然后用ST3減去已去掉部分背景的ST2，并執(zhí)行與 ST2減去 ST1后相同的操作，這樣可以進(jìn)一步去掉背景。以此類推，直至完成。此時(shí)，已將判定為背景的區(qū)域全部置為0。最后，認(rèn)定ST20保留的非零像素點(diǎn)構(gòu)成的區(qū)域即為有效臺(tái)標(biāo)部分，至此，實(shí)現(xiàn)了半透明臺(tái)標(biāo)的正確分割。半透明臺(tái)標(biāo)分割方法的效果如圖3所示。

圖3 中央新聞臺(tái)標(biāo)分割實(shí)驗(yàn)結(jié)果

2.2 臺(tái)標(biāo)特征提取及識(shí)別

以上已經(jīng)分別完成兩類臺(tái)標(biāo)的分割，接下來(lái)就要提取臺(tái)標(biāo)的有效特征并進(jìn)行識(shí)別。在此，以不透明臺(tái)標(biāo)為例，半透明臺(tái)標(biāo)的特征提取和識(shí)別采用相同的方法。

首先對(duì)分割出的臺(tái)標(biāo)進(jìn)行小波變換，得到小波系數(shù)的低頻分量。該分量集中反映了臺(tái)標(biāo)的主要特征，同時(shí)又可以起到去除噪聲和減少后續(xù)處理數(shù)據(jù)量的作用。

小波系數(shù)的低頻部分可以從多種層面反映臺(tái)標(biāo)的特征，如通常采用的方差、中心矩等。本文采用了一種新的方法，即對(duì)小波低頻系數(shù)矩陣進(jìn)行奇異值分解（SVD）[5]。

在奇異值分解理論中，任何m×n階矩陣M(假定m＞n），秩為 r（r≤n），則存在 m×m 正交陣 U 和 n×n 正交陣 V，使得:

其中，Σ=diag(λ1,λ2,…,λr)是對(duì)角矩陣，其對(duì)角元素為矩陣M的奇異值。

對(duì)小波低頻系數(shù)矩陣進(jìn)行奇異值分解，得到的奇異值作為臺(tái)標(biāo)的特征參數(shù)向量，如式(2)。

不同臺(tái)標(biāo)的小波低頻系數(shù)矩陣的特征值存有較大差異，因此，可將由式(2)得到的特征參數(shù)向量用于區(qū)分臺(tái)標(biāo)。

為了完成臺(tái)標(biāo)的識(shí)別，本研究中預(yù)先建有不透明類臺(tái)標(biāo)的知識(shí)庫(kù)S1(半透明類臺(tái)標(biāo)預(yù)先建有知識(shí)庫(kù)S2，S1與S2獨(dú)立)，臺(tái)標(biāo)知識(shí)庫(kù)中存有臺(tái)標(biāo)特征參數(shù)向量、電視臺(tái)名稱等相關(guān)知識(shí)。計(jì)算待識(shí)別臺(tái)標(biāo)與臺(tái)標(biāo)庫(kù)S1中各臺(tái)標(biāo)模板之間差值的2-范數(shù)，最小者即為候選臺(tái)標(biāo)。

在此,待識(shí)別臺(tái)標(biāo)只與本類臺(tái)標(biāo)知識(shí)庫(kù)中的各臺(tái)標(biāo)模板相比較，而不需與所有臺(tái)標(biāo)模板進(jìn)行比較，這樣可以減少臺(tái)標(biāo)識(shí)別的計(jì)算量。

3 實(shí)驗(yàn)結(jié)果及分析

本文共采集中央新聞、北京衛(wèi)視、東方衛(wèi)視、天津衛(wèi)視和湖南衛(wèi)視等5個(gè)頻道,每個(gè)頻道30個(gè)樣本,共計(jì)150個(gè)樣本，每個(gè)樣本時(shí)長(zhǎng)為8 s(視頻的幀速率為25幀/s)，樣本視頻圖像大小為640×480。統(tǒng)一提取視頻幀圖像左上角包含臺(tái)標(biāo)、大小為50×120的子圖作為分析對(duì)象。其中，中央新聞、北京衛(wèi)視兩個(gè)頻道的臺(tái)標(biāo)屬于半透明臺(tái)標(biāo)，東方衛(wèi)視、天津衛(wèi)視、湖南衛(wèi)視三個(gè)頻道的臺(tái)標(biāo)屬于不透明臺(tái)標(biāo)。臺(tái)標(biāo)識(shí)別算法實(shí)驗(yàn)結(jié)果如表1所示。

表1 臺(tái)標(biāo)識(shí)別算法實(shí)驗(yàn)結(jié)果

從表1中可以看出，本文算法對(duì)臺(tái)標(biāo)的正確識(shí)別率較高，特別是對(duì)半透明臺(tái)標(biāo)的識(shí)別精度可以達(dá)到100%。實(shí)驗(yàn)中，影響不透明臺(tái)標(biāo)識(shí)別精度的原因是：每個(gè)待識(shí)別視頻樣本時(shí)長(zhǎng)僅為8 s，當(dāng)視頻樣本臺(tái)標(biāo)區(qū)域的背景幾乎不變時(shí)，本文算法不能將不透明臺(tái)標(biāo)的有效部分從背景中提取出來(lái)，也就不能正確識(shí)別臺(tái)標(biāo)。

電視臺(tái)標(biāo)是區(qū)分電視臺(tái)的重要標(biāo)識(shí)，自動(dòng)臺(tái)標(biāo)識(shí)別技術(shù)是對(duì)各個(gè)電視臺(tái)進(jìn)行自動(dòng)視頻分析、節(jié)目導(dǎo)向及內(nèi)容檢索的重要手段。本文通過(guò)研究分析半透明和不透明兩類臺(tái)標(biāo)的共性和兩者的差異性，首先通過(guò)統(tǒng)計(jì)分類的方法將兩類臺(tái)標(biāo)分開(kāi)，再針對(duì)兩類臺(tái)標(biāo)各自的特點(diǎn)，分別采用不同的方法實(shí)現(xiàn)每類臺(tái)標(biāo)的分割，最后對(duì)分割得到的臺(tái)標(biāo)用基于小波變換和奇異值分解的方法完成臺(tái)標(biāo)識(shí)別。實(shí)驗(yàn)表明，該算法識(shí)別精度較高、適應(yīng)性較強(qiáng)，具有工程應(yīng)用價(jià)值，但對(duì)不透明臺(tái)標(biāo)的識(shí)別精度有待進(jìn)一步提高。在今后的研究中，將進(jìn)一步改進(jìn)不透明臺(tái)標(biāo)的分割方法，提高識(shí)別精度。

[1]周獻(xiàn)中，史迎春，王韜.基于HSV顏色空間加權(quán) Hu不變矩的臺(tái)標(biāo)識(shí)別[J].南京理工大學(xué)學(xué)報(bào)，2005，29(3)：363-367.

[2]張博洋，曾向榮，劉振中.基于神經(jīng)網(wǎng)絡(luò)的靜態(tài)臺(tái)標(biāo)識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，2009，26(1):212-215.

[3]TEKALP A M.數(shù)字視頻處理[M].崔之祐，江春，陳麗鑫,譯.北京：電子工業(yè)出版社，1998.

[4]CASTLEMAN K R.數(shù)字圖像處理[M].朱志剛，林學(xué)訚，石定機(jī),等譯.北京：電子工業(yè)出版社，1998.

[5]張顯全，李國(guó)祥，秦芳遠(yuǎn).基于小波變換和奇異值分解的剪紙紋樣識(shí)別[J].計(jì)算機(jī)工程與設(shè)計(jì)，2010，31(10):2280-2282,2286.