基于改進目標檢測算法的視頻臺標識別

孫 哲 袁三男 劉志超

(上海電力大學電子與信息工程學院 上海 200120)

0 引 言

臺標是現在互聯網視頻和電視臺視頻聲明版權的重要標志，智能地對臺標進行檢測識別具有重大意義。首先，在視頻安全監測領域,臺標檢測技術可以用于保護出品方的商業利益，又可核實確定發布方，過濾非法途徑來源的視頻。其次,通過檢測視頻節目中的臺標可以定位到具體的節目，進而提供精確的視頻搜索，提高觀賞性[1]。此外，也能借助對臺標的識別來統計電視臺的收視率，或對用戶的收視行為進行分析[2]，對媒體視頻節目具有指導意義。

臺標檢測與識別的方法有很多，如文獻[3]利用多幀視頻畫面像素值做差，從而分割出臺標。這種算法原理簡單易實現，但要求臺標空間位置不變及色彩飽和度不受背景干擾，因而適用范圍窄、實用性低。文獻[4]提出模板匹配識別算法。它可以解決新型臺標樣本位置多樣性的問題，但是需要建立模板庫，匹配過程計算復雜。文獻[5-6]是通過對比分析臺標特征進行識別，如顏色直方圖、空間直方圖、SURF算法等。這種算法降低了計算量，但由于臺標背景復雜多樣，使得特征提取困難，半透明臺標尤為顯著。文獻[7-8]提出基于支持向量機(SVM)的分類識別方法，該方法應用廣泛，特異性和針對性強，但對大規模訓練樣本難以實施且它在解決多分類問題時存在困難。可以看出早期傳統的臺標識別方法都無法很好地對半透明臺標進行分類，識別時也多是局限在視頻幀左上角。

近些年得益于機器視覺和深度學習的蓬勃發展，使得基于卷積神經網絡的特征提取算法在臺標檢測與識別領域得到較好的應用。文獻[2]使用一個遞進卷積層的卷積神經網絡實現了臺標的識別。文獻[9]探討了目標檢測與弱監督學習在臺標監測方面的應用。這些網絡模型雖然可以較好地區分臺標類別，但并未顯著改善傳統方法無法適應新型臺標的半透明特性、位置多樣特性以及縮放特性而存在的特征提取困難且識別率及實用性低的問題。

本文針對以上算法所存在的弊端，提出一種基于Faster RCNN[10]和VAE[11](Variational Auto-encoder)結合的臺標檢測與識別的方法。通過構建多層語義特征融合的FPN[12](Feature Pyramid Networks)神經網絡提取臺標特征，以目標檢測算法Faster RCNN為主網絡構建檢測分類模型，再利用VAE編碼提高識別檢測精度，從而實現臺標的檢測與識別。

1 算法原理分析及算法優化

視頻臺標檢測識別技術中最核心的兩個問題為臺標定位與臺標識別。其中臺標定位的目的是從輸入的視頻或整幅圖片中定位出臺標所在位置并丟棄無關元素；臺標識別就是在檢測出的定位區域上提取信息并識別分類。目前基于深度學習的目標檢測算法能較好解決這兩個問題，根據方法不同分為基于候選區域思想的算法，如RCNN[13]、Faster RCNN[14]、SPPNet[15]等；基于回歸思想的算法，如YOLO、SSD[16]、YOLOv2等。其中Faster RCNN網絡的訓練測試簡便，且目標檢測效果較好。故本文選擇此算法為主網絡，對特征提取部分及分類部分加以改進。

1.1 目標檢測算法Faster RCNN

Faster RCNN算法首先對輸入樣本提取特征圖送入候選框生成網絡(RPN)。RPN網絡在提取的特征圖上為每個特征點配備初始檢測框；接著使用Softmax分類器判斷出存在目標的積極檢測框作為候選區域；再設計多任務損失函數(式(1))，利用范圍框回歸器修正候選區域的位置[18]獲得精確的預測窗口。

(1)

式中：pi是第i個檢測框是否為某目標的可能性；向量ti表示對預測窗口進行校準的四個參數化坐標；Lcls是分類損失；Lreg是回歸損失。

再由ROI[14]池化層提取proposal feature maps后送入分類回歸網絡。分類回歸網絡通過全連接層將proposal特征分為兩條線路：其一用于計算出目標類別，其二再次進行邊界框回歸獲得最終的精確檢測窗口。

1.2 FPN特征提取網絡

如圖1所示，FPN算法采用構建多層特征金字塔并在不同層融合的方式提取圖像特征。其結構主要分為三個部分：自底向上的線路(bottom-up)、自頂向下的線路(top-down)和橫向連接。

圖1 FPN結構圖

自底向上的線路是通過CNN[17]的前向卷積和池化(下采樣)過程形成一系列原始特征圖。這些原始特征圖根據尺度的變化形成塔層(stage)。其反向線路通過上采樣進行，目的是將上一層特征圖擴大為和下一層特征圖具有相同大小的尺寸，進而向下融合。橫向連接則是將以上兩條線路中生成的大小相同的特征圖進行疊加融合。

1.3 變分自編碼器VAE

VAE是一個變分自編碼器，其學習框架如圖2所示。

圖2 VAE學習構架圖

VAE首先通過編碼(Encoder)網絡，對輸入的真實樣本集X進行編碼，將樣本X的特征因素映射到低維空間，并使其服從分布函數qθ(Z|X)，這個低維度因素稱為隱形參數Z(式(2))；再由解碼(Decoder)網絡學習分布p(Z)，生成集合X*與真實樣本集X的分布pφ(x|z)無限接近，以此來完成將Z映射回真實樣本集X的過程，通過訓練從而實現最優的數據重構。VAE基于此構造如式(3)所示的損失函數。

Z=m+eσ×e

(2)

Li(θ,φ)=-EZ～qθ(Z|Xi)[log(pφ(Xi|Z))]+

KL(qθ(Z|Xi)|p(Z))

(3)

式中：m、σ維度相同，為編碼器的輸出向量；e是符合高斯分布的隨機噪聲；KL是正則項[11]，Encoder網絡中的參數為θ，Decoder網絡中的參數為φ。

1.4 算法的融合及改進

視頻臺標識別具有顯著的特點：多個臺標的背景可能完全相同(不同網絡電視臺播放同一視頻時),一個臺標的背景也會千差萬別，尤其是半透明臺標受背景顏色影響較大，這就需要降低視頻畫面(背景)特征、臺標共性特征和個性特征之間的相互影響。由前文可知RPN網絡主要在復雜背景中定位出目標所在位置，所需特征為臺標共性特征即所有臺標共有而視頻畫面沒有的特征；分類網絡主要對不同目標進行分類，所需特征為臺標個性特征即各類臺標之間的差異特征。而傳統Faster RCNN只使用一個特征提取器為RPN網絡和分類回歸網絡提供特征圖，并未降低這種相互影響，導致臺標的識別率不高。如圖3所示，本文改進的Faster RCNN網絡為RPN網絡和分類網絡設置了相對獨立的特征提取器。

圖3 VAE學習構架圖

使RPN網絡學習的特征由多層語義特征融合的FPN網絡提取，可以解決RCNN系列只利用頂層特征不能完整反映相似臺標的小差別信息和動態臺標的精確位置信息的問題，提高了臺標召回率；單獨為分類網絡設置一個獨立的特征提取網絡，雖然改進了網絡的運算性能、提高了識別率，但也增加了訓練復雜度、降低了網絡效率。所以本文使分類網絡學習的特征由FPN的前向網絡提取，這樣既充分利用FPN網絡的頂層豐富的語義信息提高臺標分類的準確率，又無須多增加特征提取網絡。

此外本文在Faster RCNN的分類網絡中添加VAE網絡對proposal feature maps進行編解碼，生成隱形參量Z。這樣做是由于FPN網絡所提取的特征圖中含有較完善的特征信息，在臺標類別較多且臺標相似度較高(中央系列)的情況下，這些大量精細的相似信息反而會影響分類網絡的判斷識別。而VAE網絡僅由低維度的參數Z就可重構輸入樣本X，可將Z認為是決定X最后成型的各個重要因素，這樣通過獲取Z就滿足了對proposal feature maps中大量干擾特征的排除，從而保留臺標分類的決定性特征因素，較好地提高識別率。

2 Faster RCNN-VAE臺標檢測與識別模型

2.1 Faster RCNN-VAE網絡結構

本文將Faster RCNN與VAE聯合使用，設計了獨特的FPN，通過自主學習有效區分背景和臺標。所添加的VAE網絡可以實現臺標更精確的識別。

本文設計的網絡結構如圖4所示。由于輸入樣本的大小會影響定位準確率，因此對樣本圖片進行了歸一化處理，通過預訓練將達到最優準確率時的輸入樣本(1 280×720)大小設為固定大小224×224，即C0層的大小。為了解決增加深度帶來的副作用(梯度彌散或梯度爆炸的退化問題)，前向網絡使用了5個stage的ResNet[19]網絡，卷積核為3×3，每5層進行一次下采樣處理，使下一個stage的特征圖大小為上一層的1/2，C1、C2、C3、C4對應的支路就是bottom-up網絡；然后對C4進行1×1的卷積得到P4，改通道數為512，使之和P3的通道數相同，再對P4采用內插值法插入鄰近像素值將其擴大2倍后與C3層融合得到P3，在融合之后添加3×3的卷積核對融合結果進行卷積，同理運算得到P2、P1。層P1、P2、P3、P4對應的支路就是按上文中所提及的上采樣和橫向鏈接融合的方式所構建的top-down網絡，是FPN的核心部分。此外增加對C5層3×3卷積后進行步長為2的最大池化運算來搭建P5層且將P5層直接作為分類網絡的輸入特征圖，使得特征提取過程相對獨立且增加語義信息，從而獲得更好的準確率。所有特征圖中固定特征維度(通道數)設置為512。將P1-P4層作為輸入分別進入Faster RCNN的PRN網絡及后續POI層，FC層的參數對于每一層的ROI參數共享。

圖4 Faster RCNN-VAE網絡結構圖

本文使用全連接層構建了VAE網絡，VAE模型層數的選擇如下:編碼器網絡為三層全連接，輸出的通道數分別為512、96、25；解碼器網絡為三層全連接，輸出的通道數分別為25、96、512。

全鏈接網絡使用多分類函數Softmax作為激活函數。其輸出層通過激活函數得到此目標對應的每個類別的概率值，所有類別的概率值總和為1。設定閾值r，當輸出類別對應的輸出值大于r時即該樣本為某類別的概率值大于r，則標注該類別為識別結果。

(4)

式(4)表示隱形特征參數z屬于第j個類別的概率，共有k個類別。該函數的值域是[0,1]。

2.2 臺標檢測與識別的算法流程

1) 構建Faster RCNN神經網絡，改進FPN作為特征提取器，預訓練使用ResNet網絡，輸入訓練集，訓練該網絡模型；

2) 搭建VAE網絡結構，以proposal feature maps作為輸入，訓練該網絡模型；

3) 構建全連接層，以VAE網絡中的隱形參數Z作為全連接層的輸入進行分類回歸，訓練該網絡模型；

4) 在已訓練好的Faster RCNN-VAE網絡模型中輸入的測試樣本數據，進行測試。

3 實驗驗證與算例分析

3.1 數據庫

本文自建了臺標數據庫，所采用的原始圖像數據來源于42個衛星衛視及網絡衛視的視頻，包括中央1-15、北京、天津、東方等多個衛星衛視和網絡衛視。將視頻按幀截取轉化為原始數據庫，并對其作如下預處理：

預處理1:運行圖像標記工具labeling對14 000幅樣本圖片寫標簽，即在樣本圖片上框出臺標所在區域并標明該臺標類別，生成與圖像對應的xml文件。

預處理2:針對相似度較高的臺標(中央1-15)識別率通常略低的問題，將中央系列的細微差別處單獨作標記框記為數字標簽(1-15)，整體的中央臺臺標作為另一標記框記為標簽CCTV。

預處理3：按照Pascal voc2007的數據格式將原始數據庫制作為標準數據庫。把數據劃分為兩部分，每個類別的70%作為訓練和驗證集，30%作為測試集。

人工標記可能存在極少數誤差，它較于大量樣本來說對網絡學習產生的影響可以忽略不計。原始圖像標注和生成的標注文件結果如圖5所示。

圖5 原始圖像的標注和生成的標注文件

3.2 網絡參數的選取

本文實驗使用Python3.7作為編程語言，操作系統為Ubuntu16.04，驅動為cuda10.0，實驗平臺為pytorch1.0+pycharm，GPU為RTX2080Ti。

首先，按如下方式初始化網絡參數：編譯模型時，優化函數為“adam[20]”、“sgd”。將學習率定為0.001，算法批尺寸batchsize的大小設為1，模型訓練時迭代100次。

預處理2中對特殊數據(中央1-15)的處理在實際識別時可能存在如下現象：若視頻幀畫面中除中央臺臺標外其余部分包含數字，此時候選框較多且雜亂。為此本文通過設定模型產生的CCTV目標窗口和數字標記窗口的交疊率t判定最終的檢測窗口，即CCTV檢測窗口CCTV TW(CCTV Testing window)和數字檢測窗口Number TW(Number Testing window)的交集比上CCTV檢測窗口和數字檢測窗口差集。

(5)

設定t為0.15，即t大于等于0.15時認為檢測到了最終窗口。

通過預訓練根據準確率設定閾值r，當選取r為0.8時識別率達到約94%。

3.3 實驗結果及分析

為了證明在臺標檢測與識別中使用的Faster RCNN-VAE架構的有效性，將此網絡與其他兩種方法進行了比較:(1) 傳統Faster RCNN方法將RPN與VGG16相結合，不使用改進的FPN作為特征提取網絡;(2) 傳統FPN方法使用FPN作為Faster RCNN算法中的特征提取網絡，但不做改進且不添加VAE層。這三種方法都采用相同的超參數，分別對傳統Faster RCNN模型、傳統FPN模型、Faster RCNN-VAE網絡模型進行訓練驗證。采用的評價指標為準確率和召回率。

Ppre=TP/(TP+FP)

(6)

Prcc=TP/(TP+FP+FN)

(7)

式中：TP為識別正確的樣本數；FP為識別錯誤的樣本數；FN為未檢測出目標的樣本數。準確率即檢測為正例的樣本中真正為正例樣本的比例。召回率是每個類別的正確檢測樣本數和總測試樣本數的比值。

通過對測試結果的統計，得到了三種網絡對視頻臺標檢測的召回率和準確率，表1、表2、表3所示為選取了10個類的檢測統計結果。

表1 傳統Faster RCNN的檢測結果

表2 傳統FPN的檢測結果

表3 Faster RCNN—VAE的檢測結果

實驗表明，對此10個類的臺標來說，普通的Faster RCNN網絡對不透明臺標的召回率(識別率)能達到92.40%，但總的召回率僅有87.50%，說明它對半透明臺標的識別情況較差僅有82.60%；其準確率總體能達到93.28%。加入FPN特征提取器后的網絡對臺標的識別的召回率總體能達到89.40%，提升了1.9百分點；準確率總體能達到94.01%，僅提升了0.7百分點。這證明加入FPN使得樣本中的目標更好地被召回但對召回目標分類識別的準確率并沒有得到較好的改善。采用Faster RCNN-VAE網絡召回率提升為92.20%，再次提升了2.8百分點；準確率達到96.65%，再次提升了2.6百分點，其中對半透明臺標的識別率提升顯著，達到了87.80%。證明本文設計的Faster RCNN-VAE網絡既使得樣本中的目標更好地被召回，也對召回目標分類識別的準確率有所提高，尤其是半透明臺標的識別率。但由于增加了VAE模塊，平均每幀圖片的識別時間延長至141.7 ms。

由于樣本類別較多，本實驗僅選取了十個類的樣本檢測統計結果進行對比分析，而本文設計的Faster RCNN-VAE網絡對大量(42個)分類的臺標測試結果更優。如圖6所示，Faster RCNN-VAE網絡的整體識別率達到了94.03%。

圖6 Faster RCNN-VAE模型精度隨迭代次數的變化

4 結 語

本文將目標檢測算法應用于臺標識別任務，并提出了一種將改進的FPN作為特征提取網絡，以目標檢測算法Faster RCNN為主網絡對其進行檢測和分類，并添加VAE來提高臺標的識別率。通過大量的樣本訓練，臺標檢測的識別率達到94.03%。與傳統卷積神經網絡相比，解決了傳統臺標檢測無法對臺標的位移、傾斜的改變做出正確識別的難題；Faster RCNN算法中的RPN網絡更是能通過對樣本圖片全圖檢測來確定出臺標的位置，解決了臺標的位置不再單一固定于左上角的難題。與傳統的目標檢測算法相比，臺標分類的準確率有所提高，對于受背景顏色影響顯著的半透明臺標的識別率提升尤為明顯。盡管只使用了粗略調整的模型參數，在相同數據集上的實驗結果證明，本研究所提出的方法優于傳統方法的性能。該結果證明了Faster RCNN-VAE方法可以高效地檢測識別臺標。本研究方法也為其他動態、透明圖像的檢測及分類問題提供了新的思路。