融合深度學習目標識別的監控視頻摘要濃縮方法

蔡恬，林哲

（1.汕頭職業技術學院網絡與信息中心，汕頭515078；2.汕頭職業技術學院計算機系，汕頭515078；3.中山大學廣東省大數據分析與處理重點實驗室，廣州510006）

0 引言

當前，世界各地無數監控攝像機每天不停地捕捉畫面，面對快速增長的海量監控視頻，傳統方法直接存儲并且在原始視頻中查找內容，效率非常低下。為了有效提高監控視頻的存儲、傳輸和利用效率，視頻摘要濃縮技術將視頻內容進行濃縮，并且打消內容之間的因果關系，力求在最短時間內將視頻中所有出現的內容展示出來[1]。首先從原始視頻中將對象從背景中分割出來，然后根據目標在三維時空中的位置，以對象重疊最小為基準重新構建視頻，能夠縮短查看時間或者縮小搜索范圍、有效配合人工視頻核查。然而，實際應用場景中，由于光照變化無常、對象運動復雜、遮擋、目標與背景顏色相似、雜亂背景等諸多因素的干擾，視頻摘要濃縮技術仍然面臨嚴峻的挑戰[2-4]。

視頻摘要濃縮技術主要包含以下環節：

（1）視頻內容的提取

準確地從原始監控視頻中分割出感興趣的對象是視頻摘要濃縮技術的重要組成部分，同時也直接影響到濃縮視頻的顯示效果。對視頻中對象提取得越準確，對象不被過度分割或欠分割，生成的濃縮視頻就越自然，越有利于提供視頻線索[5]。此外，針對特殊場景的視頻摘要方法仍然是難點之一，既要保留原始視頻中的重要對象及其活動，又要盡可能縮短濃縮視頻的長度，大多數現有的視頻摘要方法都只能在兩方面之間權衡，難以生成令人滿意的濃縮視頻[6-8]。

（2）視頻對象的重排

視頻中對象的重排問題是基于對象的視頻摘要濃縮技術的重中之重，根據從原始視頻中提取出的對象及其時空關系，依次在原始視頻的時間軸上平移各個對象，使最終生成的濃縮視頻盡可能短而且對象之間盡量不產生交疊[9-11]。

（3）視頻摘要的合成

視頻摘要的合成是指將前期提取并重排的對象與背景縫合而生成獨立視頻，而且盡量符合人們的視覺觀感以及對信息線索的獲取需求。

1 算法原理

本文面向視頻監控的應用需求，提出一種基于深度學習的視頻摘要濃縮方法，通過在時空域中對原始視頻的內容進行壓縮，減少視頻中的時空冗余，便于瀏覽和檢索。首先，利用深度神經網絡檢測感興趣的對象，然后在時間軸上移動每個對象的活動軌跡，使各個活動軌跡在時間上重疊但空間上不重疊，這樣就生成了更短的濃縮視頻，同時還要避免對象之間的沖突。為了盡可能減少時空冗余，各個對象活動的相對時間可能會有所改變。

本文方法的流程框架如圖1 所示，主要包含視頻內容提取、目標對象重排、生成濃縮視頻等三個階段，其中，視頻內容提取階段包含目標識別與目標分割兩個組成部分。

圖1 視頻摘要濃縮的流程框架

（1）視頻內容提取

為了分割出運動的前景對象，先從構造背景開始。在短視頻片斷中，由于背景不變，可以在整個視頻片段中取時間中值來構造背景圖。對于監控攝像頭，背景可能因光照或背景對象等因素的改變而改變，這種情況下，為了提高其效率，可以通過取前后幾分鐘（即時間窗）內各幀中值來構造每個時刻的背景。

●視頻背景建模

視頻背景建模是視頻內容提取的基礎，本文采用VIBE（Visual Background Extractor）背景建模方法。它是一種像素級視頻背景建模算法，能夠從靜態場景中分割出運動的前景，為視頻的后續處理提供依據，效果優于混合高斯模型、非參數化方法、SACON 等算法，運算速度快，占用內存少。VIBE 隨機選擇需要替換的像素的樣本，隨機選擇鄰域像素進行更新。在無法確定像素變化的模型時，隨機的更新策略在一定程度上可以模擬像素變化的不確定性。

●目標檢測與識別

為了生成更有用的摘要，還應該把感興趣的對象識別出來。很多情況下的興趣點就是運動的對象。但是也有例外，例如樹葉或云這些運動對象就不重要，而人或其他大型動物即使不移動也可能是重要的。由于監控視頻包含對象種類眾多，為了實現高效壓縮和檢索，視頻摘要濃縮系統必須識別出有價值的對象，如在智能交通系統中，需要對分割后的對象進行人車分類。為了解決這個問題，本文采用基于深度學習YOLO（You Only Look Once）[12]框架的目標識別算法。

YOLO 是一種快速的一步（one-stage）目標檢測算法，直接對輸入圖像應用算法并輸出類別和相應的定位，通過回歸方式檢測目標位置并識別目標，首先將圖片劃分為網格，然后將圖片送入深度神經網絡，判斷每一個網格是否屬于目標并識別目標的類別，最后預測邊界框并通過非最大抑制（NMS）篩選出最佳邊界框。從 YOLO v1[12]發展到 YOLO v2[13]及 YOLO v3[14]，性能不斷提升。

YOLO 網絡輸入為416×416 原始圖像，被劃分為S×S的格子，每個格子預測 B 個 bounding box，每個bounding box 包含4 個坐標偏移值（中心橫坐標、中心縱坐標、寬度、高度）和 1 個置信度（confidence），每個格子還分別預測C 個類別的概率，最后輸出數據為S×S×(B×5+C)，對于 YOLO v3，B=3,C=80，并且同時在三個尺度S=13，S=26，S=52 上檢測，因此最后輸出的三個特征圖（feature map）為：Y1（13×13×255）、Y2（26×26×255）、Y3（（52×52×255）。

（2）目標重排

視頻對象重排的基本要求是使重排后的對象占用盡可能少的時空，而且重排后的目標盡量不出現重疊，可以將目標重排問題轉為求解能量函數最優解的問題。

定義損失函數：

其中S 是視頻摘要，B 是對象集合，Ec表示對象之間的沖突損失。

sb,t表示濃縮視頻的第t 幀中對象b 的區域。

本文提出如下算法，采用貪心策略使Ec最小化，盡可能減少對象沖突。

算法1：

2 實驗結果

接下來通過實驗評估本文方法的性能，實驗采用4段從城市道路采集的全高清交通監控視頻作為原始視頻，分辨率為1920×1080，每段視頻時長為30 分鐘，原始視頻截圖如圖2 所示。

圖2 原始視頻的截圖

實驗計算平臺的配置如表1 所示。

表1 實驗平臺的配置

設置不同的實驗條件，對本文方法進行測試并采用幀濃縮率、緊湊率、重疊率三個指標[15]進行評估：

實驗一：

在本實驗中，限定重疊率OR=0（無重疊）并保留所有目標，但不限定幀濃縮率，實驗結果如表2 所示。

表2 實驗一的統計結果

由表2 可知，在保持目標不重疊的前提下，視頻幀數被壓縮90%以上，視頻內容的緊湊率大幅度提高，可以大量節省觀看視頻的時間，而且，算法的運行時間僅為視頻正常播放時間的50%，處理速度達到視頻幀率的2倍，完全可以滿足實時處理的要求。濃縮視頻的截圖如圖3 所示，可以看出畫面中目標非常密集、便于觀看。

圖3 濃縮視頻的截圖

實驗二：

本實驗對目標進行過濾，但不限定幀濃縮率。濃縮視頻中僅保留感興趣的目標，若同一個目標被檢測到多次，則認為是同一個目標。設定感興趣目標為小轎車，實驗結果如表3 所示。

表3 實驗二的統計結果

由表3 可知，通過過濾掉不感興趣的目標，減少了目標總數，在同樣保持目標不重疊的前提下，可以進一步提高幀濃縮率，但是由于目標分布不均勻，保留的目標（小轎車）主要集中在中間車道，而摩托車等不感興趣目標主要分布在兩邊車道，被濾掉后造成而兩邊車道的空白時間較多，反而降低了整體的緊湊率。

實驗三：

在本實驗中，限定幀濃縮率FR，保留所有目標并允許部分目標重疊，實驗結果如表4 所示。

表4 實驗三的統計結果

由表4 可知，通過限定幀濃縮率并允許部分目標重疊，可以進一步提高緊湊率。通過調整幀濃縮率，可以平衡緊湊率和重疊率。

實驗四：

將本文方法與文獻[9]和文獻[10]提出的方法進行對比，結果如表5 所示。

表5 實驗四的統計結果

由表5 可知，文獻[10]的方法雖然濃縮率最高，但是耗時最多，文獻[9]的方法與之正好相反，本文方法得到的濃縮率接近文獻[10]的方法，但是速度較之卻有明顯提高。因此，與上述兩種方法相比，本文方法在濃縮率和實時性兩方面取得較好的綜合性能。

3 結語

本文提出一種具有深度學習目標識別的監控視頻摘要濃縮方法，首先采用視頻跟蹤的方法框定視頻中運動對象的前景，然后利用深度學習算法識別目標并進行分割，摳選出目標圖像后按其在視頻中的時空軌跡，依次在時間軸上平移重排，達到濃縮時間短，目標活動軌跡交疊小的目的。實驗結果證明本文方法有效實現了監控視頻的濃縮，平衡了濃縮率和實時性的矛盾，在與現有方法相比具有更好的實用性，更適合應用于邊緣設備。

但是本文的研究主要采用交通監控視頻進行實驗，為了推廣應用到更多新穎場景，還需要繼續測試和改進算法。如何針對各種場景的特點快速訓練目標識別算法并優化目標重排算法將是進一步研究方向，具有更重大的應用價值和經濟價值。