監控視頻關鍵幀提取過程中幀差參數的研究

賀國慶 閆 騫 吳 潼 辛 璐

（甘肅政法大學公安技術學院，甘肅 蘭州 730070）

0 引言

由于信息技術的普及，近幾年安防技術也有了質的飛躍，這其中以智能安防監控視頻的應用[1]最引人注目， 由于安防監控視頻具有空間和時間的二維特性，可直接被用于刑事案件偵查中對嫌疑人的認定和判別，尤其是在人像智能識別與分析[2]中，監控視頻成為最主要的圖像分析來源。 但在現實情況中，由于時間的緊迫性和成本所限，偵查人員一般都是采用人工輪流以快進的形式瀏覽視頻監控的方式尋找案件線索，巨大的監控視頻數據會導致案件相關信息獲取實時性差、誤判與漏判等問題[3]，高強度的視頻篩選還會影響偵查人員的身體健康，從而加劇降低偵查效率，因此若能利用某種辦法加快檢索監控視頻得到關鍵幀就能加快對案件的偵破。以幀差法為代表的視頻關鍵幀檢測是非常成熟的一種方法，這種方法原理簡單， 尤其對于小區監控視頻的關鍵幀檢測非常有效，而且該方法適于硬件[4]，可以實現設備小型化。 但是在對監控視頻進行預處理、二值化，開閉運算、幀差提取等整個過程中，最后一個重要的步驟是判定哪一幀可以作為關鍵視頻片段被保留，而判斷的最重要的參數就是幀間閾值，當閾值過小，提取的視頻片段就會出現過多的冗余，后續對比檢測時間會延長，閾值過大會出現漏檢，因此選取合適的幀間閾值參數尤為重要，本文在不同分辨率分別選擇等效的關鍵幀，得到幀間差閾值T，利用得到的閾值與圖像面積，利用曲線擬合方法對它們之間的關系進行研究，從而得到不同分辨率下所對應的閾值函數關系， 并通過實驗驗證。

1 關鍵幀提取流程原理與幀間差閾值T 的作用

本文提取視頻關鍵幀軟件流程如圖1 所示，初始化開始后，獲取視頻文件的總幀數N，對獲取的第一幀圖像進行預處理得到F1，在未計算到視頻文件最后一幀時循環計算，然后處理第二幀圖像得到F2，從而計算得到兩幀圖像差值C， 當該差值大于預定閾值T時，便認為該圖像是關鍵幀圖像，否則不是，如此反復循環，直到最后一幀圖像結束。 圖1 中預處理包含中值濾波去噪、灰度化、尺寸歸一化、二值化、開閉運算等，在圖1 中的流程中可以看出，最重要的是T 的選取，T 值選擇過大，雖然視頻幀壓縮率較大，但容易出現漏檢的情況，而當T 取值過小，會出現較多的冗余，不能體現出關鍵幀提取的作用。 T 的選擇與視頻圖像分辨率有明顯的關系，當視頻圖像分辨率越大T 的值應該越大，反之則T 的值應該越小，為此專門通過設計實驗分析T 值與監控分辨率的關系。

圖1 軟件流程原理圖

2 實驗過程與結果

試驗視頻為1 280×720 大小的約52 秒的視頻，共1 585 幀視頻圖像，對原始視頻圖像進行分辨率處理后分別得到 1 440×900、1 280×900、720×480、480×320、352×288 分辨率的視頻圖像。

不同分辨率所選的閾值與分辨率的關系應該是線性關系， 也就是關鍵幀的判定應該取決于視頻圖像中變化面積與總面積的比，當閾值大于這個比值時，認定為關鍵幀，小于這個比值時不認為是關鍵幀，舍棄不保存。根據這個初步結論，對不同分辨率下的監控視頻做同樣的關鍵幀提取，得到結果如表1 所示。

表1 中進行了5 次測試，給定圖像分辨率，在得到與人工檢索同等效果的情況下設定不同分辨率監控視頻圖像的閾值T， 分別計算得到 “閾值與面積比”、“檢索后的關鍵幀數”、關鍵幀的“壓縮比”，其中“檢索后的關鍵幀數”和關鍵幀的“壓縮比”與視頻本身的內容有很大關系，但是“閾值面積比”是此類應用的一個固定值，能夠作為小區監控視頻關鍵幀提取的重要參考數據。對表1 中的不同分辨率下的圖像總面積與選用閾值T 這兩個值利用最小二乘法進行擬合，得到閾值/面積線性回歸函數，如圖2 所示。

圖2 面積/閾值線性回歸函數圖

圖2 中，可以清晰地看到圖像總面積S 與本文所選的對應閾值T 呈線性關系，通過擬合得到S 與T 的關系式，如式（1）所示：

根據S 與T 的關系，計算得到上述測試監控視頻在分辨率為576×480 時的閾值應該為T≈4267 （取整）， 由此也應該得到提取得到相近數量和等價效果的關鍵幀，即約原視頻總幀數1 585 幀的15%，共238幀圖像，經過測試，得到有效關鍵幀230 張，誤差率約為3.36%，在可接受的范圍內，得到的有效關鍵幀及對應的二值圖部分如圖3 和圖4 所示。

3 結語

本文是利用較為成熟的幀差法，對利用硬件實現海量監控視頻關鍵幀提取時的幀間參數T 進行了研究。 通過同一視頻不同分辨率下關鍵幀提取的研究，利用最小二乘法擬合幀間差值參數T 與分辨率之間的關系， 最后用其他分辨率的視頻圖像進行驗證，結果證明本文的方法可行，能夠較好地實現給定分辨率下監控視頻關鍵幀的提取。本文的方法得到的參數可作為快速實現小區監控視頻關鍵幀提取模型中幀間參數確定的重要依據，具有較高的應用參考價值。

表1 同一監控視頻在不同分辨率下得到的參數

圖3 關鍵幀對應的二值圖像（部分圖）

圖4 提取到的關鍵幀（部分圖）