基于Spark的人臉檢測并行處理系統

武志平

【摘要】在視頻監控領域數據量顯著增長的背景下，基于Spark搭建一套分布式視頻監控系統變得十分必要。本文提出了基于Spark并行運行人臉檢測算法的方法，并且基于Spark搭建了一套分布式人臉檢測視頻監控系統，并進行了性能測試。實驗結果表明，基于Spark的分布式視頻監控系統使人臉檢測的處理效率有了較大提高。該系統可以應用于安防、金融、大型考試管理等領域。

【關鍵詞】計算機應用技術；Spark；分布式人臉檢測

引言

人臉識別是基于人的臉部特征信息進行身份識別的一種技術。目前在安防領域、金融領域、大型考試管理等領域都部署了用于身份識別的攝像頭，如果能在數據中心部署搭建基于第二代大數據處理平臺Spark的分布式視頻監控系統，接收這些攝像頭傳輸的數據，并行處理其中的人臉信息，會對處理效率有很大提高。

1、系統組件及總體架構

1.1 系統組件

1.1.1 Spark

Spark是第二代大數據處理平臺，效率比原先的Hadoop MapReduce有較大提升。Spark尤其適合于迭代式數據處理和流式數據處理，而視頻數據即為流式數據，也有相對應的許多用于視頻處理的機器學習算法，所以從理論上來說，Spark非常適合于處理視頻數據。Spark的實現語言是Scala，因為Scala編譯器可以將Scala程序編譯成JVM上運行的字節碼，所以這種語言可以和Java進行無縫銜接。

1.1.2 JavaCV

JavaCV是利用Java的JNI技術對OpenCV封裝后的一個開源視覺處理庫。目前里面集成了OpenCV、FFmpeg等常用的圖像和視頻處理庫。因為圖像和視頻處理的相關算法一大部分都是用C++語言實現的，而Spark大數據處理平臺和Yarn資源管理平臺上運行的代碼均需要用Java語言進行編寫，所以JavaCV可以說是將兩種語言結合的橋梁。

1.2 系統總體架構

本系統底層仍然采用Hdfs存儲數據，其上使用基于分布式NoSQL數據庫Hbase的存儲系統存儲視頻數據和算法輸出結果，其中算法輸出結果可能為視頻、圖片或文本。存儲系統之上的數據處理平臺采用Spark，Spark上搭建了JavaCV用于處理視頻數據。數據采集方面直接通過IP連接網絡攝像頭，接收攝像頭傳輸過來的數據。

2、人臉檢測算法并行化處理流程

2.1 基于JavaCV的人臉檢測算法處理流程

基于JavaCV的人臉檢測算法使用了Haar分類器，它使用Haar-like特征做檢測，使用積分圖對Haar-like特征的求值進行加速，以提高檢測速度，它是一系列強分類器的級聯，形成決策樹，可以提高檢測的準確率。

JavaCV所實現的人臉檢測算法處理流程如下：

1）將RGB幀圖像轉化為灰度圖，并將圖片縮小，以便于提取和對比特征；

2）加載已訓練完成的Haar分類器；

3）通過積分圖對比圖像的特征值，從而檢測出人臉，并用矩形框標出檢測結果。

2.2 人臉檢測算法并行化處理流程

本文中實現的系統可以通過Spark Streaming程序實現同時接收不同路的攝像頭傳輸的數據，并對其中的人臉信息進行處理，并行運行人臉檢測算法，從而提高人臉檢測效率。本系統從網絡攝像頭中取得視頻流，通過分布式解碼取得幀圖像，之后構造二元組，每個二元組在Spark Streaming中即為一個RDD，其中Key可以唯一標識一個攝像頭傳輸數據中的一幀圖像，可以是本地攝像頭的設備號或者網絡攝像頭的IP結合幀號標識，Frame表示該路攝像頭傳輸的視頻幀數據，可以是BufferImage類型或IplImage類型。Spark Streaming程序讀取該二元組，通過繼承實現的接口取得幀圖像，之后即可運行相應的人臉檢測算法，最后可以將算法的輸出結果存入到存儲系統或者展示到前臺頁面。

3、實驗及結果分析

實驗將程序運行時間作為因變量，輸入視頻文件的數量作為自變量。輸入視頻文件格式為mp4，每個時長約為12s，大小約為1MB。實驗結果如圖1所示。可以看出，人臉檢測程序運行時間隨Spark集群節點數增加而減少。如果集群能添加更多節點，則可以推斷出程序運行效率會進一步提高。

4、結論

本文提出并實現了基于Spark的分布式視頻監控系統，通過該系統可以接收多路攝像頭傳輸的數據，并且并行運行人臉檢測算法。本文主要研究了人臉檢測算法在Spark上的并行化實現，并將該算法在由3臺服務器組成的Spark集群上運行，并進行了性能測試。實驗結果表明，基于Spark的分布式視頻監控系統使人臉檢測的處理效率有了較大提高。

該系統可以在安防領域（例如機場、車站、碼頭等）、金融領域（例如ATM自助終端、銀行柜面系統、電子支付等）、大型考試管理等領域部署應用，在視頻監控領域數據量顯著增長以及人臉檢測廣泛應用的背景下，對提高算法處理效率具有重要意義。

參考文獻：

[1] 黃凱奇，陳曉棠，康運鋒等. 智能視頻監控技術綜述[J]. 計算機學報，2015，38（6）： 1093-1118

[2] Shalince Dominic，C. Aparna，Aswin S Nath，et al. A review of face detection system[C]. 2016 International Conference on Electrical， Electronics， and Optimization Techniques （ICEEOT），2016，3536-3539