嵌入式客流量統計模塊的設計和實現

王文武，王華昌

（1.武漢科技大學 信息科學與工程學院，湖北 武漢430081；2.軍事經濟學院 基礎部數理教研室，湖北 武漢430035）

隨著傳統的顯示－存儲－回放模式的監控系統的普及，在已有監控系統上提供增值服務的智能監控技術成為行業發展的熱點。利用安裝在大型建筑、娛樂休閑場所、購物設施等公共場所的監控系統，實現客流量的精確計數以及對人群密度進行估計，監控人群活動，保證人群的安全性和分析客流分布規律等功能成為當前監控應用中迫切需要的功能。

早期先后出現過光電監測[1]、紅外對射、紅外光幕客流量計數器，由于這些方法計數精度差、不能判斷客流行進方向、易受外界干擾影響、而且維護成本高導致應用受限。近年來為克服光照等影響計數精度的干擾因素，出現了主動/被動紅外成像客流量計數器[2]，但由于其價格昂貴而限制了推廣。本文以傳統可見光攝像頭獲取的圖像為處理對象，在達芬奇系列處理器TMS320DM6437平臺上，提取HOG[3]特征實現人頭檢測，利用Mean-shift[4]實現人員跟蹤和計數，完成了客流量統計的嵌入式模塊化設計。

1 客流量統計模塊硬件構成

基于視頻的客流量統計，按攝像頭放置位置與客流方向的關系有傾斜放置和垂直放置兩種。在進出客流量較大時，攝像頭傾斜放置時圖像中的人像之間不可避免會出現遮擋和重疊。為了解決遮擋和重疊問題實現精確計數，需要采用更復雜的計數算法，額外增加了較大的計算量。本文采用如圖1所示的攝像頭垂直放置，通過檢測和跟蹤人頭實現客流量的計數，既避免了遮擋和重疊導致計數精度下降的問題，又能使人頭檢測和跟蹤算法計算量適中。

圖1 攝像頭垂直放置示意圖

1.1 TMS320DM6437芯片的特點

TMS320DM6437是TI公司首批支持達芬奇技術的純DSP器件，結合增強型TMS320C64X內核與最新視頻處理子系統(VPSS)，實現超強的視頻處理能力。 TMS320C64X采用第二代高性能超長指令字(VLIW)的體系結構，2級存儲器/高速緩存和EDMA引擎，非常適合高強度的數學運算；其內核主頻高達600 MHz，峰值處理速度可達5 600 MIPS。內核擁有兩級緩存結構，第一級緩存(L1)包括80 KB的數據緩存(L1D)和 32 KB的程序緩存(L1P)，L1直接與 CPU連接，數據寬度為128 bit。第二級緩存(L2)的容量大小為128 KB，可以被映射成緩存結構也可被用作片內存儲器。核內部擁有兩個處理通路，每條通路包含4個功能單元，最高時可在一個時鐘并行處理8條指令；視頻處理子系統(VPSS)，以D1解析度實現高達H.264的視頻編碼。TMS320DM6437芯片還擁有豐富的外部接口，片內包含4路視頻數模轉換芯片，可實現多種制式的模擬視頻信號輸出，為運行客流量統計程序提供了一個高性價比的硬件平臺。

1.2 系統硬件構成

系統主要由圖像采集、圖像數據存儲、圖像數據處理和圖像顯示等部分組成。圖像采集部分使用TI公司的TVP5150專用圖像采集器。TVP5150的主要作用是把輸入的模擬視頻信號轉換成符合ITU-R BT.656標準的4:2:2 YUV全數字視頻信號。運行人頭檢測和跟蹤計數算法的處理器采用TI公司的高性價比媒體處理器TMS320DM6437。該處理器先從視頻轉換芯片TVP5150讀取數字視頻數據，然后運行人頭檢測和跟蹤計數程序，最后在檢測的人頭上加框后顯示統計的客流量。由于圖像數據量大，TMS320DM6437處理器運行客流量統計程序時，不可避免會將運行的中間數據存儲在片外高速RAM中(片外RAM采用256 MB的DDR2 DRAM存儲器)。視頻顯示芯片采用Philips公司的視頻編碼芯片SAA7126H，實現視頻顯示。系統基本的硬件結構如圖2所示。

圖2 系統的硬件結構

2 利用HOG特征實現人頭檢測

Dalal等人首先將HOG特征[3]用于靜態圖像中的行人檢測，其主要思想是利用局部區域的梯度方向直方圖來描述目標特征。本文用HOG特征結合支撐向量機SVM(Support Vector Machine)分類器進行頭部檢測，分為SVM分類器訓練和人頭檢測兩個階段。

2.1 HOG特征提取

提取目標的 HOG特征步驟如下：首先按照式（1）和式（2）計算灰度圖像的梯度幅值和梯度方向。

其中，Gx、Gy分別是(x，y)的水平和豎直梯度，梯度的方向設定為0～π。本文梯度的方向反映該像素點周圍的灰度變化的方向，梯度的幅度反映灰度變化的大小。

然后進行子塊單元的劃分和方向直方圖統計。如圖 3（a）所示，將圖像劃分為若干個圖像塊（BLOCK），每個塊劃分為若干個正方形圖像單元（CELL），圖像單元的邊長記為 CELLSIZE。 圖 3（a）中 CELL的大小為 8×8個像素，即 CELLSIZE=8；一個 BLOCK包含 2×2個圖像單元CELLNUM=4。以一個圖像單元為單位，進行方向梯度直方圖的統計。將梯度方向劃分為BIN個區間，對于各個區間的梯度相加，形成一個BIN維的向量來描述一個圖像單元。最后生成圖像的Hog描述子，對于每一個BLOCK對應的BIN×CELLNUM維向量可以根據實際需要按式（3）進行標準化：

最后所有CELL對應的向量構成整個圖像的Hog描述子，如圖3（b）所示，圖像由 16個CELL組成。

2.2 SVM分類器的訓練和人頭檢測

人頭檢測的分類器選擇高斯內核的支撐向量機（SVM）。SVM分類器的訓練分兩次進行，第一次是使用人頭居中的正樣本和從不包含人頭對象的圖像（源負樣本）中取樣得到的負樣本中訓練出基本分類器。第二次是采用基本分類器對所有源負樣本進行密集掃面檢測，將其中檢測錯誤的子圖像歸為困難負樣本，然后將之前的正樣本和負樣本與困難樣本一起對基本分類器進行二次訓練。在對源負樣本進行密集掃描時，不僅掃描步長要小，而且還要加入尺度的變化(尺度步長可設為 1.5或者2)，盡可能地獲取源負樣本的局部信息和全局信息。這樣得到的負樣本才夠健壯，對二次訓練后檢測器的效果也提升得更加全面。

SVM分類器的訓練階段，訓練用正樣本和負樣本的尺寸固定，大小為32×24。在人頭檢測階段，由于距離等因素，導致目標（人頭）大小變化較大，本文采用訓練模板大小不變而只縮放待檢測圖像的方法實現目標的多尺度檢測，檢測結果如圖 4（a）所示。

3 Mean-shift跟蹤計數

利用HOG特征，只能實現單幅圖像中人頭的檢測。要完成人員計數，必須利用多幀圖像信息，既要檢測出圖像中新出現的目標，又要利用目標跟蹤技術，確定連續多幀圖像中的同一個目標，實現人員統計計數。

利用Mean-shift實現人員跟蹤計數具體步驟如下：

(1)將人頭檢測的結果作為初始的搜索窗口，確定窗口大小和位置。

(2)計算搜索窗口內的灰度概率分布函數，并用該分布函數反演下一幀的待搜索圖像。

(3)利用前一幀初始搜索窗口的大小和位置信息，確定當前幀的搜索起點和范圍，并在計算選取搜索窗口中按照式(4)、式(5)計算零階矩和一階矩，并按照式（6）計算搜索窗口的質心：

4 試驗結果

用圖像大小為 384×307、30幀/s的實拍視頻流進行測試實驗，測試視頻中行人只能從畫面的上下兩端進入。為減小計算量，人頭檢測只在圖像的上下1/4區域進行檢測，根據行人運動方向，在圖像的中間1/2區域進行搜索跟蹤技術，完成客流量統計。實驗結果如圖4（b）所示。在達芬奇系列處理器TMS320DM6437平臺上實測數據處理速度為28幀/s，客流量統計精度為97.8%。試驗中測試發現，HOG特征檢測人頭消耗了系統70%的計算量。為進一步提高計算速度，對人頭檢測算法進行優化：利用積分圖[5]計算HOG特征，采用Cascade[5]結構組合SVM分類器。優化后，在不影響客流量統計精度的情況下實測處理速度達到了38幀/s。

本文在達芬奇系列處理器TMS320DM6437平臺上，設計并實現了一個實時的嵌入式客流量統計模塊，實測表明，客流量統計精度高，數據處理速度快。在不改變已有監控系統的結構，僅通過增加該模塊就可實現客流量統計等智能監控功能，具有良好的市場前景。

圖4 人頭檢測和跟蹤結果

[1]屈建中，張軍，魯墨武.長途客車流量監測裝置[J].測控技術，1994，13(3)：23-26.

[2]畢勝，梁德群.基于主動紅外成像的客流量統計系統[J].小型微型計算機系統，2007，28（4）：697-700.

[3]DALAL N，TRIGGS D.Histograms of oriented gradients for human detection[C].Proceeding.IEEE Conference.on Computer Vision and Pattern Recognition，2005：886-893.

[4]BRADSKI G，KAEBLER A.Learning OpenCV—computer vision with the OpenCV library[M].(3rd Ed).New York：O’Reilly Media，Inc.，2008：337-341.

[5]VIOLA P，JONES M.Robust real-time face detection[J].International Journal of Computer Vision，2004，57(2)：137-154.