基于深度學習的客流量統計方法①

韓曉微,王雨薇,謝英紅,齊曉軒

(沈陽大學 信息工程學院,沈陽 110044)

當前,智能視頻監控是計算機視覺的重要應用領域,其不同于原有的視頻監控方法,智能視頻監控通過計算機視覺方法對各種圖像序列進行處理,從而自動的實現對行人、交通等情況的有效監控[1,2],而人流統計則是近年來此領域的關鍵技術之一[3].人流統計主要通過目標檢測、跟蹤等多方法結合實現,此技術在當前已有了一定的研究成果,但由于目標的快速移動與遮擋等情況的存在,使得客流統計仍存在著嚴峻的挑戰.

對于目標檢測與跟蹤方法,Felzenszwalb 等人[4]提出了多類目標檢測方法,其先通過DPM 的人工特征提取,再進行Latent SVM 分類,此方法成為在深度卷積神經網絡出現之前最有效的識別算法.Girshick 等人[5]首次首次在目標檢測中使用深度學習理論,其通過卷積神經網絡實現目標候選框特征的提取,之后利用SVM 實現分類工作.Ren 等人[6]提出了用于實時目標檢測的候選框網絡RPN,其可以從任意尺寸的圖像中得到多個候選區,能夠與卷積神經網絡結合實現端到端的訓練,此網絡與Fast R-CNN[7]結合并共享卷積層特征之后的網絡稱為Faster R-CNN.Henriques 等人[8]提出了一種核相關濾波器,其通過加入正則項建立模型,利用循環矩陣進行稠密采樣,又通過多通道特征的提取,實現了較為魯棒的跟蹤.Mueller 等人[9]提出了上下文感知濾波跟蹤算法,實現了背景干擾下的有效跟蹤.

對于人流統計方法,Raheja 等人[10]采用高斯混合模型對背景像素進行描述,提出了一種多模態背景的雙向人員計數算法,實現了在人口密度較低情況下的準確計數.Wateosot 等人[11]通過對象分割對人的頭部進行識別,然后使用粒子濾波方法跟蹤頭部的深度顏色特征,進而實現對于人頭的統計工作.Songchenchen等人[12]提出了一種基于特征融合的人群計數方法,其通過圖像特征提取和紋理特征分析,利用多源數據對人群數量進行估計,實現了高密度、靜態圖像中的人數統計.Chauhan 等人[13]提出了一種基于深度學習框架的數學計數回歸方法,該方法首先估計出每個區域內的人數,之后通過各個區域的人群數量估計之和求得整個圖像中總人數.李笑月[14]通過SVM 對樣本進行訓練得到行人分類器,利用Mean-Shift算法進行目標跟蹤,判斷目標是否離開場景來實現計數.這些算法多是使用垂直于地面的攝像頭進行監控,通過這種方式能夠有效的應對目標遮擋情況,但當監控視頻角度發生偏轉時,算法的準確性會受到影響.

本文以餐飲業為背景,為實現對進店客流量的統計,設計基于深度學習的餐飲業客流量統計方法.此方法首先通過多數據集對YOLOv3-tiny 方法進行訓練,實現對于目標的準確檢測,然后設計多通道特征融合的核相關濾波目標跟蹤算法,實現對于快速移動目標的穩定跟蹤,最后設計基于雙標準框的目標進門行為判斷方法,實現了對于客流量的有效統計.

1 本文算法設計

1.1 YOLOv3 目標檢測算法

YOLOv3[15]在原始兩個版本[16,17]的基礎上進行了多尺度預測與網絡結構等方面的改進,使其檢測的速度更快,準確率更高.YOLO 各個版本的性能對比見表1所示.

表1 YOLO 各版本性能對比

1.1.1 YOLOv3算法原理

YOLOv3 的輸入圖片尺寸為416×416 像素,通道數為3,其采用了Darknet-53 的網絡結構,主要實現YOLOv3 的特征提取工作,其共包含53 個卷積層,卷積層中使用的卷積為3×3 和6×6,具體結構[18]見圖1所示.

Darknet-53 之后通過類似于FPN 網絡[19]實現特征融合,網絡總共劃分3 個尺度,分別為13×13、26×26、52×52,其中每個尺度先構成各自尺寸的特征圖,再使用卷積核實現各特征圖間的特征融合.此網絡通過在多個尺度的融合特征圖上進行獨立的檢測工作,最終實現對于小目標檢測性能的有效提升.

圖1 YOLOv3 網絡結構

YOLO 在訓練時的損失函數計算公式為:

其中,Ecoo為檢測結果與標定數據間的坐標誤差,EIOU表示兩者間的IOU 誤差,Eclass則表示分類誤差.

Ecoo的計算公式為:

其中,λc為權重誤差,表示在第i 個網格的第j 個預測框負責目標,S 表示特征圖的網格尺寸,B 為每個網格預測框的數量,wi和hi分別表示預測框的寬和高,和代表真實的寬高,( xi,yi)代表預測框的中心坐標,則代表真實坐標.

EIOU的計算公式為:

其中,λnoobj表 示分類誤差的權重,表示第i 個網格的第j 個預測框不負責目標,ci表示第i 個網格預測的置信度值,表示其真實置信度值.

Eclass的計算公式為:

YOLOv3-tiny 的網絡結構在YOLOv3 的基礎上進行了修改,減少了卷積層、取消了殘差層,并且減少了輸出尺度的數量.此模型的整體性能雖不如YOLOv3,但由于YOLOv3-tiny 的模型復雜度得到了減小,使得其運算速度實現了進一步的提升,而本文需要在CPU環境下實現,YOLOv3-tiny 能夠保證整體算法的實時性,因此本文選取了YOLOv3 的輕量級版本YOLOv3-tiny 作為最終的目標檢測模型.

1.1.2 訓練過程

(1)樣本準備

使用LableImg 對圖片序列中的人群進行標注,實驗共涉及45 家門店不同時間段的5000 張圖片,具有普適性,通過這些標注好數據集對模型進行訓練.本文算法針對目標為行人,因此在模型訓練時取消了對其它類別事物的識別,只保留了person 標簽.

(2)參數設置

本文對模型的訓練階段,動量參數設置為0.9,其影響梯度下降到最優值時的速度,訓練使用小批量隨機梯度下降進行優化.初始學習率η =0.001,衰減系數設置為0.005,此系數的設置防止過擬合現象出現.前1000 次訓練的學習率為ηlr=η×(Nbatch/1000)2,通過學習率的設置保持網絡的穩定,Nbatch為模型運行的批次數,之后的學習率為10-3.

1.1.3 檢測結果

本文將訓練后的模型分別對10 家不同門店的不同時間進行測試,圖2 為其中3 個門店的識別效果,其中門店A 有強光影響,門店B 有較多汽車遮擋,門店C 的視野不清晰.通過圖2 可看出,此算法對3 個門店均能實現準確的檢測,有較強的魯棒性.

圖2 各門店識別結果

1.2 多通道特征融合目標跟蹤算法設計

1.2.1 核相關濾波算法

核相關濾波器利用正則化的最小二乘法,通過求極值的方法實現對濾波器的求解.通過對每張圖片中目標及其周圍一定范圍的圖像塊進行濾波器的訓練,其中目標位置圖像塊x 的尺寸為M×N,在濾波器訓練過程中通過循環矩陣實現密集采樣,圖像塊xi中i ∈{0,···,M-1}×{0,···,N-1}.濾波器通過回歸最小化進行求解,具體表示為:

其中,〈 ,〉表示點積,w 為濾波器的參數,y 為期望的目標輸出,λ 為正則化參數,能夠防止模型過擬合現象,使模型得到更好的泛化能力.

利用核函數 κ (x,y)=〈φ(x),φ(y)〉,將高維非線性變換到低維函數實現加速計算,其中? 表示將特征向量映射到核空間的函數.因此將式(5)的解w 表示成輸入的線性組合[20],即為:

其中,α 是w 的對偶空間變量,即為濾波器系數.

根據文獻[21]可以得到α 的解,具體求得α 為:

通過循環矩陣性質可知k 仍是循環矩陣,結合循環矩陣的性質求解到傅里葉域中的α 為:

其中,和 表示他們各自的傅里葉變換.為多通道的高斯性核函數,其計算公式為:

其中,⊙表示各元素的對應相乘,F-1表示傅里葉逆變換,*表示復共軛,σ 為高斯核函數帶寬參數.

通過上述訓練過程,根據循環矩陣k 構建訓練樣本和測試樣本的核函數,將分類器的求解轉化到傅里葉域中,對目標下一幀位置進行求解,其目標響應f(z)為:

1.2.2 多通道特征融合設計

顏色特征是一種全局特征,其不受目標的旋轉、平移等變化的影響.CN 特征[22]基于傳統顏色特征的優勢,將原有的RGB 的三通道特征進一步映射到11 維,實現了從3 種顏色到11 種顏色的擴展.CN 顏色屬性對于一張輸入的目標圖像I,將a 位置的像素值I(a)映射到CN 空間,進一步得到共11 維的顏色概率特征圖[a1,a2,···,a11].HOG 特征描述目標的方向梯度,獲取HOG 特征首先需進行灰度處理,然后利用Gamma 校正法對目標進行顏色空間歸一化,以此降低光照變化的影響,從而實現降噪效果;之后對每個像素點進行梯度方向和大小的求解,計算此點的梯度幅值和方向;最后進行細胞單元(cell)、塊(block)直方圖的構建,通過對塊的HOG 特征進行整體串聯,實現目標框HOG 特征的提取[23].

本文所采用的HOG 特征的每個cell 為4×4 像素,其獲取到的特征為31 維,CN 為11 維特征,由于單一的目標特征提取會導致跟蹤不夠準確的情況,因此本文提出了一種可以將這兩種特征進行融合的方法.由于核相關函數只需進行向量間的點乘運算,因此對于兩種特征的融合工作就是將這些特征進行維度的串聯,所得的最終目標的特征維數為42 維,其融合方式具體表示為:

其中,PC、PH分別表示CN 和HOG 特征.

1.3 進門行為判斷方法設計

本文實現的是對進入門店的客流量統計,現有的多數算法是通過垂直于地面的攝像頭進行監控,利用分割線對圖像進行區域劃分,之后通過對目標經過各分割線的過程實現對垂直視野中的人數統計.但本文使用的視頻監控方式為水平方向或與地面夾角不超過50 度,現有的策略并不適用于本文所研究的對進入門店的客流統計背景.因此本文對目標進門行為判斷方法進行了設計,從而實現對客流量的統計.

首先初始化雙標準框與目標感興趣區域,雙標準框是根據不同餐飲門店的方位與角度進行手動標定,其為之后判定目標是否進門提供依據,標定示意圖見圖3 所示.

圖3 雙標準框標定示意圖

在實際應用場景中,不同攝像頭距目標門店的距離各不相同,因此需要對攝像頭所拍攝的視頻序列進行預處理,確定目標感興趣區域.當目標進入感興趣區域時開始對其進行整體的識別跟蹤工作.在雙標準框確定之后,本文將參數分別設為1.2、1.5、2 作為雙標準框外框尺寸同比例擴大的倍數,并且在這些參數下分別對算法實現整體的測試.經過實驗得到當參數為1.2 時,目標從進入感興趣區域到最終進入門店的過程過短,算法在對目標進行跟蹤的過程中會產生更多跟蹤漂移的情況.當參數為2 時,有更多的背景被圈定進去,使得算法整體的運行效率降低.因此通過實驗,本文將1.5 作為最后感興趣區域的參數,在此參數下,能夠有效的減少其它背景區域的干擾,提升算法運算效率.感興趣區域示意圖見圖4 所示.

圖4 感興趣區域示意圖

本文對客流量的統計是在雙標準框基礎上,通過其與同一目標的初始位置與終止位置的相對關系進行確定.整體判斷流程為:當目標初始位置在門外,通過跟蹤過程目標終止位置在門內,則定義目標進入了門店,實現人數累計,若不滿足此條件,目標則未進門.

通過目標框與內標準框的重疊比例實現對目標與門店的位置關系判斷.標準框的設置能夠獲取其坐標信息,目標識別與跟蹤工作實現對于目標坐標信息的獲取.其中得到目標框面積為Sobj,內標準框面積為Sid,重疊比例即為:

其中,∩為取交集操作,min(,)為求取兩個目標框的較小值,標準框與目標框的尺寸均存在不確定性,因此保留較小值能有效防止比例漂移的情況.

當初始目標出現時判斷目標與內標準框的重疊比例,本文算法將初始重疊閾值設為0.4,R ＞0.4時表示目標在門內,R ＜0.4時表示目標在門外.當目標跟蹤結束時,終止重疊閾值設為0.8,當R ＞0.8則表示目標進入門內,反之目標則未在門內.

2 實驗結果與分析

本文算法通過Python 實現,編輯平臺為Atom,所使用的計算機為主頻3.40 GHz 的CPU 以及8 GB 的內存.

2.1 目標跟蹤結果分析

為了驗證算法的有效性,本文選取了10 個門店30 天不同時間段的視頻序列進行測試,將本文算法與KCF算法的結果進行對比試驗,選取了其中兩個門店的結果進行分析.圖5 的門店A 存在著光照強烈變化的情況,初始階段兩個算法均能實現穩定的跟蹤,而當目標彎腰時KCF算法產生了漂移現象,而本文算法能夠保持穩定的跟蹤.圖6 的門店B 存在著車輛遮擋情況,當目標側身時KCF算法跟蹤產生誤差現象,而本文算法能夠一直準確的進行跟蹤.這是由于CN 和HOG特征的融合豐富了目標表觀特征描述,能夠應對目標表觀變化情況,并且相關濾波器算法通過循環矩陣與核化等方法的使用,大大降低了算法運算的復雜度,使得目標在快速移動時能保持穩定的跟蹤效果.

圖5 門店A 跟蹤結果

圖6 門店B 跟蹤結果

2.2 客流量統計結果分析

本文所使用的實驗數據為多個餐飲業門店的實際監控視頻錄像,視頻格式為AVI,文本共選取了10 家門店30 天的錄像進行結果測試,其中涉及白天與晚上.圖7 所示為門店15 一天的客流量統計情況,其中將視頻序列分成8 段,前4 段為白天光照條件較好時的情況,后4 段為晚上光線較差時的情況,通過該圖可知,在多個視頻序列下本文算法的統計結果與實際客流量基本一致,只有在晚上時有少量的出入,這是由于晚上的光線較差,目標背景間的差異較小導致的,但本算法在多目標進入門店發生遮擋等情況下有較好的表現,此門店整體統計的準確率為94.8%.圖8 為10 家門店各自一天累計進店客流的統計結果,其中菱形標注本為算法的統計結果,正方形標注為實際人工客流的統計結果,本文方法整體客流統計平均準確率可達93.5%.

圖7 門店15 客流統計圖

圖8 各門店人數累計分布圖

為了驗證本為算法的準確性與魯棒性,本文通過10 個店鋪各自的準確率及誤算情況,進行對算法的評估.通過客流量檢測值與真實值之間的誤差情況進行準確率的計算,誤算人數為算法整個過程中出現的錯誤情況,其中漏檢人數包含在誤算人數中.

從表2 可看出本文算法的準確率幾乎均在90%以上,能得到平均準確率為93.5%.表中出現漏檢的情況為夜間光線差和特殊天氣情況導致的背景與目標間的差異較小,但在人群較多進入店鋪時,本文算法能夠得到準確的統計結果,這是由于本文目標進門行為判斷算法的設計,使得目標在發生遮擋情況時能夠進行穩定的統計.通過表3 中本文算法與文獻[14]算法的對比,可以得到本文算法有更高的準確率,這是由于本文使用了基于深度學習的目標檢測算法,使得對目標的初始檢測更加準確,設計了目標跟蹤算法,使得當目標發生快速運動時跟蹤器能有更好的穩定性.

表2 客流量統計結果準確率

表3 兩種算法客流量統計結果準確率對比

3 結論與展望

本文算法實現的是對于進門客流量的統計,算法整體流程首先是對獲取的監控視頻,利用卷積神經網絡進行特征提取,訓練YOLOv3-tiny 模型實現目標的識別,之后通過多特征融合的核相關濾波器設計,實現對于快速移動目標的穩定跟蹤,最后通過進門行為判斷方法的設計實現對于客流量的準確統計.通過實驗驗證,本文算法的平均準確率能達到93.5%.在目標快速移動和遮擋情況下能夠實現準確的統計,但在光線昏暗的情況下算法的準確率需要進一步的提高,這是由于在光線較差的情況下目標與背景間的差異較小,使得算法對目標特征的獲取產生了誤差,在之后的研究中將進一步改進目標跟蹤方法,改變獲取特征的方式,將多特征融合進行特征提取的方式轉換成深度卷積特征,實現對于目標特征更準確的描述,從而進一步提升算法的穩定性.