基于鯤鵬云的復雜道路場景行人監測系統①

靳靜璽, 孫士杰, 宋煥生

(長安大學 信息工程學院, 西安 710064)

隨著計算機視覺領域的快速發展, 各行各業都已經利用計算機視覺領域的學術研究成果進行工業界的相關應用. 考慮到高速道路異常事件監測[1]是交通安全監管和路況控制的重要組成部分, 并且當前基于交通視頻分析的交通參數和交通異常事件檢測、交通行為分析等已成為智能交通領域研究的重點.

當前主流的交通視頻異常事件檢測均基于深度學習中目標檢測的方法, 該類方法作為計算機視覺的基本方案之一, 可作為其他視覺任務的基礎, 如: 圖像分割[2]、標注和目標跟蹤[3]、目標重識別[4]等.

目標檢測任務[5]是找出圖像或視頻中人們感興趣的物體, 并同時檢測出它們的位置和大小. 與圖像分類任務不同, 目標檢測不僅要解決分類問題, 還要解決定位問題, 圖1 為目標檢測的6 大應用領域.

圖1 目標檢測的應用領域

基于深度學習的目標檢測方法可分為兩類: 兩階段目標檢測方法和單階段目標檢測方法. 兩階段目標檢測算法精度高但是速度較慢, 不適合在生產環境中應用, 而當前單階段目標檢測算法發展迅速, 精度和速度均有很大的提升, 能夠在實際生產環境中得到大規模應用.

當前單階段目標檢測算法性能較高的YOLOv4[6]算法是一個可以應用在生產環境快速運行的目標檢測器,它比上一個版本YOLOv3[7]提升了10%的平均精度以及12%的幀率, 在普通的GPU 上就可以達到很好的速度和精度. YOLOv3[7]采用Darknet53 進行特征提取, 對象分類采用Logistic 代替Softmax. 相比YOLOv3[7],該算法在輸入端引入Mosaic 數據增強、cmBN 及SAT 自對抗訓練; 該網絡結構的Backbone 部分是由主干特征提取網絡CSPDarknet53 組成, 其中用到了Mish 激活函數和Dropblock 正則化方法; Neck 部分是由SPPNet[8]和PANet[9]組成, 其中SPPNet[8]對于一幅圖像分成若干尺度的圖像塊, 然后對每一塊提取的特征融合在一起, 從而兼顧多個尺度的特征. SPPNet[8]使得網絡在全連接層之前能生成固定尺度的特征表示,而不管輸入圖片尺寸如何; PANet[9]引入了自底向上的路徑, 使得底層圖像特征信息更容易傳遞到高層和頂部. YOLOv4[6]的head 部分采用原先YOLOv3[7]head部分, YOLOv3[7]head 是借鑒了FPN 網絡[10]采用3 個不同感受野的特征圖去檢測不同尺寸的對象. 該部分輸出3 類不同大小的多維特征圖, 其大小分別是13×13、26×26、52×52, 每類特征圖對應3 個錨框, 每個網絡預測的位置信息(X, Y, W, H)、置信度和類別信息,YOLOv4[6]網絡結構如圖2.

圖2 YOLOv4 網絡結構

YOLOv4[6]在YOLOv3[7]基礎上, 將近年來深度學習領域最新的研究成果融入其中, 算法的性能表現較為出色. 其在MS COCO 數據集上利用Tesla V10 以65 fps 的實時速度獲得了43.5 的平均精度(65.7%AP50).

隨著YOLO 網絡的廣泛應用, 很多學者提出了很多基于YOLO 網絡的行人檢測方法. 高宗等人[11]提出了YOLO-P 的行人檢測網絡, 在YOLOv2 的網絡結構基礎上根據INRIA 數據集[12]上行人目標寬高比的規律, 將原先的全連接層用卷積層代替并預測目標的偏移, 調整X 軸和Y 軸的分布密度并融合網絡不同位置的多級特征圖, 降低了行人的漏檢率和誤檢率并提高了行人的定位精度. 陳光喜等人[13]為了提升召回率和檢測效率, 設計YOLOv2+Person 網絡來檢測行人, 結合深層、淺層CNN 的特征, 得到更準確的行人分類結果. 王丹峰等人[14]提出了基于YOLOv3[7]的改進網絡檢測用來檢測行人, 其采用深度可分離卷積代替Darknet網絡, 降低了網絡的參數和計算量, 在VOC2007 數據集下行人的檢測精度達到90.3%. 在針對擁擠場景下,行人的嚴重遮擋、分布密集的問題, 鄧杰等人[15]提出了Crowd-YOLO 網絡, 在YOLOv3[7]的基礎上, 提出了時頻域融合注意力的模塊, 能夠得到具有豐富信息的深層特征圖, 在CrowdHuman 數據集下精度得到提升. 在紅外圖像中行人的小目標檢測方向, 李慕鍇等人[16]將SENet 中SE block 引入YOLOv3[7]中, 降低紅外圖像中行人誤檢率并提升了檢測精度.

當前性能表現較好的網絡都是在YOLOv4[6]基礎上加以改進. 針對復雜的光照條件、惡劣的天氣、嚴重遮擋、行人尺寸大以及圖像模糊等問題, 康帥等人[17]在YOLOv4[6]的基礎上提出了在骨干網中加入混合空洞卷積, 并用空間鋸齒空洞卷積結構代替空間金字塔池化結構, 從而提升了平均精度并降低了平均誤檢率.Sambolek 等人[18]將YOLOv4[6]算法應用在山區行人搜救方面, 制作了SARD 數據集并結合VisDrone 數據集進行重新訓練, 增加Ropti 的額外度量方法并調整YOLOv4 (SARD)[6]的輸入分辨率為832×832,IOU為0.1, thresh 為0.4 取得97.15%的AP 值.

在交通異常事件檢測中, 行人檢測也是長期以來較難解決的問題, 存在問題如圖3. 實際道路上, 監控相機一般架設在8–15 m 的高度, 行人目標較小, 而 YOLOv4[6]的head 模塊輸出52×52多維特征矩陣, 該部分針對小目標預測效果較好. 鑒于YOLOv4[6]針對小目標也具備較好的檢測精度同時其算法具有魯棒性較強的優點,因此, 本文采用該方法進行道路上的行人監測.

圖3 行人檢測的難點

隨著視頻云加密聯網成為高速公路視頻監控領域發展的主流趨勢和不斷增加的云端的監控視頻處理的需求, 本文提出基于純國產處理單元的鯤鵬云的行人監測系統具有非常重要的應用價值.

系統部署在云端可以快速地將位于各地監測點的云上多路視頻數流實時接入云端處理, 云端將處理好的監測結果通過TCP 協議實時傳輸到本地監控中心;同時部署到云服務上, 可節省大量建設本地機房的成本, 以及不考慮機房噪音、散熱和維護的問題.

該系統首先利用鯤鵬920 CPU 處理單元和Open-CV 庫, 解析實時的RTSP 視頻碼流, 進而將視頻序列傳輸到目標檢測模塊, 該模塊基于YOLOv4[6], 利用Atlas 300 這個NPU 推理加速, 可進行多個場景的高速道路上的行人檢測; 最后, 將檢測到的不同場景下行人進行匯總分析, 進行事件上報和行人闖入的圖像保存記錄.

1 行人監測系統的設計

本系統針對高速道路上的行人闖入事件可以進行全天候的監測. 從監控相機中獲得視頻流通過EasyDarwin流媒體服務器轉發至鯤鵬云服務器, 云端對源源不斷的視頻流進行分析, 能夠監測多個發生有行人進入道路發生的異常情況, 并可以將行人闖入高速的事件圖像和發生時間的進行保存, 圖4 為系統流程圖.

圖4 鯤鵬行人監測系統整體圖

行人監測系統是針對從相機獲取的多路RTSP 視頻流, EasyDarwin 流媒體轉發至云端, 云端接入后, 調用OpenCV 和ffmpeg 實時解碼, 將解碼后圖像傳入到運用YOLOv4 的檢測模塊, 同時在NPU 下進行推理加速, 從傳輸來的一幀幀圖像中判斷是否存在行人闖入高速道路的情況, 將存在的行人闖入事件的位置信息進行記錄, 同時進行對比判斷是否是新的行人闖入事件, 將監測到新的行人事件進行上報, 具體算法流程如圖5 所示.

圖5 行人監測系統流程圖

從NPU 模塊獲取到當前視頻幀的行人檢測結果,分別為類別、行人的邊界框坐標X, Y, W, H 和置信度, 將視頻序列Bi,i={1,2,3,···,n}的檢測結果進行非極大值抑制, 用來過濾冗余的bounding box, 從而獲取更精確的位置信息. 非極大值抑制采用DIoU-NMS 算法, 算法公式如式(1)所示:

其中,si表示分類得分,M是得分最高的預測框,Bi表示當前幀檢測到的第i個bounding box,Nth為設定的閾值. 其中RDIoU的計算過程如下:

其中,b和bgt表示兩邊界框中心點位置, ρ(·)表示計算其歐式距離,c表示兩個bounding box 對角線的歐式距離.

另外, DIoU-NMS 還采用了IoU方法,IoU表示圖像的交并比. 其計算過程如下:

其中,A和B分別表示兩個bounding box, 求其交集與補集的比例.

通過DIoU-NMS 獲得行人目標的最精確的位置信息, 進行判斷當前視頻幀是否存在行人, 將有行人信息的每幀中多個bounding box 中心位置信息進行存儲,后續將當前幀檢測到的行人中心位置(xt,yt)與歷史保存的行人中心位置(xt?2,yt?2) 、(xt?1,yt?1)進行計算其歐氏距離, 計算過程如式(4)所示:

其中, (xi,yi)為當前幀行人的bounding box 中心點,(xk,yk)為歷史的 bounding box 中心坐標. 最后根據求得的dis值進行新事件上報的確定, 發生新的行人事件進行 上報和記錄.

2 鯤鵬云硬件平臺

在華為云官網申請了一臺配置是CPU 為arm64架構的鯤鵬920, RAM 為32 GB, NPU 為達芬奇架構的Alas 300 的彈性云服務器, 詳細配置參數如圖6.

圖6 華為云服務器配置

通過圖7, 可以通過網頁端看到實時的CPU 利用率、磁盤的讀寫速度等詳細的網頁監控數據, 方便后續對系統的優化和測試. 通過FinalShell 可以利用本地的代碼編輯器將程序快速上傳到云端, 進行遠程編譯和調試, 在FinalShell 使用SSH 協議連接后界面顯示如圖8 所示.

圖7 系統資源監測網頁

圖8 FinalShell 連接華為云顯示

3 模擬相機推流模塊

本實驗采用常用的開源流媒體服務器EasyDarwin進行RTSP 碼流的推送, 在云端可以接入RTSP 碼流,采用ffmpeg 進行RTSP 碼流的解析和處理.

本系統可以針對中視頻中出現的行人和進行全天候監測, 本地視頻通過流媒體服務器轉成RTSP 碼流,并將RTSP 碼流轉發到云服務器端, 云端針對多路RTSP流進行實時處理. 圖9 和圖10 為流媒體服務器轉發多路視頻流的過程和資源利用率動態顯示.

圖9 EasyDarwin 多路視頻推流

圖10 推流主機資源占用監測圖

同時使用VLC 流媒體播放器進行查看視頻流, 為了確保視頻流穩定推送, 避免花屏現象, 采用3 臺主機進行這樣的推流服務, 在顯示器可以檢查視頻流的運行情況, 防止視頻出現卡頓和花屏現象, 從而影響監測效果, 圖11 同時推送12 路不同視頻流的效果.

圖11 VLC 實時查看RTSP 流畫面

4 實驗結果及分析

通過接入實際的多條RTSP 碼流進行鯤鵬云下行人監測任務. 該系統能夠在多種不同場景下取得較好的監測效果, 如不同天氣下如晴天、陰天和雨天; 不同時間如白天、傍晚和夜晚; 不同道路場景如高速公路和隧道, 圖12 展示了本系統應用場景.

圖12 測試覆蓋到的復雜場景

在上述復雜道路場景下, 其中隧道場景一般沒有白天和夜晚的區分, 但是由于隧道燈光和車輛前后燈的混疊影響, 導致其光線條件非常復雜. 實驗主要選取實際高速道路不同時間段的白天、夜晚場景和隧道不同光線條件和不同時段的場景進行行人監測, 另外也針對視頻流異常情況下進行監測結果的分析.

圖13 為不同高速道路及不同時間段白天場景下的行人監測結果. 從圖13(a)中可以看出在白天9–10 點之間存在被路邊的樹木陰影遮擋的行人駕駛電動車上高速, 此時可以正確監測到行人進入事件, 圖13(b)中遠處的交通標志牌附近的行人也可以監測到, 但是在圖13(c)中可以監測到離相機近的行人, 遠處兩個行人未能監測到. 圖13(d)中存在大量行人, 監測到該事件但是對于具體的行人未全部檢測到.

圖13 高速白天場景下的行人監測結果

圖14 為不同高速道路及不同時間段夜間場景下的行人監測結果, 圖14(a)中可以看出在夜間2–3 點行人監測結果存在誤檢測現象, 主要是因為光照影響下陰影輪廓和行人較為相似; 圖14(b)中4–5 點貨車強光背對監控相機下, 行人可以準確監測到; 但是在圖14(c)中路樁受光線的影響, 可以發現其輪廓與行人接近, 造成誤檢測. 圖14(d)道路下準確監測行人進入事件.

圖14 高速夜間場景下的行人監測結果

圖15 是多條隧道場景的不同時間段的行人監測結果. 圖15 (a)中可以看出早上9–10 點隧道口有行人進入; 圖15 (b)中14–15 點的隧道中存在大量車輛車尾燈和隧道上燈光的影響, 此時能夠準確監測到行人;圖15 (d)中均勻的燈光場景下可以正常監測到行人進入, 同時針對該場景遠處行人也能監測到.

圖15 隧道場景的行人監測結果

在行人監測過程中, 由于網絡和服務器負載過高的原因, 導致圖16 中視頻流存在不同程度花屏的現象,圖16(a)中的圖像無法辨識道路上多種物體和道路標線, 在該場景下仍舊能夠監測到行人進入, 對于花屏模糊部分區域也存在行人無法檢測出的現象, 人眼辨識也需要一段時間的比對才可以發現道路上的其他行人.圖16(b)中也存在局部花屏現象此時也可以監測到行人事件.

圖16 視頻流異常情況的監測結果

針對選取的上述場景, 本監測系統在行人與監控相機位置距離較近的情況下精度較高, 遠距離精度還有待提升. 在出現一定程度的視頻流花屏情況下引起行人目標產生不同程度的模糊現象, 此時也可以正確上報監測到的行人事件, 但是由于視頻流花屏對檢測的干擾是隨機的, 因此需要通過對視頻流的傳輸速度和CPU 資源占用進行優化, 可以采用NPU 進行視頻解碼降低CPU 利用率, 避免此異常情況的發生.

針對該監測系統的進行性能測試, 考慮到主要利用到NPU 模塊進行推理加速, 因此主要進行NPU 和CPU 利用率及內存使用進行對比. 測試中每個進程同時跑3 路視頻流分辨率分別為576×720、576×720和482×856. 表1 中所有YOLOv4[6]模塊用到了NPU 下的視頻解碼, 因此其NPU 資源占用率較高. 另外NPU下可以同時跑兩個不同的推理網絡, 對YOLOv3[7]和YOLOv4[6]模塊進行了性能方面的對比. 最后進行極限測試, 在多進程下本系統可以同時處理多路視頻流. 在實際生產環境下, 本系統能夠進行22 路監控相機碼流的實時處理, 并穩定運行57 天.

表1 行人監測系統性能測試

5 結論與展望

該監測系統能夠針對復雜場景下的交通視頻中行人事件, 利用YOLOv4[6]進行行人檢測與事件上報, 針對不同時段和路段的實際道路場景, 能夠取得較好的監測效果并可實時處理22 路監控視頻流, 同時有較高的穩定性. 另外監測系統的處理單元均為純國產化設備相較于傳統國外處理單元(如Intel CPU 和Nvdia GPU 等), 可以保證程序運行過程中的數據運算的低功耗. 同時采用NPU 也可以代替GPU 來進行深度學習算法的研究和工業部署也有著借鑒的意義.

系統的不足之處是還沒有針對特定場景進行大批量數據集的采集和訓練, 為了提高對道路上行人異常事件的監測精度, 需要后續進行針對該平臺的網絡訓練、模型轉化和算法優化工作.