基于計算機視覺的網約車車載智能監控系統研究

鐘建勇 沈哲 孫何濤

關鍵詞：計算機視覺;網約車;車載監控;人臉檢測

1緒論

隨著網約車數量劇增，覆蓋時段、覆蓋區域也大大增加，乘車安全問題逐漸涌現，這告訴我們，現有的安全措施只能“亡羊補牢”，真正的安全是要做到“未雨綢繆”，將傷害控制在危險發生之前。然而某網約車軟件內置的一鍵報警、添加緊急聯系人等防范措施在一些受限環境下并不能有效阻止傷害的發生，同時，現階段的車載監控系統往往只起到事后查證的作用，對正在發生的危險并不能進行智能預警。因而我們亟須一種網約車智能安防監控系統，來對車內發生的異常行為進行實時的智能研判，從而避免安全事故的發生。

基于上述分析，本文開發了一種基于計算機視覺的網約車車載智能監控系統，處理不同條件下的異常行為，包括背景變化、主體數量（個人、兩個人或更多人）以及一系列不同的異常人類活動，通過視頻圖像采集，結合人工智能算法對車內高度異常行為進行實時監控，當有危險發生可迅速進行人工干預并自動報警，及時避免危險，有效保障網約車司機和乘客的人身財產安全。

2系統概述

針對網約車智能監控系統缺失，現有監控設備僅有記錄功能，并不能有效保障乘車和駕駛員行車安全的問題，本文開發了一種基于計算機是覺得網約車車載智能監控系統，通過一個基于嵌入式技術的車載終端實時采集網約車車內數據，利用4G/5G網絡上傳至數據中心服務器進行匯聚和分析，在服務器中，自主研發并部署了人臉檢測、車內異常行為檢測等計算機視覺技術模塊，可以實時可靠的對網約車內的異常行為進行分析預警，從而有效保障司機和乘客的人身安全。系統總體設計框架如圖1所示。

3系統設計與開發

3.1系統硬件設計

在車載數據采集終端的設計上，采用四代RaspherryPi，其中，主控芯片使用的是博通BCM2711（四核1.5GHz，Cortex A72架構），通信采用SIM7600CE通信模塊，上行最大速率50Mbps，下行最大速率150Mbps，支持TCP/IP、PPP通信協議。SIM7600CE和處理器的USB2口直接相連，工作電壓4.2V，借助4G無線通信模塊強大的數據傳輸能力實時的和數據中心服務器進行通信。北斗定位模塊采用NEO-M8T模塊，該模塊同時支持北斗、GPS獨立定位和多系統聯合定位，選用串口通信的方式和BCM2711處理器進行通信，車載終端實物如圖2所示。

3.2系統軟件設計

3.2.1人臉檢測模塊

人臉檢測模塊采用了經典的Harr-like特征+Adaboost分類器的解決方案，并針對車內環境增加了人臉正負樣本數據集，通過對候選區域進行積分圖計算，快速計算Har-like特征，并利用AdaBoost算法將Hat-like特征生成的弱分類器疊加成為強分類器，再將多個強分類器級聯組成更強有力的人臉檢測分類器。同時，為了保證人臉檢測的實時性，本文僅采用如圖3所示的一維Haar-like特征。

級聯結構人臉檢測分類器的每一級都采用AdaBoost算法進行訓練。通過AdaBoost習算法將Harr-like特征生成的弱分類器疊加成為強分類器，使之具有很強的泛化能力。

具體訓練算法如下：

（1）給定n個樣本圖像（x，y），（x2，y2），…，（x，yn），x是輸入樣本圖像，y是類別標志。其中，y=0，1分別表示為非人臉樣本和人臉樣本。

（2）初始化權重：

3.2.2異常行為檢測模塊

考慮到算法的實時性和準確性，本文采用幀問差分結合單個像素點平均變化值對兩幀問的異常行為進行監控，同時引入自適應閾值算法，當幀間單個像素點變化值大于畫面的像素平均變化值時，就認為該像素點為異常像素點。當異常像素點大于全部圖像像素點的1/2時，觸發異常行為預警。若行車途中未發生異常行為，則不觸發異常行為預警，始終為正常狀態（Normal）。若行車途中發生異常行為，異常行為預警自動觸發（Abnormal），位置、圖像等數據發送至數據中心服務器進行后續處理。

3.2.3上位機圖形界面設計

本文上位機圖形界面采用Qt和c++使用QT Creator進行開發，主要包含登錄數據中心服務器、實時查看當前車載終端隋況以及一鍵報警燈功能。上位機圖形界面設計如圖4所示。

4實驗結果與分析

為了驗證本文所述方法的效果，使用python作為開發語言，結合OpenCV以及sldearn等模塊，對攝像頭采集到的普通光照下的人臉數據進行實時跟蹤實驗。操作系統為Windows10，CPU為Intel 17 7700，3.6GHz，16GB DDR4 2666內存，攝像頭為500萬像素ov5647型號，采集分辨率為2592x1944像素。系統采用OpenCV+sklearn技術方案重新訓練了人臉檢測器，無論是車內有幾人都可以較好的檢出人臉，在只有駕駛員一人時，系統為監控狀態（Monitoring mode），當有乘客上車，系統會自動切換為預警狀態（Alert mode），對車內情況進行實時分析，如圖5所示。

5結論

針對當前網約車車載監控系統只能事后回溯，無法實時處理數據的問題，本文提出了一種基于計算機視覺的網約車車載智能監控系統。首先使用基于Haar-like特征的人臉檢測器遍歷圖像，記錄車內人員數量，然后使用幀間差分算法對車內異常行為進行智能識別。實驗結果表明，本文所提方法能準確檢測人臉并輸出車內異常情況，有力保障了網約車行車安全。