出租車異常視頻圖像信號檢測

肖　梅，劉　鍇，顏建強，徐昆然，王　杏，郭　捷

(1.長安大學　a.汽車學院; b.地測學院; c.公路學院, 西安　710064；2.西安交通信息投資營運有限公司,西安　710061；3.陜西國防工業職業技術學院,西安　710300)

?

出租車異常視頻圖像信號檢測

肖梅1a，劉鍇1a，顏建強2，徐昆然1b，王杏1c，郭捷3

(1.長安大學a.汽車學院; b.地測學院; c.公路學院, 西安710064；2.西安交通信息投資營運有限公司,西安710061；3.陜西國防工業職業技術學院,西安710300)

摘要：為確保出租車攝像頭處于正常的拍攝狀態，提出了一種出租車異常視頻圖像信號檢測算法。先通過圖像幀的平均亮度值檢測拍攝環境光照；接著利用亮度密集度判定圖像幀亮度值是否過于集中；隨后，依據車頂偏移度和前擋風玻璃偏移度判定圖像幀是否為偏轉圖像信號。當圖像幀的拍攝環境光照正常、圖像幀亮度不密集、車頂和前擋風玻璃不偏移時，判定為正常圖像信號，反之為異常圖像信號。對某市出租車視頻圖像數據進行仿真驗證，試驗結果表明：出租車異常圖像信號所占比例較大，為71.1%，表明算法具有較強的工程應用價值；異常信號檢測算法魯棒性好，檢測準確率達94%；算法運行速度快，在Matlab仿真環境下耗時0.34 s/幀。

關鍵詞：圖像信號檢測；圖像處理；出租車；監管

1研究現狀

出租車是城市客運系統中不可缺少的客運方式，可根據乘客的個性需求提供靈活、方便的門對門運輸服務。城市出租車作為常規交通的重要補充，在方便群眾出行、擴大社會就業、樹立城市形象、促進城市經濟發展等方面具有重要作用。通過對城市出租車現狀的調研，發現出租車行業存在的問題主要有運力難以確定[1]、服務質量有待提高[2]、運輸組織化水平低[3]和管理部門監管力度較弱[4]等。針對出租車行業的問題，Yang Renfa等[5]從微觀經濟學理論出發，建立了城市出租車行業監管體系的總體框架，提出了在出租車市場需求和交通供給、服務、運營以及車輛狀態等方面進行監管的具體方法和手段。該監管系統可為出租車市場的政府宏觀調控提供科學依據。

隨著傳感技術的快速發展，越來越多的學者嘗試將新技術應用于出租車行業。目前，GPS技術已廣泛應用于出租車行業。簡思思等[6]提出了以GPS-計價器聯機系統為技術支持的優化方法，GPS調度中心綜合考慮各功能區對出租車的實時需求分布、實時路況以及城市出租車的動態分布，向出租車司機提供實時優化調度建議。然而，駕駛員常常為了避免監管而不使用計價器，導致獲取的用于優化調度的需求量信息會產生錯誤的結果。Shuo Ma等[7]提出利用GPS/GIS技術實現出租車合乘的方案以提高出租車運力水平。該方案通過互聯網技術匹配到滿足共乘條件的乘客，并通知出租車司機在特定位置搭載預約乘客，可實現出租車資源的合理利用。Yang Tiemei等[8]搭建了基于GPS/GPRS的出租車輛監控系統，該系統以C8051F040為核心處理芯片，利用GPS數據實現車輛定位，車輛和監控中心的通信通過GPRS模塊完成，能實現出租車輛的定位和調度功能。Che Xiao Lin等[9]提出一種出租車輛空閑狀態監控模型，結合有效的出租車GPS位置數據，可及時調度空閑的出租車以滿足乘客需求。通過GPS技術可實現出租車輛的定位和調度等管理，但無法對出租車的乘坐、打表等操作進行監管。近年來，視頻數據由于具有豐富的顏色和紋理等信息，基于視頻的處理技術在工業中的應用越來越廣泛[10]，在安全生產中扮演著重要角色[11]。Liu zhi等[10]設計了一套用于出租車安全監控的CMOS圖像采集器，系統包括CMOS圖像采集器(OV7120)、大容量閃存ROM和1個微處理器(AT90S8515)，圖像數據通過并行端口輸出。文獻[12]設計了一套圖像輸出的硬件系統。文獻[13]通過在出租車上安裝車載監控系統實現更強的監管。目前，出租車視頻監控系統只是通過人工對圖像進行檢測和識別等處理，還未實現圖像數據的自動檢測和識別。

通過在出租車內安裝視頻監控，實時獲取出租車內的視頻圖像數據具有以下重要意義：實時采集出租車乘坐狀態、地理位置等運營數據，優化出租車的運力和運輸組織；可全程監管駕駛員的服務，一旦發生乘坐糾紛，可作為佐證數據；提高管理部門對出租車計費的監管力度，進而提高出租車的服務水平?？梢?，出租車內的視頻監控對于規范出租車的運營有著重要的作用。在實際運營中，出租車經營者或駕駛員為了規避監管，常常關閉或擰轉攝像頭的拍攝角度，使得監管攝像頭形同虛設?；诖?，筆者所在團隊開發了一套出租車異常視頻圖像信號檢測算法，能自動檢測出異常的圖像數據，確保攝像頭處于正常的拍攝狀態。

2出租車異常視頻圖像信號檢測系統

出租車的異常視頻圖像信號主要包括兩類。第一類是錯誤圖像信號，指采集的圖像數據出現中斷、模糊、遮擋、反光等情況；第二類是偏轉圖像信號，當出租車司機人為擰轉攝像頭的拍攝角度時，依靠采集的圖像無法對出租車實現監管。

實際中，環境光照、噪聲、移動載體和圖像壓縮等因素的影響增加了出租車異常視頻圖像信號檢測算法的處理難度。

1) 環境光照影響。室外光照的強/弱對圖片質量有影響，當室外光線過強時，容易造成拍攝的圖像反光；當室外光線過暗時，區域塊對比度不明顯，很難挖掘有用的圖像信息。

2) 拍攝質量較差。一方面，圖像采集設備安裝在移動載體上，車輛在行駛過程中，緊急駕駛行為(如急加速、急剎車和轉彎)和不平整道路均會引起車體晃動，使得采集的圖像出現運動模糊；另一方面，為便于存儲和傳輸，常將拍攝圖片進行壓縮處理，這也會造成圖片質量的下降。

出租車異常視頻圖像信號檢測算法的思路是：首先，通過圖像幀的平均亮度值檢測畫面的光照，若平均亮度值過高或過低，則認為是錯誤圖像信號；其次，分析像素亮度的密集度，若像素亮度過分密集，很難提取足夠的有用信息，則認為是錯誤圖像信號；再次，自動提取車頂區域，基于車頂區域面積和位置信息，判定車頂區域是否偏移，若偏移則認為是偏轉圖像信號；最后，利用前擋風玻璃頂部的顏色和位置信息，判定前擋風玻璃是否偏移，若偏移則認為是偏轉圖像信號。異常視頻圖像信號檢測算法流程如圖1所示。算法步驟表述如下：

步驟1異常拍攝亮度檢測

令采集的第t幀灰度圖像為ft，其圖像大小為M×N。當采集的圖像亮度過亮或過暗時，難以進行圖像信息挖掘，則認為該圖像幀為異常圖像信號。

(1)

(2)

圖1　異常視頻圖像信號檢測算法流程

步驟2像素亮度的密集度檢測

當采集圖像像素的亮度分布較密集、灰度變化較平穩時，認為其為異常圖像信號。本文提出了一種快速的像素密集度檢測方法，具體為：

首先，將0～255灰度級的圖像按照30個分類劃分為9個灰度段，即0～29，30～59，60～89，…210～239，240～255，統計落入每個灰度段的像素數和灰度均值。

其次，合并相近的灰度段。當相鄰灰度段灰度均值的差異小于30時，將其合并為一個灰度段，并重新計算新的灰度段的像素數和灰度均值，直到所有相近的灰度段合并完畢。

最后，統計像素亮度分布的灰度段數目。假定合并處理后得到q個灰度段，統計像素數大于T3·MN的灰度段個數。若灰度段數目小于T4，則認為像素亮度分布過于密集，判定為異常圖像，令fgt=0，算法結束；否則，令fgt=2。式中：T3為閾值，取值為0～1；T4為密集度閾值，取值通常為3。

步驟3車頂區域提取

正常拍攝的圖像，其車頂位于畫面中部偏上的位置，亮度較低。車頂提取過程包括3步：

1) 圖像分割。利用車頂的低亮度特性提取車頂區域：

(3)

式中：mft為第t幀圖像的車頂初圖；p為圖像中的任一像素點；T5為車頂閾值，本文采取最大類間法自適應地確定閾值。

2) 數學形態學處理

對車頂初圖mft進行數學形態學開運算及填補小孔洞操作，得到車頂次圖mbt。數學形態學開運算是指先腐蝕后膨脹運算，計算式為

(4)

式中：b為結構元素，通常取5×5～15×15的正方形的結構元素； ° 表示形態學閉運算符；mft°b表示mft被結構算子b閉運算；Θ表示腐蝕運算；⊕表示膨脹運算。

3) 掃描去噪

先對車頂次圖mbt進行行掃描去噪，接著進行列掃描去噪，得到車頂圖mdt，具體表述為：首先，行掃描mbt的每一行，若連續長度小于圖像列10%，則認為是毛刺，直接將mdt的值置為0，否則令其值為mbt。

類似地，對mdt進行列掃描去噪。掃描mbt的每一列，若連續長度小于圖像行10%則認為是非車頂，直接將mdt中的值置為0，否則令值為mbt。

步驟4車頂偏移檢測

通常，標準車頂區位于拍攝畫面的中部略偏右位置，即畫面第(0.3～0.7)·M行，第(0.25～0.9)·N列的區域，可得標準車頂區的大小為nc，其計算式為

(5)

車頂偏移檢測包括2步：

第1步，統計mdt中各區域塊的像素數，提取面積大于0.5·nc且小于1.5·nc的區域塊。若沒有滿足要求的區域塊，則判定為異常圖像信號，令fgt=0，算法結束；否則，令fgt=2。轉入第2步；

第2步，將提取的mdt中的區域塊和標準車頂做對比分析，若落入標準車頂區的像素數大于T6·nc，則認為是異常圖像信號，令fgt=0，算法結束；否則，令fgt=1。式中，T6為閾值，取值為0～1。

步驟5前擋風玻璃頂部偏移檢測

拍攝的前擋風玻璃位于畫面頂部，即畫面第(1～0.3·M)行，第(0.25～0.9)·N列的區域。前擋風玻璃頂部反射的主要是天空區域，其亮度較高，利用該屬性判定前擋風玻璃是否偏移。具體操作為：統計前擋風玻璃區域中落入8和9灰度段的像素數目(灰度段數目統計見步驟2)，當像素數目大于擋風玻璃的80%時，認為前擋風玻璃未偏移，令fgt=1；否則認為前擋風玻璃偏移，此時fgt=0。

3仿真驗證

為驗證算法的有效性，對某市出租汽車2月、3月、8月和10月的21 768幀圖像數據進行仿真驗證。采集的圖像為RGB圖像，大小為768×1 024 像素，即M=768，N=1 024。仿真平臺為Matlab 9.0，試驗PC機配置為Intel CPU 2.4 GHz和2.0 GB RAM。算法涉及的參數選擇為：T1=40，T2=230，T3=0.1，T4=3，T6=0.75；b取9×9的正方形結構元素。

為驗證算法的魯棒性，利用正確率來表征算法的檢測精度，正確率wr計算式如下：

(6)

式中：nr為被正確檢出的正常圖像信號的幀數；nw為被正確檢出的異常圖像信號的幀數；nt為測試的總圖像幀數。

人眼先對采集到的出租車圖像數據進行識別，異常的圖像信號占總測試圖片幀的比重較大，為71.1%。顯而易見，大部分采集設備無法獲取正常的圖像信號，因此對出租車異常視頻圖像信號進行實時檢測具有重要的工程現實意義。

通過對異常圖像信號進行檢測發現：算法的正確率可達94%，系統魯棒性能較好。在Matlab仿真環境下，對算法的運行速度進行測試，結果顯示平均每幀耗時0.34 s，可實現實時的異常圖像信號檢測。表1為人眼和本文方法識別結果分析。

表1　人眼和本文方法識別結果分析

注：異常率為異常圖像信號幀數和測試圖片的比值。

4結論

1) 通過對某市出租車圖像數據進行檢測，發現圖像異常率較高，為71.1%，說明算法具有較強的工程應用價值。

2) 算法魯棒性好。通過對大量異常圖像信號進行檢測發現，提出的算法的正確率可達94%，檢測精度較高。

3) 在Matlab仿真環境下，對算法的運行速度進行測試，結果顯示平均每幀耗時0.34 s，表明算法運行速度較快，可應用于實時異常圖像信號檢測系統。

參考文獻：

[1]劉新,賈松.城市出租車運力規模投放計算方法研究[J].公路與汽運，2012(4)：57-59.

[2]姚志剛.客運出租汽車服務質量的重要度_績效分析[J].交通運輸系統工程與信息,2011,11(5)：181-186.

[3]陳時國.我國出租車行業存在的問題及其解決對策[J].湖南城市學院學報,2005，26(2)：61-63.

[4]曹其杰.我國出租車管理模式分析及改進[J].經營管理者,2009，2009(12)：51-58.

[5]RENFA YANG， YANCHENG GONG.Supervision system of taxi trade based on government regulation[C]//proceedings of International Conference on Transportation Engineering 2007.Chengdu,China：American Society of Civil Engineers，2007.

[6]簡思思，張可可，李冰玉.基于 GPS 動態調度的出租車均衡布局優化研究[J].科協論壇，2011(6):67-67.

[7]SHUO MA,YU ZHENG,OURI WOLFSON.Real-Time City-Scale Taxi Ridesharing[J].IEEE Transactions On Knowledge And Data Engineering,2015,27(7):1782-1795.

[8]TIEMEI YANG,WEI XIAO,JIANLING GUO.Design of taxi vehicle monitoring system based on GPS/GPRS[C]//Lecture Notes in Computer Science,3rd International Conference on Artificial Intelligence and Computational Intelligence.Heidelberg,Germany:Springer,2011:82-88.

[9]CHE XIAO LIN,WENG JIAN CHENG,QUAN YU,et al.A GPS data based monitor model of unoccupied taxis at transportation hubs[J].Applied Mechanics and Materials,2014:767-772.

[10]AI HONG，WANGJIAN，YANG YI.Video Monitoring System of Embedded Remote Based on ARM and Fast Motion Estimation Algorithm[C]//IMCCC 2011.Beijing:IEEE Computer Society，2011.

[11]YINPING JIANG，JIE XU，XIAODONG WU，et al.The research of based on ARM9 core units embedded video monitor system[C]//Electric Information and Control Engineering (ICEICE) 2011.Wuhan,China:IEEE Computer Society，2011.

[12]ZHI LIU.A safety monitoring system for taxi based on CMOS imager[Z].proceedings of SPIE-The International Society for Optical Engineering,2005:562-568.

(責任編輯楊黎麗)

Abnormal Video Frame Detection Method for Image Signal from Taxi

XIAO Mei1a, LIU Kai1a, YAN Jian-qiang2, XU Kun-ran1b, WANG Xing1c, GUO Jie3

(1.a.School of Automobile; b.School of Geology Engineering and Geomatics;c.School of Automabile Roads, Chang’an University, Xi’an 710064, China;2.Xi’an Communication Information Company Limited, Xi’an 710061, Shaanxi, China;3.Shaanxi Institute of Technology, Xi’an 710300, China)

Abstract:In order to make the camera of taxi in the right angle, a new abnormal video frame detection algorithm for taxi image signal was presented. Firstly, the shooting light was checked by mean intensity of image. Secondly, intensity concentration was used to calculate if the intensity distribution is in high density. Thirdly, the detected roof and windshield of taxi were filtered based on location filter operator. For correct image signal, the roof and windshield of taxi must be in the top and center of image, respectively. The normal image signal should meet the requirements of the suitable shooting light, extensive intensity distribution, the impartial roof and windshield. Over 20000 image frames of taixes in a city have been tested to verify our algorithm in matlab simulation platform. The test result shows that the amount of incorrect image in total data is very high and is 71.1%, which shows that this algorithm has great engineering vaule. The algorithm is robust, which the detection precision is 94%. The average running time of one frame in Matlab is fast and cost 0.34s every frame.

Key words:image signal detection; image processing; taxi; supervision

文章編號：1674-8425(2016)04-0079-05

中圖分類號：TN919.8

文獻標識碼：A

doi:10.3969/j.issn.1674-8425(z).2016.04.014

作者簡介：肖梅(1977—)，女，江西安福人，教授，博士，主要從事圖像處理、信息融合和智能交通系統研究。

基金項目：國家自然科學基金項目(61004087)；陜西省國際科技合作與交流計劃項目(2015KW-009)

收稿日期：2015-12-29

引用格式：肖梅，劉鍇，顏建強，等.出租車異常視頻圖像信號檢測[J].重慶理工大學學報(自然科學)，2016(4):79-83.

Citation format：XIAO Mei, LIU Kai,YAN Jian-qiang,et al.Abnormal Video Frame Detection Method for Image Signal from Taxi[J].Journal of Chongqing University of Technology(Natural Science)，2016(4):79-83.