警用勤務系統中海量GIS數據處理優化與實踐

向譚先,艾珂

(1．重慶數字城市科技有限公司,重慶 400020; 2．重慶市地理信息云服務企業工程技術研究中心,重慶 400020; 3．重慶市公安局交通巡邏警察總隊,重慶 400074)

警用勤務系統中海量GIS數據處理優化與實踐

向譚先1,2?,艾珂3

(1．重慶數字城市科技有限公司,重慶 400020; 2．重慶市地理信息云服務企業工程技術研究中心,重慶 400020; 3．重慶市公安局交通巡邏警察總隊,重慶 400074)

隨著空間位置的警用勤務考核業務需求的深入應用,傳統的通過空間軌跡的歷史數據進行查詢、分析、統計已經無法滿足當前的業務要求。傳統方案存在占用磁盤空間大、冗余數據多、查詢效率低等問題。故此,引入MapReduce大數據的處理辦法,針對需要勤務統計的內容、方式進行實時規約、映射,并存儲規約結果,再結合信度校驗機制,為勤務統計提供更直接準確的數據來源。新方法極大地提高了查詢效率,并使用合理的數據失效機制,減少了硬盤存儲空間的占用和數據冗余。

MapReduce模式;PGIS;信度校驗機制;勤務考核

1　引 言

隨著基于地理信息的警用業務需求的深入擴展,公安部從2003年起開始建設警用地理信息系統(Police Geographic Information System)。PGIS通過GPS定位技術,使相關單位可以對所有安裝有GPS終端設備的警車進行實時監控管理,主要應用功能包括車輛顯示、車輛實時跟蹤、車輛查詢與定位、歷史軌跡查詢、車輛控制等;PGIS為各種警情統計、分析提供了依據,從而為各種決策提供強有力的輔助支持。

在交巡警的業務需求中,需要對警員、警務車輛定位信息集成和上圖管理應用,實現勤務查看、動態定位預警、歷史軌跡分析、勤務車輛駐點安排及脫崗報警、勤務車輛流動巡邏跨界報警、勤務考核查詢統計等功能。PGIS提供的空間軌跡的歷史數據,已經無法滿足以上業務提出的查詢、分析、統計的實時性要求。

本文引入大數據的處理辦法MapReduce來對需要進行勤務統計的內容進行實時規約、映射。實時將規約結果存儲起來,統計時只需查詢事先已經計算好的結果,而非計算車輛的歷史軌跡。在此基礎上使用信度值校驗機制解決GPS信號飄點的誤差,并使用數據失效機制來降低磁盤存儲的壓力,從而很好地滿足了勤務統計的實時性要求,同時減少了磁盤的負荷。

2　業務分析及優化

2．1業務分析

按照重慶市公安局交通巡邏警察總隊移動警務管理業務部門的要求,需要開發警員和警車信息的上圖應用,實現勤務查看、動態定位預警、歷史軌跡分析、勤務考核查詢統計等功能。

勤務考核主要包含兩種業務數據:警車GPS位置信息、勤務區域范圍信息。勤務區域分為警車駐點區域和警車巡邏區域,對應勤務區域的是駐點警車和巡邏警車。業務部門會考核在規定時間段內考核車輛是否在駐點區域之內以及在規定時段內考核車輛是否在執行巡查任務等。

勤務考核部分著重關注下列幾種情況:警車在線情況統計、警車離線情況統計、駐點警車遲到情況統計、駐點警車跨界情況統計、巡邏警車長時間未移動情況統計、巡邏警車跨界情況統計。

2．2傳統解決方案

通過分析功能概況可以發現,若要完成各種情況的勤務統計,至少需要幾個基礎條件,如圖1所示:

(1)警車GPS歷史信息表,用于存儲不同時態時的位置信息,各項統計都需要依賴此表。

(2)駐點區域表,用于存儲駐點區域的范圍及駐點時段等信息,警車駐點需要依賴此表。

(3)巡邏區域表,用于存儲巡邏區域的范圍及巡邏時段等信息,警車巡邏需要依賴此表。

(4)區域和警車信息的關聯表,用于存儲駐點及巡邏車輛所在的勤務考核區域。

其中,警車GPS歷史信息表受到一些因素的制約。首先,由于勤務統計時間跨度大(如:考核單位要統計某車去年的離線情況),所以需要保存所有的歷史軌跡信息。其次,由于警車的數量多、位置信息更新頻率高(如:警車位置信息2 s更新1次,每車每天需要存儲43 200條數據,業務單位的400輛車每天將存儲1 728萬,一年則需要存儲63億條數據。結合第一點,如果要統計幾年前的數據,則需要從數百億條數據中進行查詢處理。),所以數據庫查詢效率將會很低。隨著警車GPS歷史信息表的增大,還需要解決海量數據的故障遷移、查詢優化、存儲等引申出來的若干問題。

圖1　傳統數據模型設計

2．3創新解決方案

在傳統解決方案中,問題聚焦在警車GPS歷史信息表中海量數據的存儲增長過快和查詢效率太低上面。按照上述設計思想,不僅不能刪除數據、查詢效率還會隨著存儲的GPS數據量增加而快速下降。在大數據處理時代的今天,有必要引入業界更有效率的解決方案來解決現有突出的問題。

(1)MapReduce模式

MapReduce是Google定義的一套并行程序設計模式(parallel programming paradigm),由兩名Google的研究員Jeffrey Dean和Sanjay Ghemawat在2004年時提出的,并廣泛應用在分布Grep、每臺機器的詞矢量、反向索引構建、Web連接圖反轉、Web訪問日志分析、分布排序、文檔聚類等應用中。MapReduce實現以后,它甚至被用來重新生成Google的整個索引,并取代老的Ad Hoc程序去更新索引。

MapReduce的設計思想是把耗時運算進行拆分和預處理,稱之為映射(Map),然后在需要使用時對預處理結果進行運算,稱為規約(Reduce)。而傳統的GPS歷史信息數據存儲量巨大,查詢效率低下,若在存儲GPS定位信息之前進行預判斷和預處理,將會減少數據的存儲量,提高系統的查詢效率。為了實現勤務統計信息的預處理,首先需要抽象(Abstract)待統計的對象(Object)及其行為(Behavior),然后根據設備實時的位置(GPS)信息進行運算和持久化。當用戶進行勤務統計和考核時,系統直接對預處理信息進行計算并返回結果。

分析2．1中勤務考核關注的內容可以抽象出:設備和位置、區域、時間幾類對象。然后把每次變化轉換成一種事件。事件類型有:0:在線;1:離線;2:未越界; 3:越界;4:運動;5:停留;6:區域暫停;7:區域無車輛; 8:非統計時段;

系統在后臺實時地對變化進行運算,并把相關結果進行持久化,形成勤務區域事件表,包括勤務區域、區域類型、車輛信息、事件信息、發生時間。實際的統計則是根據勤務區域事件表來得出結果,如圖2所示。

圖2　基于MapReduce處理的數據模型

在系統運行環境中,采用MapReduce預處理方法,平均每天每輛警車產生5條左右的事件數據,相比每2 s存儲一次的每天43 200條數據,數據對磁盤開銷大為減少,如表1所示。使用傳統的方法進行月度或者年度統計,需要從上億甚至更多條記錄中進行反復多次的查詢。而在新方法中只需要在10 w級別數據量中進行查詢和統計,效率大大提高。

數據產生情況對比　表1

(2)信度校驗機制

在GPS設備信息的實際應用過程中會出現位置偏移的情況,這主要是由于GPS衛星信號受到干擾(隧道無信號、高樓遮擋等原因)。這些誤差會降低勤務考核的準確性,系統采用對每條GPS信號進行多次信度驗證的方法,只有通過信度檢驗的信號才被保留下來參與后續的運算。

信度值校驗機制解決GPS信號飄點的機制如下:根據車輛的歷史軌跡,可以得到車輛某兩個GPS信號采集的時間間隔2 s內的位移s1,s2,s3,s4…sn…,vni表示車輛的該時間段的平均移動速度,記某點的信度值是Fn,表示該點是飄點的可信度,由該點前后的5個位置來決定。+

式中fni表示的是第i個點的位移數據si對第n個點的位移數據sn可信度的影響:

當某點的信度值Fn≥80%時認為該點是飄點。系統自動將飄點數據刪除,用以提高統計的準確性。

3　結 語

文章首先提出在警用勤務應用中,按照傳統的設計模式來實現將會帶來的問題,然后引入大數據的處理辦法(MapReduce)作為解決方案,并使用信度校驗機制去除飄點數據。通過對數據進行預處理得到勤務考勤感興趣的結果,并將結果持久化用來支持實際的查詢或統計。此模式在一定程度上增加了系統的復雜程度,卻避免了GPS數據無限制的增長,提高了查詢效率,通過降低用戶操作的等待時間來提高用戶體驗。

[1] 蘇韋．基于MapReduce模式的時空數據組織和查詢方法研究[D]．桂林:桂林理工大學,2014．

[2] 屈芳,馬旭玲,羅林明．調查問卷的信度分析及其影響因素研究[J]．繼續教育,2015,29(1)．

[3] 李艷芳,王生．基于PGIS平臺的新型自動化勤務管理系統的設計與實現[J]．警察技術,2011(3)．

[4] 張翠峰,匡志威,陳麗瓊．地理空間信息數據在PGIS中的應用[J]．城市勘測,2012(5):25～27．

[5] 方吉祥．基于GIS的城市交通管理系統的研究[J]．大眾科技,2006:116～117．

[6] 殷磊．基于GPS車輛監控調度系統研究與實現[D]．南京:南京理工大學,2011．

The Optimization and Implementation of Mass GIS Data’s Application in Police Service System

Xiang Tanxian1,2,Ai Ke3

(1．Chongqing Cybercity Sci-tech Co．,Ltd,Chongqing 400020,China; 2．Chongqing Enterprise Engineering Technology Research Center on Geographic Information Cloud Service,Chongqing 400020,China; 3．Chongqing Public Security Bureau police corps,Chongqing 400074,China)

With the utilization of the spatial position’s service examination needs,the traditional scheme by querying,analyzing and tabulating the historical data of space trajectory have been unable to meet current business requirements．There are some problems exist in traditional scheme:take up disk space,redundant data and low query efficiency,etc．Therefore,the introduction of MapReduce:large data processing scheme could have real-time specification and map for the content and method that need service statistics,and then store protocol result．At the same time,combining with reliability verification mechanism could provide more direct and accurate source of data for statistical service．The new scheme greatly improves the query efficiency,and uses reasonable data failure mechanism．Because of which can largely reduce the occupancy of hard disk storage space and data redundancy．

MapReduce pattern;PGIS;reliability verification mechanism;service examination

1672-8262(2016)01-65-03

P208．1

B

?2015—09—25

向譚先(1989—),男,助理工程師,主要從事軟件工程及3S技術應用研究。

重慶市科技人才培養計劃項目(cstc2013kjrc-tdsj40001);智慧重慶空間信息服務云計算平臺開發項目(cstc2014yykfB40004)。

本項目獲得2015年度測繪科技進步獎二等獎。