吳 堅
?
淺析警務信息化系統中云存儲平臺的設計和實現
吳 堅
蘇州市公安局科技信息化處,江蘇 蘇州 215000
為順應時代發展的需要,提升警務系統的性能,人們嘗試對傳統警務系統進行信息化改造,使警務信息的登錄、存儲、統計、查詢等各方面均可以在計算機系統中完成,但隨著警務信息數量的快速增多,警務信息存儲的隔離性和擴張性較差,分析、存儲的能力較弱等問題逐漸暴露,在警務信息化系統中應用云存儲平臺已經成為必然選擇。在此背景下,針對警務信息化系統中云存儲平臺的設計和實現展開研究。
警務信息化系統;云存儲平臺;設計和實現
云存儲即將存儲硬件通過分布式文件系統、虛擬化技術、網絡計算、并行處理等技術進行整合,共同提供數據存儲、業務訪問等服務的系統,現階段存在直接附加存儲、網絡接入存儲、存儲區域網絡等三種主要的形式,其均由訪問層、應用接口層、基礎管理層和存儲層構成,在警務信息化系統中應用云存儲平臺,對提升警務信息的處理效率具有積極作用。
要滿足警務信息化系統的實際需要,云存儲平臺設計中首先要具有可靠性、可用性、擴展性均較理想的存儲應用平臺,保證系統的容災能力,這主要靠OLTP存儲服務平臺實現,其可以對系統底層硬件資源完成虛擬化處理,形成新的服務平臺;其次要具備對大量數據可靠的存儲、準確的分析服務能力,提升系統對單機節點失效的容忍能力,這主要靠OLAP分析平臺實現;再次,應可實現對系統數據的全面、準確遷移,保證系統的實施,目前主要靠數據遷移系統實現[1]。
結合運存儲平臺的功能,針對警務信息化系統云存儲平臺的設計,可以通過設計三個系統實現:
(1)OLTP存儲服務平臺的設計與實現。考慮到現階段VMware和Hyper-v虛擬化技術仍處于收費階段,而不收費的KVM相比Xen與Linux兼容效果更理想,而且可操作性更強,所以在設計的過程中筆者使用KVM虛擬化技術;在使用的過程中要將CentOS和KVM安裝在計算機中,并保證CPU對其支持,在此基礎上在http://jenkins.cloudstack.org/網站中下載CloudStack的agent、Management Server和NFS,這種設計一方面保證平臺中虛擬機創建鏡像、快照功能的實現,對停止運行的虛擬機及其數據盤進行復制和存儲;這既提升了解決宕機的效率,也降低了數據丟失的可能。
另一方面實現資源的隔離狀態下的按需分配,可以結合數據庫負載的實際變化,對Service Offer進行調整[2]。
在以上基礎上,可以利用API進行云平臺管理系統的設計,在其管理和監控下,可以結合資源負載的變化對Service Offerring的狀態進行調整。即開機后,直接對SQL Sever虛擬機進行監控,在發現虛擬機或者數據庫出現故障后,對虛擬機進行重啟并重新監控,如果負載發生變化,則對虛擬機的Service Offerring進行修改,停止監控。在此系統實現的過程中要保證此系統的網絡安全,現階段其基本上均受到平臺防火墻的保護,在提升安全性方面具有一定的作用,但外部訪問受到限制,這要求該系統在應用的過程中要對平臺的1433默認端口進行開放設置,或網絡內主動將外網IP視為VPN啟動,否則外部訪問將難以實現。
(2)OLAP分析平臺的設計與實現。此平臺的設計主要針對數據庫數據、日志、非結構化數據的分析三個方面進行,在數據庫數據分析中,要針對警務事件的事件編號、人員身份證、時間、地點編號、事件描述、相關警員編號、警務事件類型等信息進行,考慮到數據數量的龐大,利用Map Reduce完成警務數據處理,并利用Sqoop使相應的數據在HDFS中存儲,例如“1,J3208047009060000064,a320804010000200906 0099, 320821197705XXXXXX,2015-06-09 08:30:00. 000,012,江蘇省淮安市淮陰區王營鎮長江東路銀河灣,盜竊事件,警000078,案件”為分析中統一的記錄格式,這對提升數據價值挖掘的能力效果顯著。現階段警務信息化系統數據庫數據主要包括人員案件和交通事故案件的信息,在具體分析的過程中應針對案件的特點進行分析,例如在人員案件中為提升辦案效率,也針對警務事件、進行Map篩選,然后Reduce聚合每人的犯罪數量,獲得每人的犯罪數目,Map要以案件數量為Key,人員身份證號為value,然后獲得按照案件數量順序排列的案件信息。在日志分析的過程中主要針對Log4j打印獲取的日志、 服務器tomcat和Mysql的日志進行,在分析tomcat的過程中應利用Map Reduce按照TextInputFormat格式對日志的訪問和訪問頻率進行分析;Log4j打印日志分析的過程中要針對Map抽取錯誤日志和Reduce整體每類錯誤信息進行分析;針對數據庫日志的分析要結合Map劃分的時間段,Reduce統計時間段的訪問數量,然后輸出排序后的結果。而在分結構化分析中,要首先在信息、博客中利用Map查找關鍵詞的詞頻,然后Reduce統計文章對應的詞頻;Map以詞頻作為key,Reduce整合所有同詞頻文章,最后進行排序輸出。
除上述兩個系統外,還需要數據遷移系統,其主要通過支出關系型數據庫系統中的數據被傳遞到Hadoop中的Sqoop實現,其可支持日志的自動導入和數據的自動遷移。
通過上述分析可以發現,現階段人們已經認識到警務信息化系統中應用云存儲平臺對提升信息處理效率、增大存儲空間等方面的重要性,并有意識地結合警務信息化系統的實際需要和云存儲平臺的特點進行設計,這是警務系統順應時代發展的具體體現。
[1]田靜.警務信息化云存儲服務的需求分析[J].遼寧警察學院學報,2015(5):51-54.
[2]劉衍.“警務云”中心模型的應用研究[J].四川警察學院學報,2012(3):98-101.
Design and Implementation of Police Information System of Cloud Storage Patform
Wu Jian
Suzhou Municipal Public Security Bureau of Science and Technology Information Office,Jiangsu Suzhou 215000
To meet the needs of the development of era, improve the performance of the system of police, people have tried to the traditional system of police information technology innovation, make the police information login, storage, statistics, inquiry and so on various aspects all can be done in a computer system, but with the fast increase in number of police information, police information storage of isolation, and expansionary is poorer, analysis, storage ability gradually exposed problems such as weak, cloud storage platform used in the system of police informationization has become the inevitable choice. In this background, this article in view of the police information system in cloud storage platform design and implementation of the study.
police informationization system; cloud storage platform; design and implementation
TP333
A
1009-6434(2016)08-0011-02
吳堅(1974—),男,漢族,籍貫為江蘇省蘇州市,當前職務為科長,學歷為大學,研究方向為信息化在公安工作中的實踐應用,大數據在公安行業中的實踐,作者單位為蘇州市公安局科技信息化處。