淺析分布式管理交通平臺的應用特點

王艷

?

淺析分布式管理交通平臺的應用特點

王艷

（無錫商業(yè)職業(yè)技術學院，江蘇 無錫 214000）

簡單概述了分布式管理交通平臺的應用背景及基本架構(gòu)，著重介紹了基于當前公安交通管理綜合應用平臺的主要特征而建立的分布式管理交通平臺的應用特點，并對每個特點進行了詳細分析。

分布式管理交通平臺；數(shù)據(jù)處理能力；可靠性；安全性

1 分布式管理交通平臺的應用背景

以前交通管理行業(yè)主要以傳統(tǒng)的關系型數(shù)據(jù)庫（Oracle數(shù)據(jù)庫）進行數(shù)據(jù)的存儲與管理。而傳統(tǒng)的關系型數(shù)據(jù)庫主要通過傳統(tǒng)的數(shù)據(jù)組織形式、模型，以及傳統(tǒng)的查詢語言和分析技術，聚焦于事務性結(jié)構(gòu)化數(shù)據(jù)處理。然而隨著海量數(shù)據(jù)時代的到來，數(shù)據(jù)積累數(shù)量和速度已超出了關系型數(shù)據(jù)庫的管理范疇。隨著道路交通業(yè)務的不斷深化，交通數(shù)據(jù)內(nèi)容龐雜、存儲分散、訪問困難、結(jié)構(gòu)不統(tǒng)一、編碼不一致等問題，限制了科技管理部門對交通管理數(shù)據(jù)的管理和維護，海量數(shù)據(jù)的存儲、備份、擴容和日志信息的管理都成為目前亟待解決的問題。在這樣的大背景下，搭建一個具有較強的管理能力、具備先進技術、能夠高效快速實現(xiàn)的綜合應用平臺分布式數(shù)據(jù)庫尤為必要。根據(jù)不同的數(shù)據(jù)內(nèi)容和特點，分門別類存儲結(jié)構(gòu)化數(shù)據(jù)和交通管理圖片等非結(jié)構(gòu)化數(shù)據(jù)、日志數(shù)據(jù)；全面整合各業(yè)務與管理數(shù)據(jù)；檢索機動車、駕駛?cè)恕⒆C據(jù)、業(yè)務日志等實時數(shù)據(jù)并進行統(tǒng)計分析，提高交通事故處理、交通證據(jù)處理的效率和精準性，優(yōu)化道路交通管理水平；同時保證數(shù)據(jù)的安全性和系統(tǒng)的穩(wěn)定性。協(xié)助交通管理部門解決交通管理行業(yè)科技管理難題，達到建以致用、深化科技強警的戰(zhàn)略目標。

2 分布式管理交通平臺的基本架構(gòu)

綜合應用平臺分布式數(shù)據(jù)庫基于交通管理綜合應用平臺的基礎數(shù)據(jù)和技術架構(gòu)，承載圖片數(shù)據(jù)、日志數(shù)據(jù)高并發(fā)讀寫和實時訪問要求；業(yè)務數(shù)據(jù)實時同步、實時統(tǒng)計分析，以減輕ORACLE業(yè)務數(shù)據(jù)庫的存儲和計算壓力，提高綜合應用平臺的工作效率和數(shù)據(jù)服務能力。

基于交通管理綜合應用平臺的數(shù)據(jù)特點和安全特點，綜合應用平臺分布式數(shù)據(jù)庫采用業(yè)界主流成熟的計算框架，采用穩(wěn)定可靠組件與工具，通過可視化的一站式管理平臺，實現(xiàn)綜合應用平臺數(shù)據(jù)的全流程管理，降低交通管理部門的數(shù)據(jù)運維成本。

3 分布式管理交通平臺的應用特點分析

3.1 數(shù)據(jù)處理能力

3.1.1 多源異構(gòu)的數(shù)據(jù)接入整合能力

文本數(shù)據(jù)接入非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)；關系數(shù)據(jù)庫與大數(shù)據(jù)平臺的接入能力，支持MySQL、Oracle、DB2、SQL Server數(shù)據(jù)庫，可以擴展到Teradata、Informix等以JDBC、ODBC相連的數(shù)據(jù)庫；實時接入用戶行為數(shù)據(jù)，互聯(lián)網(wǎng)公開數(shù)據(jù)以及第三方數(shù)據(jù)；文件傳輸和數(shù)據(jù)橋接系統(tǒng)支持從各部業(yè)務系統(tǒng)與大數(shù)據(jù)平臺之間的數(shù)據(jù)導入導出，在內(nèi)部帶寬資源充足的情況下每分鐘可導入、導出30 GB數(shù)據(jù)，速率每秒達到0.5 GB。

3.1.2 一站式數(shù)據(jù)處理能力

建模、腳本開發(fā)、業(yè)務流調(diào)度一站式完成；在線IDE編輯工具，支持shell、Python、Hive SQL、Spark-SQL、自定義MR、自定義Spark類型腳本；工作流在線監(jiān)控，查看腳本日志，在線修復問題，即時重跑、恢復、版本管理；離線計算框架每天支持10 TB級別的數(shù)據(jù)計算，并且可擴展至100 TB級別。

3.1.3 平臺安全處理能力

保證主機安全，操作系統(tǒng)內(nèi)核安全加固、采用操作系統(tǒng)穩(wěn)定版本、操作系統(tǒng)權(quán)限控制、操作系統(tǒng)端口管理、操作系統(tǒng)協(xié)議與端口防攻擊、主機防火墻配置；數(shù)據(jù)安全，數(shù)據(jù)容災、備份、加密；應用安全、身份鑒別和認證、審計安全、密碼安全等；平臺主要組件實現(xiàn)HA.

3.1.4 平臺運維監(jiān)控能力

簡單的操作包括權(quán)限設置、參數(shù)設置、作業(yè)配置、預警設置等，響應時間不超過1 s，99%的簡單操作響應時間在500 ms內(nèi)；大數(shù)據(jù)平臺全年對外正常服務運行時間超過率為99.99%，即每年無法提供服務的時間小于1 h；大數(shù)據(jù)平臺的所有應用軟件系統(tǒng)都具有自動恢復功能，任何故障都可以在1 min內(nèi)自動發(fā)現(xiàn)并自動恢復。當應用軟件系統(tǒng)出現(xiàn)故障時，允許有1 min的服務降級；對于操作系統(tǒng)和硬件設備故障，大數(shù)據(jù)平臺的能夠在30 s內(nèi)自動發(fā)現(xiàn)，并通知系統(tǒng)運維人員。出現(xiàn)操作系統(tǒng)和硬件設備故障時，大數(shù)據(jù)平臺允許有1 h的系統(tǒng)服務降級。

3.1.5 豐富的底層技術組件支持

融入了CDH、HDP等底層開源平臺的優(yōu)秀技術組件，有機結(jié)合在一起，比如CDH的Impala，HDP的Ambari、Ranger、Spark、Map-R的Drill等；各個組件整合統(tǒng)一，可統(tǒng)一高度管理。

3.2 高可用性和可靠性

所有核心組件均實現(xiàn)HA，保證平臺的穩(wěn)定性和高可用性，保證客戶的業(yè)務連續(xù)性，為客戶提供不間斷的服務。在單個節(jié)點出現(xiàn)故障無法使用的情況下，節(jié)點暫時不參與集群運作，整體集群仍可繼續(xù)支持業(yè)務，而在完成服務器故障修復的同時，節(jié)點可再次參與集群運作。單個節(jié)點故障時正在處理的任務不丟失，繼續(xù)分配到其他節(jié)點執(zhí)行。平臺出現(xiàn)50%以上的服務器故障的極端情況下，快速切換業(yè)務到冷備節(jié)點，保障平臺的快速恢復。集群內(nèi)主機一旦發(fā)生故障，一般情況下將自動切換至可用的備用服務器。如果無法自動切換，則可采用人工干預的方式，12 h內(nèi)可切換到備用服務器。

3.3 可擴展性

可擴展性具體包括：①組件可擴展。面向不同業(yè)務可個性化定制組件，隨時接入各種大數(shù)據(jù)處理組件如Spark-SQL、Impala等。②容量可擴展。當客戶系統(tǒng)業(yè)務數(shù)據(jù)量增加時，只需要水平增加服務器數(shù)量而不需要進行架構(gòu)和模塊代碼的調(diào)整，性能隨節(jié)點數(shù)量上升同步線性上升。③數(shù)據(jù)接口可擴展。RESTfull API數(shù)據(jù)接口能夠極其簡單的實現(xiàn)不同類型、不同格式的數(shù)據(jù)接入，滿足客戶多種數(shù)據(jù)格式的需求。④應用可擴展。通過可視化操作界面，用戶可在系統(tǒng)上添加任何需要應用。⑤數(shù)據(jù)庫可擴展。目前支持MySQL、ORACLE、DB2、SQL Server數(shù)據(jù)庫，如果客戶有需要，可以隨時擴展到Teredata、Infermix等以JDBC、ODBC相連的數(shù)據(jù)庫。

3.4 開放性

開放的構(gòu)架，提供標準的開發(fā)接口，支持二次開發(fā)，并提供規(guī)范的開發(fā)文檔、開發(fā)包和服務支持；支持異種平臺上異種數(shù)據(jù)平臺的良好互聯(lián)，支持對文件數(shù)據(jù)和桌面數(shù)據(jù)庫數(shù)據(jù)、文件系統(tǒng)的訪問；支持對大型異種數(shù)據(jù)平臺的透明實時SQL讀寫訪問；支持高可靠性數(shù)據(jù)技術導入導出；支持通過API、SDK的方式對外提供數(shù)據(jù)。

3.5 安全性

3.5.1 訪問安全

基于用戶和角色的權(quán)限控制，設置和授權(quán)用戶對集群數(shù)據(jù)的訪問權(quán)限：①用戶審計包括底層數(shù)據(jù)操作的審計和用戶對平臺功能。對所有用戶的操作和數(shù)據(jù)的變更日志永久保留，提供日志檢索功能。提供完整的審計機制，包括賬號操作日志、hadoop組件訪問日志。實時監(jiān)控并查詢整個平臺上所有用戶的操作日志和數(shù)據(jù)訪問情況。②功能權(quán)限管理。功能的控制粒度細化到按鈕級別，不同用戶角色具有的功能權(quán)限不同，登錄到系統(tǒng)后所展示的功能權(quán)限即為該用戶所有的權(quán)限，當前用戶不具備的功能權(quán)限會直接被屏蔽。③數(shù)據(jù)權(quán)限管理指控制用戶所能訪問的數(shù)據(jù)內(nèi)容。對于不同數(shù)據(jù)庫數(shù)據(jù)內(nèi)容細分的粒度不同。④資源權(quán)限管理指通過設定租戶實現(xiàn)對資源獨立管理，實現(xiàn)多租戶之間的資源彼此隔離；同時每個租戶Owner可以為其成員用戶進行資源授權(quán)，不同用戶所擁有的資源權(quán)限不同，避免不同用戶對未經(jīng)授權(quán)資源的訪問。

3.5.2 環(huán)境安全

通過網(wǎng)絡安全、防火墻和物理安全設置組織對集群的非法訪問，確保集群訪問安全。

3.5.3 數(shù)據(jù)安全

數(shù)據(jù)脫敏即根據(jù)不同數(shù)據(jù)，采用適當?shù)拿撁羲惴ㄟM行規(guī)則配置，完成敏感信息匿名化處理，防止敏感數(shù)據(jù)被濫用、被泄露，保護敏感數(shù)據(jù)免于未經(jīng)授權(quán)的訪問。數(shù)據(jù)加密即采用MD5和KMS等加密算法，實現(xiàn)密文存儲和存取控制，防止非法用戶存取數(shù)據(jù)或合法用戶越權(quán)存取數(shù)據(jù)。通過數(shù)據(jù)加密、脫敏、屏蔽等安全技術確保數(shù)據(jù)在存儲、傳輸和使用過程中的安全。

4 總結(jié)

通過對分布式管理平臺的特點分析可知搭建一個具有較強的管理能力、具備先進技術、能夠高效快速實現(xiàn)的綜合應用平臺分布式數(shù)據(jù)庫是提高交通事故處理、交通證據(jù)處理的效率和精準性，優(yōu)化道路交通管理水平，保證數(shù)據(jù)的安全性、系統(tǒng)的穩(wěn)定性和高可用的必要手段。

2095－6835（2018）21－0099－02

TP311.13

A

10.15913/j.cnki.kjycx.2018.21.099

〔編輯：嚴麗琴〕