摘要:改革轉隸后的消防救援隊伍,承擔著防范化解重大安全風險、應對處置各類災害事故的重大職責,是立足構建新時代國家應急救援體系的重要舉措;更體現著黨中央適應國家治理體系和治理能力現代化的戰略決策。因此,建設信息化、數字化的實戰指揮平臺系統,提高指揮調度的規范性、科學性,十分必要。筆者從應用技術與工作實際出發,對消防救援隊伍應用的實戰指揮平臺建設發展進行了探索性的思考。
關鍵詞:大數據; 云計算; 實戰指揮平臺
1? ?平臺建設概述
實戰指揮平臺,顧名思義是指消防救援隊伍在應急救援實際作戰中,綜合調配各業務系統數據、資源,實現遠程可視化科學調度指揮的支撐平臺。該平臺概念于2017年由當時公安部消防局提出。我國應急管理部組建之初,消防救援局的實戰指揮平臺作為應急管理部門的信息化應用建設重點,得到進一步重視和推動。
在消防救援隊伍的業務工作流程中,指揮調度操作主要是在后方指揮中心完成的,因此實戰指揮平臺的部署核心在指揮中心。指揮控制中心(簡稱CCC)的信息化發展階段分為五個梯次。第一階段是可用,目前各行業指揮控制中心具備各個部分的子系統基本上可以獨立運行。第二個階段是可聯,系統之間通過硬件,超高分可視化屏幕上墻,屏幕上綜合顯示。第三階段是可視,不是過去單純信號上墻,而是通過基礎數據拉通關聯抽象形成可視化數據呈現,打通業務關聯性。第四階段是可治管,有智能聯動機制,使部門之間數據可以產生行動聯動性。有一些決策的支持作用。第五階段是有智慧,在指揮控制中心有能夠產生智能判斷的決策支撐系統,有分析系統,能夠使決策以最快捷的方式呈現并采取最優化、最快速的行動。基于目前的普遍技術階段,大多數行業的指揮中心都處于第四向第五階段過渡的探索升級期。而實戰指揮平臺概念的提出正是對這一升級的有益探索實踐。
2? ?大數據云計算技術應用
實戰指揮平臺必須充分適應大數據時代內容資源的特點,通過云存儲以及分布式數據庫系統存儲海量視頻監控數據、目標數據以及其他相關應用產生的業務數據,智能化深入挖掘中間大量信息的高價值關聯性。這些“大數據”需要新處理應用模式才能成為更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
基于大數據的特點,傳統的業務平臺架構已經很難勝任。而應急救援類大數據主要以非結構化視頻數據為主,而且隨著高清化的深入,視頻的產生數據速度和數據量都是非常龐大的,以處理非機構化數據為主的普通BI架構也難以簡單勝任。因此,平臺系統的大數據分析服務部分架構設計應該采用目前主流的Hadoop等分布式系統進行架構設計。同時,需要采用多級存儲的模式來應對解決這些資源中最有價值、最優先、最迫切的數據,既能滿足不斷增加的數據消耗有限的數據處理能力,又能滿足數據處理的要求。
平臺系統中的云計算平臺大數據分析服務必須具備針對半結構化/結構化數據挖掘的大數據分析計算能力,可處理和分析海量的視頻、圖片、業務數據等信息資源,系統,為各種數據分析、情報分析以及研判應用提供高性能的數據分析和挖掘服務。
通過大數據分析平臺服務和云計算架構,集群中各個節點將計算分析的結果合并傳輸至分布式文件系統中的分布式數據庫中。用戶可針對數據庫中的數據(比如目標屬性特征數據、業務數據、其它智能分析計算過程及結果數據等),通過大數據計算分析引擎進行相關搜索、比對分析、關聯分析、主題分析、報表生成等大數據計算服務,為用戶提供個性化、深入化的數據挖掘分析和應用能力。同時可通過大數據接口對接整合業務使用單位各個業務系統業務數據,與分布式數據庫和云存儲中的數據共同進行數據挖掘等分析計算工作。
大數據計算分析的結果可存儲至Hive(數據倉庫)中。Hive中存儲的數據屬于根據用戶業務需求計算分析得來的高價值應用數據。Hive數據倉庫中的高價值數據可通過API或EBS數據總線為上層應用層及用戶展現層提供支撐服務,滿足業務使用單位特別是安監部門各角色各業務應用場景的視頻智能化實戰應用需求。
大數據平臺提供了PaaS層的數據訪問和調用服務,用戶可通過PaaS平臺服務,進行二次開發,從而實現用戶的應用。
通過不同的技術架構對各種應用的大數據業務封裝處理之后,整個大數據分析平臺可以為上層平臺提供不同的標準分析服務,以滿足不同應用系統實戰需求。
2.1? 大數據檢索服務
大數據檢索服務主要是解決海量數據的快速檢索問題。通過智能數據分析應用,非結構化的數據被結構化,生成海量的目標結構化描述信息,并通過分布式數據庫實現了海量數據的存儲和管理。在此基礎上,采用分布式數據庫系統提供的各類大數據分析引擎,支持多節點并行處理技術,有效縮短了數據檢索分析的響應時間,提高系統性能,在數十億上百億的數據量基礎上,可實現秒級的數據比對檢索,快速生成透明、多維的檢索結果,并可按照互聯網搜索引擎模式展示給用戶,對檢索結果進行動態、多維呈現,支持多種檢索方式。包括特征檢索,行為檢索,人、車、物檢索、顏色檢索、標簽檢索等,以及其他檢索方式。
此外,通過大數據檢索服務的支撐,還可以為上層應用提供更豐富的特定檢索分析應用,比如推薦排序的應用,可綜合歷史上所有的線索信息,對數據在時間維度和概率統計等多方面進行綜合分析判斷;或者提供按權重排序的應用,可對檢索條件附加權重值,然后對每條檢索的數據匹配的多條檢索條件權重做數量級的累加,累加的權重值越高的排序越靠前。通過這些增強的大數據檢索應用,可以滿足安監監管以及執法辦案對視頻線索數據分析檢索的要求。
2.2? 數據挖掘服務
上層業務平臺可以利用分布式數據庫整合的各業務系統數據,結合云計算與大數據分析處理過程及結果數據,通過大數據的關聯、分析、比對、碰撞等分析服務,挖掘隱藏在數據間的相互關系和數據價值,從中尋找出高價值的業務模式、規則或事件線索等。
數據挖掘涉及的算法種類繁多,系統具有一套全面的算法分類的管理體系,這些機器學習算法通過系統提供的調用接口可被數據處理、應用層直接調用。
平臺數據挖掘業務模塊可支持主流數據挖掘算法,如分類、聚類、趨勢分析、特征變換、回歸、推薦、自然語言處理、關聯分析、數理統計、數據預處理及基礎數學計算等。可通過集成主流算法庫,如Mahout、Weka、MlLib、MOA實現;支持對分類、聚類和趨勢分析等用戶常用算法進行并行化處理;支持通過Hadoop和Spark API直接編寫相關的算法;支持基于R的自定義算法開發和部署。
2.3? 大數據的展現與交互
大數據分析結果需要以簡單直觀的方式展現出來,才能最終為用戶所理解和使用,形成有效的統計、分析、預測及決策,應用到業務實踐中,因此大數據的展現技術,以及與數據的交互技術在大數據全局中也占據重要的位置。 Excel形式的表格和圖形化展示方式是人們熟知和使用已久的數據展示方式,也為日常的簡單數據應用提供了極大的方便。人腦對圖形的理解和處理速度,大大高于文字。因此,通過視覺化呈現數據,可以深入展現數據中的潛在的或復雜的模式和關系。隨著大數據的興起,也涌現了很多新型的數據展現和交互方式。這些新型方式包括交互式圖表,可以在網頁上呈現,并支持交互,可以操作、控制圖標、動畫和演示。另外交互式地圖應用如Google地圖,可以動態標記、生成路線、疊加全景航拍圖等,由于其開放的API接口,可以跟很多用戶地圖和基于位置的服務應用結合,因而獲得了廣泛的應用。
大數據展示技術將數據運算與美觀的圖表完美地接合在一起,界面上的數據變得容易操控,快速處理,便捷共享。信息圖形將極大的刺激視覺表現,有效的提升用戶的業務使用效能。
作者簡介:
王文勇,全日制本科,軟件工程碩士,工程師。