數據驅動的燃氣應急搶修系統設計與實現

肖文凱

(1.申能(集團)有限公司，上海 201103；2.上海智慧能源工程技術研究中心，上海 201103)

0 引言

隨著軟硬件技術的不斷發展，云計算、大數據、北斗定位技術、深度學習算法等極大豐富了各行業信息技術應用的內涵和智能化水平，如何將這些技術應用于上海燃氣專業管理領域，并為燃氣行業規劃未來發展戰略至關重要[1]。數字化燃氣及上海燃氣地理數字平臺的推廣使實時感知的數據急劇增長，采用統一采集和存儲的能源數字平臺，能整合并統一管理上海燃氣數據資產。在技術方面則側重于推動GIS、SCADA、應急處置、車載定位(北斗/GPS)、燃氣綜合信息平臺、視頻監控平臺、移動信息管理等孤島化系統的整合和共享[2]。

上海燃氣地下管網超過26 000 km，覆蓋用戶數約700萬戶，具有感知功能的設施和測點超過10萬個，規模在國內同行中名列前茅。隨著城市數字化管理轉型及上海燃氣地理數字信息等平臺的推廣，實時感知的燃氣管網和調度等數據也急劇增長，即為實現燃氣科學化管理和城市應急響應提供了數據來源[3]。如何構建城市燃氣應急搶修數字平臺，建立多源異構數據的標準化采集、治理和存儲的方法和機制，提高數據利用率，形成能源燃氣行業數據驅動業務創新的應用示范，為提高上海城市燃氣管理與公共服務的水平等帶來了諸多新的挑戰。

燃氣數據標準趨于統一，但是數據標準的落實和數據生產維護的工具有緊密的關系。燃氣數據來源多樣且數據結構各不相同，核心數據無統一編碼標準，彼此間無法有效共享交換數據[4]。用于采集和處理燃氣數據的方法和流程沒有統一，數據的準確性有待提高[5]。本文對多源數據統一采集和存儲，形成高效、統一的多源異構燃氣數據采集方法與處理機制。采用“內部數據+外部數據=知識庫”的方式，將自有數據和外部獲取數據結合在一起，實現核心數據的標準化、規范化管理，提高數據準確性和質量。通過對搶修事故數據的實時動態數據分析，建立智能分析模型，從而實現調度優化、應急事故分析、站點管理、路徑推薦等功能。

本文主要從燃氣數字化轉型出發，對數據標準化提出解決方案，實現燃氣智能應急搶修系統，并對實際運行結果進行分析。

1 燃氣數據標準化方法

建立良好高效快速的數據平臺對后續的算法模型的快速實現提供了有效的支撐[6]。面向大數據分析的數據結構存在多樣性與及時性等各類要求，所以數據架構需包含邏輯分區設計、多樣化數據存儲設計、及時數據處理設計等。通過燃氣數據互聯建立一套統一的標準體系和指標體系，實現數據的清洗與整合。數據知識庫是數據知識服務的支撐，是利用數據和分析數據的基礎，在一個穩健的知識庫基礎之上，才能夠進行更為精準的數據分析。

1.1 燃氣數據治理體系

燃氣服務和應用過程中產生的燃氣數據，是燃氣企業的重要資產，需要采用科學的方法進行有效管理和長期治理。2017年頒布的ISO/IEC 38505-1《信息技術IT治理數據治理第1部分：ISO/IEC 38500在數據治理中的應用》，為企業大數據治理提供了可供參考的規范框架。基于此，上海燃氣明確數據治理標準并逐步搭建起數據治理平臺，主要工作如下。

(1)參照ISO/IEC 38500大數據治理標準和國家標準《信息技術服務治理第5 部分：數據治理規范》，針對數據標準不統一、分散維護、數據不一致等數據治理問題，明確數據管理標準、管理責任單位和管理流程，以及相應的監督機制。

(2)根據數據治理“E(評估)—D(指導)—M(監督)”方法論，面向開發、應用、運維管理等多種場景，合理分配數據采集、數據存儲、數據發布、數據維護等相關治理任務，配置統一的數據治理工作環境。圖1為數據治理過程示意圖。

圖1 燃氣數據統一治理過程

(3)逐步構建燃氣企業數據標準，包括體系梳理、元數據采集分類、數據標準整合和發布等。體系梳理主要通過現狀調研、主題編制等傳統手段梳理企業現有數據標準，結合數據治理平臺元數據自動化智能化采集等功能對元數據進行分析和分類，最終整合出適合企業應用，又便于更新維護，同時又涵蓋業務屬性、技術屬性和管理屬性等特征的企業級數據標準[7]，如圖2所示。

圖2 構建企業數據標準

(4)通過匯聚多源數據，按企業數據標準進行加工整合，形成基礎數據集和各專題數據集，保障數據服務平臺通過數據服務網關對外輸出合規的高質量數據，同時增強數據監控管理和數據資產管理等功能，逐步搭建起完善的燃氣數據治理平臺，如圖3所示。

圖3 大數據治理平臺

1.2 數據采集與處理

數據采集與互聯的總體方案是利用現有數據，即燃氣公司提供的內部數據，結合網上數據，即通過網絡爬蟲爬取的數據，按照互聯規則與標準，實現互聯，建立知識庫[8]。利用標簽體系、指標體系、智慧引擎(包括使用到的各類智能算法和模型)等模塊形成數據引擎。通過數據引擎對各個應用點提供技術與信息支撐。具體過程如圖4所示。

圖4 燃氣數據采集和處理過程

實現上海燃氣行業基礎數據和燃氣基礎管網數據以及監測和保護數據的在線共享與服務功能，包括燃氣行業專業數據的共享交換功能，以及支持行業基礎信息處理的空間分析和綜合應用。結合數據治理成果，集中對燃氣數據的模型、規范、標準和質量進行管控，規范GIS數據、管網數據、輸配數據、應急搶修等燃氣數據管理流程。

1.3 燃氣數據互聯

數據互聯的第一步是將自有數據標準化，建立標簽體系和指標體系，以統一的標準聯合網上數據，以方便快捷地構建知識庫[9]。通過燃氣大數據平臺實現公司基礎地理信息數據在統一標準下的互聯互通，以此為基礎開發數據產品和相關功能，實現SCADA系統、GPS/北斗系統通過數據接口按需接入或調用，便于公司以更加精細和動態的方式管理各自的日常業務，以提高各種管理信息資源的利用率，實現上海燃氣的智能服務和精細化管理[10]。

數據互聯是根據燃氣用戶的地址信息進行匹配。將收集到的分散數據實現數據匯集，建立標簽體系和指標體系，以統一的標準聯合外部數據。接著，進行數據的分治和分布計算，形成需要的智能結果，匯總所有的處理數據和智能結果，聯合建立一個共享數據庫，為數據分析和拓展行業開放性提供強大數據支撐。最后，將自有數據與網上數據按照經緯度坐標進行匹配，即可以將2條數據整合為1條數據。

將全上海市劃分為柵格，最后將各類離散數據按照所處柵格坐標進行數據互聯，實現地下燃氣管網與地上用戶數據互聯。將燃氣公司內部已有管道數據與地上用戶數據進行互聯，形成一個全新的數據庫。將地上客戶數據與地下管網數據根據柵格形成互聯，互聯后的數據可以為數據視圖分析提供強力的數據支持。

1.4 數據鄰域處理與分析

通過對上海市地圖劃分成眾多的方格，可以很容易地運用領域的概念來進行模擬計算。根據用戶所留地址信息，通過百度地圖提供的地址轉換功能，生成相應的經緯度坐標[11]。

數據縮放鄰域計算需要同時對方格的鄰域進行快速計算，充分利用計算資源，達到快速計算的目的，方形鄰域可以轉換為條帶鄰域，如式(1)所示，

Ν3(Ν4(Ai,j))=Ν4(Ν3(Ai,j))=Ν(Ai,j)

(1)

其中，Ai,j表示目標點，N(Ai,j)表示目標點Ai,j的正方形鄰域中所有方格的集合，鄰域大小為n。

方形鄰域信息計算可以轉換為條帶鄰域信息計算，從而避免重復計算，減低計算復雜度，式(2)給出具體算法：

(2)

其中，目標信息計算in(N(Ai,j))就是相應鄰域信息的一個綜合計算(in=info)。式(2)表示可以先計算方格列鄰域信息，匯集到本方格中然后基于匯聚信息進一步計算行的鄰域信息進行匯聚就得到了方格周邊整個方向鄰域的聚合信息，這種在計算列的時候進一步觀察推進的方式可以將橫向推進實現為完全并發，而列向推進實現為順序計算，也就是對于每一列可以同時進行列向順序計算，進一步將列減少運算次數。當基本信息單元集合本身可以單機存儲或者進行稀疏化存儲和相應序列化技術壓縮，之后可以進行單機存儲，那么此時可以通過查詢層并行查詢實現加速計算，主要過程包括創建分布式共享數據集，將數據分發到不同機器上，并且對待計算鄰域進行適當切分，每個機器計算一部分鄰域標號集的鄰域信息，從而實現并行計算。具體過程如圖5所示。

圖5 鄰域計算過程

2 智能應急搶修系統設計

智能應急搶修系統是燃氣公司用戶在日常工作中監測、預防、處置應急事件應用的在線輔助系統，為能夠更為全面地提供應急參考信息，系統提供跨系統數據轉換引擎，能夠與SCADA數據、應急處置數據進行交互，實現PC端和移動端的應急輔助處置、應急狀態監測應用功能，便于用戶從系統中及時地獲取應急支持，正確制定應急策略。具體過程如圖5所示，主要功能包括下述幾點。

(1)開發系統間數據接口。將SCADA系統數據接入，使數據能在系統的GIS地圖上撒點展示，通過技術的融合應用實現數據信息的進一步交互，以能夠為用戶提供更為全面、直觀的信息參考，方便用戶在輸配調度過程中加強對供氣用氣平衡和安全的監測。

(2)應急處置交互系統。應急處置系統讀取應急業務交互系統中的GIS基礎地理數據、門站數據、管網數據等數據信息，與其采集到的事故信息、事故位置、事故處置過程信息等進行匹配，使應急事故數據具有地理信息屬性，并再次推送回應急業務交互系統，在應急業務交互系統中得到可視化展示和便捷應用。具體過程如圖6所示。

圖6 應急處置交互系統

(3)移動應急輔助處置系統。移動應急輔助處置系統通過安裝在手持移動端的App系統幫助用戶實時進行管網分析、圖檔調閱、道路導航等操作，使用戶能夠不受辦公空間的限制，限時限地實現數據信息的應急輔助。

(4)應急搶修數據分析與智能化應用。利用天氣數據、管網信息以及地理信息數據等，將新一代信息技術與互聯網實現深度融合，確定安全事件數據來源。基于深度學習、強化學習、高維大數據集成與分解、多維時間序列處理技術、內存數據庫、時間片等技術實現應急搶修數據智能分析。功能包括：實時對上海市燃氣事故處理分布、精準定位和智能分析；實時確定上海市所有應急站點的科學覆蓋范圍；實時科學計算上海某地點發生事故后能有哪些站點到達；實時進行上海市站點無法達到的柵格定位；實時確定上海每一塊土地(柵格)內的事故數，從而實時科學計算上海市每一塊土地的安全情況；科學計算全上海市范圍內最能提高急修到場及時率的新增站點位置(序列)；科學云計算全上海市范圍內最能減少隱患柵格(規定時間內無站點可達的柵格)的新增站點位置(序列)；急修站點的智能排班；事故搶修跨區域實時智能調度功能。應用上海燃氣城市地理數據，實現燃氣智能預測、管網預警、區域燃氣供求實時分析等。利用天氣數據、管網信息和地理信息等，實現管網安全事件智能預測與處理。對管網壓力點進行統一管理，為事故預警和遠程診斷提供數據支持。

3 智能應急搶修系統實現

基于華為Fusion Insight Farmer數據服務平臺，實現燃氣數據的實時采集、存儲和智能挖掘等功能。通過對搶修事故數據的實時動態分析，建立智能分析模型。實現調度優化、應急事故分析、站點管理、路徑推薦等功能，進一步實現以數據驅動業務創新，提升公司應急搶修管理和服務水平。

事故數據包含14條屬性，包括事故ID、受理時間(年月日)、受理時間(時分)、負責人、受理類型、事故地址、信息來源、聯系人是否已知、聯系人電話、客戶性質、所屬區域、時限、處理狀態和責任單位。事故處理信息數據，每條記錄有23條屬性，包括搶修ID、事故ID、派發單位、派發時間(年月日)、派發時間(時分)、事故處理狀態、所屬區域、事故類型、搶修站點、事故等級、責任人、出車時間、到場時間、完工時間、銷根時間、接收類型、地址、信息來源、客戶類型、所屬區域、時限、處理狀態和責任單位。

在位置分布上，采用領域技術將事故地理位置信息轉成經緯度信息，基于事故地址顯示在地圖上，可以通過各項組合選擇自己需要的視圖。在未選擇距離時，確定好各項組合選擇之后，點擊事故詳情信息，可以將滿足條件的事故詳細信息進行展示，包括滿足條件的事故總數量、事故ID、接受報警時間、事故地址等信息。具體結果如圖7所示。

圖7 應急事故處理結果

鄰域分析主要是用戶選擇好各個條件之后，用戶選擇希望查看的鄰域范圍并在地圖上進行點擊，選擇位置，然后會在地圖上顯示符合條件的事故的地理位置分布，并在右邊顯示該鄰域范圍內在該時間段發生事故的總數，事故類型分別對應的總數。將事故點的經緯度轉換成柵格坐標，計算出事故發生的柵格到所有站點在不同條件下的距離，然后篩選出符合條件的站點。隨機點擊地圖上一點能夠顯示可達站點，白色站點為可達站點，黑色為不可達站點，并按照優先順序進行排序，可以進行優先調度。若此時事故點周圍發生大面積事故，可達站點無人員可用時，可以優先調度離事故點最近的黑色站點。具體結果如圖8所示。

圖8 應急事故鄰域分析結果

若是無站點則返回-1；若事故周圍所有站點都被調走則處于等待狀態返回0；若是類型轉換出錯則返回-2。最終返回結果顯示在屏幕右邊，能夠調度站點的顯示：站點X正在支援事故n；若事故無站點可以調度且處于等待狀態,則顯示事故n處于等待狀態；若此事故無站點能到，也就是該事故處于0柵格，那么顯示事故n無站點可達。

采用k-means聚類算法對數據進行聚類分析。選擇k-means算法，多次調參后，當簇為4時結果較優，如圖9所示。

圖9 應急數據聚類和分析結果

采用k-means聚類算法對數據進行聚類分析。選擇k-means算法，多次調參后，當簇為4時結果較優，如圖9所示(橫坐標為事故數，縱坐標為聚類系數)。由圖9可知，事故結果共分為4簇，取其中較為集中的2和3簇。由于簇3下面的部分較為稀疏，最為集中且數量最多的時間段為簇2部分及簇3上面的部分，所以取簇2部分的上限為白班結束的時間。多次實驗得出的平均值為0.724 4，換算成時間為17：23，與之前推測的17：30結果接近。所以聚類算法實驗能驗證其結果，推薦白班時間為7：30—17：30。

4 總結

燃氣大數據是大數據技術在燃氣領域的深入應用，是能源生產、消費及相關技術革命與大數據理念的深度融合。本文提出對不同來源的燃氣數據進行數據整理、清洗和集成，以保證燃氣數據質量。智能挖掘燃氣數據資源與價值，拓展基于互聯網的燃氣智能化服務，動態分析應急站點和流動搶修設施信息，實現通過新增5個搶修站點合理布局、搶修人員智能排班和事故搶修智能調度，上海燃氣事故半小時內應急搶修及時率從51%提高到83%以上(得到有效提高)，應急搶修覆蓋范圍也顯著增加，通過有針對性地提供精細化服務，形成城市燃氣行業的發展轉型和基于物聯網的“城市大腦”核心競爭力。