Datist數據處理專家在日常會商中的初步應用

李玉鉸，宋美琴，張馨怡

(1.山西省地震局，山西 太原 030021；2.太原大陸裂谷動力學國家野外科學觀測研究站，山西 太原 030025)

0 引言

震情會商是我國地震主管部門50多年來形成的工作機制，是地震預報意見產出的關鍵環節。地震會商作為重要的震情研判手段，在地震監測預報業務體系內具有重要意義[1-3]。日常會商主要圍繞測震、形變、地下流體、電磁以及流動觀測中的數據變化來對地震形勢進行判定。測震學科中重要的一環節是近期地震活動的分析與匯總。傳統的工作模式一般分四步:從中國地震臺網中心地震編目網，針對不同需求分別下載并篩選相應目錄；利用mapsis或superseis等專用軟件根據會商需要通過手動調節不同選項，開展山西省、華北地區、大同窗等不同區域的地震統計、震中分布圖、N-T圖、M-T圖繪制，并將生成的圖件逐一保存到指定目錄下；按照匯報順序，將上述產出的震中分布圖等圖件以及相應的文字概況匯總到ppt；將ppt上傳FTP指定會商文件夾。上述工作如由一人來完成，基本上需要3～4個小時，且每日進行一次，耗費人力物力。若用自動化流程替代人工來完成，則能提高工作效率，節約人力資源[4-5]。

中國地震局地球物理研究所陳石研究員主導引入長安大學Datist數據處理專家系統，解決了上述問題,針對不同需求開發一系列流程，在日常工作中發揮積極的作用[6]。該文圍繞山西省地震局會商工作自身特點，結合傳統工作模式，開發系列流程，在實際工作中運行一年多，在提高工作效率等方面有較好的效果。

1 平臺簡介

Datist( 數據專家) 開發平臺是長安大學數字油田研究所歷時5年時間研發的，專項服務于大數據時代場景式( Context) 數據分析與數據挖掘的工具軟件，以管道式的數據處理方式增強業務邏輯的靈活度[7]。Datist最大特點就是在整體設計上遵循零代碼原則，用戶不需要了解復雜的編程技術，僅需要排列和組合各種功能節點，采用樂高式工作模式，即可實現對海量多源異構數據的整合與應用，且這些節點由使用人員來開發，克服了以往第三方提供的軟件經常由于售后中斷而報廢的弊端。2017年初，中國地震局地球物理所牽頭將 Datist 平臺引入地震領域，此后不斷更新針對性功能，與地震監測預報業務具有良好的兼容性，主要提供應急會商、震情跟蹤、前兆學科數據分析、臺站分布監測等日常會商服務[6]。Datist運行界面主要包括工具箱和工作區兩部分，工作箱如第44頁圖1a所示，其中有多個節點供用戶直接使用，依據節點功能，分為14類，在此對較常用的做簡要介紹。

(1) 數據源節點。該分類項中包含16個節點，用戶通過連接數據庫、數據錄入、Excel、TXT、FTP、網頁抓取等多種方式將數據導入流程中。

(2) 行列計算節點。該分類項中包含33個節點，如篩選節點能通過簡單填寫篩選條件實現數據的篩選，過濾節點能將不需要的列直接刪除；匯總節點能通過匯總項的不同匯總得出某列數據不同項的和、均值，或對各項進行計數等。

(3) 腳本工具節點。該類節點為多種編程語言提供接口，如python、R、GMT、bas等，使編寫好的腳本能完美鏈接于Datist中。

(4) 制作報告節點。該分類項中的節點給用戶提供多種報告顯示方式，如，報告、Word、PPT、Excel等。使用戶能通過所需的方式將處理后的數據或圖以一定方式展示出來。

(5) 數據發布節點。該類節點為用戶提供多種數據發布方式，包括寫入數據庫，保存為文件，FTP下載、上傳，發微信等多種方式，使用戶生成的最終產品能通過流程推送至各種終端。工作區如圖1b所示，用戶在使用時，將所需節點拖拽至工作區，將節點內所需內容簡單填寫，以一定順序排列，并將不同節點連接起來，便能完成各種功能的實現。總體來說，Datist不僅節點可視化，操作簡單，僅需節點之間簡單拼接便能完成一定需求，降低了對用戶編程能力的要求，而且輸入輸出方式多樣，能與多種編程語言完美銜接，將過去不同編程語言實驗的功能程序有機整合，同時也便于用戶使用自己熟悉的編程工具開發不同的分析處理方法，隨時可植入Datist系統，用戶不需要安裝配置分析處理方法所用的語言環境，只需在Datist系統上執行。

圖1 Datist數據處理專家界面展示Fig.1 Datist data processing expert interface display

2 流程開發

基于傳統工作的四步模式，編寫相應流程，分別完成各項需求，最終將各“小支流”以一定順序連接起來，完成整個會商ppt一鍵生成并傳送微信、FTP端的流程。下面按照不同功能分述如下。

2.1 不同類型地震目錄下載

在日常會商時，需要山西省ML≥1、華北地區ML≥2以及大同窗的地震目錄，按照傳統工作模式，每個地震目錄要分別進入網站，人工輸入參數下載,再根據需求進行篩選。如，大同窗地震目錄較繁瑣，分三步：下載山西省小震地震目錄；根據大同窗定義，篩選緯度在39°50′～40°05′、經度在113°50′～114°05′范圍內可定位地震及河北陽原臺、山西山自皂臺、山西陽原臺單臺記錄的S-P≤3.0 s的所有地震目錄[7]，整合成一個完整的大同窗地震目錄。若沒有篩選腳本，在大量的地震目錄數據中逐一篩選，基本需要1～2 h才能完成。下面對比介紹通過流程的方式完成大同窗地震目錄的獲取。當前所用的山西小震目錄庫是通過長安大學王磊老師編寫的流程，從網頁上抓取山西地震目錄，以一定規則每日定時更新存放于中國地震局第二監測中心服務器上的數據庫。如圖2所示，通過數據庫節點填寫相應地址便能讀取該數據庫中的地震目錄，再通過篩選節點選出大同窗內的地震目錄，合并整理便完成了大同窗地震目錄的自動化獲取，整個過程需要3～4 min，每天通過后臺發送預報人員直接使用。

圖2 大同窗地震目錄獲取流程Fig.2 Acquisition flow of the ‘Datong window’ earthquake catalogue

2.2 地震目錄統計與繪圖

在會商PPT中，為清晰展示近期地震情況，需要對地震目錄進行分類統計，如分震級檔、分區域統計等；還需要大量的圖形，如震中分布圖、M-T圖、N-T圖等來進行直觀展示。傳統工作方式中，對地震目錄的統計和繪圖一般為將編目網上下載的不同地震目錄分別導入mapsis或superseis中[8-13]，再通過多項操作來逐一完成每個圖件的繪制，一個完整的會商PPT所需圖件較多，導致工作人員需進行多次重復操作。通過編寫的流程，將每一步工作流程化，實現數據及圖件的自動化生成。在此以分震級檔統計地震數目及繪制震中分布圖為例來做展示。第45頁圖3為分震級檔統計地震數量的流程。圖3a所示首先連接數據庫，從數據庫中讀取地震目錄，日期節點加入了起始日期供下一步篩選地震做準備。在篩選地震目錄節點中，通過日期條件，分別篩選近一周和上周地震(見圖3b)；震級檔統計節點將不同震級的地震做出標識(見圖3c)。如，1.0≤震級<2.0級的地震標記為1～1.9，依次類推，將所有地震根據不同震級來區分；匯總節點又將不同標識的地震進行數目統計(見圖3d)；通過合并節點將本周與上周統計結果合并；格式調整節點將流程前面得出的數據根據所需格式進行調整，將多余的列刪除，最終得到所需的分震級檔統計列(見圖3d,括號內為上周地震數)；流程節點也可根據用戶需求來重新設定，如統計月情況，需將篩選節點的時間改為月尺度即可。如上所述，通過編寫流程實現地震分震級檔統計一鍵生成，當地震目錄出現變化，得出的結果也隨之變化。圖4為震中分布圖自動化生成流程。先通過數據庫節點連接數據庫，從數據庫中讀取地震目錄；后通過篩選節點分別篩選出本周與上周地震目錄，再通過過濾節點，將繪圖所需的數據保留。繪制震中分布圖時，保留經度、緯度和震級三列，通過文件收集器將數據收集，供繪圖使用，最后通過GMT節點編寫腳本(見圖4b)，調用流程前面整理出的數據便可得出震中分布圖(見圖4c)。圖片的修飾美化，可在GMT節點腳本進行修改，地震目錄的截取也可在前面流程中根據實際需求進行修改。

2.3 匯總PPT

未使用流程前，會商ppt的制作過程為將前期生成的圖片、統計的結果逐一粘貼到ppt，并按一定順序整合起來。運用流程的PPT節點省去了人工的多次復制、粘貼，實現了自動化替換整合ppt的功能。根據實際需求先設置一個ppt模板(見圖5a)，將所需的圖案文字預先進行排版，確定所在位置，后將其都設為變量，流程處理得到的數據、圖形便會根據變量名在相應的位置將其替換(見圖5b)。

2.4 上傳FTP

Datist數據專家提供了FTP節點，只需將FTP地址及所要上傳FTP目錄設置，便能將流程前面生成的PPT、報告等上傳至相應位置。

一個完整的流程由不同分支的小支流組合而成，不同的小流程處理不同的需求，通過小支流的拼接，按照預設的順序組合，最終產出一份完整的報告或PPT，通過數據發布中的節點推送至相應位置。

3 結論與討論

一鍵生成會商ppt流程已運行1年多，期間根據實際需求進行完善與改進。目前該流程已放于中國地震局第二監測中心服務器上，設定在每周二下午4點自動觸發，推送會商PPT至FTP指定位置。此外，設定口令觸發機制，根據需求，隨時在企業微信端發送口令，觸發該流程。根據當前Datist數據專家流程使用情況，得出如下結論。

(1) Datist數據專家是一款實用性強，操作簡單的平臺，根據不同需求進行流程編寫，將一些簡單、重復性高的工作流程化，實現結果的一鍵產出化、智能化。

(2) 每個流程都是由多個小支流組合而成，用戶可隨時根據需求的變化對流程進行部分修改與完善，操作簡易，方便實用。

圖3 分震級檔統計地震目錄流程Fig.3 The flow of earthquake catalogue by magnitude

圖4 山西省近兩周震中分布圖自動化生成流程Fig.4 Automatic generation process of epicenter distribution map in recent two weeks in Shanxi Province

圖5 PPT模板及自動生成的PPTFig.5 PPT template and the automatically generated PPT

(3) 流程的開發，使業務人員節約了大量的時間，尤其在緊急會商時，通過流程，在短時間內得到所需匯報課件，為快速產出后期的震情研判提供條件。

(4) 當前的流程只是對地震目錄的簡單統計、繪圖，其余測震學方法仍未開發，今后還需將一些成熟的測震學方法已有腳本或編寫新的代碼鏈接于Datist平臺，更好地服務于日常工作。