地方電子口岸運維可視化應用研究

鄭向平 章溯 楊進彬 林宇彬

摘 ?要：電子口岸是一個公眾數據中心和數據交換平臺，近年來隨著國際貿易規模持續增長，新型貿易業態不斷涌現，電子口岸數據交換量也在快速增長。在此基礎上，地方電子口岸對運維服務的需求也進一步提高，在傳統運維模式下，無法及時反映電子口岸運行狀態。文章對地方電子口岸運維過程中面臨的問題進行了梳理，在分析問題的基礎上提出地方電子口岸運維可視化應用架構和設計范例，對提升運維服務能力具有一定借鑒意義。

關鍵詞：電子口岸;可視化;運維;應用

中圖分類號：TP39 ? ?文獻標識碼：A文章編號：2096-4706（2021）21-0133-03

Abstract： E-port is a public data center and data exchange platform. In recent years， with the continuous growth of international trade scale， new trade formats are emerging， and the data exchange volume of E-port is also growing rapidly. On this basis， the demand for operation and maintenance services of local e-ports has also been further improved. Under the traditional operation and maintenance mode， the operation status of E-ports cannot be reflected in time. This paper combs the problems faced in the process of local E-port operation and maintenance， and puts forward the visualization application architecture and design examples of local E-port operation and maintenance on the basis of analyzing problems， which has a certain reference significance for improving the service capacity of operation and maintenance.

Keywords： E-port; visualization; operation and maintenance; application

0 ?引 ?言

電子口岸是一個公眾數據中心和數據交換平臺，近年來隨著經濟全球化的發展，國際貿易規模持續增長，新型貿易業態不斷涌現，電子口岸數據交換量也在快速增長。以某地為例，2020年報文數據交換量達到3億6千萬條，處理數據量達6.7 TB，整體業務量仍處于高速增長態勢。在此基礎上，地方電子口岸對運維服務的需求也進一步提高，在傳統以“非可視化”的“以人為主”運維模式下，無法及時反映電子口岸運行狀態，在資源調度、資源利用、業務關聯、排障清障、實時展示等方面存在薄弱環節，對各地電子口岸運維帶來較大挑戰。

可視化是指將計算機數據信息轉化為圖形符號的表現形式，常被作為復雜數據的優化處理方法，重點服務于大數據下的數據分析呈現。對于承擔了海量區域數據交換業務的地方電子口岸而言，可視化改造對于提升電子口岸運維服務能力意義重大。在地方電子口岸交換業務量日趨增長的形勢下，面臨越來越高的運維服務能力提升需要，亟須借助可視化改造提升電子口岸運維服務能力。

1 ?目前面臨的問題

地方電子口岸運維可視化應用在現階段不夠完善，盡管有一些應用研究和實際案例，但仍然在很大程度上存在局限性，局限性的產生源自各地實際情況的不同，比如有些地方數據交換的業務量急劇增長，資源配置與業務增長不成比例，也源自各地電子口岸對于可視化功能的需求存在不一致的情況，總體而言地方電子口岸可視化設計研究相對較少且有較大優化和延伸空間。當前存在可優化的方面主要有以下幾點。

1.1 ?數據可視化服務能力不足

系統可視化服務能力開發不夠，導致數據交換處理性能有余，數據可視化服務能力不足，能夠處理大規模數據交換業務，但無法實時呈現電子口岸整體運行狀態，在及時獲取數據交換通道、服務器資源、存儲空間、數據庫表空間狀態等數據時存在短板，響應時間滯后無法及時發現數據通道擁堵、資源空間滿或報文傳輸異常等現象。

1.2 ?管理功能分散不集中

系統運維管理功能分散在各硬件設備管理端，運維分析、業務監控、配置管理、審計管理等功能分散于不同系統，各系統孤立存在無法形成管理閉環，無法提供標準化、統一化數據服務，整體管理過程煩瑣而效率低下，間接提高了運維成本。

1.3 ?缺乏用戶需求導向

現有運維體系下的可視化功能主要以各信息系統與功能門類為主要需求，未關注實際業務場景下平臺用戶的可視化需求，因此需要用戶按照系統與功能邏輯進行學習，再分別進入各信息系統實現可視化展示，此一來不僅降低資源配置效率，還增加了用戶學習成本。

2 ?可視化應用需求和設計架構

2.1 ?可視化應用需求

（1）提升可視化服務能力。從各環節收集業務運行狀態、硬件設備情況、軟件運行情況等原始數據，經過清洗、篩選、提煉、挖掘后進行統計分析匯總，按照使用場景和功能區分進行分類呈現轉化，以直觀的方式擴大數據可視范圍，以場景頁面實現不同主題呈現，以數據挖掘提升可視化數據深度，進而提升整體可視化服務能力。

（2）面向用戶需求。關注實際業務場景下平臺用戶的可視化需求，將原本面向技術運維人員呈現的運維數據，轉化為非專業運維人員可以理解的可視化業務圖表及有關數據，按照用戶需求、用戶權限定制個性化使用場景，分為管理人員、運維人員、業務人員界面，為管理人員提供決策支撐，為運維人員提供機房服務器、存儲、數據庫等設備狀態，為業務人員提供電子口岸跨境電商等業務實時狀態，以實現不同可視化功能的分類呈現。

2.2 ?可視化設計架構

可視化平臺可采用多層B/S結構的方式進行設計，架構方面參考目前流行的kappa架構或者lambda架構模式，在數據接入層、用戶引導層、數據處理層實現應用內部業務邏輯的構建，在數據展示層、應用體驗層實現用戶界面的呈現，此架構模式能夠在控制成本的基礎上實現一體化管理，把應用的業務邏輯與用戶界面分開，為后期進一步完善應用開發建立基礎框架。具體到各層級，通過接入企業申報的報文數據、服務器資源數據、交換平臺業務通道數據等多個數據來源，在中間層進行數據清洗、數據轉換、數據抽取、數據集成等預處理工作，同時結合用戶需求和實際使用場景構建數據分析模型，進而在數據處理層進行數據多維分析、數據挖掘、實時計算，經過篩選分析的標準格式數據落地存儲，并通過數據展示層進行實時數據推送、圖表組件選定、頁面排列設計、信息發布管理，最終在應用體驗層實現不同應用端的用戶桌面呈現，地方電子口岸運維可視化應用設計架構如圖1所示。

3 ?可視化應用設計

3.1 ?數據接入層

數據接入層是實現整體應用功能設計目的且引導設計方向的重要基礎功能層，其主要功能是數據接入和用戶引導，數據接入方面提供內部和外部數據接口，供源數據接入系統，用戶引導方面獲取用戶需求和使用場景，引導最終的應用設計與用戶需求相互對接。該層對接的數據源包括企業申報的報文數據、服務器資源數據、交換平臺業務通道數據等多個數據來源，既有外部數據也有內部數據，外部數據可能來自不同節點不同系統不同數據庫，其輸出的數據又可能面向不同用戶身份和不同使用場景，因此對于數據兼容性有一定的要求。為此，在該層應用開發前期首先應詳細梳理數據來源，構建系統元數據，對整體數據畫像進行大概描述，勾勒數據從產生到消費的完整鏈路;其次，設計通用分類數據表單，建立初步的系統數據預處理邏輯，進而為下一層處理標準化、統一化的格式數據做好準備;最后，對內部、外部數據分別進行接口標準化開發，設計統一的數據通道。

3.2 ?數據處理層

數據處理層是進行數據分析的主要功能層，需要完成數據從來源端經過抽取、轉換、加載至目的端的整體功能。該層可分為數據預處理層和數據分析層，通過構建實時與離線ETL功能，實施數據清洗、數據格式轉換、數據補全、數據質量管理等功能。數據處理層支持消息系統、文件系統等多種數據源，對于跨境電商此類標準格式報文，能夠分析報文結構數據，提取指定字段，實現字段歸類和批量組合檢索等方式的統計分析功能，對于服務器、存儲等消息系統為主的設備，能夠實時提取設備狀態信息，實現實時消息推送;支持多種算子，過濾、分割、轉換、輸出、查詢數據源補全等算子能力;支持動態變更邏輯，可通過動態jar方式提交系統，做到不停服發布變更。

3.3 ?數據展示層

3.3.1 ?大屏綜合展示

支持通過大屏顯示技術和可視化的解決方案，支持多種類型的數據接口，從數據倉庫中抽取出各種各樣的數據，依據事先設定的應用邏輯，梳理出資源數據對應的使用邏輯關系，利用數據加工技術和渲染技術進行可視化處理，依托可視化引擎，實現涉及相關指標數據的大屏幕的自動呈現。

3.3.2 ?交互式Web展示

用戶直接通過查詢設計界面，在可視化界面中以交互方式構建查詢，直接查詢數據平臺的數據。即席查詢應滿足業務人員自助式的、快速定制的查詢需求。

3.3.3 ?多維度的聯機分析功能

用于展示重要業務指標的統計數字和分析比較，使內外部的用戶訪問關鍵數據，可以從任意角度探察和分析任何形式組合的數據，快速識別使用其他分析方式無法發現的影響環境的因素，從而提高工作效率。

3.4 ?其他展示功能

提供各種快速和高級查詢功能，支持通過向導式查詢，提供向導界面，通過選擇查詢字段、查詢條件，快速完成數據查詢過程;支持用戶對即席查詢的結果進行靈活的排序、過濾、分組、小計、合計等高級功能，并選擇要展現的方式，如表格、柱圖、趨勢圖等;通過在界面上選擇查詢條件，可以快速地進行數據過濾，查看所需的數據。

3.5 ?應用體驗層

結合可視化平臺電子口岸運維監測的核心目標，將主題功能按照跨境電商（業務類）、電子口岸運行（管理類）、運維監控（技術類）進行布局板塊劃分，分別設定各自的核心信息反饋條件，使用簡潔的功能布局和主題展示色調進行區分，使用對比度較高的色調進行區分，比如使用綠色、黃色、紅色等，分別對應主題色、強調色和警示色。同時，在不用用戶端進行不同針對性設計，針對手機、平板端進行適當美術優化，以提升不同用戶端使用體驗。

3.6 ?應用效果

在短期效益方面，地方電子口岸通過運維可視化應用，可使運維工作的實時性和有效性大大提升，運維工作能根據不同業務特點而有所側重。系統在高速處理業務的同時也能更加直觀的展示系統運行情況、展示具有地方特色的數據信息，能在資源調度分配、業務監管、故障排查等方面提供快速的、直觀的、具有指導意義的參考信息。如圖2所示。

在長期效益方面，直觀的數據提取與呈現，可以幫助更好的應對業務增長帶來的挑戰，助力提升企業的通關效率，也可為管理部門提供決策參考。同時，通過靈活的分層設計，也可以作為將來該應用接入數據源后，進一步拓展開發提供基礎。

4 ?結 ?論

本文對地方電子口岸運維過程中面臨的問題和挑戰進行了梳理，歸納了數據可視化服務能力不足、管理功能分散不集中、缺乏用戶需求導向三大問題，在分析問題的基礎上提出提升可視化服務能力、實現管理功能集中、面向用戶需求三個應用研究需求，以多層B/S結構設計電子口岸運維可視化應用架構，按照數據接入層、數據處理層、數據展示層、應用體驗層進行具體應用分層設計，提供了整體性、系統性、理論性的可視化設計應用范例，對地方電子口岸通過可視化應用促進運維服務能力提升具有一定借鑒意義。

參考文獻：

[1] 劉永紅，劉帆宇，宋一鳴.基于生態資源信息反饋的可視化設計研究與應用 [J]. 生態經濟，2021，37（10）：222-229.

[2] 呂純.上海電子口岸建設問題研究 [J]. 中國管理信息化，2017，20（18）：131-132.

[3] 浙江電子口岸有限公司課題組.國際貿易“單一窗口”地方特色版的定位與優化發展研究——以中國（浙江）國際貿易“單一窗口”實踐為例 [J].海關與經貿研究，2019，40（4）：29-40.

[4] 工業和信息化部.工業和信息化部關于加快推進虛擬現實產業發展的指導意見（工信部電子﹝2018﹞276號） [S/OL].（2018-12-26）.http：//www.cac.gov.cn/2018-12/26/c_1123903256.htm.

[5] 晉浩達，王威，王翔，等.大數據可視化工具設計及應用——基于電商行業 [J].科技傳播，2021，13（9）：149-151.

作者簡介：鄭向平（1985—），男，漢族，福建莆田人，高級工程師，工程碩士，研究方向：信息系統工程;章溯（1974—），男，漢族，福建蒲城人，副主任理學碩士，研究方向：信息化管理;楊進彬（1985—），男，漢族，福建連城人，高級工程師，工學學士學位，研究方向：網絡規劃、數據安全;林宇彬（1988—），男，漢族，福建福州人，工程師，工學學士，研究方向：系統分析。