貿易口岸數據融合系統設計

張偉　周賀　寇進科

摘 ?要： 貿易口岸統一收費系統是口岸重要業務系統，涉及眾多機構和業務系統間的數據融合。為本文針對貿易口岸業務需求，闡述了數據融合系統的架構設計和融合功能功能設計，分析了融合的技術問題，并闡述了基于實時和批量相結合的技術實現方案。

關鍵詞：?數據融合;數據融合架構;實時融合

中圖分類號：?TP391. 41????文獻標識碼：?A????DOI：10.3969/j.issn.1003-6970.2020.02.051

【Abstract】： In order to meet the business requirements of the trade port， this paper expounds the architecture design and function design of the data fusion system， analyzes the technical problems of the fusion， and expounds the technical implementation scheme based on the combination of real-time and batch.

【Key words】： Data fusion; Data fusion architecture; Real-time fusion

0??引言

貿易口岸數據融合系統以“一次繳費、全港通行”為建設目標，破除港口生態利益藩籬和信息孤島壁壘。整合貨代、報關、理貨、運輸、堆場、碼頭、船代、查驗等多機構部門，通過費目公開，統一繳費、電子支付、環節匹配、價格監測、分級管控、全程可溯等主要措施，打通價格、收費、繳費、核查、放行等全鏈條、全流程服務，為碼頭、物流、倉儲、貿易、運輸和代理等企業、用戶的收繳費提供一站式服務、一次性辦理和一體化管理，實現業務流、資金流、信息流和信用流的完全統一[1-5]。

在保障港口經營主體一站式繳費、一次性辦結的效率需求同時，也滿足了行業主管部門集約化管理、多線聯控的監管需求，使繳費企業“繳的明白，繳的方便”，使收費企業“收的準確，收的透明”，為持續優化營商環境提供了機制保障和平臺支撐。本文闡述了貿易口岸數據融合系統的設計和實現技術，為業務流、信息流、資金流和信用流的統一提供支撐環境。

1??架構設計

貿易口岸統一收費管理承接全流程、覆蓋全環節的港口收繳費管理，面向貨代、報關、理貨、運輸、堆場、碼頭、船代、查驗等多機構部門，以及相關的政府管理部門和金融機構，是某貿易口岸通過數據資源中心進行數據整合的相關業務系統如 圖1。

多源、多模態的各類港口數據、相關互聯網公司數據、政府管理部門數據和金融機構數據，通過數據接入與分發系統接入平臺，基于數據元進行標準化整合處理，并形成口岸業務主數據，為口岸業務一致性提供支撐。在此基礎上，基于不同業務主題進行數據融合，按照不同業務場景要求進行數據的組織和管理，形成可對外服務的數據資源庫—原始庫、整合融合庫、元數據庫、主數據庫，并提供多種接口多樣化的訪問方式[6-8]。

2??融合功能設計

2.1??數據采集和分發

數據接入和分發系統支持不同來源、不同模態政法數據的即時采集接入，由數據源管理、接入配置和數據分發等組成。

數據源管理對數據源名稱、來源、地址、訪問接口等進行管理;接入配置對接入請求監聽、接入觸發、接入轉換參數進行配置，支持即時接入，同步、異步接入，全量接入和部分接入。數據分發支持多目標分發、實時分發和批量分發，支持數據分發的可靠性和安全性。

數據采集分發根據外部系統的多種數據源的數據，不同的分類標準采取不同的方式進行數據采集，采用如圖3流程。

業務數據在應用系統中的數據量比較小時抽取過程需要用全部抽取;如果業務數據在應用系統運行過程中，能準確的區分出某一時刻以后發生變化的數據，則增量抽取;抽取需要支持增量抽取和全量抽取。抽取管理模塊支持兩類數據源抽取：分別是關系型數據庫抽取和文件數據抽取。抽取的文件支持TXT、CSV、TSV等主流文本格式并且支持指定的分割符。

數據源為關系型數據庫時，采用數據庫抽取。數據庫注冊時必須填寫：數據庫類型、數據庫連接方式、最大連接數、最小連接數、數據庫用戶名、數據庫密碼、schema名稱、測試sql語句，表名稱，表增量字段，抽取方式。數據庫支持主流的關系型數據庫如MySql、SqlServer、Oracle、PostgreSQL并支持定期從數據庫中抽取數據。數據源為文件系統時，采用文件抽取，應用系統將需要抽取的業務數據保存為有格式的文本文件，文件抽目標源必須支持FTP文件系統和Linux文件系統進行數據抽取。通過在頁面中填入：ftp文件系統相關信息、linux文件系統相關信息、存放目標路徑信息。采集系統會通過頁面的注冊信息讀此文件信息進行文件抽取。

轉換管理實現源數據庫和目標數據庫之間的信息的轉換，在頁面中操作人員根據需求對抽取的數據進行必要數據處理配置。把采集的數據中的某一列進行數據轉換，如常量轉換、碼值轉換、字段拆分。在數據采集中，數據有出現數據質量較差的情況如特殊字符、特殊符號?輸入替換字符進行替換。數據二次拆分對分割符拆分的字段進行二次拼接產生新的數據[9-12]。

加載管理對數據經過抽取、轉換后的數據進行數據存儲。作業調度將在頁面配置的抽取管理、轉換管理、分類管理組成的流程進行任務管理。包括任務狀態監控、任務日志瀏覽，任務的調度方式以cron表達為任務調度策略。在作業調度過程中，提供執行過程記錄，各步驟執行結果，各步驟完成時間，調度完成結果，便于操作人員對采集流程進行優化調整。

2.2??數據整合

數據整合對接入的多源多模態數據進行整合和聚合，包括數據清洗、模式對齊、數據標簽和數據聚合等。

數據清洗刪除原始數據集中的無關數據、重復數據、錯誤數據，處理缺失值、異常值或按規則進行數據補全;模式對齊根據預設標準進行數據類型轉換、數據標準映射、數據格式轉換;數據標簽根據數據特征對數據進行標簽處理，為業務智能分析基礎;數據聚合通過定義計算規則/過程腳本/計算服務對數據進行通用或自定義的聚合與分組。

2.3??主題融合處理

根據不同主題，提供多種數據融合計算能力，支持多類數據融合算法。通過算法屬性與融合場景屬性的動態匹配，進行主題融合處理。定義算法模式框架，實現算法種類動態擴展[13-15]。

2.4??場景化數據組織與管理

根據不同應用場景，提供關系型、非關系型、內存、圖、文件等數據組織與管理模式。其中，關系型數據庫主要用于存儲、管理結構化的、需頻繁進行事務處理的口岸業務數據、平臺配置數據。No SQL數據庫主要用于存儲、管理海量、高并發訪問的口岸業務數據。內存數據庫主要用于存儲、管理需要快速響應得到結果的即席查詢、分析、挖掘數據，將整個數據庫或其主要數據處理放入內存，減少每個事務在執行過程中傳輸。采用分布式文件系統存儲、管理大文本、圖片、視頻等非結構化數據。

2.5??數據服務管理與接口

通過數據融合形成的各類原始匯集庫、整合融合庫、元數據庫和主數據庫等，通過數據服務進行管理和訪問。數據服務管理主要功能包括數據服務的發布、服務注冊、服務查詢、服務修改、服務刪除、服務發布、服務測試、統計查詢。數據服務管理和服務調用流程設計如圖4。

服務管理是由服務提供方發起的服務創建的過程，通過服務注冊配置。完成服務的創建。服務類型包括RESTful服務、WebService服務、JMS服務、Kafka服務。RESTful服務注冊時指定輸入源服務地址、服務類型（get/post）等參數信息;JMS服務注冊時指定服務器信息、提供queue、topic選擇和名稱。Kafka服務注冊時指定topic選擇、支持Kerberos認證。等。

各類服務通過目錄進行管理和訪問。目錄管理主要有目錄分類和目錄索引組成，通過目錄分類可以把數據共享和數據服務管理進行分類，使用者通過目錄分類可以更加高效便捷的查詢數據服務內容和查詢數據共享內容。

3??批量和實時結合的數據融合技術設計

3.1??數據融合問題分析

貿易口岸貿易口岸數據龐雜，數據量巨大。數據融合技術上主要需解決如下問題：

（1）復雜指標的計算融合

計數、求和、平均等指標能夠依靠查詢結果合并實現，但大部分復雜指標的方差、標準差、熵等融合計算無法依靠簡單合并完成。對具有長周期時間窗口的復雜指標，多次重新計算的開銷巨大。

（2）基于數據生成的進度的內存分配

在每天的定義固定時間將流數據導入批處理系統會造成內存資源的極大浪費，需要實現一種融合存儲策略，能基于數據產生進度，進行內存分配和使用。

（3）多粒度多角度查詢請求的動態數據融合

口岸業務系統的數據查詢時間窗口具有多尺度、多角度，如“本月物流業務結算金額”、“某公司去年報關單數和金額”等。如果每次查詢請求都重新計算將會對系統性能造成極大的影響，需實現多時間窗口尺度、多種窗口漂移方式的動態數據實時融合處理方法。

（4）高可用、高可擴展的內存計算

由于內存介質的易揮發的特性，一般需要采用多副本的方式，以保證基于內存存儲和計算的高可用性，這產生“如何確保不同副本的一致性”的問題。

3.2??實時和批量相結合融合處理

基于上述問題，本文采用批量大數據處理和實時流式處理結合的融合處理方法。

批量融合處理以Hadoop Hbase為基礎，首先先將數據初步匯聚，預處理后加載到數據倉庫，以支持業務的分析。這種方式無法查詢到最新的實時數據，存在數據遲滯問題。

實時流式處理以Spark Streaming、Flink為基礎，將數據通過流處理的方式實時逐條加載至高性能內存數據庫中進行查詢，數據遲滯低。這種方式，由于內存容量限制，需丟棄原始歷史數據，無法在完整大數據集上支持Ad-Hoc查詢分析處理。

為解決復雜指標的融合計算問題，采用“所見即所得”的在線作業編排管理，將復雜計算分解為一個個獨立的計算單元，通過計算作業編排，將上線任務耗時降低到分鐘級，提升流處理作業的編排效率，實現即時作業組合和結果融合的復雜計算。

對多粒度多角度查詢請求的動態數據融合問題，采用在原始數據進入流處理平臺時，通過順序寫的方式持久化一份原始數據，在需要上線新的計算作業時，即刻重發指定時間窗口內的原始數據，實現快速的計算作業上線和不同時間窗口查詢請求的數據動態融合。

采用數據沖突智能規避的方法，解決流式處理中的熱點數據處理和大顆粒數據維度的處理效率。通過Paxos一致性協議，解決內存存儲計算時多副本一致性問題，并向運維人員提供透明的一致性解決方案。

采用智能分區的方法，基于一致性散列技術，將散列值拆解為散列塊，通過散列塊的平滑遷移實現存儲集群的可伸縮性設計，并通過計算作業的動態運行時加載，規避了作業手工打包部署。

4??結束語

根據貿易口岸不同的業務間數據融合需求，場景和資源需求模式，本文闡述了貿易口岸數據融合系統的架構設計和主要功能設計，分析了數據融合面臨的主要技術問題，闡述了針對這些問題的技術方案。

實踐表明，該系統在多系統數據融合的靈活性、擴展性和實時性等方面都具有較好的效果。未來，將結合應用場景的大數據實時融合需求，進一步完善時序實時大數據處理能力，提高融合系統的處理性能。

參考文獻

Suchanek F M， Weikum G. Knowledge bases in the age of big data analytics[J]. Procedings of the VLDB Endowment， 2014， 7（13）： 1713-1714.

WAMDM. ScholarSpace[EB？OL].[2015-12-12]. htp：？c-dblp.cn.

Shvaiko P， Euzenat J. Ontology matching： State of the art and future chalenges[J]. IEEE Trans on Knowledge and Data Enginering， 2013， 25（1）： 158-176.

Zhao L， Ichise R. Ontology integration for linked data[J]. Journal on Data Semantics， 2014， 3（4）： 237-254.

Jan M. Linked data integration[D]. Prague， Czechia： Charles University in Prague， 2013.

Dong X L， Srivastava D. Big data integration[C]？Proc of the 29th IEEE Int Conf on Data Enginering （ICDE）. Piscataway， NJ： IEEE， 2013： 1245-1248.

Belahsene Z， Bonifati A， Rahm E. Schema Matching and Mapping[M]. Berlin： Springer， 2011.

唐山峰， 王淑營. 面向電子政務的異構數據交換解決?方案[J]. 計算機技術與發展， 2011（4）： 13-16.

侯曉岑. 政府信息資源管理系統的設計與實現[D]. 成都： 電子科技大學， 2014.

徐磊， 趙愛東?. 智慧港口公共信息平臺標準化建設探?究[J]. 標準科學， 2015（4）： 42-45.

基于商密體系的政務鏈解決數據安全共享交換的研究[J]. 趙睿斌， 楊紹亮， 王毛路， 程浩. 信息安全與通信保密. 2018（05）.

我國政府數據開放共享政策體系構建[J]. 黃如花， 溫芳芳， 黃雯. 圖書情報工作. 2018（09）.

淺談政府數據共享交換平臺建設[J]. 熊瑰. 信息通信. 2018（02）.

大數據時代政府管理創新[J]. 陳冠蓉. 中國管理信息化. 2017（02）.

電子政務系統中的數據交換和共享服務平臺設計[J]. 劉麟乾. 電腦編程技巧與維護. 2016（11）.