智慧大數(shù)據(jù)共享交換的系統(tǒng)設(shè)計(jì)

張鵬飛，藍(lán)維旱，高 峰

（中通服咨詢設(shè)計(jì)研究院有限公司，江蘇 南京 210019）

0 引 言

為了實(shí)現(xiàn)客流統(tǒng)計(jì)、游客畫像與行為分析、輿情分析以及文旅融合等功能，應(yīng)用系統(tǒng)需要采集游客出入園數(shù)據(jù)、視頻監(jiān)控系統(tǒng)數(shù)據(jù)、互聯(lián)網(wǎng)內(nèi)容數(shù)據(jù)、消費(fèi)數(shù)據(jù)、票務(wù)數(shù)據(jù)、投訴數(shù)據(jù)以及運(yùn)營服務(wù)商數(shù)據(jù)等信息。高效的數(shù)據(jù)采集和共享交換系統(tǒng)可以快速建設(shè)各類維度的元數(shù)據(jù)庫，形成數(shù)據(jù)資產(chǎn)。通過數(shù)據(jù)規(guī)范與標(biāo)準(zhǔn)，對數(shù)據(jù)進(jìn)行抽取、清洗等加工處理，為平臺(tái)應(yīng)用提供數(shù)據(jù)的信息檢索和計(jì)算能力，實(shí)現(xiàn)智慧管理與服務(wù)。

1 數(shù)據(jù)采集和處理

智慧大數(shù)據(jù)通過海量數(shù)據(jù)的獲取，然后進(jìn)行數(shù)據(jù)的加載、清洗、轉(zhuǎn)換、融合以及存儲(chǔ)來確保數(shù)據(jù)的結(jié)構(gòu)化、一致性與多元化，形成基礎(chǔ)資源數(shù)據(jù)庫和文旅業(yè)務(wù)數(shù)據(jù)庫，提供跨地域、跨機(jī)構(gòu)以及跨層級的數(shù)據(jù)共享交換，滿足系統(tǒng)內(nèi)、外部等不同部門之間的數(shù)據(jù)共享交換需求，為數(shù)據(jù)共享雙方提供了一條良好的數(shù)據(jù)交換通道。松耦合的連接關(guān)系使系統(tǒng)間的數(shù)據(jù)交換免受空間物理影響，從而使新的應(yīng)用系統(tǒng)可以方便快捷地接入數(shù)據(jù)共享交換平臺(tái)，有效提升了數(shù)據(jù)交換系統(tǒng)的擴(kuò)展能力，如圖1所示[1]。

圖1 數(shù)據(jù)采集匯聚流圖

2 架構(gòu)設(shè)計(jì)

大數(shù)據(jù)采集和數(shù)據(jù)處理系統(tǒng)作為信息交換體系建設(shè)的核心內(nèi)容，由交換橋接、前置交換、交換傳輸以及交換管理等子系統(tǒng)組成，并可結(jié)合信息資源目錄服務(wù)平臺(tái)實(shí)現(xiàn)信息資源的編目、訂閱、發(fā)布、管理以及查詢等功能，同時(shí)實(shí)現(xiàn)對信息資源的管理。交換橋接子系統(tǒng)負(fù)責(zé)將需要交換的信息前置交換信息庫，在交換管理子系統(tǒng)的控制下，通過交換傳輸子系統(tǒng)和前置交換子系統(tǒng)將信息定向投遞到接收方[2]。

2.1 傳輸交換子系統(tǒng)

交換傳輸子系統(tǒng)是數(shù)據(jù)信息流轉(zhuǎn)的中樞，依靠交換傳輸子系統(tǒng)與前置交換系統(tǒng)之間實(shí)現(xiàn)信息共享交換，根據(jù)交換程序?qū)崿F(xiàn)共享信息的封裝、變換、路由、投遞以及解包等。交換傳輸子系統(tǒng)通過消息總線模式，實(shí)現(xiàn)前置交換信息庫之間不間斷、穩(wěn)定可靠的信息傳遞和目錄注冊[3]。

2.2 前置交換子系統(tǒng)

采用前置交換子系統(tǒng)部署于各信源部門的方式，架設(shè)數(shù)據(jù)交換平臺(tái)作為數(shù)據(jù)交換的窗口，是之前部門業(yè)務(wù)系統(tǒng)常用的數(shù)據(jù)流轉(zhuǎn)方式[3]。該模式既可從業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù)向數(shù)據(jù)中心提交，又可從數(shù)據(jù)中心接收數(shù)據(jù)反向傳遞數(shù)據(jù)給業(yè)務(wù)系統(tǒng)。前置機(jī)部署在通信網(wǎng)絡(luò)，具有緩存交換數(shù)據(jù)和對數(shù)據(jù)進(jìn)行凈化、完善以及呈現(xiàn)的功能[4]。

2.3 交換橋接子系統(tǒng)

交換橋接子系統(tǒng)可以實(shí)現(xiàn)將業(yè)務(wù)數(shù)據(jù)提取到前置交換，也可將前置交換系統(tǒng)中的共享數(shù)據(jù)傳送至業(yè)務(wù)部門[5]。在整個(gè)交換應(yīng)用中，各參與交換部門信息數(shù)據(jù)的采集可能采用多種方式，包括通過交換適配器橋接接入方式、前置交換庫頁面錄入方式以及不通過平臺(tái)采用的直接錄入信息中心數(shù)據(jù)庫的Web方式等。

對于有完備業(yè)務(wù)系統(tǒng)的部門，其信息數(shù)據(jù)量比較大，可采用大數(shù)據(jù)采集和數(shù)據(jù)處理系統(tǒng)提供的橋接系統(tǒng)交換適配器接入方式。交換適配器提供并支持多種接入模式，包括數(shù)據(jù)庫大字段傳輸、大文件傳輸、格式化文件解析與傳輸?shù)龋槍π畔⒒潭炔煌牟块T可根據(jù)實(shí)際需要自行選擇。對于信息化建設(shè)程度不高且數(shù)據(jù)量小、信息內(nèi)容少的部門，可以采用直接錄入網(wǎng)上上傳的形式，將數(shù)據(jù)直接導(dǎo)入交換數(shù)據(jù)庫。

2.4 交換管理子系統(tǒng)

來自大數(shù)據(jù)采集和數(shù)據(jù)處理系統(tǒng)提供的交換監(jiān)控管理子系統(tǒng)可作為中心管理模塊提供圖形化配置工具，實(shí)現(xiàn)對信息交換的流程配置、部署、執(zhí)行，同時(shí)對信息交換系統(tǒng)運(yùn)行監(jiān)測與管控，具體包括數(shù)據(jù)交換適配管理、交換節(jié)點(diǎn)管理以及交換流程管理等[6,7]。

交換管理子系統(tǒng)方便用戶實(shí)時(shí)查看數(shù)據(jù)交換平臺(tái)的交換流程信息狀態(tài)、交換節(jié)點(diǎn)信息狀態(tài)以及日志信息等內(nèi)容，用戶可以通過設(shè)置相應(yīng)的管理配置界面動(dòng)態(tài)修改數(shù)據(jù)交換平臺(tái)的交換配置數(shù)據(jù)信息。

3 平臺(tái)部署設(shè)計(jì)

3.1 一對一部署

采用一對一的部署方式，外部應(yīng)用可以通過適配器連接至前置機(jī)。前置機(jī)包括最基本的交換節(jié)點(diǎn)組件，在服務(wù)提供方節(jié)點(diǎn)的前置上部署調(diào)度服務(wù)器，負(fù)責(zé)服務(wù)的發(fā)布與訂閱，如圖2所示。

圖2 一對一部署

3.2 一對多部署

一對多部署如圖3所示。外部應(yīng)用通過適配器連接至前置機(jī)。前置機(jī)包括最基本的交換節(jié)點(diǎn)組件，在有中心的交換場景，前置上的調(diào)度服務(wù)器是不必須的。在交換中心部署完整的交換平臺(tái)，負(fù)責(zé)整個(gè)交換的管理。共享數(shù)據(jù)庫通過前置連接到交換中心，提供交換功能。

圖3 一對多部署

3.3 級聯(lián)方式部署

級聯(lián)部署如圖4所示。外部應(yīng)用通過適配器連接至前置機(jī)。前置機(jī)包括最基本的交換節(jié)點(diǎn)組件，前置上的調(diào)度服務(wù)器是不必須的。在二級交換中心部署完整的交換平臺(tái)，負(fù)責(zé)交換中心所在交換域管理。在一級交換中心部署完整的交換平臺(tái)，負(fù)責(zé)整個(gè)交換域的管理，并通過信任關(guān)聯(lián)與下級交換中心實(shí)現(xiàn)身份統(tǒng)一認(rèn)證。共享數(shù)據(jù)庫通過前置連接到交換中心，提供交換數(shù)據(jù)的集中存儲(chǔ)，為數(shù)據(jù)的再加工應(yīng)用提供基礎(chǔ)數(shù)據(jù)。

圖4 級聯(lián)部署

4 結(jié) 論

系統(tǒng)應(yīng)用共享交換系統(tǒng)有助于整合各單位已有的信息化資源，實(shí)現(xiàn)各種類型內(nèi)外部數(shù)據(jù)的采集和匯聚。在實(shí)際應(yīng)用中，可根據(jù)需求采用不同模式相結(jié)合的部署方式。